边缘运算全面启动 技嘉联手NVIDIA 引领企业布局专属AI新赛道

「边缘运算全面启动：引领AI落地新纪元」论坛吸引企业IT主管、开发者及产业夥伴参与，现场聚焦地端AI算力、模型部署、AI Agent与网安治理，交流企业由概念验证走向实际营运所面临的应用与整合课题。技嘉科技

生成式AI正快速由云端服务进入企业营运现场，应用范围涵盖企业知识库、研发数据、智能制造及供应链流程。企业关注的焦点已不限于模型效能，还包括部署效率、数据治理、安全控管及应用整合。AI Agent、私有知识库、模型微调与边缘推论需求升温，也促使企业由使用现成AI工具，转向建立自主AI能力。

对此，技嘉科技特别举办「边缘运算全面启动：引领AI落地新纪元」，邀请多位产业专家，针对算力平台、模型部署、安全治理及AI Agent等议题发表专业观点，协助企业掌握地端AI的导入方式与应用机会。

串联算力、AI Agent与网安治理  技嘉建构地端AI应用生态

技嘉科技专业电脑事业处副总经理廖期立在致词时表示，企业导入AI时，普遍面临机敏数据能否上云、建置成本是否可控，以及避免受制于单一云端平台等问题。地端AI可协助企业掌握数据、算力与应用生态，建立自主AI能力。

技嘉长期布局主机板、显示卡、服务器、数据中心及高效能运算，近年推出AI TOP产品线，整合硬件、模型微调与系统监控软件，并与制造、医疗、教育及政府等领域夥伴合作，发展符合不同场域需求的地端AI应用。

生成式AI的发展重心正由问答与内容生成，转向能够理解任务、串接工具并自主执行工作的AI Agent。当企业希望让每位员工或不同部门拥有专属Agent，地端算力、模型部署及资源配置也成为导入时必须处理的问题。Gigabyte AI TOP ATOM搭载NVIDIA GB10 Grace Blackwell超级芯片的桌上型AI系统具备128GB统一存储器，可在地端部署、微调及推论大型语言模型；面对更大型的模型与工作负载，也可串接多台设备扩充运算能力。

AI Agent进入企业流程后，还会牵涉开源软件风险、使用者权限、网络存取及不同部门的网安政策。NVIDIA NemoClaw可作为AI Agent的安全框架，NemoClaw可在OpenShell沙盒中执行支持的Autonomous Agent (自主代理人)，如OpenClaw 或 Hermes Agent等，并透过政策控管限制其网络、档案及推论资源存取，降低Agent连接企业系统与外部服务时的风险。

企业可依部署需求，搭配NVIDIA AI Enterprise软件生态，选择NVIDIA NIM微服务与相关AI软件，在地端部署与管理模型及Agent，并在身份、权限与网安政策控管下，将其导入信息蒐集、内容摘要等既有工作流程。

为考量数据主权、成本与开源模型成熟度，企业陆续将AI推论移至地端，但数据留在内部，并不代表系统自然具备安全性。Palo Alto Networks资深技术总监萧松瀛提到，AI Agent会自主下载工具、串接模型与外部服务，可能引入软件供应链、恶意模型、提示词注入、机敏数据外泄及权限失控等风险，攻击面也会延伸至开发者端点与企业网络。

企业应在部署初期纳入零信任思维，先盘点员工使用的AI工具及模型，再透过模型扫描、执行阶段的双向内容检测、API统一出口、身份与权限控管，以及网络微分段限制Agent可存取的系统。相关操作纪录与提示词也须保留，以符合金融等高度监管产业的稽核要求。

近年企业积极导入地端AI，明确应用方向及模型操作能力成为系统能否顺利发挥效益的关键。技嘉科技专业电脑事业处产品销售经理陈圣坤表示，AI TOP生态圈以操作简易、价格可负担及地端部署为方向，整合硬件、技嘉专为AI部署打造的专属软件 AI TOP Utility与产业展示方案。

搭载NVIDIA GB10 Grace Blackwell超级芯片的AI TOP ATOM具备可携性，可执行模型管理、数据集整理、微调及推论，协助中小企业、研究机构与医疗院所透过实际展示确认应用需求。

当AI由个人或小型团队扩大至部门，系统还须支持多人使用、模型与数据自主控制，以及后续扩充。技钢科技代副处长刘于硕指出，W775锁定中大型企业，以NVIDIA GB300 Grace Blackwell Ultra Desktop Superchip提供部门级运算能力，并搭配软件环境部署模型服务、RAG及AI Agent。企业可先选定一个部门及成果可衡量的日常工作，验证效益后再扩展至其他单位，并衔接服务器丛集或AI Factory，降低一次投入大型基础建设的风险。

地端AI落地从明确场景起步 同步盘点算力、网安与组织协作

除了专题演讲，此次活动也邀请各位专家，以「地端 AI 落地实战：企业导入还差哪一块拼图？」为题，交换意见。对于近年企业AI由试验走向实际运作，必须同时处理应用、算力与网安的问题。企业可由内部知识库及RAG着手，参考NVIDIA Blueprint并视模型定制化、评估及部署需求采用 NVIDIA NeMo加速应用开发与导入流程；硬件则须依模型规模、微调需求、使用人数及可接受延迟评估，并以NVIDIA NIM等软件优化推论效能。

萧松瀛认为，网安应在导入初期即由高层统一规划，避免各部门自行建置后难以整合。地端部署也不等于安全，仍须防范恶意模型、数据污染及未授权存取；若资源有限，可优先建置AI Gateway，集中管理云端与地端流量、提示词纪录及合规稽核。

廖期立则建议，企业推动AI宜由信息长或CEO领军，并先建立内部共识，因为AI导入势必牵动既有工作流程。中小企业可先采用具扩充性的地端设备进行展示与验证，再依使用人数、数据量及模型需求增加算力；实际动手建置，也有助于厘清模型、网安与维运问题。

技钢科技代副处长刘于硕表示，大型企业先以RAG整理内部数据，挑选单一部门中繁重、重复且成果可衡量的工作，例如竞品分析，建立最小可行应用。硬件采购应回到任务、使用者人数与数据量三项条件，待效益获得验证后，再扩展至其他部门及全公司。

Build-a-Claw实机演练 完整验证地端AI开发与部署流程

继上午的专题演讲与圆桌论坛后，下午场的「Build-a-Claw开发者极限实战」转向实机操作，由和谊科技CEO许毓展带领工程师、开发者及IT决策者，以技嘉AI TOP ATOM完成地端AI开发流程。课程首先透过Docker、Ollama及vLLM部署开源大型语言模型，并串接矢量数据库建立私有RAG知识库，观察多使用者同时检索时的推论速度与存储器占用；接着针对自动化控制与指令遵循情境进行模型微调，测试高负载运算时的效能、功耗与散热表现。最后整合前两阶段成果，运用NVIDIA NemoClaw建立安全防护机制，并串接OpenClaw开源框架，打造可执行物件识别、逻辑抓取及任务排程的AI Agent，让参与者实际走过模型部署、知识库建置、微调到Agent开发的完整流程。

随着企业AI由概念验证走向实际营运，地端部署也更重视算力配置、模型微调、RAG知识库、AI Agent及网安治理的整合。此次「边缘运算全面启动：引领AI落地新纪元」透过专家演讲与实机操作，提供企业打造兼顾效能、成本与数据主权的导入机制。面对不同部门与应用规模，企业可先选定具体场景验证效益，再依使用人数与数据量扩充软硬件及治理机制，让地端AI真正进入日常营运流程，成为强化竞争优势的最佳助力。