国网中心算力加持 智联服务用AI助半导体产业突破IT维运瓶颈 智能应用 影音
长庚大学
DForum0704

国网中心算力加持 智联服务用AI助半导体产业突破IT维运瓶颈

  • 林佩莹台北

智联服务与UnieAI团队携手打造信息服务解决方案。DIGITIMES摄
智联服务与UnieAI团队携手打造信息服务解决方案。DIGITIMES摄

半导体产业及中小产业面临数码转型浪潮,IT维运与算力调度挑战日益严峻,智联服务与UnieAI及国网中心合作,运用H100 GPU裸机资源及UnieAI AI技术服务,打造全新AI维运及算力应用的IT信息服务解决方案,为中小企业产业带来显着的营运效益提升。

智联服务总经理韩政达表示:「目前半导体及中小企业普遍面临三大挑战,首先是IT维运方面的人力断层问题,新进人员难以快速接手工作,加上缺乏标准作业程序,导致维运知识传承困难,过度依赖个人经验。

智联服务产品界面示意图。智联服务

智联服务产品界面示意图。智联服务

此外,在AI算力调度与应用层面,企业缺乏动态调度与实时监控机制,造成GPU资源浪费与任务排程混乱。多部门共享资源时,优先顺序管理不当,容易出现『抢资源、闲置率高』的矛盾现象。因此,智联服务借力国网中心提供的硬件资源,结合UnieAI的软件架构实力,提供企业全方面的IT信息解决方案」

智联团队透过国网中心提供的8张H100 GPU资源,成功解决了多项技术瓶颈;过去自建环境无法承载LLaMA 70B或Qwen 235B等大型语言模型,H100的强大算力使高精度模型推论成为可能,可模拟多任务、多部门并发场景,自动动态调度资源,有效解决高低峰GPU闲置与过载问题。

除此之外,传统IT部门面对新科技的来临,企业有意导入全新AI技术,但同时面临科技门槛,对于GPU配置、维运模型等进入障碍,皆阻碍生成式AI应用落地。UnieAI 借助 H100 的强大算力实现「推论即学习」(TTRL),并结合UnieAI 开发的推论加速引擎,在每次推论时同步产生最多 8 组数据样本,使模型得以实时依任务回馈进行细微调整,持续提升回应品质与语境的适应力。

UnieAI 专案经理柯孟豪表示:「AI 导入不能只是『建立应用场景完就结束』,而是必须建构一套易于维运、可持续优化的系统性架构。许多企业在 PoC 阶段只关注模型准确率或 Demo 效果,而忽略日后的维运与效能监控,导致服务上线后需要付出更加高昂的部署与维运成本,因此UnieAI在此次专案导入UnieVerse智能平台协助企业稳定部署与管理AI服务。」

国网中心算力支撑大型模型部署 智联AI智能平台优化IT维运效率

目前智联服务提供三大关键模块,GPU调度引擎模块支持跨部门资源管理、自动排程与动态分配,可依据任务需求自动调度算力。知识图谱与语意理解模块整合企业内部知识库,包含维运SOP、历史纪录、错误代码等,使用大型语言模型加上RAG技术,支持自然语言问答与实时维运知识查找。

IT异常诊断模块则能实时分析帐号权限错误、系统异常等常见维运问题,自动引导使用者处理,实现自助诊断、自助排错功能。

在实际应用场景中,AI助手展现出显着效果。以帐号权限错误处理为例,过去使用者遇到权限问题需申请支持、等待IT查询处理,平均耗时1至2日。现在系统引导使用者确认身份、点选错误类型实时跳出互动流程, 可实时在线解决,并缩短进阶问题可在1日内专人解决。

在维运知识文件语意查询方面,工程师处理设备异常时,可直接使用自然语言提问,系统结合RAG从上百页数据中语意检索,直接撷取关键段落与步骤,从「自己翻找半小时」转变为「AI秒答精准信息」。

智联服务专案经理蒋方瑜提到,专案带来的量化效益相当显着。在技术效率方面,模型推论时间缩短50%,GPU使用率提升超过60%,资源配置与排程错误显着减少。IT维运成效部分,IT任务自动回应比例提升至40%,人力依赖时间降低30%,IT问题反应与处理时间缩短50%。

对于未来规划,智联预计将软硬整合的信息服务平台应用扩展至客服作业、财务流程、制造设备参数异常分析等领域,形成跨场域的维运知识整合平台。

在部署策略上,将采取双轨模式,大型企业与网安敏感单位的客户,可提供私有化部署选项;中小企业或研发团队客户,则继续运用国网中心GPU资源,提供具弹性的AI云端平台,借此顺利推动数码转型,从而深化企业竞争优势。