数码无限

解决方案&服务内容

AI工程师在使用GPU服务器进行AI运算时，经常性的会发生GPU资源无法隔离、资源互相占用、资源额度不足，以及资源使用效率低落或难以管理等问题。对刚开始做AI专案的工程师而言，还需另外学习docker操作指令以及自行管理软硬件环境的情况，倘若底层架构权限暴露在外，当有一个人下错指令，就会导致全机无法使用。现行的GPU服务器在没有管理平台支持的情况下，无身份认证的机制，所以若有滥用占用的情形是无法追查的，只能等待资源被释放。而在开发过程中，AI工程师通常是各做各的AI应用框架，所以每个人都要重复下载安装，其实无形中浪费了很多时间以及资源。

在一般情况下，AI专家并不熟悉GPU技术、储存装置、网络系统等架构层相关配置，这些资源都是由IT部门在管理的，但对这些IT人员来说，他们的痛点也很多。一来，使用者需求繁复，使得管理杂乱无章，很多时候，需求又急又赶，时常打乱工作排程。而当主管关切资源使用状况时，由于没有管理软件可以监控GPU服务器的使用情形，因此汇整数据很不容易，对资源掌握度差，是谁在用、用多久、剩余资源等信息皆不透明。若要协助AI工程师完成他们所需要的环境，还需具备docker与kubernetes架构经验，这又是传统IT人员所没有的技能，因此，多数企业导入AI困难重重。

在AI应用部署场景多样，又随时在优化更新AI模型及应用，部署在云端、数据中心、边际云、边缘设备样多、量多、版本多，对开发及营运工作是非常繁琐、易出错、重要但浪费时间，往往卡在这个阶段，使得AI不易快速普及。

2017年，数码无限参与建置财团法人国家实验研究院国家高速网络与计算中心Taiwan GPU Cloud- TWGC AI人工智能与深度学习平台以及Taiwan Compute Cloud- TWCC (BDS)大数据分析及处理平台Taiwan GPU Cloud，以自身研发专利开发出的混合云管理平台CloudFusion为基础核心，为国网中心打造台湾第一个AI云平台，让客户可以将平台上的GPU资源共享，提供给全台⼤专院校进⾏AI专案的开发。随着愈来愈多科研机构投入人工智能（AI）研究，使 GPU 普及率节节攀升，只因 GPU 最能支撑 AI 训练所需之庞大算力。但相较于 x86 架构，GPU 资源管理工具相对欠缺，以致资源分配与使用情况不透明，难免让不少机构对投资效益渐感质疑，因而放缓资源扩充步调，长此以往不利于 AI 发展。为此，拥有国网中心 TWGC（Taiwan GPU Cloud）专案历练、深谙 GPU 资源分配技术的数码无限，于2018年推出 AI-Stack，同年取得了联电头端客户的采用。AI-Stack为多人共享的 AI 运算平台，擅长GPU服务器丛集的算力调度协同管理，可协助科研机构旗下的研发、财务或采购管理者，都能随时透过统计图表，轻松掌握每一分 GPU 资源的配置状况，有效提升利用率，顺势拉高专案产出绩效。欲使 AI 落地、跨进门槛，必须有效运用资源，AI-Stack 不但有助强化资源分配，让内部单位的费用摊提有所依据，更重要的，也兼具「自动供装」优势，能在短短 1分钟内搭建出研究人员想要的开发环境，让宝贵的 GPU 资源尽快投产运作，为机构产生最大贡献。