0件商品
开源LLM推动地端推论需求 NVIDIA力图主导边缘AI算力商机
开源大型语言模型的发展日渐成熟，企业引入具成本效益，且能确保及逐渐增加數據主权的地端推论方案的可行性。在此背景下，NVIDIA迅速扩张产品线，将數據中心级的DGX...
目录
- AI模型训练由大型CSP主导推动
- LLM开发成本昂贵 仅少数企业参与
- 开源模型可让一般企业在地端执行LLM推论
- 地端LLM部署初期成本较API方案高 然具长期投资优势
- DeepSeek R1效能表现不低于同期OpenAI o1模型
- 地端LLM同样需要加速器进行推论装置 且装置存儲器容量为可执行关键
- 仅部分云端高端AI服務器可单机推论满版DeepSeek R1 然售价不菲
- NVIDIA DGX Station强调高存儲器容量 以满足LLM边缘推论的需求
- NVIDIA DGX Spark强调边缘端小型语言模型 单机最高可推论精度INT4、参数量达200B的LLM
- NVIDIA建构完整GPU产品线 满足各类AI运算需求
- 结语：开源模型引发地端推论需求 NVIDIA企图抢占边缘AI运算市场
相关报告
关键字
加入已选取到「关键字追踪」
使用者登入
服务加入办法
若想立刻加入付费"Research"会员，请洽询
客服专线：
+886-02-87125398。(周一至周五工作日9:00~18:00)
客服信箱：
member@digitimes.com (一个工作日内将回复您的来信)
- 追溯至2000年，洞察产业脉动
- 优质报告，助攻精准决策
- 八大主题，23产业频道涵盖
- 七大全球数据库，掌握市场趋势
