Meta Llama 3基础模型已在AWS正式可用 智能应用 影音
Microchip
ADI

Meta Llama 3基础模型已在AWS正式可用

  • 黎思慧台北

Amazon Web Services(AWS)宣布,Meta刚刚发布的两款Llama 3基础模型Llama 3 8B和Llama 3 70B现已在Amazon SageMaker JumpStart中提供。这两款模型的上下文长度(Context Length)为8k,能够支持广泛的应用案例,并在推论、程序码生成和指令跟随等方面有所改进。客户可以在Amazon SageMaker JumpStart中轻松部署Llama 3基础模型,并运行推论。

Llama 3提供8B和70B两种参数大小的模型,上下文长度为8k,能够支持广泛的应用。Llama 3使用了仅含解码器的Transformer架构,以及高达128k规模的新型分词器,极大提升了模型的效能。此外,Meta改进的训练后处理常式大幅降低了误拒率,提高了模型回应的一致性和多样性。

Amazon SageMaker JumpStart提供预训练的模型、内置演算法和预建构的解决方案,帮助客户快速开始机器学习专案。Amazon SageMaker JumpStart能够帮助客户从广泛的公开可用基础模型中进行选择,并将基础模型部署到专用的SageMaker实例中,这些实例位于网络隔离的环境,并可以使用SageMaker进行模型训练和部署。

客户现在可以在Amazon SageMaker Studio中透过点击或透过SageMaker Python SDK程序设计方式部署Llama 3模型,还可以利用SageMaker Pipelines、SageMaker Debugger或容器日志等功能,提升模型效能并实施MLOps控制。此外,该方式部署的模型始终处在AWS的安全环境下,由客户的VPC(Virtual Private Cloud)控制,以确保数据安全。

Meta Llama 3基础模型现已在Amazon SageMaker Studio的美东(北弗吉尼亚州)、美东(俄亥俄州)、美西(奥勒冈州)、欧洲(爱尔兰)和亚太(东京)区域提供部署和推论服务。


关键字