Amazon Bedrock发布模型选择和强大功能 建构安全和规模化生成式AI应用程序

亚马逊（Amazon）旗下Amazon Web Services（AWS）于AWS re:Invent全球盛会上宣布推出更多Amazon Bedrock模型选择及全新功能，协助客户更轻松地建构和扩展业务专用的生成式AI应用程序。

Amazon Bedrock是一项全面托管服务，使用者可轻松存取来自AI21 Labs、Anthropic、Cohere、Meta、Stability AI和亚马逊的多种业界领先的大型语言模型和其他基础模型（FM），以及客户建构生成式AI应用程序所需的各项功能，确保隐私和安全的同时简化开发流程。

此次发布进一步降低了生成式AI应用的门槛，为客户提供了更多产业领先的模型选择和全新的模型评估功能，以简化客户使用相关私有数据以定制所需模型，并为客户提供自动执行复杂任务的工具，同时保障客户可以负责任地建构和部署生成式AI应用程序。Amazon Bedrock的新功能为各行各业及不同规模的企业在生成式AI领域带来改变，助力企业创新并重塑客户体验。

AWS数据库、数据分析和机器学习全球副总裁Swami Sivasubramanian表示：「生成式AI有望成为这个时代最具变革性的技术。客户积极应用生成式AI创造新机遇和应对业务挑战，启发了我们。当客户将生成式AI融入业务时，Amazon Bedrock全托管方式的领先模型、定制功能、代理功能以及企业级安全和隐私保障将为他们带来便利。有了更多触手可及的工具，客户可以使用Amazon Bedrock充分发挥生成式AI的潜力，带来创新的用户体验、重塑业务并加速生成式AI发展。」

企业希望在各种场景中应用生成式AI，例如提高生产效率、创新用户体验和开启全新工作互动模式。然而，生成式AI技术正急速发展，每天都有新的服务和创新出现。在瞬息万变的当今，客户的适应能力至关重要。企业需要能够使用最新、最好的可用模型进行测试、部署、反覆运算和调整，并时刻准备好迎接变化。

为了应对这些挑战，AWS开发了Amazon Bedrock，使模型建构和转移就像API指示一样简单，让所有开发人员都可以获得模型定制的最新技术，并确保客户的安全和数据隐私。众多国际企业包括Alida、Automation Anywhere、Blueshift、BMW集团、Clariant、Coinbase、Cox Automotive、电通（dentsu）、Druva、Genesys、Gilead、GoDaddy、Hellmann Worldwide Logistics、INRIX、KONE、LexisNexis Legal & Professional、Lonely Planet、NatWest、Nexxiot、OfferUp、宏盟集团、The PGA Tour、Proofpoint、Salesforce、西门子、竹中公司和Verint 已率先采用Amazon Bedrock应用生成式AI。此次发布引进了新的模型和功能，使客户能够更轻松地建构和规模化生成式AI应用。

Anthropic、Cohere、Meta和Stability AI的最新模型以及Amazon Titan的新功能为客户提供更多模型选择
没有一个模型适合用于所有场景，模型的功能、价格和效能均不尽相同，客户需要可以轻松存取及选择各种模型，透过多次尝试和切换模型，再选出最符合需求的模型。

借助Amazon Bedrock，客户可以利用最新版本的模型进行快速创新。现在客户已可以透过API使用多个模型，包括新推出的Anthropic Claude 2.1和Meta Llama 2 70B以及最近推出的Stability AI Stable Diffusion XL 1.0、Meta Llama 2 Chat 13B、Cohere Command Light、Cohere Embed English和Cohere Embed多语言模型。

除了Amazon Titan Text Embeddings和Amazon Titan Text 模型（现已全面可用）之外，AWS还提供了Amazon Titan Multimodal Embeddings和Amazon Titan Image Generator为客户建构生成式AI应用程序提供更多选择和弹性。Amazon Titan模型由Amazon Bedrock独家提供，该模型由AWS透过大量及多样的案例和数据库上所打造，并已进行过预先训练，并内建了支持负责任地使用AI这项功能。如果正式可用的Amazon Titan模型或其输出的内容侵犯了第三方的版权，亚马逊将对使用这些模型的客户进行赔偿。

Amazon Bedrock上的Anthropic Claude 2.1：Anthropic是一家AI安全和研究公司，致力于打造可靠、可判断和可控的AI系统。Anthropic已将最新版本的语言模型Claude 2.1引进Amazon Bedrock。Claude 2.1提供了长达200,000个token的语境窗口，并且提高了长文档的准确性。客户可以处理文本密集型文档，例如财务报表和内部数据集。Claude 2.1能够总结和对比文档、进行问答等。Anthropic报告称，与以前的模型相比，Claude 2.1在开放式对话中的错误陈述减少达50%，错误陈述率减少了一半。

Amazon Bedrock上的Meta Llama 2 70B：Llama 2是Meta的新一代语言模型。Llama 2的训练数据比Llama 1多40%，上下文长度是Llama 1的两倍。除了最近发布的Llama 2 130亿参数模型之外，Llama 2 700亿参数模型在Amazon Bedrock上也已可用。Llama 2 Chat建立在预先训练的Llama模型上，透过指令数据库和超过100万条人工注释进行微调，针对对话场景进行优化。这些模型在多个外部基准测试中的表现卓越，包括推论、编码、熟练程度和知识测试，并在Amazon Bedrock上提供了极高的性价比。

新的Amazon Titan Image Generator现已推出预览版

Amazon Titan Image Generator可协助广告、电子商务、媒体和娱乐等行业的客户透过使用自然语言提示生成高品质、逼真的图像或增强现有图像，以低成本快速构思和大量反覆运算图像。这一类模型可以理解复杂的提示词并生成相关图像，且准确度较高，少有扭曲原意的情况，也不易产生不当内容，继而避免传播错误信息。

客户可以在Amazon Bedrock控制台中使用该模型，在配置维度并指定模型应生成的图像变量数量之前，输入自然语言提示，以生成图像或上传图像进行自动编辑。在编辑过程中，客户可以控制图像的某些部分以增加或替换细节（例如将滑浪板插入海滩场景或将汽车广告背景中的高山替换为森林），也可以使用其他与原作风格相同的细节扩展图像的边界。

为了兑现AWS2023年在白宫做出的承诺，所有Amazon Titan生成的图像都包含隐形浮水印，透过建立严谨的AI生成图像识别机制来减少传播错误信息，促进AI技术安全、可靠和透明地发展。AWS是首批广泛发布内建隐形浮水印的模型供应商之一，这些浮水印整合到输出的图像中，并不允许编辑更改。

全新Amazon Titan Multimodal Embeddings现已正式可用

Amazon Titan Multimodal Embeddings可协助客户为使用者提高多模态查找和推荐体验，让输出结果更准确且与语境相关。模型可以将图像和短文本转换为embedding数字表示形式，使模型能够轻松理解语义以及数据之间的关系。最后使用者可以使用图像和文本提示的任意组合进行查找。

该模型将为查找生成嵌入，并将它们与已有的嵌入相匹配，以产生更准确的查找和推荐结果。例如，拥有数亿张图像的图库摄影公司可以使用该模型来增强其查找功能，这样用户就可以使用短语、图像或图像和文本的组合来查找图像（例如我要和这张照片类似的图像，但天空是晴朗的）。

一般情况下，使用该模型生成矢量非常适合于需要高准确度和快速回应的查找场景。然而，客户也可以生成更小的维度来优化速度和效能。Amazon Titan Text Embeddings模型加入了Amazon Titan Text Embeddings，可以将词语、短句、长文档等文本输入转化为嵌入（embeddings），用于查找和定制化推荐等场景。

新功能可帮助客户更有效率地评估、比较和选择最适合其应用场景和业务需求的模型

如今，企业拥有多个模型选项来支持生成式AI应用程序。在具体应用场景中，为了在准确性和效能之间取得适当的平衡，企业必须有效地比较模型，并找到首选指标。为了比较模型，企业必须先花几天时间确定标准、设定评估工具并运行评估，这些程序都需要专业的数据科学知识。此外，这些测试无法用于主观标准的评估（例如品牌声量、相关性及风格），因为主观标准需要透过繁琐、耗时的人工审核进行判断。对于每个新场景模型，这些所需要耗费的时间、专业知识和资源使企业望而却步，从而限制了他们对生成式AI的使用。

Amazon Bedrock中的模型评估功能现已推出预览版，可帮助客户使用自动或人工来评估、比较和选择适合特定应用场景的最佳模型。在Amazon Bedrock控制台中，客户可以选择他们想要针对相应任务（例如问答或内容摘要）进行比较的模型。如需自动评估，客户可以选择预先定义的评估标准（例如准确性、稳定性和是否含有有害内容）并上传自己的测试数据库或从内建的公开数据库中进行选择。

对于需要复杂判断的主观标准或内容，客户只需经过简单设定即可轻松设定人工评估工作流程。这些工作流程运用客户的内部员工团队或使用AWS提供的员工团队来评估模型回应。在人工评估的过程中，客户可以定义特定的指标（例如相关性、风格和品牌声量）。客户完成设定后，Amazon Bedrock就会执行评估并生成报告，以便客户轻松了解模型在关键标准上的表现，并作出相应协调，从而快速选择最适合应用场景的模型。

扩展的全新模型定制功能可协助客户在AWS上确保隐私且安全地释放数据价值

企业希望最大限度地释放数据价值，以提供大规模的卓越用户体验，这些体验经过独特设计，能够反映公司的风格、意见和服务。Amazon Bedrock中提供新的专门建构功能，可协助客户确保隐私且安全地使用自己的数据定制模型，以差异化生成式AI驱动的应用程序。

Amazon Bedrock知识库功能使用与语境和公司相关的数据定制模型回应：企业希望使用专有数据补充现有模型，以获得更相关和更准确的回应。为了提供模型最新信息，企业走向retrieval augmented generation （RAG），这种技术透过从多个来源（例如文件储存库、数据库和API）获取数据，将数据与提示词结合。

Amazon Bedrock知识库功能现已全面可用，可将模型安全地连接到公司内部数据来源以用于RAG，为聊天机器人和问答系统等案例提供更准确且针对特定语境的回应。知识库是完全托管的，因此客户只需指明数据位置，然后知识库就会获取文本文档，并将数据保存到矢量数据库或代表客户设定一个矢量数据库。

当用户进行查询时，Amazon Bedrock会自动编排RAG，透过模型获取相关文本来增强提示词，将提示词发给模型，最终得到回应。Amazon Bedrock知识库为数据库提供矢量功能，包括Amazon OpenSearch、Pinecone和Redis Enterprise Cloud的矢量引擎，上述功能亦将于Amazon Aurora和MongoDB上推出。

Cohere Command、Meta Llama 2和Amazon Titan模型现在可以在Amazon Bedrock上进行微调，并且即将支持Anthropic Claude 2：除了RAG之外，企业还可以使用微调功能在具体任务（例如文本生成）中进一步训练模型，使用标记数据库调整模型参数，使其符合业务需求，将已掌握的知识扩展到组织和终端使用者使用的词汇库中。例如，零售客户可以在产品描述数据库上微调模型，以协助其了解品牌风格，从而为网站编写更准确的描述。

Amazon Bedrock现在支持对Cohere Command和Meta Llama 2，以及Amazon Titan Text Express、Amazon Titan Text Lite、Amazon Titan Multimodal Embeddings和Amazon Titan Image Generator（预览版）的完全托管微调，因此客户可以透过标签数据集提高特定任务的模型准确性。

此外，AWS客户很快就能够使用自己的数据来源微调Anthropic Claude 2的效能。要微调模型，客户可以选择模型，使用Amazon Bedrock制作副本。之后，客户可以在Amazon Simple Storage Service (Amazon S3)中标记示例，而Amazon Bedrock（利用新信息增强复制模型）会在保证隐私的情况下对其进行训练，并得到结果。模型越是经过精准微调，回应会越相关且定制化。客户数据在传输过程中和存放时都经过加密，因此所有宝贵的客户数据都是始终安全且保密的。AWS和第三方模型提供商均不会使用Amazon Bedrock的任何输入或输出内容来训练模型。

借助Amazon Bedrock代理功能，生成式AI应用程序可以使用公司系统和数据来源执行多步骤任务

现存的模型虽然能够有效地进行对话和生成新内容，但如果能够执行更复杂的操作，例如解决问题以及与公司系统互动以完成任务（例如旅行预定或订购替换零件），将可以为企业提供更多价值。然而，这需要定制化地将模型与公司数据来源、API以及内外部系统整合起来。开发人员必须编写程序来调整模型、系统和使用者之间的互动，使应用程序可以按逻辑循序执行一系列API指示。

为了将模型与数据来源连接起来，开发人员必须部署RAG，以便让模型可以根据任务调整回应。最后，开发人员必须配置和管理必要的基础设施，并制定数据安全和隐私权原则。这些步骤非常耗时且需要专业知识，因此减慢了生成式AI应用程序的开发速度。

现在正式可用、完全托管的Amazon Bedrock代理功能使生成式AI应用程序能够跨公司系统和数据来源执行多步骤任务。代理可以计划和执行大多数业务任务，例如回答有关产品可用性的问题或接受订单。

客户可以透过简单的过程设定代理，首先选择所需的模型，用自然语言编写一些说明（例如你是一位友善的客户服务代理，和在库存系统中检查产品库存情况），并开放其对公司企业系统和知识库的存取权；代理将自动分析请求并将其分解为逻辑序列，再使用模型的推论功能来确定所需的信息；然后，代理透过识别要调用的API并决定何时调用它们来采取移动、满足请求。代理还可以从专有数据来源查找所需信息，以提供准确且相关的回应。

代理每次都会在后台安全、隐私地执行此过程，使客户无需设计提示、管理对话上下文或手动编排系统。借助适用于Amazon Bedrock的代理，客户可以提升生成式AI应用开发的准确性和速度。

借助Amazon Bedrock的Guardrails功能，客户可以根据应用程序要求和负责任的AI策略实施跨模型保护措施

企业逐渐了解到生成式AI应用程序中的互动同样需要管理，以保证所答即所问的用户体验和确保安全。虽然许多模型使用内建控制来过滤不良和有害内容，但企业希望进一步限制互动，以确保话题始终与业务相关和符合公司政策，同时遵守「负责任的AI」的原则。例如，银行可能希望在在线助理的回覆中避免谈论竞争对手、避免提供投资建议、以及限制有害内容。此外，应客户要求，程序可能要修改使用者的个人身份信息（PII）。

企业可能需要更改模型、使用多个模型或跨应用程序重覆编写原则，因而需要一种更简单的方法一次部署要求。这需要丰富的专业知识来建构具有此类保护措施的定制保护系统，并将其整合到应用程序中，而该过程可能需要数个月的时间。企业希望以一种简化的方式在生成AI应用程序中强化关键策略和规则，以提供所答即所问的用户体验并让客户可以更安全地使用该技术。

Amazon Bedrock的Guardrails功能现已推出预览版，使客户能够为生成式AI应用程序实施保护措施。这些应用程序根据客户应用场景和「负责任的AI」原则定制，因此可以增强用户互动的安全性和隐私性。

Guardrails功能可以提高Amazon Bedrock上模型对应用程序中不良和有害内容回应的一致性。客户可以将Guardrails功能应用于Amazon Bedrock上的所有大型语言模型，以及微调模型并与Amazon Bedrock代理功能结合使用。要在Amazon Bedrock控制台中设定一个Guardrail，客户首先要使用自然语言描述来定义应用程序中需要被过滤的话题。客户还可以设定仇恨言论、侮辱、性语言和暴力的门槛值，以将有害内容过滤到他们想要的水准。

于2024年初，客户更可以编辑模型回应中的PII、设定脏话筛检程序，并提供自订单字清单来限制用户和模型之间的互动。Guardrails可以自动评估用户查询和模型回应，以检测并防止出现属于受限类别的内容。客户可以设定多个Guardrails来支持不同的案例，也可以在多个模型中应用相同的Guardrails。Amazon Bedrock的Guardrails功能透过提供一致的用户体验，标准化生成式AI应用程序的安全和隐私控制，使客户能够安心地进行创新。

电通是全球最大的整合行销和技术服务提供者之一。电通创新与新兴技术执行副总裁Brian Klochkoff表示：「我们致力将行销、技术和谘询整合起来，协助那些希望造福社会的品牌实现以人为本的转型。生成式AI能够让我们更大规模、更快速地为客户提供服务。这项技术不会取代我们的员工，而是为我们全球72,000名员工提供帮助。具体来说，Amazon Bedrock为我们提供了企业级的控制能力和便捷部署第三方模型的能力，以便我们的产品和技术团队能够跨团队分散使用。这让团队能够在一个安全和负责任的环境下，借助最新、最前瞻的生成式AI技术进行革新，为客户打造创新机遇。」

MongoDB透过释放软件和数据的力量，帮助创新者创造、变革和颠覆产业。MongoDB产品长Sahir Azam表示：「愈来愈多来自各行各业的客户希望使用生成式AI来打造下一代应用程序，但仍然有不少人担心数据隐私以及AI驱动系统输出的准确性。为了满足客户的需求，我们将MongoDB Atlas用于Amazon Bedrock的知识库，以便我们的共同客户可以利用运营数据安全地打造生成式AI应用程序，在达到使用者期望的信任度和准确性下创造定制化体验。通过这种整合，客户可以存取业界领先的基础模型，并使用MongoDB Atlas Vector Search处理过的数据来打造应用程序，在正确的语境下提供更多相关的输出。利用Amazon Bedrock知识库中内建的数据隐私最佳实践，客户可以节省在生成式AI营运上花费的时间，从而更专注于技术部署，在AWS上开发更有吸引力的用户体验。」

Salesforce是全球领先的AI客户关系管理（CRM）公司，透过AI、CRM和数据的力量实现高效和可信赖的客户体验。Salesforce资深产品副总裁Kaushal Kurapati表示：「我们致力协助企业以全新、定制化的方式与客户建立联系，AI对实现这承诺来说不可或缺。Amazon Bedrock是我们开放模型生态策略重要的一部分，能够将模型与客户的数据无缝整合，并整合到Salesforce工作流程当中。新增的评估能力可以根据不同标准对比基础模型，包括从友善度、风格和品牌相关性等方面进行比较，进而让模型部署变得前所未有的简单、快速。」