监控从 Amazon SageMaker JumpStart 部署的 LLM 的嵌入漂移 机器学习博

监测从 Amazon SageMaker JumpStart 部署的 LLMs 嵌入漂移

作者 Abdullahi Olaoye Randy DeFauw Shelbee Eigenbrode发布日期 2024年2月2日来源 AWS 机器学习博客

关键要点

在本文中，我们将探讨如何监测生成 AI 工作负载中的嵌入漂移，特别是 Retrieval Augmented Generation (RAG) 模式。通过对嵌入向量的分析，我们可以回答以下重要问题：

我们将展示如何使用聚类技术检测嵌入漂移，并通过实际例子帮助理解相关概念。

概述 RAG

RAG 模式 允许你从外部源如 PDF 文档、维基文章或通话记录中检索知识，并利用这些知识增强发送给 LLM 的指令提示。这使得 LLM 在生成响应时能够参考更相关的信息。例如，当询问如何制作巧克力碎片饼干时，LLM 可以从你的食谱库中提取信息。在这个模式中，食谱文本会被转换为嵌入向量，并存储在向量数据库中。

嵌入向量分析

嵌入向量是我们数据的数字表示，因此对这些向量的分析可以提供对参考数据的洞察，帮助我们检测潜在的漂移信号。嵌入向量在 n 维空间中表示一项数据，通常 n 是相当大的。例如，文中提到的 GPTJ 6B 模型生成的向量大小为4096。

我们通过主成分分析PCA进行维度降低，目的是在尽量保留数据方差的情况下减少维度。接着采用 KMeans 聚类技术识别一组聚类中心。

检测嵌入漂移

我们可以定期比较数据的快照，分析嵌入的变化。例如，表格可展示各快照的维度数、惯性和轮廓分数的变化。

变量不同快照的情况维度数当前快照需要比基线多 39 个维度惯性上升，样本远离聚类中心轮廓分数下降，聚类定义不清

此外，通过比较每个聚类中的样本比例变化，可以深入了解新参考数据与先前数据的相似度。

参考数据的覆盖

为了评估我们参考数据与用户提问的对齐程度，我们将每个提示嵌入分配到一个参考数据聚类，并计算距离。这些信息将随时间变化储存下来，帮助我们判断参考数据与新问题的语义重叠程度。

示例应用程序

为收集前述实验结果，我们构建了一个示例应用程序，采用嵌入和生成模型，通过 SageMaker JumpStart 部署，并托管在 Amazon SageMaker 实时端点。

应用的核心组件包括：

你可以在 GitHub 找到完整的示例代码。

通过 SageMaker JumpStart 部署模型

两个模型都需要从 SageMaker JumpStart 部署：第一个是 GPTJ 6B 用于嵌入，第二个是 Falcon40b 用于文本生成。

请根据之前的指导，通过 AWS 管理控制台、Amazon SageMaker Studio 或编程进行模型部署。

清理

完成后，确保删除所有创建的资源，以避免未来的费用。

结论

本文展示了如何通过捕获嵌入向量监测参考数据和提示的漂移，并采用聚类分析评估参考数据的覆盖情况。如果检测到漂移，这可能表明环境已发生变化，而模型输入可能未能优化以应对新情况。

关于作者

Abdullahi Olaoye 是 AWS 的高级解决方案架构师，拥有计算机网络硕士学位，并在多个技术领域工作。

Randy DeFauw 是 AWS 的高级首席解决方案架构师，拥有电气工程硕士学位，专注于机器学习项目。

Shelbee Eigenbrode 作为 AWS 的首席 AI 和机器学习专家解决方案架构师，致力于 MLOps 领域。

如需了解更多，请访问 AWS 机器学习博客。