dot Redis 8 来了，而且它是开源的

了解更多
White Redis Logo 返回
搜索

AI 网关：它们是什么？如何使用 Redis 部署增强型网关？

LinkedIn-icon
分享
LinkedIn-icon分享到领英

Manvinder Singh

随着越来越多的公司在生产环境中部署生成式 AI 应用，我们听到了一系列不同于最初“生成式 AI POC 阶段”的新挑战。这些新挑战更多地源于扩展和安全使用需求，尤其是在部署与组织外部用户交互的应用时。因此，公司开始将 AI 网关（或“LLM 网关”或“生成式 AI 网关”）作为其 AI 基础设施的关键组件。

什么是 AI 网关？

AI 网关是一种服务，它简化、保护和管理企业环境中对大型语言模型 (LLM) 的访问。它充当管理 AI 工作流的集中平台，为开发人员提供一致的接口（或端点）来与来自不同提供商的模型进行交互。该网关通过限速、PII 匿名化、缓存、安全防护、使用情况跟踪、费用分摊、回退和路由等功能优化和保护 LLM 的使用。 

以下是一些行业中已广为人知的生成式 AI 网关示例：

  • ‘Uber 的生成式 AI 网关’为开发人员提供了一个统一平台，通过模拟 OpenAI 接口的单个、一致接口，访问来自 OpenAI、Vertex AI 和 Uber 自有模型的多个 LLM。
  • ‘Roblox 的 ML 网关’集中管理对大型 AI 模型的访问，结合内部和开源选项，创建了一个更高效的 AI 资源管理系统。 
  • ‘BT 的生成式 AI 网关平台’让公司能够安全、私密地访问来自不同提供商的 LLM。它还包括集中式隐私控制、基于用例的计费和企业搜索等基本功能。

在这些示例中，网关位于应用和底层 LLM 之间，充当守门人。它控制数据访问，强制遵守既定规则，并监控生成式 AI 应用的行为。此外，通过抽象化不同的 AI API，组织可以避免锁定特定提供商，并随着 AI 格局的发展保持灵活性。

每个 AI 网关所需的八个关键功能

AI 网关平台汇集了一系列基本功能，通常根据每个企业的需求进行定制。但有八个关键功能是每个网关都应该具备的——这些功能已在企业设置中广泛采用。 

  1. 统一 API：提供一个单一、一致的接口，用于访问和与多个 AI 模型和提供商进行交互，通常使用像 OpenAI API 这样广泛使用的标准，以提高易用性和兼容性。
  2. 限速：允许您根据特定标准灵活地将 AI 请求路由到不同的模型，以管理工作负载。这可能包括用于性能优化的负载均衡、用于处理故障或每个应用容量限制的回退机制。
  3. 路由（基于意图）：将请求导向最适合每个任务的模型，通常基于将传入请求的含义与预定义路由进行语义比较。这通常通过语义路由器实现。 
  4. 缓存：通过在分布式内存数据库中缓存 LLM 响应来改进推理的延迟和成本。使用语义缓存，可以将传入查询与缓存查询进行语义比较，以获得更好的命中率和更流畅的性能。 
  5. PII 匿名化：在将敏感信息发送到外部 AI 模型之前，通过屏蔽或匿名化数据来确保其安全。这可以防止数据泄露，并确保您遵守隐私法规。
  6. 安全防护：通过添加安全检查和防护措施，过滤掉有害或不当内容，检测并阻止包含敏感数据的请求，以及审核 AI 生成输出的质量和合规性，从而确保 AI 的负责任使用。 
  7. 使用情况跟踪（和费用分摊）：通过跟踪令牌使用量、设置预算限制、分摊成本以及分析按应用、用户或部门划分的使用模式，来控制 AI 服务的支出。
  8. 凭证管理：通过集中管理用于外部服务（如 LLM 与嵌入生成提供商，例如 OpenAI、Anthropic 和 Hugging Face）的密钥，来保护 AI 的使用。
AI 网关典型能力

构建您的 AI 网关

来自 Kong、Databricks、Portkey 和 Cloudflare 的新网关解决方案为许多团队提供了简便的部署选项。尽管如此，仍有许多企业客户正在构建自定义平台，以适应其特定的环境和需求。

即使是构建自有网关的团队，也可以从提供基本组件的成熟开源和企业解决方案中受益。以下是可用于构建生成式 AI 网关或平台的常用技术列表：

  • LiteLLM：LiteLLM 是一种工具，它通过单个 API1 提供了一种标准化方式来访问来自不同提供商的各种大型语言模型 (LLM)。这简化了与各种 LLM 交互和比较的过程。
  • Guardrails AI: 一个框架，通过在您的应用中运行输入/输出防护来帮助构建可靠的 AI 应用，这些防护可以检测、量化和缓解特定类型的风险，例如 PII 泄露、粗俗语言、偏离主题的对话等。
  • Langfuse：通过其用于 LLM 可观察性、指标、评估和提示管理的开源套件，涵盖了使用情况跟踪。Langfuse 集成 LlamaIndex、Langchain、OpenAI SDK 和 LiteLLM。 
  • Hashicorp Vault：管理安全密钥、加密即服务和特权访问控制管理，可用于管理 AI API 服务的凭据。Redis 是 Hashicorp Vault 支持的数据库之一。 
  • Redis：一个高性能、一体化的数据平台和向量搜索解决方案，可以为关键的 AI 网关服务提供支持。接下来，我们将探讨为什么 Redis 是构建可扩展 AI 网关的理想数据堆栈。

Redis 在增强 AI 网关中的作用

Redis 以 AI 网关所需的速度和灵活性为其提供支持。凭借顶级的性能（包括最快的向量搜索基准测试）以及对多种数据类型的灵活支持，Redis 无缝处理缓存、路由、限速、凭据管理、安全防护和 PII 匿名化。以下是一些描述如何将 Redis 用于这些用例的有用链接：

  • 检索增强生成 (RAG)：Redis 向量数据库提供最快的向量搜索和数据检索，从而使生成式 AI 应用更快。通过 AI 网关将快速数据访问与 LLM 相结合，团队可以获得高性能且准确的 RAG。请参阅此处，了解如何使用 Redis 开始使用 RAG。
  • 限速：Redis 支持多种限速算法，例如固定窗口、滑动窗口和令牌桶，并且每秒可以处理大量请求，使其非常适合限速。团队可以按模型设置限制、跨模型进行负载均衡，或者甚至在模型达到其限制时创建回退路由。查看此指南，了解如何使用 Redis 在 Python 中实现限速。
  • 缓存：Redis 是缓存模型响应的首选，具有低延迟和强大的缓存功能。通过使用语义缓存来搜索相似查询并在缓存命中时返回响应，组织可以同时降低延迟和推理成本。Redis 通过其 RedisVL Python 客户端库使语义缓存变得容易。在此处了解更多信息。  
  • 路由器和安全防护：Redis 提供高性能向量搜索，非常适合构建快速、低延迟的路由器。开发人员可以根据示例查询定义路由，然后使用语义搜索将传入请求导向正确的模型。这种方法还允许阻止某些查询类型并添加安全防护以确保安全。  在此处找到使用 Redis 和 RedisVL 设置语义路由器的详细指南。 
  • 其他用例（存储凭据、使用数据、PII 等）：Redis 的多功能性以及对多种数据类型的支持使其成为各种网关服务背后数据库的可靠选择。  例如，Redis 可用作 Hashicorp Vault 秘密管理器的存储层，在脱敏过程中安全地保存检索到的 PII 数据，并作为自定义可观察性平台的一部分存储使用数据。借助 Redis，开发人员可以获得一个涵盖多种用例的单一平台——无需处理不同的数据库。

最后，Redis 可在多个平台使用，并可部署在公共云（作为托管服务或自管理软件）和本地。这种灵活性对于在云和本地环境中运行 ML 模型的组织至关重要。

让我们开始构建

使用 Redis 为您的 AI 网关提供支持，您可以构建一个强大的系统，该系统可以保护、控制和优化您的生成式 AI 应用——同时支持道德实践。查看下面的资源，立即开始使用 Redis 进行构建，或联系我们的团队讨论 AI 网关。 

  • Redis AI 资源：包含代码示例和笔记本的 GitHub 仓库，可帮助您构建 AI 应用。 
  • Redis AI 文档：快速入门和教程，助您快速上手。
  • Redis Cloud：部署 Redis 的最简单方式——在 AWS、Azure 或 GCP 上免费试用。