Docugami 如何使用 Redis 提升 AI 文档处理的准确性 - Redis

挑战

Docugami 需要一种分布式服务架构，使其专利 AI 能够以卓越的准确性、极快的响应时间和可负担的成本处理大型工作负载，从而让客户能够实时与其自身的长篇文档直接交互。

Docugami 对 Redis 的使用随着时间的推移大幅扩展。最初，在其 Apache Spark 数据处理环境中遇到性能和延迟挑战后，Docugami 寻求一种解决方案，将 Spark 检查点数据存储在缓存中，以加快处理速度并降低销售成本 (COGS)。

公司还需要一个向量数据库，能够加速生成式 AI 的核心任务，例如检索增强生成 (RAG)、情境学习 (ICL) 和向量搜索。

“

Docugami 在用于商业文档的 AI 方面提供了无与伦比的准确性。Docugami 专有的商业文档基础模型专为商业用户构建，是一个深度且获得专利的技术栈，具有代理式质量控制功能，使用多个频繁更新的先进开源 LLM 来生成知识图谱，从而捕获复杂商业文档中的所有信息。Redis 是我们服务基础设施的基石，帮助我们大规模交付 Docugami 企业级、行业领先的精确性和准确性，同时提供出色的响应时间和经济性。”

Jean Paoli

Docugami 首席执行官

解决方案

Redis 提供了一个全面的数据管理平台，几乎支持 Docugami 分布式服务架构的各个方面。Redis 还为 Docugami 的 ML 管道提供向量存储，并结合自动分层将数据库扩展到 DRAM 之外，同时支持文档索引和 AI 驱动的搜索功能。

结果

Redis 使 Docugami 能够以极高的速度和规模处理数据项，从而让客户能够大规模地与其长篇文档库进行实时交互。Redis 还帮助 Docugami 消除了对 Apache Spark 和其他服务的依赖，从而显著节省了成本并简化了运营。Redis 使大规模存储、搜索和更新向量嵌入变得容易，通过确保 Docugami 的基础模型接收到最及时、最相关和最新的上下文，从而改善了用户体验。

大规模驱动 AI 商业文档处理

根据微软 2024 年 5 月的一份报告，当今 75% 的知识工作者在其工作中使用生成式 AI 系统 [1]。Docugami 正处于这股上升浪潮的浪尖，拥有一系列独特的大型语言模型 (LLM)，这些模型能够以企业所需的准确性、效率和安全性应用于公司商业文档。

Docugami 专有的商业文档基础模型解锁公司文档中的关键数据和信息，并使用它们来生成报告、发现洞察、创建新文档以及为企业应用开发数据流——所有这一切都无需客户投资于机器学习、员工培训或 IT 开发。

Docugami 首席执行官 Jean Paoli 表示：“Docugami 在用于商业文档的 AI 方面提供了无与伦比的准确性。Docugami 专有的商业文档基础模型专为商业用户构建，是一个深度且获得专利的技术栈，具有代理式质量控制功能，使用多个频繁更新的先进开源 LLM 来生成知识图谱，从而捕获复杂商业文档中的所有信息。” “Redis 是我们服务基础设施的基石，帮助我们大规模交付 Docugami 企业级、行业领先的精确性和准确性，同时提供出色的响应时间和经济性。”

该过程始于摄取客户的内部数据和商业文档。对于一家保险公司来说，这可能包括保单和索赔。对于一家商业房地产公司来说，文档将包括上市协议、采购协议和销售单据。Docugami 为每个文档的全部内容创建一个分层表示，称为知识图谱，这使得其 LLM 能够组装新文档、生成洞察并识别可以驱动业务线系统的关键数据。

Docugami 的 AI 算法将此过程的输出转换为“分块嵌入”并将其存储在 Redis 中。嵌入是非结构化数据的数字表示，用于捕获语义信息。Redis 的向量能力使 Docugami 能够大规模捕获、搜索和更新这些嵌入。

Redis 还用于从商业文档进行基于聊天的检索，这些文档以 XML 知识图谱的形式维护。此功能不仅提高了 Docugami 理解每个文档相关性的能力，还加快了用户查询 LLM 时的反馈循环，从而增强了整体用户体验。

Redis 深度集成到 Docugami 的文档处理工作流中。该架构确保文档能够实时处理并生成数据，从而驱动业务逻辑和工作流。这对于确保 Docugami 构建的模型保持响应能力并能够应用于当前和未来的业务运营尤其关键。

Docugami 正在逐步将其整个服务迁移到 Redis。这一转变反映了他们对 Redis 处理不断增长的工作负载能力的信心，确保随着公司扩展其产品而具备可伸缩性。

Docugami 联合创始人兼技术主管 Mike Palmer 说：“我们最初开始使用 Redis Enterprise 来帮助改进我们的 Apache Spark 文档处理管道，并增强我们文档分块嵌入的语义搜索能力。” “随着我们对它的能力了解得越来越多，我们将越来越多的关键任务功能迁移到了 Redis，并且我们一直对其强大的能力、性能、弹性和成本效益印象深刻。目前，我无法想象在没有 Redis 的情况下构建一个分布式服务架构。”

利用 Redis 获得更高的速度和响应能力

基础模型是生成式 AI 应用的基石，因为它们使像 Docugami 这样的公司能够构建专业化的、特定领域的系统，从而利用当今的 AI 和 ML 技术。Docugami 曾使用 Apache Spark 作为其文档处理和分析管道，但 Spark 的“多话”架构需要过多的 I/O 操作，这使得存储层压力过大。Docugami 发现，即使是很小的调度延迟也会让系统对用户感觉不响应。

Docugami 转向使用 Redis 来解决他们遇到的延迟问题。Redis 极大地提高了性能，提供了亚秒级的响应时间，使 Docugami 能够以最终用户感觉是交互式的速度处理工作项。

Mike Palmer 说：“我们由 Redis 提供支持的新架构有助于大规模快速处理任务，实现了客户所期望的实时交互，尤其是在他们与文档数据聊天时” [2]。

Redis 通过提供一个软件解决方案来解决许多独特的技术问题，从而简化了 Docugami 的架构。例如，Docugami 使用 Redis 作为其 ML 管道的向量存储，以回收被删除或过时数据占用的空间。Redis Flex 允许 Docugami 有效处理大到无法完全放入内存的超大型数据集。

适用于 LLM 的正确向量数据库

当今超过 80% 的商业数据是非结构化的，以文本、图像、音频、视频和其他格式存储。为了识别这些数据中固有的模式、术语和关系，Docugami 的生成式 AI 解决方案采用了各种流行的技术，例如检索增强生成 (RAG)、情境学习 (ICL) 和少样本提示，并结合了专利技术来创建 Docugami 的 XML 知识图谱。

Redis 补充并扩展了这些生成式 AI 技术。例如，Docugami 使用 Redis 作为持久的、分层数据库，用于在特定领域的知识库中存储文档，作为生成式 AI 过程的一部分。Redis 提供了 AI 驱动的搜索能力，例如向量搜索，它使用深度学习和其他高级技术，基于对内容的上下文理解来回答查询。

此外，Redis 的 RAG 能力使 Docugami 的基础模型能够访问最新或特定于上下文的数据，从而提高查询和搜索的准确性和性能。Redis 还提供强大的混合语义能力，在用户提示发送给 LLM 之前将相关的上下文数据注入其中。

最后，Redis 存储外部特定领域的知识，以提高从 Docugami 的文档 XML 知识图谱中获得的搜索结果质量。此功能允许人们使用自然语言提示搜索非结构化数据。“通过 Redis，我们看到了文档 XML 知识图谱性能的显著提升，并且成本显著降低，”Palmer 说。“这些运营改进促进了更高效、更可靠的文档处理工作流。”

“

我们最初开始使用 Redis 来帮助改进我们的 Apache Spark 文档处理管道，并增强我们文档分块嵌入的语义搜索能力。随着我们对它的能力了解得越来越多，我们将越来越多的关键任务功能迁移到了 Redis，并且我们一直对其强大的能力、性能、弹性和成本效益印象深刻。目前，我无法想象在没有 Redis 的情况下构建一个分布式服务架构。

Mike Palmer

Docugami 联合创始人兼技术主管

驱动高级检索增强生成 (RAG)

Docugami 是 AI 一个有前景的领域——检索增强生成 (RAG) 的领导者之一。标准生成式 AI 的一个主要担忧是许多模型倾向于在响应用户提示时编造不准确的信息，这个过程有时被称为“幻觉”。在关键的商业环境中，这种不准确性是不可接受的，因此 Docugami 专注于确保客户可以信赖的准确性和有效性的技术。

RAG 不是仅仅依靠预训练的 LLM 模型来生成结果，而是从用户的文档或外部知识库中检索相关信息，并将其整合到生成过程中。这提高了模型的准确性，使响应更具上下文感知能力并基于事实。

Docugami 的 KG-RAG（知识图谱-RAG）优于其他 RAG 方法，因为它使用独有的分层语义分块技术，从组织自身的完整非结构化文档中创建全面的 XML 知识图谱，然后将其用作增强查询响应的基础，从而实现更准确的 RAG。

Redis 以多种方式支持 Docugami 的 RAG 执行。首先，Redis 在高性能、低延迟的数据检索方面表现出色，这对于 RAG 管道至关重要。在 RAG 系统中，先前确认的内部信息或外部知识通常从数据库或向量存储中获取，以增强生成模型的响应。

Redis 可以充当向量数据库，存储文档、知识库或商业相关内容的嵌入。当 LLM 在生成过程中查询这些知识时，Redis 几乎瞬时快速检索最相关的向量，提供交互式 AI 应用（如聊天机器人或文档生成系统）所需的亚秒级响应。

构建具有卓越 RAG 能力的应用

Redis 对向量相似性搜索的原生支持使其成为 RAG 架构中的强大工具，允许 LLM 从庞大的文档、文章或商业数据存储库中高效地提取上下文。
Redis 的缓存能力还通过存储频繁检索的数据来增强 RAG 系统。在多次进行类似查询（例如，常见问题解答、重复的业务查询）的场景中，Redis 可以缓存这些检索结果，通过绕过冗余的数据库调用来加快整个过程。
Redis 支持 RAG 实现中更复杂的工作流，特别是当文档或数据源分布在多个数据库或系统时。将 Redis 用作联合缓存层，企业可以将不同的缓存或数据存储统一到单一、统一的数据访问点。
Redis 为 RAG 架构提供了高可伸缩性，确保随着数据量或查询数量的增长，系统可以在性能不下降的情况下处理这些增加的工作负载。
在 RAG 系统中，Redis 可以作为 AI 模型训练或微调过程中的快速、实时数据层。随着 AI 模型通过检索增强生成得到改进，它们通常需要实时更新新的数据或洞察。Redis 可以管理新数据的流入，确保模型使用最新的相关信息进行训练或微调。
Redis 支持交互式基于 RAG 的应用中的实时反馈循环。当用户与系统交互时，Redis 可以立即存储和检索新的数据输入，从而允许 RAG 模型根据新信息快速适应。