dot 快速的未来正在您所在的城市举行活动。

加入我们参加 Redis 发布会

Redis 企业为 Docugami 的 LLM 提供支持,将文档转换为可操作的数据

公司:Docugami
行业:软件,文档处理

docugami hero image

客户

Docugami 使用生成式 AI 技术来改变企业创建和管理文档的方式。其专有的商业文档基础模型将商业文档转换为数据。Docugami 是跨行业的,在从商业保险到医疗保健、房地产到专业服务等多个行业拥有客户。  

挑战

在使用 Apache Spark 数据处理环境遇到性能和延迟挑战后,Docugami 寻求一种解决方案,将检查点数据存储在数据库缓存中,以加快处理速度。Docugami 还需要一个向量数据库,可以加速基本生成式 AI 任务,例如检索增强生成 (RAG)、上下文学习 (ICL) 和向量搜索。

解决方案

Redis 企业提供了一个全面的数据管理平台,可帮助简化生成式 AI 项目生命周期的关键方面,从缓存 Apache Spark 检查点数据到在文档知识库上启用 VSS。Redis 还为 Docugami 的 ML 管道提供了一个向量存储,并结合自动分层功能将数据库扩展到 DRAM 之外,文档索引和 AI 支持的搜索功能。

结果

Redis 企业可以轻松地大规模存储、搜索和更新向量嵌入,通过确保 Docugami 的基础模型接收最及时、相关和最新的上下文来改善用户体验。Redis 还缓解了 Docugami 的 Apache Spark 处理管道中的瓶颈,该管道由于高 I/O 而受阻。 

Docugami Photo 1

根据麦肯锡公司 2023 年 8 月的一份报告,今天近 22% 的知识工作者使用生成式 AI 系统来完成工作。1 Docugami 处于这股上升浪潮的最前沿,它拥有独特的专用大型语言模型 (LLM) 系列,可应用于企业商业文档。

Docugami 的专有商业文档基础模型解锁了企业文档中的关键信息,并使用它来生成报告、发现见解、创建新文档以及开发企业应用程序的数据流——所有这些都不需要客户投资机器学习、员工培训或 IT 开发。

“我们从事将文档转换为数据,以及利用 AI 的力量创建文档的业务,”Docugami 联合创始人兼产品负责人 Taqi Jaffri 解释说。“Redis 企业是我们运营的核心。”

该流程从摄取客户的内部数据和商业文档开始。对于保险公司来说,这可能包括保单和索赔。对于商业房地产公司来说,文档将包括上市协议、购买协议和销售凭证。Docugami 创建了其整个文档内容的层次结构表示,这使得其 LLM 可以组装新文档、生成见解以及向业务线系统提供输入。 

Docugami 的 AI 算法将此过程的输出转换为“块嵌入”,并将其存储在 Redis 企业中。嵌入是无结构数据的数值表示,它捕获语义信息。Redis 企业向量功能 使 Docugami 能够大规模捕获、搜索和更新这些嵌入。 

Redis 企业还用于从商业文档中进行基于聊天的检索,这些文档以 XML 树的形式维护。此功能不仅提高了 Docugami 理解每个文档相关性的能力,而且还加快了用户查询 LLM 时反馈循环的速度,从而增强了整体用户体验。 

Docugami 联合创始人兼技术负责人迈克·帕尔默在最近的一篇博客文章中解释了这些技术的意义。“Redis 企业使我们能够更高效地处理文档集,从而提高文档处理工作的连贯性和准确性,”他写道。“我们过渡到 Redis 企业也扩展到文档中标识的层次化块的持久层。这些块以及用户对其的反馈对于我们的运营至关重要。”2

使用 Redis 企业补充和扩展 Spark 环境

基础模型是生成式 AI 应用程序的基石,因为它们使 Docugami 等公司能够构建专门的、特定于领域的系统,从而将当今的 AI 和 ML 技术投入使用。Docugami 使用 Apache Spark 来处理其文档处理和分析管道,但 Spark 的“话痨”架构需要过多的 I/O 操作,这给存储层带来了过大的压力。 

“大型处理作业由于 Spark 的高频访问模式而引入了大量的延迟,”Jaffri 说。“问题的规模需要大量的计算资源。例如,一家大型公司可能拥有数万份文档和数百万页内容。”

在尝试了来自各种云提供商的托管存储层之后,Docugami 购买了 Redis 企业,然后将其部署为 Spark 底层的数据层。为了获得最大的灵活性和可扩展性,他们在 Kubernetes 容器中部署了 Redis 企业。“Redis 企业 Kubernetes 运算符在性能成本降低方面取得了显著的改进,证明了这种现代、高性能数据库解决方案的强大功能,”帕尔默说。

Redis 企业通过提供一个软件解决方案来解决许多独特的技术问题,从而简化了 Docugami 架构。例如,Docugami 使用 Redis 企业作为其 Spark ML 管道的向量存储,以回收被删除或过时数据占用的空间。Redis 企业的自动分层 使 Docugami 能够高效地处理太大而无法容纳在内存中的超大型数据集。

适合 LLM 的正确向量数据库

Docugami Photo 2

如今超过 80% 的企业数据是无结构的,以文本、图像、音频、视频和其他格式存储。为了识别此数据中的内在模式、术语和关系,Docugami 的生成式 AI 解决方案采用了各种流行的技术,例如检索增强生成 (RAG)、上下文学习 (ICL) 和少样本提示。 

Redis 企业补充和扩展了这些生成式 AI 技术。例如,Docugami 使用 Redis 作为持久化、层次化的数据库,用于在特定于领域的知识库中存储文档,作为生成式 AI 过程的一部分。Redis 企业支持 AI 支持的搜索功能,例如向量搜索,这些功能使用深度学习和其他高级技术来根据对内容的上下文理解来回答查询。  此外,Redis 的 RAG 功能使 Docugami 的基础模型能够访问最新的或特定于上下文的數據,从而提高查询和搜索的准确性和性能。Redis 企业还提供了强大的混合语义功能,可以在用户提示发送到 LLM 之前将相关的上下文数据注入提示。 

Docugami Diagram

最后,Redis 企业存储外部特定于领域的知识,以提高 Docugami 的文档 XML 知识图搜索结果的质量。 此功能允许人们使用自然语言提示搜索无结构数据。“通过 Redis 企业,我们看到了文档 XML 知识图的性能大幅提升,以及成本显著降低,”帕尔默说。“这些运营改进促进了更高效、可靠的文档处理工作流程。”

在未来,Docugami 打算使用 Redis 企业进行语义缓存,通过使基础模型能够更快地提供响应来进一步提高其性能。虽然标准缓存提供了一种机制来存储和快速检索针对重复查询的预生成响应,但语义缓存将允许模型理解和利用每个查询的底层语义。 

“语义缓存将使我们能够将 Redis 企业不仅用于相同的查询,也用于类似的查询,”Jaffri 解释说。“例如,‘显示所有包含与本文档中的文本字符串相似的文本字符串的查询和问题。’”

提高性能、可靠性和可扩展性

自从标准化使用 Redis 企业以来,Docugami 已经看到了性能和可靠性的稳步提高,克服了他们在使用之前的数据库管理系统时遇到的业务问题。Jaffri 认为,其他使用 Apache Spark 的生成式 AI 企业将被迫面对同样的问题,导致 Redis 企业的实施越来越多。

“许多公司使用 Spark,因为它经过了考验,它可以很好地扩展,并且被广泛使用,”他指出。“但是,随着越来越多的公司开发和运行生成式 AI 模型,他们将遇到与我们遇到的一样的 Spark 限制。 

“我们对 Redis 企业非常满意,因为它使我们能够更快、更可靠地完成工作,”Jaffri 继续说道。“这是我们的一项核心业务宗旨。Redis 企业是一个改变游戏规则的人。它是一个快速、高性能的向量数据库——而 Redis 是一个很棒的合作伙伴。”

Palmer 同意道:“我们采用 Redis Enterprise 后,我们的 ML 管道、ML Ops 和整体文档处理操作都取得了显著改进。Redis Enterprise 通过更好的分块、更高效的向量数据库以及可扩展性的巨大进步,帮助我们兑现了对质量和效率的承诺。”

1 “2023 年人工智能现状:人工智能的突破之年”(麦肯锡公司,2023 年 8 月 1 日)
2 新 LLM 堆栈和 ML Ops:Docugami 选择 Redis Enterprise 来扩展文档处理管道