dot Redis 8 已发布——并且是开源的

了解更多
White Redis Logo 返回
搜索

使用 Tecton 和 Redis Enterprise Cloud 交付快速机器学习

LinkedIn-icon
分享
LinkedIn-icon分享到领英
Eddie Esquivel, Solutions Architect at TectonEd Sandoval, Product Manager at Redis

Eddie Esquivel

Ed Sandoval

Ed Sandoval

实时机器学习 (ML) 应用无处不在——从实时批准信用卡交易，到立即为喜爱的流媒体服务生成个性化推荐。这些应用无法承受任何延迟；它们需要实时访问最新数据，以提供超低延迟推理（100 毫秒或更短）。为了给开发者和组织提供具有成本效益的高规模 ML 应用实时能力，我们很高兴共同宣布 Tecton 与 Redis Enterprise Cloud 的一流集成。 

Redis Enterprise Cloud 是 Redis 的最佳版本，可在各云供应商之间提供一流的性能、可扩展性和成本效益。在 Stack Overflow 年度开发者调查中，Redis 已连续五年被开发者评选为最受欢迎的数据库。Redis 在 金融服务、电子商务和游戏行业中广受欢迎，在满足最严苛的延迟（亚毫秒级）和高可用性要求方面拥有良好记录，使其非常适合服务实时 ML 应用的需求。 

Tecton 是领先的企业级特征存储平台，旨在加速 ML 项目的生产就绪时间。其基础源于构建 Uber Michelangelo 的经验，该平台为 Uber 的所有 ML 应用提供支持。Tecton 是一个用于操作和管理生产 ML 应用的数据管道和特征的系统。典型的用例包括欺诈检测、实时推荐、动态定价和个性化。

现在，Tecton 的特征存储与 Redis Enterprise Cloud 集成以进行在线服务，这使得将低延迟、高吞吐量的 ML 用例投入生产比以往任何时候都更容易且更具成本效益。对于在高规模下运行的 Tecton 用户，一项基准分析显示，Redis Enterprise 在实现 3 倍更低延迟的同时，比 Amazon DynamoDB 便宜 14 倍（有关更多信息，请参阅 Tecton 的博客文章）。在本文中，我们将深入探讨 Redis Enterprise 和 Tecton 如何协同工作。

Tecton 如何与 Redis 集成

为了理解 Tecton 和 Redis 如何结合使用来实现实时 ML，让我们来看看将欺诈检测等 ML 用例投入生产的步骤： 

  • 首先，需要原始数据（例如，用户的所有历史交易 + 其实时当前交易）。这些数据很可能分散在企业的各种数据仓库和数据流中。 
  • 要为模型生成特征，您需要连接到这些数据源，并定义和执行将产生特征的数据转换。例如，一个特征可以查看用户过去六个月的平均交易金额，并将其与他们当前的交易进行比较。 
  • 最终，您需要将特征提供给进行实时预测的 ML 模型，并且必须以亚 100 毫秒的延迟完成，以便用户感觉不到任何延迟。

Tecton 的特征存储旨在处理这些步骤，抽象化特征转换和数据管道的所有编排工作，以便您的数据科学和数据工程团队可以专注于构建模型。然而，Tecton 不是计算引擎或数据库。相反，它位于客户已使用的基础设施之上，因此您可以自由构建适合您的 ML 技术栈。

Redis Enterprise Cloud 是这些基础设施组件之一，为 Tecton 特征存储使用的在线存储带来了新的高性能选择。

Tecton 如何使用在线存储与离线存储

Tecton 的特征存储支持 ML 的两种主要访问模式：检索数百万行历史数据用于模型训练，以及在几毫秒内检索单行数据以将特征提供给生产环境中运行的模型。由于这些用例在性能和成本权衡方面差异很大，因此我们支持不同类型的数据库用于离线与在线特征检索。   

对于离线特征存储，Tecton 支持 S3，因为它提供了具有成本效益的存储，并且能够扩展以满足模型训练所需的离线特征服务需求。对于在线特征存储，Tecton 现在为客户提供了 DynamoDB（按需容量模式）和 Redis Enterprise Cloud 之间的灵活选择。

消除训练-服务偏差

如果没有这种双数据库方法，许多组织会为离线训练和在线服务实现单独的数据管道。管道实现方式的微小差异可能完全破坏模型性能，因为模型在训练中看到的数据与在生产中遇到的数据不匹配。这种不匹配称为训练-服务偏差，调试起来非常耗时。 

Tecton 的特征存储通过协调离线和在线环境中的数据来自动解决训练-服务偏差，从而确保数据始终同步。用户可以从仅使用离线存储进行批量推理开始，一旦准备好进行在线推理，只需更新一行代码即可开始将数据具体化到在线存储中。

Redis Enterprise Cloud 对 Tecton 用户的优势

对于在高规模下运行的 Tecton 用户，使用 Redis Enterprise Cloud 的主要优势之一是性能和成本节约。基于对高吞吐量在线特征服务的基准分析，Redis 比 Tecton 上的 DynamoDB 快 3 倍，便宜 14 倍。 

Redis Enterprise Cloud 还提供了出色的运营能力，能够满足当前和未来的低延迟存储需求。它提供高可用性，SLA 达到 99.999% 的正常运行时间，支持多种数据库持久化、备份和恢复选项。拥有大型特征数据集的客户可以通过在 DRAM 和 SSD 上分层存储在线特征来实现额外的成本节约。

如何开始

如果您尚未使用 Redis Enterprise Cloud，可以在此处注册一个账户。我们建议 Tecton 用户在 AWS 中部署 Redis Enterprise Cloud，以最大程度地减少延迟，因为 Tecton 本身就在 AWS 中运行，并且能够与 Redis Enterprise Cloud 建立对等连接。未来，Tecton 计划增加对其他云供应商平台的原生支持。 

如果您不是 Tecton 用户，但有兴趣了解更多信息，可以在此处注册免费试用 Tecton。