使用 Tecton 和 Redis Enterprise Cloud 实现快速机器学习

实时机器学习 (ML) 应用程序无处不在——从实时批准信用卡交易到立即生成您最喜欢的流媒体服务的个性化推荐。这些应用程序不能承受任何延迟；它们需要实时访问最新数据才能提供超低延迟推理（100 毫秒或更短）。为了为开发人员和组织提供经济高效的实时功能，以用于大规模 ML 应用程序，我们很高兴共同宣布 Tecton 和 Redis Enterprise Cloud 的一流集成。

Redis Enterprise Cloud 是 Redis 的最佳版本，在所有云供应商中提供一流的性能、可扩展性和成本效益。在 Stack Overflow 的年度开发者调查中，Redis 已连续五年被开发者评为最受欢迎的数据库。Redis 在金融服务、电子商务和游戏行业中广受欢迎，它在满足最苛刻的延迟（亚毫秒级）和高可用性要求方面拥有良好的记录，使其非常适合满足实时 ML 应用程序的需求。

Tecton 是面向希望加快 ML 项目上市时间的企业的领先特征存储。它的基础来自于构建 Uber Michelangelo 的经验，Michelangelo 是为 Uber 驱动所有 ML 应用程序的平台。Tecton 是一个用于操作和管理生产 ML 应用程序的数据管道和特征的系统。典型的用例包括欺诈检测、实时推荐、动态定价和个性化。

现在，由于 Tecton 的特征存储与 Redis Enterprise Cloud 集成以进行在线服务，因此生产低延迟、高吞吐量 ML 用例比以往任何时候都更加容易且经济高效。对于以大规模运行的 Tecton 用户而言，基准分析表明，Redis Enterprise 的延迟速度提高了 3 倍，同时成本降低了 Amazon DynamoDB 的 14 倍（有关更多信息，请参阅 Tecton 的博客文章）。在本文中，我们将更深入地了解 Redis Enterprise 和 Tecton 如何协同工作。

Tecton 如何与 Redis 集成

为了了解 Tecton 和 Redis 如何协同工作以实现实时 ML，让我们看一下生产欺诈检测等 ML 用例的步骤：

首先，需要原始数据（例如，用户的全部历史交易 + 他们的当前实时交易）。这些数据很可能分布在整个企业中的各种数据仓库和数据流中。
要为模型生成特征，您需要连接到这些数据源并定义和执行将产生特征的数据转换。例如，一个特征可能查看用户过去六个月的平均交易额，并将其与他们的当前交易进行比较。
最终，您需要将特征提供给正在进行实时预测的 ML 模型，并且以亚 100 毫秒的延迟执行此操作，以便用户不会感知到任何延迟。

Tecton 的特征存储旨在处理这些步骤，它抽象出编排特征转换和数据管道的所有工作，以便您的数据科学和数据工程团队可以专注于构建模型。但是，Tecton 不是计算引擎或数据库。相反，它位于客户已经使用的基础设施之上，因此您可以自由构建适合您的 ML 堆栈。

Redis Enterprise Cloud 是这些基础设施组件之一，它为客户带来了一个用于 Tecton 的特征存储所使用的在线存储的新型高性能选项。

Tecton 如何使用在线存储与离线存储

Tecton 的特征存储支持 ML 的两种主要访问模式：检索数百万行历史数据以进行模型训练，以及在毫秒内检索一行以将特征提供给在生产中运行的模型。由于这些用例在性能和成本权衡方面截然不同，因此我们支持不同类型的数据库来进行离线与在线特征检索。

对于离线特征存储，Tecton 支持 S3，因为它提供了经济高效的存储，能够扩展以满足您对模型训练的离线特征服务需求。对于在线特征存储，Tecton 现在为客户提供了在 DynamoDB（按需容量模式）和 Redis Enterprise Cloud 之间进行灵活选择的选项。

消除训练服务偏差

如果没有这种双数据库方法，许多组织会为离线训练和在线服务实施单独的数据管道。管道实施方式的细微差异会导致模型性能完全下降，因为模型在训练中看到的数据与它在生产中遇到的数据不匹配。这种不匹配称为训练服务偏差，并且调试起来非常耗时。

Tecton 的特征存储通过协调离线和在线环境中的数据来自动解决训练服务偏差，因此始终保持同步。用户可以从仅使用离线存储和批次推理开始，并在准备好进行在线推理后，更新一行代码以开始将数据物化到在线存储中。

使用 Redis Enterprise Cloud 的 Tecton 用户的优势

对于以大规模运行的 Tecton 用户来说，使用 Redis Enterprise Cloud 的主要优势之一是性能和成本节省。根据对以高吞吐量服务在线特征的基准分析，Redis 比 Tecton 上的 DynamoDB 快 3 倍，成本低 14 倍。

Redis Enterprise Cloud 还提供了出色的运营能力，可以满足当前和未来的低延迟存储需求。它提供了高可用性，SLA 为 99.999% 的正常运行时间，以及多个数据库持久性、备份和恢复选项。拥有大型特征数据集的客户可以通过在 DRAM 和 SSD 上分层在线特征存储来实现额外的成本节省。

如何开始

如果您还没有使用 Redis Enterprise Cloud，您可以在此处注册一个帐户。我们建议 Tecton 用户在 AWS 中部署 Redis Enterprise Cloud，以最大程度地减少延迟，因为 Tecton 在 AWS 中本地运行，并且能够建立对 Redis Enterprise Cloud 的对等连接。将来，Tecton 计划为其他云供应商平台添加原生支持。

如果您不是 Tecton 用户，并且有兴趣了解更多信息，您可以在此处注册 Tecton 的免费试用。