什么是 Redis 数据集成 (RDI)？
最后更新于 2024 年 5 月 18 日
问题
什么是 Redis 数据集成 (RDI)？
回答
RDI 是 Redis（公司）提供的一款数据集成产品，可简化将数据引入 Redis Enterprise 的过程。数据可以从现有（非 Redis）系统摄取，经过转换，然后加载到 Redis Enterprise 中。我们的产品 RDI 开箱即用地支持 Debezium Server。Debezium Server 是一个用于 CDC 的开源分布式平台。以下简要说明了如何使用 RDI 实现 CDC 模式： 初始数据同步
- Debezium 将获取包含要镜像到 Redis 的数据的基线快照，这些数据已存在于源数据库中。它会将这些更改流式传输到 RDI 数据库实例。
- 然后，使用此 RDI 数据库内的转换引擎（基于 Redis Gears）对数据进行转换。可以使用声明性配置设置如何执行此转换。
捕获持续的数据变化
- 使用 Debezium 连接器从源数据库（我们要从中流式传输更改）捕获数据变化。关系数据库系统的此类 Debezium 连接器通常会读取事务（或预写）日志文件来捕获更改。
- Debezium Server 将这些数据变化推送到一个 RDI 数据库实例中，该实例将其缓冲在 Redis Streams 中。此 RDI 数据库还保存所需的状态信息和元数据。
- 然后，根据转换配置在此 RDI 数据库中对数据进行转换。
- 最后，转换结果被加载到预配置的目标 Redis DB 中。
简单来说，借助 RDI 和 Debezium Server，我们可以自动捕获写入其他数据库（目前支持 Oracle、Postgres、MySQL、MS SQL 和 MariaDB）的数据，并将其同步到 Redis Enterprise 中的哈希（或 JSON 文档）中。RDI 通常不限于 CDC。它还可以用于实现其他数据集成模式。任何可以写入 RDI 数据流的源都是有效的。然而，CDC 是目前的主要用例。