什么是 Redis 数据集成 (RDI)?

上次更新时间:2024 年 5 月 18 日

问题

什么是 Redis 数据集成 (RDI)?

回答

RDI 是 Redis(公司)提供的数据集成产品,简化了将数据导入 Redis Enterprise 的过程。数据可以从现有的(非 Redis)系统中提取,转换,然后加载到 Redis Enterprise 中。我们的产品 RDI 附带对 Debezium Server 的开箱即用支持。Debezium Server 是一个用于 CDC 的开源分布式平台。以下是关于如何使用 RDI 实现 CDC 模式的一个简要说明: **初始数据同步**

  • Debezium 将获取包含您要镜像到 Redis 的数据的基线快照,这些数据已经存在于源数据库中。它将把这些更改流式传输到 RDI 数据库实例。
  • 然后,使用此 RDI 数据库中的转换引擎(基于 Redis Gears)对数据进行 **转换**。声明性配置可以设置如何执行此转换。

捕获正在进行的数据更改

  • 使用 Debezium 连接器从源数据库(我们希望从中流式传输更改的数据库) **捕获** 数据更改。此类用于关系数据库系统的 Debezium 连接器通常会读取事务(或预写)日志文件以捕获更改。
  • Debezium Server 将这些数据更改推送到 RDI 数据库实例,该实例在 Redis Streams 中缓冲它们。此 RDI 数据库还保留所需的状态信息和元数据。
  • 然后,根据转换配置在 RDI 数据库中 **转换** 数据。
  • 最终,将转换结果 **加载** 到预先配置的目标 Redis 数据库中。

用最简单的术语来说 - 使用 RDI 和 Debezium Server,我们能够自动捕获写入其他数据库(目前支持 Oracle、Postgres、MySQL、MS SQL 和 MariaDB)的数据,并将这些数据同步到 Redis Enterprise 中的散列(或 JSON 文档)中。RDI 通常不限于 CDC。它也可以用于实现其他数据集成模式。任何可以写入 RDI 数据流的源都是有效的。但是,CDC 目前是主要用例。

参考