Redis Insight 中的 RDI

从 Redis Insight 连接到 RDI，配置管道等。

Redis Data Integration (RDI) 及其摄取管道功能是一个端到端解决方案，用于在 Redis 中镜像您的应用程序主数据库。RDI 采用更改数据捕获机制和流处理器，将关系表等源数据映射和转换为与您的用例相匹配的快速 Redis 数据结构。您可以在这些页面上阅读有关 RDI 摄取架构的更多信息。

从版本 2.54.0 开始，Redis Insight 包括 RDI 连接功能，它允许您连接到 RDI 管理平面，创建、测试和部署 RDI 管道，以及查看 RDI 统计信息。

连接

打开 Redis Insight，点击 Redis Data Integration 选项卡，然后点击如下所示的两个 + Add RDI Endpoint 按钮之一。

在提供的对话框中输入您的 RDI 服务器详细信息。RDI Alias 字段可以是您选择的任何名称，它将在 RDI Instances 列表视图中用作主名称。

如果连接成功，您将收到通知。

创建、测试和部署 RDI 管道

首先，在 RDI Instances 视图中点击您新配置的 RDI 端点的别名（例如，上图中的 Test connection）。您将在屏幕中央看到以下对话框。

选择以下选项

  • Download from server - 从您的 RDI 配置中下载现有管道。
  • Upload from file - 从您的本地计算机上传 zip 格式的 YAML 管道文件。
  • Create new pipeline - 使用 Redis Insight 的内置编辑器从头开始或使用内置模板之一创建新管道。

这些菜单选项将在后续章节中详细描述。

编辑器窗格顶部也有对应前两个功能的按钮。

如果您宁愿从空配置开始，退出对话框，这将使您留在 Configuration file 编辑器中，您可以在其中开始编辑管道的配置组件；即 config.yaml 文件。

从您的 RDI 配置下载管道

点击 Start with your pipeline 对话框中的 Download from server 按钮，从您的 RDI 配置中下载先前定义的管道。下载的管道将显示在 Pipeline management 窗格中。如下所示，每个管道包含一个配置文件 (config.yaml) 和零个或多个 job YAML 文件。配置文件将显示在中央编辑器面板中。

从本地计算机上传管道

点击 Start with your pipeline 对话框中的 Upload from file 按钮，从本地计算机上传您的配置和作业 YAML 文件。文件必须存储在具有以下结构的 zip 文件中。

├── config.yaml
└── jobs
    └── job1.yaml

config.yaml 文件，即您的配置 YAML 文件，是必需的。jobs 目录可以为空，因为不强制要求作业管道，但 zip 文件中必须存在空目录。否则，jobs 文件夹可能包含一个或多个作业 YAML 文件。

使用内置编辑器创建新的配置文件

点击 Start with your pipeline 对话框中的 Create new pipeline 按钮，使用内置编辑器创建新管道。执行此操作后，您将进入 Configuration file 编辑器，并在编辑器的右上角看到一个打开的 Select a template 对话框。

在提供的字段中进行选择

  • Pipeline type 默认为 Ingest。
  • Database type 有六个选项
    • mongodb
    • cassandra
    • mysql
    • oracle
    • postgresql
    • sqlserver
注意
上述菜单中列出的选项取决于您的 RDI 配置的功能。

进行选择并点击 Apply 后，Redis Insight 将使用适当的模板填充编辑器窗口。要从头开始，点击 Cancel。

有关必需字段的信息，请参阅RDI 文档。

测试您的目标数据库连接

创建 Target database configuration 后，您可以使用编辑器窗格右下角的 Test Connection 按钮测试连接。右侧将打开一个新面板，其中包含测试结果，如下所示。

使用内置编辑器创建新的转换作业文件

在 Pipeline Management 窗格中，点击 Jobs 文件夹旁边的 + 并输入新转换作业的名称。然后，点击您刚刚创建的作业名称。这将带您进入作业编辑器，并打开模板选择菜单。进行选择并点击 Apply。Redis Insight 将使用适当的模板填充编辑器窗口。要从头开始，点击 Cancel。

注意
上述菜单中列出的选项取决于您的 RDI 配置的功能。

RDI 文档提供了几个转换作业示例，可以帮助您入门。注意：RDI 对作业文件使用非常特定的 YAML 格式。请参阅此处了解更多信息。

使用内置编辑器

Redis Insight 管道文件编辑器是上下文感知的。它们为以下项提供自动完成、语法高亮和错误检测：

  • 配置和作业文件编辑器中的 YAML 文件
  • 专用编辑器中的 JMESPath 和 SQL 函数片段。要打开 JMESPath 和 SQL 编辑器，点击上图所示的 SQL and JMESPathEditor 按钮。屏幕下半部分将打开一个新的编辑器窗口。

如果您决定不使用模板，而是自己编写配置管道，您将看到如下所示的自动完成提示。

虽然这不能替代 RDI 文档，但它可以在您对 RDI 管道文件的构建块有了基本了解后帮助您加速。

Redis Insight 还会高亮显示任何错误，如下所示。

这是显示 SQL 和 JMESPath 编辑器窗格的示例。注意此编辑器窗格左下角的开关。点击它可以选择：

  • SQLite 函数
  • JMESPath

构建 SQLite 或 JMESPath 代码后，将其复制到主编辑器窗口。此处是您可以在作业文件中使用的受支持的 JMESPath 扩展函数和表达式的参考。

警告

如果您退出 Redis Insight 时没有保存工作，您在编辑器中所做的任何更改都将丢失。要保存对管道文件所做的任何更改，请将它们部署到您的 RDI 服务器（参见下文），或使用 RDI 窗口右上角的 Download 按钮将修改后的文件下载为 zip 文件到您的本地磁盘。Redis Insight 会在未保存/未部署的文件前加上一个绿色圆圈。

试运行转换作业管道

创建转换作业管道后，您可以在 RDI 服务器上执行试运行。为此，点击编辑器窗格右下角的 Dry Run。右侧将打开一个新的 Test transformation logic 面板。其中有两个垂直堆叠的窗格：Input 和 Results。在 Input 部分，输入将触发转换的 JSON 数据。任何结果都将显示在 Results 部分。

Results 部分中有两个选项卡

  1. Transformations - 这里显示试运行的 JSON 输出。
  2. Output -（未显示）这里显示在真实场景中会运行的 Redis 命令。

这是一个示例。

部署管道并将目标数据库添加到 Redis Insight

如果您对配置和转换作业管道感到满意，可以将其部署到 RDI 管理平面。点击 Deploy Pipeline 按钮继续。

管道部署后，您可以将 config.yaml 文件中定义的 RDI 目标 Redis 数据库添加到 Redis Insight。这样做可以随时间监控 RDI 管道创建的键。

查看 RDI 统计信息

您可以查看 RDI 部署的各种统计信息。为此，点击左侧菜单面板中的 Pipeline Status 菜单按钮。

每个统计信息部分要么是静态的，要么会按照您设定的特定间隔自动刷新。第一部分 Processing performance information 默认设置为每 5 秒刷新一次。其他部分是静态的，需要通过点击每个部分右上角的刷新按钮手动刷新。您也可以为其他部分设置自动刷新。

要为一个或多个统计信息部分设置自动刷新，点击 Last refresh 行末尾的向下箭头。然后启用 Auto Refresh 设置，并设置您希望的刷新间隔（以秒为单位）。如上图所示。

评价此页面
返回顶部 ↑