如何使用 Google Cloud Dataflow 将数据从 Google Cloud Pub/Sub 提取到 Redis Enterprise

Google Cloud Dataflow 提供了一种无服务器架构，您可以使用它来分片和并行处理非常大的批处理数据集或高容量的实时数据流。这个简短的教程向您展示如何进行。

许多公司利用 Google Cloud Platform (GCP) 来满足他们的数据处理需求。每天，数百万甚至数十亿个新的数据点以各种格式在边缘或云中生成。处理这些海量数据需要一个可扩展的平台。

Google Cloud Dataflow 是一项完全托管的服务，可以使用 Java 和 Python API 以及 Apache Beam 软件开发工具包，以流式（实时）或批处理模式（用于历史用途）转换和丰富数据。 Dataflow 提供了一种无服务器架构，您可以使用它来分片和并行处理非常大的批处理数据集或高容量的实时数据流。

Dataflow 模板是用 Java 或 Python 编写的 Apache Beam 管道。 Dataflow 模板允许您执行预构建的管道，同时指定您自己的数据、环境或参数。您可以选择 Google 提供的模板或自定义您自己的模板。 Google Cloud Dataflow 预构建模板使您能够通过易于使用的界面（通过 Google Cloud 控制台访问）将数据从一个源流式传输或批量加载到另一个源，例如 Pub/Sub、Cloud Storage、Spanner、SQL、BigTable 或 BigQuery。

Redis Enterprise 在 Google Cloud 客户群中被广泛用于许多目的，包括实时交易、聊天/消息、游戏排行榜、医疗保健理赔处理、实时库存、地理空间应用和媒体流。作为一个内存数据库，Redis Enterprise 始终如一地提供每秒数百万次操作和亚毫秒级的延迟。因此，Redis Enterprise 完美地补充了许多驱动实时用户体验的本机 Google Cloud 托管服务。

为了给您一个实际的介绍，我们介绍了我们为 Google Cloud Dataflow 构建的自定义模板，用于通过 Google Cloud Pub/Sub 将数据提取到 Redis Enterprise 数据库。该模板是一个流式管道，它将来自 Pub/Sub 订阅的消息作为键值字符串读入 Redis Enterprise 数据库。 Redis 和 Google 的专家，甚至开源社区贡献者，将随着时间的推移构建对其他数据类型（例如列表、哈希、集合和排序集合）的支持。

我们的动机：让我们使这变得容易

我们希望开发人员在使用 Google Cloud Dataflow 和 Redis Enterprise 时拥有出色的体验。

使用预构建的模板有很多好处：

您可以运行管道，而无需开发环境和与非模板化部署相关的依赖项。这对于安排定期批处理作业非常有用。
运行时参数允许您自定义管道的运行方式。
模板将管道构建（由开发人员执行）与运行管道（可能由其他人员负责）分离。因此，每次运行管道时都无需重新编译代码。
非技术用户可以使用 Google Cloud Console、Google Cloud 命令行界面或 REST API 运行模板。
您可以使用用户定义的函数扩展模板。

如何使用 Dataflow 模板：分步指南

了解该过程的工作方式很有帮助，因此在这里，我们向您介绍高级工作流程，向您展示如何使用我们的自定义模板配置 Dataflow 管道。

在此示例中，我们处理到达预定义的 Pub/Sub 订阅的消息，并将该消息作为键值对插入到 Redis Enterprise 数据库中。

从 Dataflow GCP 控制台中，输入一个 管道名称 和 区域端点，然后选择 自定义模板。输入 gs://redis-field-engineering/redis-field-engineering/pubsub-to-redis/flex/Cloud_PubSub_to_Redis 作为模板路径。