dot 快速的未来即将在您所在的城市举办的活动中到来。

加入我们在 Redis 发布会上

Redis 企业版和 Kafka

使用实时数据访问构建实时流数据管道

Kafka 和 Redis 企业版如何协同工作

通过扩展的生态系统,Kafka 用于构建实时流数据管道 - 它完全关于数据运动。实时数据管道是一种将数据从其源头或多个异构源(源)移动到目标(目标)的方法,目标可以实时处理数百万事件。它结合了消息传递、存储和流处理,允许存储和分析历史数据和实时数据。

Redis 企业版(目标),以及时间序列和 JSON 等其他数据模型,是一个内存数据库,能够轻松地从多个来源摄取和管理各种数据模型,提供实时分析和数据访问。实时访问是指数据存储提供最新数据并实时响应查询。Redis 企业版和 Kafka 使用 Kafka Streams 为异构数据源提供实时访问和分析。

Redis 企业版和 Kafka Connect

Kafka 社区依赖 Kafka Connect 与其他应用程序和数据系统集成,因此我们制作了连接器。Redis 企业版为 Kafka Connect 提供预构建的 Confluent 认证连接器,可帮助您快速可靠地集成 Redis 企业版和 Kafka。Kafka-Redis **接收器连接器** 将数据从 Kafka 导出到 Redis 企业版。Kafka-Redis **发送器连接器** 使用 Redis Streams 订阅 Redis 企业版通道,并将接收到的消息写入 Kafka。

如下图所示,这是 Redis 企业版和 Kafka 之间的桥梁,接收器连接器将数据移动到 Redis 企业版,而发送器连接器用于将从 Redis 企业版 Streams 到 Kafka 的复制数据。Redis Streams 是一种 Redis 企业版数据类型,代表按时间排序的日志,以便您可以以追加模式添加新消息。下载 Kafka 连接器 开始连接您的数据。

Redis 企业版和 Kafka 有三个主要用例

  1. 使用实时数据管道进行实时数据访问
  2. 服务间微服务通信
  3. 从传统数据库同步数据

使用实时数据管道进行实时数据访问

在此实时库存用例中,Kafka 充当实时数据管道,从多个不同的来源收集和分发事件:仓库、订单管理系统和销售预测系统,并将这些信息提供给库存经理。Redis 企业版是内存数据库,它支持实时数据访问并维护库存状态,商品跟踪的即时变化。然后将库存状态发送回 Kafka,Kafka 将此信息分发到营销、商店和履行部门。Kafka 和 Redis 企业版共同确保库存信息在整个组织中实时跟踪和沟通;它们使用实时数据管道提供实时数据访问。

服务间微服务通信

以下用于欺诈检测的微服务用例是 Redis 企业版支持的微服务之间服务间通信的绝佳示例。此架构使用 Redis 企业版作为信息源和目标,事件由 Kafka 管理。Kafka 在各种微服务之间提供基于订阅的消息,充当中继,通过将生产者与消费者解耦来实现应用程序灵活性。微服务通过使用 Redis 企业版和各种数据模型作为其分析引擎来验证数字身份、交易评分、支付历史记录等。Redis 企业版将事件和信息发送到 Kafka,Kafka 基于订阅将这些事件和信息分发到其他微服务。Redis 企业版和 Kafka 使用 Kafka Streams 共同为微服务提供实时服务间通信。

数据同步:缓存预取

缓存预取是一种技术,其中数据从较慢内存(传统数据库)中的原始存储读取,然后在需要之前写入速度更快的内存数据库 Redis 企业版。Kafka Connect 在源(传统数据库)上发生更改数据事件时进行传播,因此 Redis 企业版缓存始终与传统系统保持一致。

数据同步:CQRS

CQRS(命令查询职责分离) 是一种应用程序架构模式,通常用于缓存预取解决方案。CQRS 是微服务架构中的一种关键模式,它将读取(查询)和写入(命令)解耦。使用 Kafka 作为事件日志,使用 Redis 企业版作为记录系统,通过使用 CQRS,您可以避免缓慢的查询。

数据同步:数据迁移

Kafka Connect 在各个平台之间提供从本地传统数据库到 Redis 企业版的无缝复制,并实现实时复制和一致性。对于单次迁移,Kafka Connect 可用于在切换日期之前将数据同步到 Redis 企业版。对于更长的迁移,有时几年,当公司从单体环境迁移到微服务时,Kafka Connect 可用于在迁移期间维护同步数据库。

Redis 云

立即免费使用 Redis Cloud Essentials 开始

Redis 企业版软件

下载 Redis 企业版 6.4.2

相关资源

使用 Redis 企业版和 Apache Kafka 处理时间序列数据

RedisTimeSeries 是一个 Redis 模块,它将本机时间序列数据结构引入 Redis。

了解更多

Redis + Kafka = 可扩展性方面的性能

Redis 首席现场工程师 Julien Ruaux 谈论 Redis 企业版 + Kafka = 可扩展性方面的性能。

观看视频

为您的同步和异步通信需求选择什么 - Redis Streams、Redis Pub/Sub、Kafka 等。

让我们谈谈通信工具和模式。

了解更多