使用实时数据访问构建实时流数据管道
通过扩展的生态系统,Kafka 用于构建实时流数据管道 - 它完全关于数据运动。实时数据管道是一种将数据从其源头或多个异构源(源)移动到目标(目标)的方法,目标可以实时处理数百万事件。它结合了消息传递、存储和流处理,允许存储和分析历史数据和实时数据。
Redis 企业版(目标),以及时间序列和 JSON 等其他数据模型,是一个内存数据库,能够轻松地从多个来源摄取和管理各种数据模型,提供实时分析和数据访问。实时访问是指数据存储提供最新数据并实时响应查询。Redis 企业版和 Kafka 使用 Kafka Streams 为异构数据源提供实时访问和分析。
Kafka 社区依赖 Kafka Connect 与其他应用程序和数据系统集成,因此我们制作了连接器。Redis 企业版为 Kafka Connect 提供预构建的 Confluent 认证连接器,可帮助您快速可靠地集成 Redis 企业版和 Kafka。Kafka-Redis **接收器连接器** 将数据从 Kafka 导出到 Redis 企业版。Kafka-Redis **发送器连接器** 使用 Redis Streams 订阅 Redis 企业版通道,并将接收到的消息写入 Kafka。
如下图所示,这是 Redis 企业版和 Kafka 之间的桥梁,接收器连接器将数据移动到 Redis 企业版,而发送器连接器用于将从 Redis 企业版 Streams 到 Kafka 的复制数据。Redis Streams 是一种 Redis 企业版数据类型,代表按时间排序的日志,以便您可以以追加模式添加新消息。下载 Kafka 连接器 开始连接您的数据。
Redis 企业版和 Kafka 有三个主要用例
在此实时库存用例中,Kafka 充当实时数据管道,从多个不同的来源收集和分发事件:仓库、订单管理系统和销售预测系统,并将这些信息提供给库存经理。Redis 企业版是内存数据库,它支持实时数据访问并维护库存状态,商品跟踪的即时变化。然后将库存状态发送回 Kafka,Kafka 将此信息分发到营销、商店和履行部门。Kafka 和 Redis 企业版共同确保库存信息在整个组织中实时跟踪和沟通;它们使用实时数据管道提供实时数据访问。
以下用于欺诈检测的微服务用例是 Redis 企业版支持的微服务之间服务间通信的绝佳示例。此架构使用 Redis 企业版作为信息源和目标,事件由 Kafka 管理。Kafka 在各种微服务之间提供基于订阅的消息,充当中继,通过将生产者与消费者解耦来实现应用程序灵活性。微服务通过使用 Redis 企业版和各种数据模型作为其分析引擎来验证数字身份、交易评分、支付历史记录等。Redis 企业版将事件和信息发送到 Kafka,Kafka 基于订阅将这些事件和信息分发到其他微服务。Redis 企业版和 Kafka 使用 Kafka Streams 共同为微服务提供实时服务间通信。
缓存预取是一种技术,其中数据从较慢内存(传统数据库)中的原始存储读取,然后在需要之前写入速度更快的内存数据库 Redis 企业版。Kafka Connect 在源(传统数据库)上发生更改数据事件时进行传播,因此 Redis 企业版缓存始终与传统系统保持一致。
CQRS(命令查询职责分离) 是一种应用程序架构模式,通常用于缓存预取解决方案。CQRS 是微服务架构中的一种关键模式,它将读取(查询)和写入(命令)解耦。使用 Kafka 作为事件日志,使用 Redis 企业版作为记录系统,通过使用 CQRS,您可以避免缓慢的查询。
Kafka Connect 在各个平台之间提供从本地传统数据库到 Redis 企业版的无缝复制,并实现实时复制和一致性。对于单次迁移,Kafka Connect 可用于在切换日期之前将数据同步到 Redis 企业版。对于更长的迁移,有时几年,当公司从单体环境迁移到微服务时,Kafka Connect 可用于在迁移期间维护同步数据库。
立即免费使用 Redis Cloud Essentials 开始
下载 Redis 企业版 6.4.2