Redis 将 Spark 加速 100 倍以上 | Redis | Redis 将 Spark 加速 100 倍以上 | Redis | Redis 将 Spark 加速 100 倍以上 | Redis | Redis 将 Spark 加速 100 倍以上

山景城，2016 年 2 月 2 日—Redis，Redis 的家，今天宣布其与 Spark SQL 集成，并发布了 Spark-Redis 连接器包。 Redis 使用时间序列数据的基准测试表明，与使用 HDFS 的 Spark 相比，在 Redis 上运行 Spark 作为数据存储可加快 135 倍的处理速度；与使用 Tachyon 作为堆外数据存储或 Spark 将数据存储在堆上的 Spark 相比，可加快 45 倍的处理速度。 Spark-Redis 连接器包是开源的，并提供了一个库，用于使用 Spark 作为 RDD 从 Redis 集群读取和写入，并访问 Redis 的所有数据结构 - 字符串、哈希、列表、集合、排序集合、位图、超日志。此外，该软件包还确保 Spark 和 Redis 集群之间的紧密集群对齐，从而减少网络开销并确保最佳处理时间。将 Redis 与 Spark 结合使用的主要优点包括

在 spark-timeseries 等用例中，Spark 性能加速 100 倍以上
Redis 数据结构允许单独且快速地访问数据元素，从而最大限度地减少序列化/反序列化开销，并避免传输大量数据块。

“大数据时代已经到来，客户要求实时提取大数据洞察，”Redis 联合创始人兼 CTO Yiftach Shoolman 说。“这就是 Redis 通过提供正确的性能和优化的分布式内存基础设施来加速 Spark 来填补空白的地方。我们的目标是使 Redis 成为任何 Spark 部署的事实上的数据存储。”

Spark-Redis 解决方案支持

通过 Spark RDD 和 DataSet API 公开的 Redis 数据结构
Spark SQL 支持（通过 DataFrame 和 DataSource API）作为标准查询接口
使用 Redis Cluster 作为 Spark 的分布式内存基础设施

该解决方案的其他计划增强功能包括将 Spark 和 Redis 的组合用于其他流行的用例，例如图形计算和机器学习。

“Spark-Redis 连接器包是由 Redis 与 Databricks 密切合作开发的”，Databricks 工程副总裁 Patrick Wendell 说。“Spark 和 Redis 是一个强大的组合，能够以极大的简单性和速度实现复杂的分析。”

“Spark 与 Redis 的结合是我们一直在等待的”，Cooladata 研发副总裁 Yuval Levav 说。“新的 Spark-Redis 解决方案将使我们能够实时提供分析，并为我们的客户带来即时洞察。”

“Apache Spark 正在成为高性能数据集成和分析的默认内存引擎，”451 Research 的数据平台和分析研究总监 Matt Aslett 说。“Redis 和 Spark 的结合应该能够以极其庞大和可变的数据集实现高性能、实时分析。”

要开始使用 Spark-Redis 连接器，请访问：https://spark-packages.org/package/RedisLabs/spark-redis。

关于 Redis

数据是每个企业的生命线，Redis 帮助组织重新构想他们可以多快地处理、分析、做出预测以及对其生成的数据采取行动。 Redis 通过提供开源和企业级数据平台来为应用程序提供支持，从而为任何企业提供竞争优势，这些应用程序可以推动任何规模的实时体验。开发人员依靠 Redis 将性能、可扩展性、可靠性和安全性构建到他们的应用程序中。

Redis 诞生于云原生时代，它以独特的方式使用户能够在多云、混合和全球应用程序中统一数据，从而最大限度地发挥业务潜力。了解 Redis 如何在 redis.com 为您提供这一优势。