Redis 将 Spark 速度提升 100 倍以上

山景城，2016 年 2 月 2 日 -Redis，Redis 的所在地，今天宣布其与 Spark SQL 的集成以及Spark-Redis 连接器软件包的发布。Redis 使用时间序列数据进行的基准测试表明，与使用 HDFS 的 Spark 相比，在 Redis 上运行 Spark 作为数据存储可将处理速度提高 135 倍；与使用 Tachyon 作为堆外数据存储或 Spark 将数据存储在堆中的 Spark 相比，处理速度提高 45 倍。Spark-Redis 连接器软件包是开源的，提供一个库，用于从 Spark 中以 RDD 的形式写入和读取 Redis 集群，并访问 Redis 的所有数据结构 - 字符串、哈希、列表、集合、排序集合、位图、超对数日志。此外，该软件包还确保 Spark 和 Redis 集群之间的紧密集群对齐，从而减少网络开销并确保最佳处理时间。使用 Redis 与 Spark 的主要优势包括

• 在诸如spark-timeseries之类的用例中，Spark 性能加速超过 100 倍
• Redis 数据结构允许单独快速访问数据元素，最大限度地减少序列化/反序列化开销，并避免传输大量数据块。

“大数据正在走向成熟，客户要求实时提取大数据洞察，”Redis 联合创始人兼首席技术官 Yiftach Shoolman 表示。“这就是 Redis 填补空白的地方，它提供正确的性能和优化的分布式内存基础设施来加速 Spark。我们的目标是使 Redis 成为任何 Spark 部署的事实上的数据存储。”

Spark-Redis 解决方案使

• 通过 Spark RDD 和 DataSet API 公开 Redis 数据结构
• Spark SQL 支持（通过 DataFrame 和 DataSource API）作为标准查询接口
• 使用 Redis 集群作为 Spark 的分布式内存基础设施

该解决方案中计划的其他增强功能包括使用 Spark 和 Redis 的组合来处理其他流行的用例，例如图计算和机器学习。

“Spark-Redis 连接器软件包是由 Redis 与 Databricks 紧密合作开发的，”Databricks 工程副总裁 Patrick Wendell 说。“Spark 和 Redis 的强大组合，使复杂的分析变得异常简单和快速。”

“我们一直在期待 Spark 与 Redis 的结合，”Cooladata 的研发副总裁 Yuval Levav 说。“新的 Spark-Redis 解决方案将使我们能够实时提供分析，并将即时洞察提供给我们的客户。”

“Apache Spark 正在成为高性能数据集成和分析的默认内存引擎，”451 Research 数据平台和分析研究总监 Matt Aslett 说。“Redis 和 Spark 的结合应该能够实现高性能的实时分析，处理极其庞大且可变的数据集。”

要开始使用 Spark-Redis 连接器，请访问：https://spark-packages.org/package/RedisLabs/spark-redis.

关于 Redis

数据是每个企业的命脉，Redis 帮助企业重新构想他们处理、分析、预测和对生成的数据采取行动的速度。Redis 通过提供开源和企业级数据平台来为任何企业提供竞争优势，以支持推动任何规模的实时体验的应用程序。开发人员依靠 Redis 将性能、可扩展性、可靠性和安全性构建到他们的应用程序中。

Redis 生于云原生时代，它以独特的方式使用户能够跨多云、混合和全球应用程序统一数据，以最大程度地发挥业务潜力。了解 Redis 如何在redis.com上为您提供这种优势。