基于云的实时分析和 AI 驱动的应用程序浪潮正在多个行业中加速发展。 组织希望利用新兴技术增强其业务和团队的能力,而 AI 和 ML 计划是许多组织的核心。 我们正处于 AI 和 ML 的黄金时代。 它正在成为世界各地企业的重要组成部分,并且其重要性因 COVID-19 大流行而加速。 这篇信息丰富且全面的文章由 Subspace 的首席技术官兼联合创始人 William King 撰写,内容是关于实时 AI 的未来,以及 Redis 技术如何成为其背后的推动力。 从 ML 特征存储等基础示例到用于科学和医学研究的 NLP 等更垂直领域的应用程序,有很多方法可以使用 Redis 将实时性引入 AI/ML 用例。 而这仅仅是个开始。
感谢您让我们分享您的见解,William!
—Taimur
————————————
实时应用程序性能是一种透视练习; 您可以从用户体验或公司盈利能力的角度来看待它,具体取决于受众。 然而,最终的结论仍然是:世界越来越需要即时数据处理和响应能力,而那些能够提供这些能力的人将获得更大的成功。
实时功能在工业自动化、物联网 (IoT) 服务、网络安全、多人游戏、商业通信、自动驾驶车辆和飞机以及无数其他领域中正变得越来越重要。 人工智能 (AI) 的要求继续在这些领域应用和发展。
可以说,实时应用程序面临的最大挑战是在实现无缝且可能巨大的可扩展性的同时,实现瞬时性能。 作为一个类比,想想车辆速度相对于货物容量。
对于容量仅有一个或两个乘客座位的性能跑车来说,可以实现高响应速度和速度。 您能从装载的 18 轮大型卡车中获得相同的结果吗?
这就是 Redis 一直致力于实现的,它是一种开源的、内存中的数据结构存储(也称为 Redis)。
正如该公司描述的那样,Redis 可以通过各种数据结构“用作数据库、缓存和消息代理”。 Redis 提供磁盘持久性、异步复制、高可用性和自动分区。 对于本次讨论而言,最重要的是,Redis 通过将数据集保存在内存中来实现其实时结果。 对于传统的数据架构,应用程序总数据集的一个子集(通常是“最热”或最需要的数据)驻留在基于 DRAM 的系统内存中,而大部分数据则位于速度较慢但成本低得多的磁盘(和/或 SSD)存储中。 内存架构吞下了更高成本的苦果,以避免从高容量存储介质中进行耗时的数据提取。
2021 年 4 月,该公司宣布推出其新的 Redis 7.0 平台,该平台包含多个组件和技术。 例如,Redis 7.0 提供了两全其美的解决方案,而不是强迫用户在可扩展性和性能之间或潜在的全球分布式节点之间的数据一致性之间进行选择。 此功能的某些部分取决于 Redis 的“Active-Active”技术,该技术允许应用程序部署在任何云模型或位置中,以使数据尽可能靠近客户。 当与该公司的 AI 推理引擎 RedisAI 结合使用时,用户可以在存储 AI 功能的任何地方部署实时 AI 应用程序,从而将“基于 AI 的应用程序性能提高多达两个数量级”。
对于那些不每天都在处理数据库的人来说,很容易忽略 Redis 7 的重要性。然而,这些进步说明了世界是如何朝着实时应用程序飞奔的,并突出了使这些进步成为可能的技术基础。 更好地了解 Redis 可以为了解塑造未来应用程序环境的更广泛趋势提供宝贵的启示。
如前所述,内存架构有利于实时应用程序性能,因为它将数据保存在 RAM 中,更靠近 CPU。 该架构最大限度地缩短了数据传输时间。 类似地,Redis 的 Active-Active 地理分布式拓扑跨越多个节点集群的全局数据库。 该系统通过并发更新和 数据复制网格实现节点间一致性。 即使数据库中的大多数节点以某种方式发生故障,其余的地理复制节点也将继续提供不间断的服务,并保持完整的数据完整性。 这种去中心化方法与互联网自身的架构(专为最大网络可行性而设计)相呼应,同时允许用户从尽可能接近的位置访问数据,从而实现接近本地的性能。 同样,其想法是在不牺牲一致性的前提下,最大限度地缩短读/写数据传输时间。
自 2018 年以来,Redis 一直在宣传其 Active-Active 地理分布式拓扑,但每年都会带来迭代改进和扩展。 例如,Redis 7.0 更新了平台的实现,不仅接受数据交换格式 JSON 作为支持的数据类型,而且还支持带有 Active-Active 地理分布的 JSON。 通过此添加,Redis 超越了其通常的异步复制。 现在,Redis 通过支持读/写执行而无需等待任何单个集中式主节点的提交来促进本地操作自主性。 不等待许可意味着更快的操作性能。
问题仍然存在
**既然这种 active-active 地理分布式技术已经存在,它如何才能从根本上改进传统的应用程序方法?**
Redis 毫不犹豫地吹嘘其实现高吞吐量、亚毫秒级延迟和全球分布的能力如何帮助它将最大的传统数据库系统从其市场根基中赶出去。
正如 Redis 解释的那样,传统的应用程序架构需要有一个主数据库 (DB) 来处理大多数请求,除非该请求特别紧急。 然后,应用程序会求助于辅助数据库(如 Redis)来进行缓存和排队等功能。 凭借其最新的增强功能,Redis 本质上是说:“是的,我们的数据库也可以做……所有的事情。 然后实时地执行它。”
Redis 扩展其数据库特性和功能的范围越大,Redis 就会使其竞争对手变得越过时。 因此,Redis 将其方法称为“DBLess”,尽管该术语旨在超越数据库本身,而是传达一种比传统方法产生的技术更新、效率更高的思想。
Redis 认为,其实时 DBLess 架构在解决方案价值方面提供了足够大的飞跃,可以颠覆主要的现有企业并可能改变市场。
与这种 DBLess 推动同步进行的是,Redis 加强了对 RedisAI 中特征存储功能的支持。 简而言之,特征是包含在一个或多个原始数据点中的潜在有用信息。 当处理 terabyte 到 petabyte 规模的数据集时,您可能会想到,为机器学习 (ML) 训练组织特征可能非常艰巨且非常耗时。 特征存储既充当存储库,又充当特征的自动输入和管理系统。 如果这听起来像是适合 Redis 的东西,那么当然是。 将 RedisAI 的 ML 模型与像 Redis 7.0 这样闪电般快速、全球可扩展的平台相结合,将为世界提供一种新方法,以加速朝着基于实时、地理位置分散的条件的实时 AI 系统发展。
Redis 和 AI 在该公司的 RedisConf 2021 Hackathon 中也占有重要地位。 Alexander Mikhalev 博士是五个白金奖获得者之一,他的提交作品是“The Pattern:机器学习自然语言处理与 VR/AR 相遇”。 (编者注:查看 The Pattern 以及您可以在 Redis Launchpad 上使用 Redis 执行的其他示例。) Mikhalev 意识到现代医学来源中缺乏适当的审查和审查,甚至引用了 一篇有趣的论文,该论文发表在《美国生物医学科学与研究杂志》上,“声称食用蝙蝠状的宝可梦引发了 COVID-19 的传播。”(该论文的目的是为了突出掠夺性科学期刊。)他使用 Redis AI 和 UX 工具将文档转换为分析的语言,然后可以将其搜索并可视化为三维图形。 然后,用户可以在增强现实或虚拟现实中更直观地探索这些图形。
另一位白金奖获得者 Dustin Wilson 使用多个 Redis 工具创建了 赫尔辛基地铁系统的实时视图。(编者注:在 Redis Launchpad 上查看此应用程序以及您可以使用 Redis 执行的其他示例。) 用户可以单击任何交通工具来追踪其位置和过去两个小时的延误状态。 该实时视图显示交通工具实时移动(类似于 Uber),精确到 5 秒内。 不同的视图允许用户单击任何社区以查看该区域内交通工具的当前平均速度和延误时间。
Redis 对各种挑战的适用性确实令人印象深刻。 一位钻石奖获得者创建了一个配备了教育工作者后端指标的 电子学习平台。 一位银奖获得者创建了一个 RSS 阅读器应用程序,另一位创建了一个 电影爱好者社交网络。
我们也不得不提到获得金奖的 Janis Vilks 的 自上而下的射击游戏。这款游戏最引人注目的是它是世界上第一个主动-主动的地理分布式街机射击游戏,其图形效果让雅达利 1977 年的射击游戏 Combat 看起来像莫奈的作品。这就是创新,而这仅仅是未来会出现的非常有趣的事情的概念验证。
虽然其中一些应用程序看起来很简单,但 Redis 持续证明自己是一个功能强大的平台,可以为世界上一些最大的实时应用程序提供支持。例如,通过使用列表数据结构,Twitter 使用 Redis 存储用户最新的 800 条推文,以帮助提高应用程序的响应速度和扩展能力。Pinterest 使用 广泛的 Redis 分片,以最大限度地提高资源利用率,并突破先前系统在大规模绘制数据时遇到的缓存瓶颈。Malwarebytes 使用 Redis 进行安全数据摄取、聚合和可视化,而位于英国的能源公司 Utilitywise 使用 Redis 来增强其物联网应用程序的性能和正常运行时间。 这样的例子有很多;性能、扩展性和覆盖范围都在不断突破界限。
长期以来,各组织不得不在为结构化(SQL)或非结构化(NoSQL)数据选择数据库方面做出艰难的选择。幸运的是,Redis 一直处于解决 SQL/NoSQL 困境的最前沿,它提供了两全其美的解决方案:既能满足当今数据处理的灵活性,又能满足扩展所需的高水平一致性。这种一体化的适用性使 Redis 非常适合现代 AI 和 ML 的各种需求,这些需求需要在现代应用程序的整个范围内运行,即使在业界要求最高的、最前沿的组织中也是如此。
“在模拟中使用机器学习算法持续增长,以提高科学研究的效率和准确性”, Hewlett Packard Enterprise 的人工智能与高级生产力总监 Benjamin Robbins 指出。“通过在 SmartSim 中利用 Redis 和 RedisAI,我们的新开源 AI 框架可以推进在超级计算机上运行的模拟,用户可以在现有模拟和内存数据库之间交换数据,同时模拟正在运行。 数据交换的便捷性有助于释放新的机器学习机会,例如在线推理、在线学习、在线分析、强化学习、计算指导和交互式可视化,这些可以进一步提高模拟的准确性并加速科学发现。”
这份新闻稿引用了 Forrester Consulting 的一项研究,该研究发现
40% 的受访者认为他们“当前的数据架构无法满足他们未来的模型推理需求”。
38% 的领导者正在“大约三分之一”的 AI/ML 模型上进行实时开发。
44% 的人认为性能是部署模型面临的最大挑战。
架构、性能和成就之间的联系继续挑战着当今的商业创新者。无论集群有多快,或者去中心化数据框架有多么先进,当跨公共互联网工作时,网络延迟仍然是一个抑制因素。 Subspace 创建了一个与公共互联网协同运行的高性能网络,专门用于解决这些性能瓶颈。
这种低层次的解决方案工程能够更快地访问各种数据类型,这既符合我的技术观点,也符合我的个人观点。从技术上讲,我喜欢像这样的大障碍开始被克服,因为这意味着人们亲眼目睹了性能问题,并正在思考互联网需要运行的这种新方式。
现在,相当大的一群 DevOps 和网络工程师正在拿起他们的工具并开始致力于解决方案。 这些类型的问题得到解决后,随之而来的是一种自然的应用曲线,朝着一种新的做事方式发展;我认为我们现在正处于该曲线的中间。
就我个人而言,任何致力于实现更好地访问我们称之为互联网的这个巨大数据存储的组织都在做善事,尤其是当他们试图利用新的架构和技术来实现这一目标时。 这就是创新开始的方式,也是它持续存在的原因。
关于 Redis 的有趣之处在于,它们正在突破我们可以在实时计算中实现的目标的界限,同时实现稳定的访问。 我一定会密切关注它们,看看接下来会出现哪些创新。
了解 Subspace 如何帮助您优化和加速您的实时通信。
————————————
准备好开始您的实时 AI 之旅了吗? 免费试用 Redis Enterprise。