使用实时数据加速数字创新

Redis - Splunk

迈克尔·克里格斯曼：数据如何推动、实现和支持数字转型？我们正在与 Splunk 产品和技术总裁肖恩·拜斯交谈，深入探讨这个非常重要的主题。在开始之前，要特别感谢 Redis 使我们的对话成为可能。肖恩，很高兴与您交谈。您今天怎么样？

肖恩·拜斯：我很好。谢谢您邀请我。

迈克尔·克里格斯曼：肖恩，请告诉我们有关 Splunk 的情况。

肖恩·拜斯：好吧，Splunk 正在帮助全球各地的客户将他们的数据转化为行动。我们已经在这个行业里发展了将近 20 年。所以当您听到有公司遇到大数据问题时，他们真的需要从这些数据中获取洞察力，我才有机会与那些每天与这些客户建立联系的构建者一起工作，以便他们能够利用自己的数据，并将其真正转化为可靠的资产。

迈克尔·克里格斯曼：肖恩，您是 Splunk 的产品和技术总裁。这个职位包括哪些职责？

肖恩·拜斯：是的，当您想到我组织中的人员时，这包括产品经理。这些都是与客户坐下来，真正花时间了解他们需求的人。整个工程组织都在这里，从软件设计到构建，再到云中的所有操作。所以基本上，Splunk 的所有产品都是由我们团队构建和运营的。

迈克尔·克里格斯曼：听起来您和您的团队花了很多时间与客户在一起。

肖恩·拜斯：哦，是的。是的，不，我们花费了很多时间。我们所做的一切都从客户需求倒推。所以我们每天都与他们在一起。

迈克尔·克里格斯曼：肖恩，我们来谈谈数据和数字转型。数据并不新鲜，但已经成为一个非常有吸引力和流行的话题。是什么让数据走到了现在这样的前沿？

肖恩·拜斯：是的，好吧，数据。数据系统出现了爆炸式增长。我想说的是，数据已经从记录过去发生的事情转变为做出决策时最关键的信息。所以，如果您只是考虑一下，在过去，当人们想到数据时，它通常只是一个记录过去发生的事情的东西。

如今，许多人从许多不同的系统中获取了大量数据。这些企业试图以接近实时的速度运营。所以实际上，发生的事情是数据现在真正成为组织做出决策时最关键的信息。

迈克尔·克里格斯曼：您描述了数据从一种记录系统转变为战略性资产的转变。您能详细说明一下吗？同时，也谈谈这种变化的技术方面。

肖恩·拜斯：是的。好吧，这种变化的技术方面非常重要。如果您想到数据行业，如果您回到 70 年代早期，从 1970 年到 2000 年，如果我们问某人他们的数据策略是什么，或者他们如何使用数据，大多数人都会在关系型数据库系统上构建一个应用程序。

所以，您可以想到的几乎所有场景都是针对关系型数据库构建的。然后，当我们接近 2000 年时，突然出现了一些全新的数据库类型，例如键值系统、时间序列数据库或文档数据库。

而今天，根据 dB engines 的追踪，有超过 380 种不同的系统。所以实际上，发生的事情是，我们曾经在近三十年时间里只有一种万能数据库，而今天，它真正变成了针对特定访问模式的专用系统。这就是我们现在所处的世界。

迈克尔·克里格斯曼：技术的变化是这种新型数据使用方式的驱动因素吗？还是商业需求在创造这一切？或者两者共同作用？

肖恩·拜斯：它们确实共同作用。但我可以告诉你，人们现在试图使用数据来做的事情类型可能更加重要。例如，如果您我和 20 年前在构建应用程序，那时还没有 Lyft、Uber 或 Netflix 这样的东西。所以，如果您和我正在考虑规模，我们可能正在考虑我们的网络，例如我们企业中有多少用户连接到我们的网络，以及他们身处哪些环境中。这就是规模足迹。

但今天，您看看他们正在构建的应用程序类型，例如想想 Snapchat。谁知道芝加哥小熊队什么时候会赢得世界大赛，以及数百万人会拿起设备并想要自拍？但是，当这种情况发生时，您的基础设施必须做好准备。所以今天存在的应用程序类型，它们的可扩展性要高得多。它们中的许多现在都具有全球规模。速度要求也高得惊人。

您今天会遇到一些人，他们谈论的是毫秒级的延迟，而在过去，可能是秒级的延迟。您会听到人们谈论从数百万到数亿的用户，遍布世界各地。所以，这种足迹，这种规模，实际上是今天构建的大多数应用程序背后的驱动力，它们与 10、15、20 年前的应用程序截然不同，而技术也一直在不断发展，以支持这种趋势。

迈克尔·克里格斯曼：我还记得，在构建应用程序时，尤其是在初创公司，这意味着要购买昂贵的服务器，以及运行这些服务器的人员，而今天，您可以启动一个云实例。

肖恩·拜斯：是的，是的。[笑] 我也记得那些日子。是的，我很高兴您提到了这一点，因为今天的世界被称为完全托管的 API。很多人会问，这到底意味着什么？如果您想想 10、15、20 年前，建立一个数据环境很困难。您需要获取硬件。

您需要堆叠这些机器，对它们进行配置，然后，如果您有多台机器，我的意思是，需要完成很多非差异化的繁重工作。或者，如果您还记得在设计会议中花费九个月的时间来计划要购买什么，那么我们今天所处的世界与以前完全不同了。

如果您我和您有一个想法，随着云计算的出现及其所有优良特性，云计算中发生的最棒的事情之一是，许多服务提供商提供了这些数据库平台，它们实际上是完全托管的。所以对您和我来说，它只是一个端点。我们可以连接到它，开始对其进行编码。我们可以无限扩展。

如果我们的想法不好，需要放弃，没关系。我们什么都没买。所以这确实是一个巨大的变化。这就是为什么，20 年前，如果有 380 种不同的数据库类型，就不要想了。但这就是为什么今天存在这些数据库，因为它们真正只是通过一个简单的 API 暴露出来，无需管理。

迈克尔·克里格斯曼：对商业创新的影响是巨大的，因为启动一个实例并拥有您需要的工具、数据库（就像您描述的那样）变得如此容易和快捷。

肖恩·拜斯：哦，绝对是的。想想疫情。我听到过很多客户的故事，一般来说，这些故事听起来都像这样，嘿，情况发生了变化。我们需要以一种非常不同的方式为我们的客户提供服务，而且需要在下个月完成。而这个项目在疫情之前可能需要一两年时间才能完成。我听到过很多公司，它们实际上不得不迅速改变，重塑自我，创造全新的体验，而且它们在几个月内就完成了这一切，这真是太了不起了。但我再次指出，他们之所以能够做到这一点，很大程度上是因为他们拥有非常好的数据基础，并且充分利用了云计算。

迈克尔·克里格斯曼：好吧，您没有使用“数字转型”这个词，但实际上，您谈论的就是它。那么，数据在数字转型中扮演着什么角色？

肖恩·拜斯：是的，这是一个很好的问题。说实话，我不知道每个人是否都清楚地知道数字转型意味着什么。有时我认为，人们听到这些词，但他们并不一定会深思熟虑，然后说，哦，是的，我知道它到底意味着什么。他们试图拼凑出一个概念。

我经常用一个我们都知道的例子来回答这个问题。迪士尼是一家很棒的公司，一家 97 岁的企业。Disney Plus 是一个很好的例子，一家老牌企业重塑自我，并在不到一年的时间内创造了一种全新的客户体验。

我总是用这个例子来说明，因为在迪士尼Plus出现之前，如果你对我说，嘿，想象一下周五晚上待在家里，看一部大片——你甚至不用去电影院——它会直接通过你的电视播放，大多数人可能都会嘲笑你。但是你看看这些服务，这些公司是如何——这是一个数字化转型的绝佳例子。

数据在其中如何发挥作用呢？好吧，所有的服务质量，这些比特信息传送到你的速度，是否有延迟，你是否能够正确地跳过章节，你是否暂停——如果你暂停，你是否能够恢复？音频是否能正常播放？所以想象一下从这个系统中获取到的所有遥测数据，基本上他们只是想确保质量良好。

另一个有趣的数字化转型例子是在一级方程式赛车中。这些赛车已经存在很长时间了，但如今，这些赛车身上有 300 或 400 个传感器。它们收集来自发生的一切的数据——发动机、车轮、方向盘、刹车、加速。它们拥有如此多的关于赛车的数据。

但正如你所知，在一级方程式赛车中，一眨眼的功夫就可能是赢得比赛和输掉比赛的区别，在这种情况下，它们严重依赖于数据。他们有大约 900 名工程师在——迈凯轮在——英国，在比赛期间处理这些数据，并实时进行调整。这将是数字化转型的另一个很好的例子，以及数据如何在当今一级方程式赛车中发挥巨大作用。

迈克尔·克里格斯曼：这种依靠数据进行转型的业务转变有多少是实时数据？

肖恩·拜斯：是的。是的，我的意思是，每天都有更多的数据变得更加实时。如果你回想一下，什么将是实时应用、实时数据的例子？我认为我个人最喜欢的例子将是股票交易。那是一件非常实时的事件。你正在以毫秒为单位测量交易。

但是如今存在的实时应用类型——我的意思是，你看到它们在各地涌现。以拼车服务为例。当你拿出手机并叫车时，大多数人都会查看手机以跟踪司机，准确地查看——或者外卖服务。你甚至可以跟踪汽车一直到你那里。

这种事情——这种需求，这种应用在 10 年前并不存在。所以如果你想想你手机上的每一个应用，其中都有一些实时活动发生，那就让你了解了它变得多么普遍。所以从某种意义上说，我想说，过去，实时——可能只有几个应用。但如今，它真的正在——迅速成为常态。

迈克尔·克里格斯曼：我认为客户体验是数字化转型非常重要的一个部分。当你在谈论的时候，我想到，作为消费者，我们已经开始期望这种类型的实时互动，当然，这对我们正在构建的应用类型、基础设施和数据本身都有重大影响。

肖恩·拜斯：哦，是的。我的意思是，想想有多少服务在支持这些庞大的消费类应用。你我可能知道它是一种电子邮件服务——或者如果你曾经使用过 Zoom 进行视频会议，它只是一项视频服务。

但是想想大流行病发生了——在大流行病之前，如果你对我说，明天世界上的每个学生都可以进行视频会议学习，或者整个劳动力现在将在全球范围内远程办公——想象一下这样的事件。没有人会想到这样的事情可能发生。

它发生了，当然我们作为人类找到了如何应对它的方法。但实际上，你所发生的是，实际上，全面的规模正在扩大——只是大规模的。你看看像 Zoom 这样的客户——想想这个系统背后有多少复杂性。现在，学生只需要它能正常工作，这样他们就可以与老师互动。

如果我和你在开会，我们需要音频和视频都能正常工作。我们并不关心幕后发生了什么。但现在像 Zoom 这样的公司——他们需要拥有合适的工具，以便他们可以观察整个环境。你可以想到在这个环境中如此多的部分——没有一个人可以在他们的大脑中处理所有这些。

这就是为什么如今工具如此重要的原因。但这些工具可以帮助你观察所有内容，找出问题所在。它们会告诉你发生了什么，为什么发生，以及如何解决它。所以这些系统比以往任何时候都更大更复杂，因此今天提供的工具非常重要。

迈克尔·克里格斯曼：与传统的数据和分析非常不同，比如，报告历史数据或历史事件，它们 simply 沒有实时组件。

肖恩·拜斯：哦，是的，是的。我想——哎呀，当我刚开始的时候，很多——我认为报告很重要，并且带有可视化的报告也很重要。把一张带有饼图或折线图的纸放在桌子上，当它有颜色时——这是一件大事。

你看看今天的生产力工作者，他们正在实时查看数据的多个维度，触摸屏幕，在完整的上下文中通过手指轻触即可完成整个业务流程。所以是的，世界已经发生了很大变化。

迈克尔·克里格斯曼：肖恩，你几次提到了速度意味着性能和可扩展性。很多都依赖于基础设施。那么基础设施总体而言有多重要，对你来说在 Splunk 又有多重要？

肖恩·拜斯：是的，我的意思是，基础设施——或者你想到一个数据平台。如今，最重要的事情之一是客户确实拥有坚实的数据基础。有时人们会说，嘿，拥有坚实的数据基础到底意味着什么？

我喜欢用通俗易懂的语言来说，所以我这样说，如果你试图创造一种新的客户体验，并且你不断听到，不——比如，嘿，我们需要推荐一些东西，或者我们需要勾选一些方框——我们的货物每秒都要沿着装配线运送。无论你可能在做什么，当人们回来并说，不，我们做不到，或者我们拿不到这些数据，或者这是不可能的，那可能是一个没有坚实数据基础的良好迹象。

但另一方面，拥有坚实数据基础的客户，他们会经常说 yes。他们提出了他们早晨甚至没有想到的新想法。当他们说，嘿，我们能在那里做出推荐吗，或者如果我们想构建一种新的视频流体验——他们经常能找到一种方法。哦，是的，那是我们架构中的一部分完全托管的 API。

所以在这种情况下，这些基础至关重要。我所见过的在疫情期间真正蓬勃发展的客户——他们拥有坚实的数据基础。我所见过的那些挣扎的客户——他们没有。他们经常会不断碰到 no。但归根结底，有了坚实的数据基础，你真的可以将数据转化为行动。这就是我们在 Splunk 谈论的方式。

但同时，许多客户从根本上需要理解——他们需要观察整个基础设施。他们需要确保它是安全的，这样最终他们的整个系统将始终处于运行状态。

迈克尔·克里格斯曼：那么什么是数据基础？例如，你在 Splunk 中使用的数据基础。你能给我们深入探讨一下吗？

肖恩·拜斯：是的。所以当人们从客户的角度谈论数据基础时，归根结底，如今许多客户都在试图重塑自己或创造新的客户体验。没有坚实基础的迹象是，你总是被告知 no。在你提出的任何想法中，你试图构建的任何体验中，它总是像，哦，我们做不到。我们做不到。

那些找到方法并经常说 yes 的客户，比如这里有一种新的体验。你以前从未做过。我们想要去构建它。他们的架构或他们的数据基础允许这种情况发生。这是一个非常好的迹象。

但是从 Splunk 的角度来看，Splunk 就是关于帮助客户将数据转化为行动。你最不希望看到的是数据闲置，而且你无法对它做任何事情。它完全是关于从你的数据中获得最大价值。所以这是来自 Splunk 的一个方面。另一个方面就是确保你可以操作你的环境并保持它安全的基本原理。

迈克尔·克里格斯曼：好的，所以我们有我们的业务目标。我们有我们的数据基础。为了有效地完成所有这些，需要什么样的团队到位？

肖恩·拜斯：是的，这是一个很好的问题。我通常会在会议上私下回答这个问题。我想说的是，随着许多人试图现代化他们的技术，你也需要考虑如何现代化你的员工队伍。这里要始终思考的一件事是记住，在数据领域，从 1970 年到 2000 年，几乎一直只有一种做事方式。

所以，在这么多年里，人们已经习惯了一种处理数据的方式。你不希望让熟悉感扼杀创新或成为盲点。所以我总是鼓励大家——真的，真的不要让自己陷入这种陷阱，比如，哦，我们一直都是这样做的，并且将会一直这样下去。

我看到这种情况发生，因为许多公司在他们的 DBA 团队或他们的 IT 部门中拥有在那里工作了 10 年、15 年、20 年的人员。有时，这些人拥有如此多的机构知识，这可能很好。但如果这样的人真的不想接受一些新技术，你可能会发现自己停留在过去。这就是我所说的，不要让熟悉感成为扼杀创新的盲点。

所以你真的，真的想非常有目的地现代化你的员工队伍。因为当你这样做的时候，你会找到这些变革推动者——他们会去弄清楚一个新的图数据库或一个时间序列数据库，或者他们会探索分类账。然后他们会将它组合到你的数据架构中，这样当你的企业开始提出新的应用时，这些就是经常说 yes 的人。这就是为什么你绝对要现代化你的员工队伍。

迈克尔·克里格斯曼：我也看到一些经验丰富的商业领袖，他们说，是的，你给我的数据——我知道它不正确，因为我对这件事的直觉总是很准。那么数据团队成员如何处理这种历史主义方法？

肖恩·拜斯：是的，我会用一级方程式赛车举例。所以扎克·布朗是迈凯轮一级方程式赛车队的 CEO。几周前，我们一起共进晚餐。他已经公开分享了这个故事，所以我可以在这里说。但是迈凯轮 F1 团队中的一位车手——他的名字叫兰多·诺里斯。他正在俄罗斯大奖赛中比赛。他还没有赢得——完成拉——他还没有在一场比赛中获得第一名。

他领先了俄罗斯大奖赛的每一圈。比赛还剩大约五圈，雨开始下起来。雨云正在涌入。数据强烈地表明迈凯轮应该驶入维修站，更换轮胎，换成雨胎或能够在湿滑路面上行驶的轮胎，他们将有很大的机会赢得这场比赛。

但他们没有遵循数据。他们实际上遵循了这种本能的感情，我们已经走到了这一步。我们能完成。然后开始下雨，然后你就知道，这辆车甚至无法停留在赛道上。然后梅赛德斯车队就在兰多后面。他们遵循数据，驶入维修站，更换轮胎，然后毫不费力地赢得了比赛。

Zac 会告诉你，他们应该遵循数据。在这种情况下，他认为他们会赢得比赛。这并不意味着你的直觉不能正确。很多时候，你的直觉可能是正确的。但是，天啊，这对他们来说是一个教训，仅仅相信数据并遵循数据。

迈克尔·克里格斯曼：我认为需要时间来培养一种数据文化，在这种文化中，对数据的信心无处不在，我们对数据更加信服，而不是试图与数据作斗争。

肖恩·拜斯：是的，我认为很多问题都来自旧的电子表格时代。你还记得你收到客户列表，它会附在电子邮件上吗？然后你把它寄给另一个人，在你不知不觉中，这个带有电子表格的电子邮件——这就是真相的来源，我应该以此做出决定吗？所以我要说的是治理。

如今，有太多不同的数据系统。我在公司中看到过它们挣扎——或者它们没有足够的信心。当你真正坐下来查看细节时，你会发现它们实际上没有良好的治理。它们无法对数据进行分类。它们无法看到数据的拓扑结构。它们不了解数据是如何移动的。它们也无法真正告诉你谁拥有哪些访问权限。

在这种情况下，是的，这些人不信任数据。事情进展得很慢。但如果你有非常好的治理，那么你就会知道，嘿，我可以确切地看到谁拥有哪些数据的访问权限。我可以看到它的拓扑结构。我知道它在哪里，它是如何移动的。当你拥有良好的治理时，你就可以拥有大量的信心，这会让你有足够的信任来做出决定。

迈克尔·克里格斯曼：那么，谁负责建立这种数据治理计划呢？

肖恩·拜斯：是的，在大型组织中，通常——我在较小的组织中见过治理团队。它可能位于涵盖技术的任何小组中。但这几乎总是核心架构中的某个人与安全团队的良好监督相结合，因为它们非常——想想现在发生的所有勒索软件事件。天啊，为了保护你的数据，现在比以往任何时候都更加重要。但最常见的答案是，它几乎总是核心基础设施团队与安全团队合作的结果。

迈克尔·克里格斯曼：那么，在机器学习和 AI 环境中会发生什么呢？如果你的数据和模型没有被控制，你可能会发现潜行的偏差和其他问题，直到以后出现一些问题你才意识到。

肖恩·拜斯：哦，绝对。是的，当你考虑机器学习在治理和整个数据环境中的作用时，想想——嗯，你可以从一个简单的例子开始，你可以开始考虑数据的质量，并使用机器学习来跟踪数据的模式。

然后你可以理解，比如，想象一下，如果客户改变了——想象一下，有人结婚了，他们的姓氏改变了，那么这是两个不同的客户 ID，还是一个？你会如何跟踪它？当你能够使用机器学习时，机器学习通常能够跟踪类似的模式，为你识别它并将其指出给你。就像在干草堆里找到一根针一样。

或者以异常检测为例。想象一下，在你的环境中，突然有一组特定的数据以以前从未访问过的方式被完全访问。使用机器学习，你可以在运行时检测到这种异常并采取措施。

因此，作为机器学习行业的我们处于早期阶段，但我告诉你，我认为这实际上将成为人们真正理解和接受的最重要的事情之一，因为它实际上将成为你的助手，帮助你理清数百万、数百万、数百万个数据文件。

迈克尔·克里格斯曼：当然，在机器学习方面，可解释性越来越重要。

肖恩·拜斯：是的，我经常喜欢分享这样的想法——我认为我在某个地方读到过，人类每秒可以处理 60 位信息。想象一下一个数据中心或云环境，每秒发生数十亿个事件。一个人不可能处理这些信息。因此，拥有一些东西与你一起工作来查找这些异常，将其呈现给你，并以一种你可以找到干草堆中的针头并理解它的方式解释它，这变得比以往任何时候都更加重要。

迈克尔·克里格斯曼：肖恩，你的 Splunk 客户会区分支持创新的数据投资和支持提高效率的数据投资吗？

肖恩·拜斯：是的。从某种意义上说，我们试图避免以这种方式考虑数据。我们总是去数据——数据是——有两件事你永远不能对数据做。你永远不能丢失它，你永远不能给出错误的答案。如果这两件事中的一件发生了，那就不好。这将是最终的信任破坏者。

因此，只要你对你的数据进行非常非常严格和勤勉的处理——这是不可协商的，需要每天都这样做——那么你就可以考虑你想进行的创新以及对系统的改进等等。

但在 Splunk，当我们考虑创新时，它实际上又一次回到了我们的客户身上，你想要为他们构建什么。有时，它会导致我们构建新的功能。有时，它会扩展现有的功能。同时，我们始终对我们的代码和数据进行维护，以确保我们每天都在强化这些系统。

迈克尔·克里格斯曼：肖恩，你对使用数据驱动数字化转型有什么建议？

肖恩·拜斯：嗯，我想与大家分享的建议是，利用——充分利用云。充分利用完全托管的 API。不要满足于现状。你真的不想做那些没有差异化的繁重工作。利用它。

不要害怕探索差异。请记住，所有这些新的专用系统都是有原因的。开发人员会说，我喜欢这个，因为我不必在功能、性能和可扩展性之间进行权衡。他们能够比以往任何时候都更快地构建这些应用程序。

我要说的第三件事是，不要先选择技术，然后确定用例。如今，我总是从用例开始。你想做什么？因为如果你先从技术开始，那么该技术的任何限制都可能会限制你的应用程序想法，然后你就有点——你实际上是在为自己制造阻力。

因此，当你真正探索并充分利用并拥抱新的系统时，你会发现，你能构建出以前无法构建的应用程序。我要说的另一点是，尤其是如果你是一家存在了很长时间的企业，不要让熟悉成为阻碍创新的盲点。它总是会存在。它总是会出现在你的面前。

但是，我看到那些突破了它并且使他们的员工队伍现代化的客户和公司——天啊，他们行动迅速，做着他们以前认为不可能的事情。所以，这些是我要分享的一些观点，或者是我要提供给任何正在使用云数据的人的建议。

迈克尔·克里格斯曼：肖恩，在我们结束之前。我不得不问你，这一切将走向何方？

肖恩·拜斯：是的。我认为这一切将走向一个工作环境，这个环境可能比以往任何时候都更快。也许 10 年前的常态是事情需要，嗯，一年或六个月。我认为那些过去经常需要一年的项目——在新的世界中可能只需要一个月。

我认为它将走向企业将能够比以往任何时候都更快地行动——比以往任何时候都更快地行动，这意味着它们将能够实时响应它们的客户群。我认为这也将意味着客户将能够构建新的体验，对这些体验进行迭代。

发布新内容然后一年后更新它的时代——我认为那些时代已经过去了。你会发布一些东西，你会学习，你会迭代，你会学习，你会迭代。我认为所有这些事情都将成为普遍的做法。如果所有这些真正走到一起，那么最终，所有这些客户实际上将把他们的数据变成了行动。

迈克尔·克里格斯曼：因此，我们以数据作为数字化转型的支持者和推动者而完整地回到了起点。

肖恩·拜斯：绝对。它确实如此。然后当你拥有了数字化转型——我看到人们非常兴奋，因为这总是从，天啊，我们以前做不到这一点，看看我们今天在做什么开始。没有什么比看到有人以一种对业务产生深远影响的方式使用技术更令人高兴的了。这真是——这真是一种享受。

迈克尔·克里格斯曼：确实如此。肖恩·拜斯，Splunk 产品和技术总裁。非常感谢你今天抽出时间与我们交谈。

肖恩·拜斯：谢谢。