dot 快速的未来正在您所在的城市举办活动。

加入我们在 Redis 发布会上

数据经济:实时欺诈检测和艾字节分析

数据经济是关于利用数据对业务、客户和世界产生积极影响的领导者的视频播客系列。要查看所有当前剧集,请探索下面的播客剧集库。


一些组织拥有海量数据,另一些组织需要实时数据处理,还有一些组织管理着世界上最私人的数据。以下是您可以从 Experian(一家拥有所有三种数据挑战的公司)中学到的东西。

海量数据有多大?实时数据处理的速度有多快?当解决业务风险或寻求新的机会时,数据驱动型组织需要多么聪明和创新?Experian 身份、欺诈和 DataLabs 执行副总裁兼总经理 Eric Haller 在数据经济的第一集(由 Redis 提供,由 CXOTalk 的 Michael Krigsman 主持)中分享了商业和技术见解。如果您不了解 Experian,他们可能对您有所了解。他们是美国三大信用局之一,在 40 多个国家/地区开展业务,拥有 18,000 多名员工。

分析艾字节的数据并在毫秒内执行欺诈检测

在 Experian 的职位中,Eric 监督用于查明发生率低于 1% 的欺诈性交易的检测算法。对于大多数交易,Experian 必须提供快速响应,以最大程度地减少对客户体验的影响。响应速度有多快?在零售业,欺诈检测算法必须在 200 毫秒内响应,对于某些用例,必须在 40 毫秒内响应。换句话说,真的很快!

Eric 还负责 DataLabs,这是 Experian 的研发团队,他们分析了其四个实验室中的超过一个艾字节的数据。一个艾字节等于一千拍字节,或50,000 年的 DVD 质量视频——换句话说,非常大的数据。

Eric 提醒听众注意 Experian 的数据处理挑战。“我们不想阻止交易,除非我们完全确信存在重大风险,而且大多数情况下,成功的购买是可行的,”他说。

但另一方面,Eric 承认“你没有看到的数据通常会让你措手不及。”

因此,Experian 始终在寻找新的数据源、要考虑的信号、机器学习功能和算法增强,这些增强可以改善准确性、性能、交易类型或提供服务的地理位置等因素。

Experian 如何应对全球挑战

事实上,Eric 分享了一个 Experian 如何研究 COVID-19 经济影响的故事。在美国,挑战在于找到能够表明当地疫情的正确信号,例如购买止咳药的激增。对于巴西等其他热点地区,该公司与联合国、世界卫生组织、微软、亚马逊和芝加哥大学等教育机构合作,汇总新数据以追踪病毒传播。Eric 传达了 Experian 的文化理念:“世界现在需要帮助,我们应该尽我们的一份力量。”

Eric 在播客中分享了两个教训。他说,“让数据告诉你如何解决问题”,并承认 Experian 拥有重大的才能、基础设施和经验,可以追求全球和社会公益的挑战和机会。对于其他公司,他建议,“准备好与许多拥有相同梦想和愿景的利益相关者合作。”

https://www.youtube.com/embed/j5JHeHWQ-EE

处理海量和高速数据的技术挑战

现在很难想象,但仅仅在 10 年前,聚合和管理极其庞大的数据集以及处理超快、高容量的数据流以进行实时决策,都是极具挑战性的。大多数公司才刚刚开始迁移到云,几乎没有工具可以集中数据,在 SOA 实施方面遇到困难,并且自行开发了许多技术支架。

如今,组织正在处理时间序列数据,对 JSON 文档执行全文搜索,并且正在使用无数据库架构构建应用程序。技术领导者认识到,使用强大的多模型数据平台简化应用程序开发以及在全球范围内扩展的同时保持本地响应时间的必要性。

Eric 在播客中分享了 Experian 架构的见解以及他对优化多云架构、利用图数据库和集中多业务部门数据源的看法。他还讨论了信息安全、满足监管要求以及 Experian 为确保数据科学家合规而所需的培训。

但是,尽管存在所有技术和合规性挑战,但解决这些挑战并不是公司的首要目标。Eric 分享了他的秘密,并说:“你希望有足够的带宽让你在数据集上放手一搏,看看你能想出什么,但如果你这样做,你可能会在海草堆中找到一根针。通过解决某个特定问题,你更有可能找到赢家。”

这对开发者、数据科学家和工程师来说都是很好的建议,他们应该首先专注于解决业务问题和挑战——然后寻找能够实现高效技术实施的技术合作伙伴、商业解决方案和开源选项。


Isaac Sacolick 是StarCIO的总裁,是Driving Digital: The Leader’s Guide to Business Transformation through Technology的作者,该书涵盖了许多实践,例如敏捷、DevOps 和数据科学,这些实践对于成功的数字化转型计划至关重要。Sacolick 是一位公认的顶尖社交 CIO,是Social, Agile, and Transformation的长期博主,以及InfoWorld的撰稿人。

观看更多数据经济播客剧集。