应用 综合自 1 个来源

Netflix图谱统一千余模型打破AI孤岛

要点

  • Netflix机器学习涵盖个性化、工作室、支付和广告领域
  • 模型生命周期图谱链接注册表、实验和管道
  • 系统覆盖一千多个内部模型
  • 工作室内容嵌入现在对广告和个性化团队可见
  • Netflix预测三年内每个大型组织都将面临同样的碎片化问题
参考来源 (1)
  1. [1] Netflix构建模型生命周期图谱推动ML民主化 — Netflix Tech Blog

一位Netflix数据科学家花了三个月从零开始构建观众嵌入模型,却偶然发现工作室团队已经为内容结构分析创建了一个更复杂的嵌入方案。由于两支团队使用不同的技术栈、不同的注册表和不同的界面,这种重叠完全不可见。这不是一个关于某个团队效率低下的故事,而是关于当机器学习在整个公司扩展却缺乏连接基础设施时会发生什么的故事。

三年前,Netflix主要将机器学习应用于个性化推荐和会员体验。今天,ML已经渗透到个性化工作室工作流支付广告以及越来越多的业务领域,每个领域都有独立的技术栈、指标和组织结构。多样性是成功的证明,碎片化是代价。Netflix工程师Saish Sali、Nipun Kumar和Sura Elamurugu写道:"没有任何发现基础设施,机器学习从业者很难跨业务垂直领域协作或分享工作。"公司的工具存在于孤岛中。模型注册表不知道哪些A/B测试正在运行其模型。管道编排器看不到下游依赖关系。

Netflix的解决方案是模型生命周期图谱,一个将三个此前断开连接的平台——模型注册表、A/B测试实验平台和管道编排器——链接成单一图谱的系统,使模型、实验和数据管道之间的关系变得可见且可遍历。从业者现在可以追踪模型的来源、哪些实验使用它、什么下游系统依赖它,而无需跨五个不同的界面切换上下文。工作室团队的内容嵌入——最初用于识别场景边界和视觉转换——突然对广告团队可见,该团队需要上下文匹配来对齐广告与观众正在观看的内容。同样的嵌入可以改善个性化中的剧集推荐,根据用户偏好匹配剧集情绪。

Netflix现在在一千多个内部模型上运行模型生命周期图谱。公司将其定位为机器学习民主化:将机器学习从隔离口袋中的专家工具转变为任何从业者都可以访问的公司级基础设施。经济学逻辑很直接:重复的模型开发浪费计算资源、工程时间和机会。当模型不可见时,团队会重复造轮子。当它们可被发现时,团队复用它们。但更广泛的含义超出了Netflix的范畴。公司预测三年内每个大型组织都将面临同样问题:AI资产积累速度快于组织连接它们的速度。首先解决这个问题的公司将拥有结构性优势——不是因为他们有更好的模型,而是因为他们可以使用已有的模型。

0:00