Netflix的海量封面图是怎么设计出来的？960 万张图只选一张

几年前，基于深度学习的设计系统「鹿班」问世，关于 AI 关于驱动工具是否会消除设计师生命的讨论仍然很生动。虽然后来有很多类似的产品，比如为京东等大型企业服务的产品「羚珑」，还有各种各样的小型功能对单个功能进行迭代 AI 例如专门用于换脸的工具， Deepfake，用来抠图的 Remove.bg 等等。

如果你打不过，就加入。直接使用这些比对遥远未来的焦虑更重要。 AI 为了解决问题，驱动设计工具是越来越多设计师和学生的务实选择。

如何将机器学习产生的结果与设计师的想法相结合，输出符合用户需求的设计结果？也许，我们可以 Netflix 的「数据科学与工程团队」在制作封面/Banner的工作模式中，一窥未来的设计方法。

然而，当你还在的时候 P 图的时候，Netflix 已经走上了一条完全不同的设计道路。

注意时间：13毫秒的决策范围

布拉德·皮特在《搏击俱乐部》中扮演的角色 Tyler Durden，当你是一名电影放映员时，你会悄悄地做一些「敏感」图片帧插入正常的电影胶片，根据正常的电影播放速度，1秒24帧，实际上这张「突兀」画面帧的存在时间大概是 42 毫秒。

即使只有一帧，42毫秒的闪光，观众仍然会看到、震惊和精神。这并不罕见，因为人们有很强的肉眼信息捕获能力。

我们曾经认为人的眼睛可以注意到身体停留在视网膜上 100 麻省理工大学的一组神经科学家发现，人脑处理图像信息的机制比我们以前想象的要好。

根据其他研究，当人们的眼睛看到信息时，信息从视网膜传输到大脑可以处理视觉信息的部分，然后反馈给眼睛的神经元。此时，眼睛可以根据反馈的决策机制进行眼睛移动，这个过程大约需要50毫秒。换句话说，当可见内容低于此时间范围时，信息的处理效果将会降低——，但只会降低。

麻省理工大学的研究团队将单张图片的存在时间从 100 毫秒降低到 80毫秒，再到 53 毫秒，40毫秒，27毫秒，在最极限的情况下，只有13毫秒的图片，也可以注意到。换句话说，即使在 每秒 75 在帧的视频中插入一个无关的画面帧，可能会被用户注意到。这项研究的结果是在发表的。《Attention, Perception, and Psychophysics》 在这本学术期刊上。

这项研究证明了我们的日常生活「一瞥」我们的决策机制可能比我们想象的更重要「极端」和「灵敏」更多。这也意味着用户在浏览社交媒体时可能会在1~2s 内翻一页，但大脑可能在刚看到图片信息时就决定是否停留，比如 Netflix 、Bilibili、爱奇异 在这样的视频网站上浏览视频时，这种视觉信息的竞争更加残酷。

事实上，正是这项研究促使了这项研究 Netflix 数据科学团队有意识地探索用户点击视频的底层逻辑。

至少对于每一部影视作品来说，它们都有 13 毫秒的「被看见」机会和设计的封面是通过这个狭窄的时间窗口为这部作品争取机会的机会。但事实上，从注意到问题，再到找到正确的内容呈现方式，路径非常长。

设计决策:如何找到正确的答案

封面很重要，那么谁来决定用哪个封面呢？首先，这是设计决策的问题。

众所周知，当我们需要为一部电影制作封面或宣传图片时，我们倾向于由设计师选择合适的图片和材料。经过修改，我们将配备精心设计的标题和辅助文案，调整排版布局。经过几次反馈和修改，我们将输出最终宣传材料。你从事平面、视觉甚至 UI 设计的学生应该很熟悉这一点。

选图，做字体，快速排版。就是这样，但是在 Netflix ，他们有成千上万的电影，观众跨越多个国家和地区，这意味着这种逻辑不能用于设计决策。

「做决定很简单——很难做出正确的决定。」这句话来自Netflix 在技术博客中，发人深省。通常，我们的设计决策会议如下 4 一种决策方法：

让领导者做出所有的决定。聘请一些设计、产品管理、用户体验、流媒体交付等学科的专家，从他们的建议和方法中得出结果。进行内部讨论，让团队成员表达自己的观点，让最大的声音选择占据主导地位。复制对手的设计。

(左上:领导选择；右上:专家决策；左下:内部讨论；右下:抄袭对手；)

假如只设计一张海报， 使用上述任何方法都可以在一定时间内制定「合理」决策，至少可以快速得到结果。

2010 Netflix年 的首屏页面

2020 年 Netflix 的首屏页面

如果设计一个第一个屏幕界面，它不仅涉及视觉体验，还涉及产品和用户需求、用户体验、交互逻辑、排版布局等。这个决定可能需要很长时间。正如你所看到的，在过去的十年里，Netflix 主屏幕页面经历了很大的变化。但这并不是最重要的挑战。

大量的电影和剧集如何匹配多变的封面图片，满足不同国家和地区不同审美偏好的用户？一部电影必须这样做不现实的。

Netflix 有几个相辅相成的团队来共同决策和实施设计，而不是采用上述四种策略。

团队构成：Netflix 主要决策团队

Netflix 和许多其他类似的公司一样，有专门的业务战略部门（SP&A），通常通过财务、运营和战略分析，协助公司高层做出宏观决策。

在微观层面上，他们还有消费者洞察部门分析用户的行为和决策，直接面对用户，仔细区分用户和真实决策之间的差异，掌握用户的决策倾向，在一定程度上，他们可以确定消费者个人、受众、市场层面的主要模式、共识和主要声音。

但在实施全平台时，Netflix 靠的，是的「数据科学与工程团队」。用户在数据层面的行为和表达不会欺骗人。他们所要做的就是审美「规范化」和有针对性的「精细化」并应用于大量影视作品和大量用户。

数据科学团队是一个成员背景不同、来源广泛的团队。借助不同的技能组合，他们共享技能，促进技能 Netflix 在宏观数据层面，逐步优化设计和体验。他们中的许多人熟悉个性化算法、内容评估和流程优化。当然，他们也知道如何设计和工程，并且可以与其他业务/工程团队密切合作。

在实施功能和设计方面，宏观上有战略团队，微观上有消费者洞察部门，「数据科学与工程团队」是中坚力量。最硬核的事情就是这个复杂的团队完成的。

关键因素：选择合适的背景图

2014年的时候，Netflix 该团队进行了一项研究，发现了不规则。通过这项研究，他们发现用户通常在每个影视作品的标题上花费平均成本 1.8s，然而，影视作品的图片背景是影响用户是否观看的最关键因素。这些图片内容占用用户浏览 Netflix 视觉内容比例 82%。用户浏览信息时，很难想象「草率」，对平台而言，抓取用户兴趣的时间窗口有多短。

Netflix 推出原创纪录片《The Short Game》的时候，Netflix 内容分析团队利用这项研究的结果进行了全面的测试。最直观的结果是，使用更好、更有针对性的图片内容将显著增加作品的整体流媒体播放时间和用户参与度。

在这项研究中，有许多定性的研究结果值得参考。

面孔对用户的注意力自然有吸引力，这可能是众所周知的，但更重要的是，情绪复杂的面部比温柔或坚韧的面部表情更能吸引用户——复杂的面部表情更能激发用户对故事的好奇心。以下内容 Unbrakable Kimmy Schmidt 第二季开播时，Netflix 使用了多个不同版本的封面图，其中右下角转化率最高的是:

虽然全球化程度正在提高，但不同地区的文化差异也是一个不可忽视的影响因素。以《黑客帝国》系列导演沃卓斯基姐妹执导的系列剧《超级狩猎》为例 Netflix 全球不同地区投资的影视剧集，转化率最高的封面图不同：

最具辨识度的角色通常更容易吸引用户，而这个角色不一定是这部作品的主角！请注意，在驯龙大师系列的封面上，恶棍通常会带来更高的转化率：

少就是多，这也是一个非常重要的规律。例如 Netflix 在主页的封面图使用场景下，当封面中的角色超过3人时，转化率急转直下。Netflix 数据证明，在小屏幕上撕裂位置是没有意义的。用户会选择单个角色的封面图，甚至不一定是主角。以《女子监狱》系列为例，第一季多人封面数据明显不好，后续学习也不错。第二季和第三季使用单人封面，数据转化率明显回升:

第一季

第二季

第三季

以上测试结果是「数据科学与工程团队」借助大量的开创性 A/B 测试以获得答案。

A/B 测试:疯狂细致的对比

以上结论很容易理解，但这些结论是基于极其复杂和详细的测试。「数据科学与工程团队」工程师的目标设定非常明确：

确保用户能更快地找到他们想看的电影和电视作品。确保用户逐渐增加参与度，观看更多内容。确保在使用多个不同的图片背景时不会扭曲标题的含义。

从视觉排版的角度来看，每部电影或电视剧实际上都有许多属性。以上图中的毒枭为例，通常有大标题、特征图片背景、评级信息、评分信息、内容总结等。

研究表明，用户在决定是否查看其他文本信息之前，会先查看图片。换句话说，细节很重要……但封面图是最重要的。

因此，他们计划提高用户指向图片的能力「第一眼」转化率。然而，在其他场景中使用的图片材料并不一定适合 Netflix 来使用的。

上面提到的《The Short Game》例如，数据科学团队最初采用的测试非常简单：

在 在三个不同的测试单元下，他们监控不同的指标，如点击率、总播放时间、短播放比例、观看内容比例等。结果表明，修改背景图片对转化率有明显影响，甚至扩大了作品的受众。当然，有些人质疑，但这只是最简单和粗略的 A/B 因此，在此之后，数据科学团队也进行了更深入、更复杂的测试。 A/B 测试：

在早期的基础测试中，封面图中的主要元素被量化，包括主要标题、可选标签和背景图，在用户指标筛选中更详细，看几分钟用户和看完整的系列用户，被区分，不同国家和地区的用户也被区分和标记。

这些 A/B 测试涉及到相当多的指标和场景。通过这些测试，不仅找出了提高转化率和用户观看时间的主要指标，还验证了提高短期播放时间等次要因素的影响指标。之后，他们花了几个月的时间做纵向 A/B 测试跟踪用户跨设备观影印象的变化，以及不同设备和场景下同一封面转化率的影响和变化。

然而，不同设备上的相同图片有不同的尺寸和水平比，这需要创建一个额外的识别系统来识别相同图片的不同水平比，相当于为这些图片材料创建一个「血统ID管理系统」。

此后，数据科学团队逐渐升级为更复杂的团队 A/B 在这些有针对性的测试不断推进的过程中，筛选出上述结论。这些结果实际上转化为 Netflix 这也促进了订阅量 Netflix 数据科学和工程团队开始吸收更多的跨学科人才，并储备越来越多的算法和工具，直到它们诞生 AVA 系统。

AVA 系统：真正的算法筛选

尽可能多，尽可能丰富，尽可能符合规律的封面图，可以给予 Netflix 带来最直接的转换，精心挑选封面图...工作量太大了。AVA 该系统用于解决此问题「大量的封面图从何而来？」的问题。

著名剧集《奇怪物语》一集大概有 86000 静态帧，这意味着在10集一季的剧集中，可以筛选出接近 900 万个静态帧，这是一个巨大的资源库，想想看，900万帧图片中能筛选出多少图片作为封面？

然而，为了实现这一目标，数据科学和工程团队需要对这些视觉信息进行全面的拆卸和细化。数据科学和工程团队计划使用帧注释来标记和测量每帧图片的客观特征元数据：

AVA 为《Bright》筛选图片

然后在此基础上，拆分框架子集，然后借助排名算法筛选出符合美学、创意和多样性的子集。这些图片的收藏将成为代表这部电影和电视作品的替代图片材料。

为尽可能好地筛选图片，Netflix 该团队将视频分成小段，然后进行详细处理。为了实现这一目标，他们创建了一个名字 Archer 在此框架的基础上，不断添加智能算法，逐一处理这些分割的视频块，分析图片的元数据，或分析这些块的内容和主题的相关性，并对其重要性进行排名。

在 Archer 在框架的帮助下，他们获得了视频块和图片 3 类基数据：

1、视频元数据

简单来说，视频元数据包含了这些视频和图片的亮度、颜色、对比度和动态模糊度，这也是 AVA 最容易获得的内容和数据。

2、上下文元数据

上下文元数据更有趣，AVA 人物的情绪可以根据人物的姿势、动作和面部表情来判断，但这并不是最强烈的。算法可以估计镜头相对于主体的运动距离，从而为动态模糊提供特定的参数，甚至识别镜头的类型和风格，如长镜头，是特写镜头，进一步证明场景中的情绪或氛围，对象检测数据可以区分场景中人物和物体的差异和特征。

3、构图元数据

AVA 该算法可以结合摄影和视觉美学的逻辑来判断图片的特征，如使用对称、景深关系和三分法来识别镜头和图片的特征。

在确定了这些基本元数据后，下一步将通过自动化过程从中提取「最佳」候选图片。当创意团队需要合成或编辑封面时，可以选择更有用的图片和视频资料。这张图排名的逻辑也很讲究。

1、对演员优先级进行筛选

在影视作品中，主角和关键角色的优先级无疑更高。在深度学习和训练的帮助下，算法可以筛选出符合关键角色和主角特征的图片。当然，它还需要考虑主角的动作、表情、面部情绪和构图：

在这个过程中，非关键角色、动态模糊的图片和图片角色的情绪将被删除。

2、挑出美学多样性的画面帧

考虑到封面图还需要创造性和视觉多样性，甚至是一门非常主观的学科，从设计师和创意工作者那里获得一些具有明显特征的指标，以筛选电影中一些具有明显审美特征的图片。AVA 视觉突出场景(三分法、亮度、对比度)将专门筛选出特征镜头(远景或中景)、色彩突出场景(突出或有代表性的色彩)，以及特征结构场景(负空间或特定复杂场景)。

结合这些特征属性，可以筛选出许多高质量的图片。

3、增加分级过滤器

考虑到观众的敏感性和敏感性，在筛选过程中，还需要过滤包含性和裸露文本的图片和视频，删除包含文本、标志和未经授权品牌的相关图片，AVA 该系统将对含有这些元素的图片进行较低的评级，以便自然筛选。

基本上，在这一步中，您可以获得大量的图片和视频材料，并结合设计师提供的不同语言和版本的标题设计材料，快速合成不同国家和地区用户的封面图。所以，这是关键「数据科学与工程团队」具体是什么样的人？

「数据科学与工程团队」都是谁？

「数据科学与工程团队」是典型的站立「科技和人文」十字路口的团队需要以科学的方式探索人性和艺术的特点，解决用户体验、流媒体流算法、合理的个性化推荐等问题。

在这个团队中，成员主要分为两类，「数据分析工程师」和「可视化工程师」，在很大程度上，他们面临的是 Netflix 平台本身的内容，大量的内容。这两个职位的名称之所以如此模糊，是因为这些人不是单一的学术背景，甚至同一专业的成员也有自己的特殊技能和知识类别。这个模糊的标题只是为了模糊这个界限，促进合作。

「数据科学与工程团队」其中成员多才多艺，根据其专业领域的差异，可分为三大类。

分析师。他们通常可以提供指标和数据模块来促进业务决策，善于与非技术背景的受众沟通，并与利益相关者讨论不同选择的战略意义。他们的专业知识是描述性的分析和方法，他们也知道必要的技术工具，如代码、数学和统计。工程师。他们擅长以最好的方式获取数据，建立强大的数据模型和原型系统，并擅长为特定的项目获取数据。本质上，他们仍然是分析师，但他们对数据工程有着深刻的理解，特别是对数据处理和性能优化。它们大多位于多学科的交叉点，可以全栈输出，分层可视化地呈现项目。洞察者。这是一个特别擅长视觉表达和叙事的群体。他们对扩展、美观和功能有很强的控制力。他们对表面以下的数据和内容有深刻的洞察力。他们中的大多数人可以用准确而美丽的数据图来描述事件和情况，并帮助他人理解。他们甚至使用代码和设计工具来制作工具和设计工具 UI。

从他们的功能特点可以看出，他们的日常工作总是围绕着数据、性能和可视化，他们需要解决的问题往往是前人从未接触过的，甚至需要深入分析「理解」。

Netflix 的「数据科学与工程团队」对设计的支持无处不在，它们高度技术化，跨学科属性强，现在对我们来说「设计」认知差异很大。当然，在很大程度上，这种团队只能存在于一些大公司或涉及大量数据的项目中，但它在一定程度上揭示了未来设计的方向和可能性。

写在最后

打开电视或浏览器 Netflix 页面之后，我不会先看60s的广告打扰，也不会在最终选择剧集后再看 120s 广告。这种相对纯粹的观影体验背后可能有 Netflix 当然，自制影视作品带来的收入也有支撑「数据科学与工程团队」这些硬核玩家努力工作的影响。当然，我最重要的是不喜欢用广告强迫付费订阅的模式...

参考来源：

https://news.mit.edu/2014/in-the-blink-of-an-eye-0116https://netflixtechblog.com/analytics-at-netflix-who-we-are-and-what-we-do-7d9c08fe6965https://netflixtechblog.com/selecting-the-best-artwork-for-videos-through-a-b-testing-f6155c4595f6https://about.netflix.com/en/news/the-power-of-a-picturehttps://jobs.netflix.com/teams/data-science-and-engineeringhttps://uxplanet.org/what-can-we-learn-about-design-from-netflix-502f6a384aa8https://netflixtechblog.com/ava-the-art-and-science-of-image-discovery-at-netflix-442f163af6https://netflixtechblog.com/decision-making-at-netflix-33065fa06481

延伸阅读：