这篇文章是关于我一直在做的视频的后续，以评估各种跟踪套件的质量。在这里，我更深入地讨论一下我在Animoji中看到的一个特殊问题。

在Animoji的微笑

在下面的视频中，请看Animoji如何映衬我的微笑。在我的眉毛内角有一个不必要的加法，即眉毛降低。这种添加在各种类型的微笑中持续存在，包括真实的和不真实的。它也持续存在于其他一些用户身上。

眉毛下垂，上唇上扬（因上唇下垂而导致 皱鼻子者 或 戽斗)常与厌恶相关。此外，眉毛降低与微笑呈负相关。这些类型的语义意义上的跟踪错误无意中描绘了负面情绪。

 

何以见得

1. 太过注重工程。对数据质量不够重视。
2.  太注重工程了。对艺术的关注不够。

在我工作过的每一个地方，人们都非常关注雇佣有特定背景的工程师，以至于 占用了其他重要角色的人手。

许多技术负责人都认为--如果他们获得足够的数据来训练他们的模型，质量问题就会自己解决。哇！这真是太神奇了。神奇。这种假设往往是在另外一个（但错误的）假设下进行的。不纯数据的比例可以忽略不计。

我一直深陷数据战壕，几乎从事过人脸追踪的所有非工程类角色。

• 数据规划 - 确定收集什么类型的表达式数据以及如何收集数据
• 数据收集 - 实际上是与参与者一起工作，并训练他们打出正确的表情姿势。
• 数据标注 - 确定标记地标的最佳方式
• 数据分类 - 就哪些类应该存在，它们的参数是什么，以及如何处理它们不可避免的边缘情况向工程部门提供建议。
• 扩大规模 - 确保注释和分类的规则标准化，并易于被大规模标记者理解。
• 监测跟踪 - 将实际情况与跟踪结果进行比较
• 确定需要改进的领域 - 弄清存在的问题，以及如何通过规划、收集、注释和/或分类来改进这些问题。
• 阿凡达 - 根据各种考虑因素制定优先考虑的战略，例如：
  • 追踪器失效的地方
  • 最终产品的使用案例是什么
  • 美观
  • 语意最重要

作为一个具有表情科学和面部解剖学技术背景的人--他已经有了以下经验 还 担任所有这些功能 - 我在这里告诉你。 人脸追踪技术中的不纯数据量远非可以忽略不计。.简而言之--即使算法再完美--问题也会从。

• 不纯数据
  • 当从人类参与者那里收集姿势表达数据时，数据总是会被污染。保证。
  • 大多数人不可能击中每一个目标表情。很少能找到纯粹的面部动作数据。当参与者表现出不纯正的表情时，是因为他们表现出了错误的面部动作，或者是因为他们无法在不使用额外的、非目标面部肌肉的情况下隔离出目标表情。
  • 最重要的是，数据采集人员往往无法判断参与者是否连目标表达都打不出来。这种不知所云的情况并不是数据采集人员的错，而是X公司的优先级错位，没有注意雇佣或留住合适的人才。
• 坏数据标签
  • 因为大多数科技公司都非常注重寻找工程人才，他们忽略了优先考虑与数据标签相关的角色。相反，与标签相关的工作往往被当作低级职位，指定给没有特殊专长的承包商。
  • 刚开始经验较少的承包商最终可以对数据有足够的适应性，从而获得专业知识；但是，这种情况很少发生，因为合同标签的角色往往有很高的流动性。
• 盲目的艺术选择
  • 艺术要理解技术，技术也要理解艺术。驾驭双方的理解是不够强调的。艺术和工程之间往往有很大的脱节。为此，应该多建立一些理解双方的角色，"创造技术专家 "式的角色。
  • 好的追踪器之所以好看，通常不是因为追踪器本身，而是因为在幕后为了对抗不成熟的技术而做出的艺术选择。

回到Animoji，为什么每当我笑的时候，我的内眉角就会低下。

正如本篇文章开头所提到的，每当Animoji试图镜像我的微笑时，我的眉毛内角就会有一个不必要的附加眉毛降低。同样，这种添加在各种类型的微笑中持续存在，包括真实的和不真实的。

下图是一个例子，说明了数据质量和艺术之间的相互作用如何以负面的方式影响各种表达方式，并导致微笑时眉毛降低等问题。(是的，有多种潜在的原因，包括算法本身的问题;然而，这是一个具有特定条件的场景大纲)。

分解

皱鼻器和上唇器 是两个看起来相似的面部动作。

•  无论是在数据收集层面还是在数据标注层面，它们往往会相互混淆。
• 因为很多科技公司在数据质量上的投资并不尽如人意，他们通常不会安置能够准确理解或解释如何差异化的员工。 皱鼻子者 和 戽斗.
• 数据收集和数据标注中的错误都没有被发现，人才无法发现跟踪错误。

美术中常见的一种手法（我建议不要用）是用上唇提升器作为微笑的组合形状加成。

• 因为在微笑激烈时，唇角拉手的动作会将上唇抬起来，所以很多人都以为这个动作是同义词。 上唇提升器。 它不是。
• 许多艺术家使用的是 戽斗 形合 唇角拉手 来打造一个坚强的笑容。 更多细节在这里。
• 即使我对这种技术没有强烈的审美和精度基础问题，也会有大问题。
  • 如果将上唇提升器与鼻子皱纹器联系在一起，当发起强烈的微笑时，就会激活上唇提升器，然后激活鼻子皱纹器。因此，当有人微笑时，他们的眉毛会降低。坏的。

对数据质量重视不够。
对艺术的评价不够。

解决问题

回到我关于 大科技公司同质化的用人习惯, 这些问题可以通过减少隧道式视野的招聘策略来缓解。机器学习已经发展到需要跨学科专业人才的地步。雇佣合适的人，不要在人才需求方面目光短浅。