在我们以消费者为中心的数字世界中,我们制造了一种创新和开发新兴产品的紧迫性。随着机器学习的流行,以及快速行动和打破--我是说 "建立"--的自我压力,大科技公司不断需要建设者。因此,软件工程师已经成为一种非常抢手的商品,占据了员工人数,并在各公司之间引发了竞标战。然而,随着机器学习野心的增长,数据需求也在增长,将以工程师为中心的问题转变为跨学科的问题。产生高度模糊数据的项目--如用于人脸跟踪的面部表情--要求对数据的理解超出工程的范围;它们要求工程和被应用的补充领域之间的跨学科结合。因此,科技公司通过将领域专家纳入产品开发过程来承担数据完整性的责任是至关重要的。
虽然大科技公司的文化中没有优先考虑非工程类的角色,但其他行业也承认机器学习中的专题专家的重要性。例如,生物技术领域依靠的是医学专家的合作 和 工程师。在这种情况下,合作的需要是显而易见的,但在更隐晦的专业领域,这种需要并不总是明显的。正如前面提到的,一个遭受晦涩和缺乏理解的主要领域是人脸跟踪。人脸跟踪的常见用例--包括人脸过滤器、产品广告的特征检测(例如测试口红产品的嘴唇检测或眼镜的眼睛检测)和化身--都是相对良性的。然而,当考虑到不那么 "可爱 "的用例时,如情感检测、行为监控和欺骗检测,以及在刑事司法系统、保险部门或网络安全领域的应用--机器学习模型的性能变得有争议;如果做错了,就会变得危险。面部识别技术及其在不同国家和行业的不规范使用已经存在许多已知问题。由于面部表情追踪不是简单地识别一个人,而是观察并得出关于这个人的行为的结论,因此它有能力具有更大的侵略性。
尽管表情数据对人脸追踪具有根本的重要性,但大科技公司往往不能优先考虑表情数据的质量。产品经理、工程经理、用户研究人员和软件工程师通常依靠自己的肤浅理解和临时搜索,而不是从专家所能提供的深度理解中获益。虽然软件工程师是创建算法的高手,但他们往往只对数据中的内容有粗浅的了解。考虑到他们高压的工作量和对自己专业知识的关注,让工程师在仔细研究微妙的表情数据或掌握情感研究的复杂概念方面发展额外的专业知识是不可行的。
确定需要什么类型的数据,如何收集数据,以及如何标记数据是一个 微妙的过程.如果你选择了错误的数据作为目标,那么你收集或标注的数据有多好都不重要。如果你的目标是有用的数据,但收集不当,它也会失败。如果你没有精确和/或准确地标记它,它将再次失败。由于面部特征的形态差异,表情解释的固有偏见,以及情感研究者和面部解剖学家之间的争议,任何开发面部追踪算法的团体,如果其意图超出了先试后买的口红,就必须接受数据完整性的责任和道德责任。
大科技公司没有确保其算法的构件被使用它们的人很好地理解,而是不幸地收集或获得大量的数据,并将其传递给第三方标签商。这些标签商通常是外包的,按合同办事,而且几乎总是被低估。为了监测标签的质量,标准是创建和执行各种关键绩效指标,或称KPI,但由于大科技公司选择不在能够合法监督高级数据质量的人员上投入资源,KPI通常是任意的,没有什么价值。更进一步的问题是,如果工程师们没有适当地配备理解深度来确定基础真理,他们实际上在测量什么?有一个无监督的学习。然后是无监督工程。
当我在硅谷的五大公司之一工作时,我经常被对复杂的人脸跟踪数据的不冷静心态所震惊。尽管我的同事们在算法开发方面处于领先地位,但他们对面部解剖学、核心情感概念和表情行为的理解却很肤浅。像其他高度专业化的课题一样,理解人类表情的细微差别需要多年的深入研究和经验。尽管我是常驻的面部表情专家,为了解人类面部的细微差别奉献了一生和事业,但我经常被排除在重要会议和计划会议之外。我经常看到同事们胡乱地翻阅过时的、不准确的表情参考页(目前我正在翻阅)。 为这里提供新的解决方案),试图破解一个数据管道计划。我的专业知识经常被降为监督角色,我的技能被滥用于无关紧要的任务,如胡须类型和头发颜色的分类。当我指出数据不一致的趋势或预见到硬件问题时,我就被坐下来,给我上一堂 "机器学习如何工作 "的课。
我看到很多招聘信息要求有X年的人脸跟踪经验,但要求有相关经验是不够的。就像一个工程师过去在医疗技术方面的工作并不能使他们有资格成为一名医生一样,仅仅从事过跟踪技术的工作并不能使一个工程师有资格成为面部表情或情绪方面的权威。如果更加注重雇用合适的专家,也许寻找具有罕见和特殊经验的工程师的努力就会得到缓解;这种缓解可以为工程和它可以搭配的补充学科之间的更多创新合作提供空间。
大科技公司对工程的隧道视野关注是一种疏忽的习惯,需要改变。虽然软件工程师确实是机器学习过程中必不可少的,但机器学习的雄心已经把我们带到了一个地步,我们必须认识到跨学科行动的必要性。不应轻视以细微差别为条件的系统的数据--尤其是当它们为入侵性用例流血的潜力。如果公司像尊重和支持工程专业知识一样重视数据主题的专业知识,那么算法 和 它们所依据的数据会更全面,更不容易出错。缺乏整体的数据系统将使我们的产品不受监管,容易出现偏差。向算法倾斜而远离数据质量的不平衡投资将导致工程努力的浪费、产品的缺陷和不道德技术的传播。
不要把你所有的人数放在一个篮子里。负责任地雇用。
在〈Big Tech’s Homogeneous Hiring Habits Are Harming Our Data〉中有 1 則留言