얼굴 및 감정 추적의 편향성
우리는 기계가 인간보다 편향성이 적다는 대중의 지나친 단순화에 동의하는 것 같지만, 기계가 데이터의 다양한 측면을 읽고 집중하도록 훈련되는 방식을 잘 알고 있다면 알 수 있습니다: 그렇게 간단하지 않습니다.
기계도 인간에 의해 훈련된 것이라면 편견에서 자유로울 수 없습니다.
다음은 얼굴 추적 및 표정 라벨링에서 발생할 수 있는 다양한 유형의 편향에 대한 프레젠테이션입니다. 이러한 편향 중 상당수는 줄일 수 있으므로 개선 방법에 대한 제안도 포함했습니다. 모든 유형의 얼굴 및 감정 추적 작업을 하는 경우, 이러한 편향성을 인식하는 것은 사용자의 책임입니다.
아래 슬라이드 또는 여기에 링크된 동영상 보기: YouTube 동영상
텍스트: 다양한 얼굴 및 감정 추적 회사 시도 폴 에크먼의 페이셜 액션 코딩 시스템 (FACS)
- 하지만 많은 사람들이 시간을 들여 제대로 사용하지 않습니다.
텍스트: FACS를 제대로 사용하지 않으면 어떻게 되나요?
- 잘못된 표현식 분류
- 일관성 없는 표현식 분류
- 편향된 라벨링(인종, 문화, 연령 관련 등)
- 무정부 상태
FACS를 올바르게 사용하더라도 편향성과 불일치는 항상 존재하지만, 세심한 조치를 취하면 이러한 문제를 크게 줄일 수 있습니다.
텍스트: 잘못된 표현식 분류
- 얼굴 동작은 미묘하고 집중적인 연구 없이는 구별하기 어렵습니다.
- 대부분의 FACS 참조(제외 원본 FACS 매뉴얼)은 신뢰할 수 있다고 여겨지는 출처조차도 잘못된 FACS 시각 자료를 제공합니다.
- 이러한 부정확성에도 불구하고 이러한 소스는 종종 얼굴 추적 엔지니어와 연구자들이 참고 자료로 사용합니다.
- 기술 기업은 데이터 기반 역할에 충분히 투자하지 않기 때문에 중요한 얼굴 표정을 구분할 수 있는 적절한 직원이나 리소스를 보유하지 못할 가능성이 높습니다.
텍스트: 잘못된 표현식 분류
- 같은 기본 도형 "입술 조임제"와 같은 작업과 자주 혼동됩니다.립 프레서" 및/또는 "lip 퍽커."
- 입술 조임제 에서 중요합니다: 감정 표현 및 음성 제작
텍스트: 잘못된 표현식 분류
- 위는 립타이트너의 실제 모습입니다.
- 이것은 매번 레이더에 포착되지 않는 수많은 형태 중 하나에 불과합니다:
– 실수 – 잘못 분류됨 – 오용
텍스트: FACS를 제대로 사용하지 않으면 어떻게 되나요?
- 잘못된 표현식 분류
- 일관성 없는 표현식 분류
- 편향된 라벨링(인종, 문화, 연령 관련 등)
- 무정부 상태
FACS를 올바르게 사용하더라도 편향성과 불일치는 항상 존재하지만, 세심한 조치를 취하면 이러한 문제를 크게 줄일 수 있습니다.
텍스트: 잘못된 표현식 분류
잘못된 분류와 관련된 동일한 문제 또한 일관성 없는 분류에 기여합니다.
텍스트: 일관성 없는 표현식 분류
기술 기업이 데이터 품질에 철저하게 투자하지 않는다면, 데이터 분류 규칙을 표준화할 수 없습니다.
때문에:
- 데이터 기반 역할을 위한 직원 채용 및/또는 교육에 대한 투자 부족
- 양질의 FACS 리소스 부족
- 얼굴 동작을 구별하는 데 내재된 어려움
→ 라벨러는 표현식을 일관성 없이 분류합니다.
→ 트래커는 서로 잘못된 표현을 연결하여 다른 사람들을 혼란스럽게 만드는 이상한 기질을 개발합니다.
텍스트: 일관성 없는 표현식 분류
참고: 이 다이어그램은 아바타의 모양 활성화 문제를 설명하기 위해 만든 것이지만, 얼굴 및 감정 추적에도 동일한 기본 개념이 적용됩니다.
텍스트: FACS를 제대로 사용하지 않으면 어떻게 되나요?
- 잘못된 표현식 분류
- 일관성 없는 표현식 분류
- 편향된 라벨링(인종, 문화, 연령 관련 등)
- 무정부 상태
FACS를 올바르게 사용하더라도 편향성과 불일치는 항상 존재하지만, 세심한 조치를 취하면 이러한 문제를 크게 줄일 수 있습니다.
텍스트: 편향된 라벨링(인종, 문화, 연령 관련 등)
표현식 레이블이 제대로 정의되지 않고 제대로 이해되지 않으면 작은 실수가 큰 편견을 만들 수 있습니다.
텍스트: 편향된 라벨링(인종, 문화, 연령 관련 등)
얼굴 추적 기술에 존재할 수 있는 편견에 대해 알아보기 전에, 이미 존재하는 특징 식별 기술인 얼굴 인식의 편견에 대해 생각해 보세요.
텍스트: 편향된 라벨링(인종, 문화, 연령 관련 등)
특징 감지조차 제대로 하지 못한다면 표정 추적에서 편향이 얼마나 복잡할 수 있는지 상상해 보세요. 표정 추적에는 얼굴 특징 이상의 이해가 필요합니다. 미묘한 얼굴 움직임에 대한 이해가 필요합니다.
-
블레스, 캐롤라인 & 잭, 레이첼 & 쉬퍼스, 크리스토프 & 피셋, 다니엘 & 칼다라, 로베르토. 문화는 우리가 얼굴을 보는 방식을 형성합니다. (2008).PloS one. 3. e3022. 10.1371/journal.pone.0003022.
텍스트: 편향된 라벨링(인종, 문화, 연령 관련 등)
- 사람들은 얼굴을 볼 때 서로 다른 정보를 추출하고 감정을 해석할 때 서로 다른 단서를 찾습니다.
- 문화는 우리가 가치 있는 정보와 단서로 간주하는 것에 깊은 영향을 미칩니다.
연구 결과에 따르면
- 동아시아 참가자 는 얼굴 중앙, 코 주변에 집중하는 경향이 있어 눈과 시선 방향을 더 중요하게 여깁니다.
- 서양 백인 참가자들은 눈썹과 입가에서 감정 표현을 찾는 경향이 있습니다.
- 이러한 주의력 차이로 인해 참가자들이 상반된 표정을 가진 얼굴을 볼 때 편견이 생깁니다.
예: 슬픈 눈과 행복한 입이 있는 경우:
- 일본 참가자들은 눈에 보이는 감정을 더 중요하게 생각합니다.
- 미국 참가자들은 입가에 더 많은 관심을 기울입니다.
1. Blais, C., Jack, R. E., Scheepers, C., Fiset, D., Caldara, R. (2008). 문화는 우리가 얼굴을 보는 방식을 형성합니다. 도이: 10.1371/journal.pone.0003022.
2. 엘펜바인, H. A., & 암바디, N. (2003). 감정 인식의 보편성과 문화적 차이. 심리 과학의 현재 방향, 12(5), 159-164.
3. 마츠모토, D., 카스리, F., & 쿠켄, K. (1999). 표현 강도와 주관적 경험에 대한 판단에서 미국과 일본의 문화적 차이. 인지 및 감정, 13(2), 201-218.
4. 마츠모토, D., & 에크만, P. (1989). 감정 표정의 강도 평가에서 미국과 일본의 문화적 차이. 동기 부여와 감정, 13(2), 143-157.
5. Marsh, A. A., Elfenbein, H. A., & Ambady, N. (2003). 감정 표정의 비언어적 "악센트"문화적 차이. 심리 과학, 14(4), 373-376.
6. Yuki, M., Maddux, W. W., & Masuda, T. (2007). 영혼의 창은 동양과 서양에서 같은가? 일본과 미국에서 감정을 인식하는 단서로 눈과 입을 사용하는 문화적 차이. 실험 사회 심리학 저널, 43(2), 303-311.
텍스트: 편향된 라벨링(인종, 문화, 연령 관련 등)
이제 표현식 레이블 지정에 무엇이 들어가는지 살펴보겠습니다.
텍스트: 편향된 라벨링(인종, 문화, 연령 관련 등)
- 만약 립 코너 디프레서 를 올바르게 이해하지 못하면 라벨 제작자가 잘못 분류할 가능성이 높습니다. any 입술 모서리가 처진 모양으로 립 코너 디프레서. 이러한 잘못 분류된 모양은 종종 다음과 같은 영향으로 인해 발생합니다. 턱 올리기 – 하지만 더 나쁜 것도 포함될 수 있습니다.: 중립 얼굴(무표정한 얼굴).
- 이러한 오해의 결과 중 하나는 다음과 같습니다: 과잉 탐지 립 코너 디프레서 입꼬리가 처진 사람들의 경우. 노인들은 중력의 장기적인 영향으로 인해 입꼬리가 처지는 경우가 많습니다.
텍스트: 편향된 라벨링(인종, 문화, 연령 관련 등)
- 부적절한 라벨링 관행으로 인해 고령 인구 집단은 다음 항목이 과도하게 감지될 수 있습니다. 립 코너 디프레서.
- 입꼬리 우울증은 슬픔의 핵심 요소입니다. 이 오류로 인해 고령 인구에서 슬픔이 과도하게 감지될 수 있나요?
- 입꼬리가 처지는 얼굴 특징이 있는 다른 그룹은 어떤가요? "슬프다"로 잘못 해석되지는 않나요?
텍스트: 편향된 라벨링(인종, 문화, 연령 관련 등)
- 트래커가 다음을 잘못 감지하는 것은 큰 문제가 아닌 것처럼 보일 수 있습니다. 립 코너 디프레서 또는 슬픔하지만: 얼굴 추적이 정신 건강 평가나 잠재적 구직자 평가와 같은 더 큰 업무에 사용되면 어떤 일이 발생할까요?
텍스트: 편향된 라벨링(인종, 문화, 연령 관련 등)
- 이제 AI가 화상 면접 중 지원자의 표정을 분석합니다 - 유니레버, IBM, 던킨도너츠 등 많은 기업이 이미 이 기술을 사용하고 있습니다.
- 감정 인식 기술은 작동하지 않지만 전문가를 고용하고 다른 사람들은 어쨌든 그것을 사용하고 있습니다 : 보고서
- '감정 감지' AI는 1조 4천억 달러 규모의 산업입니다. 하지만 새로운 연구 결과에 따르면 인공지능은 그 기능을 제대로 발휘하지 못합니다.
텍스트: 편향된 라벨링(인종, 문화, 연령 관련 등)
부적절한 라벨링이 고령층에 대한 편견을 조장할 수 있는 방법에 대해 이야기했습니다. . . 하지만 특정 얼굴 특징을 가진 사람에 대한 다른 편견은 어떨까요?
텍스트: 편향된 라벨링(인종, 문화, 연령 관련 등)
". 얼굴 인식 프로그램에는 두 가지 유형의 편향이 있습니다.
첫째, 미소를 지을 때마다 흑인 얼굴이 백인 얼굴보다 더 화난 것으로 일관되게 점수가 매겨졌습니다. Face++는 이러한 유형의 편향성을 보여주었습니다. 둘째, 검은 얼굴은 항상 더 화난 것으로 점수가 매겨졌습니다. 표정에 모호한 부분이 있는지 확인했습니다. Face API는 이러한 유형의 불일치를 표시했습니다. 분석 결과 흑인 얼굴이 부분적으로 웃고 있더라도 시스템은 비슷한 표정을 가진 백인 시스템에 비해 더 부정적인 감정을 가정했습니다. 평균 감정 점수는 인종 간에 훨씬 비슷했지만, 흑인과 백인의 얼굴에는 여전히 눈에 띄는 차이가 있었습니다."
텍스트: 편향된 라벨링(인종, 문화, 연령 관련 등)
방법 이런 일이 일어날 수 있을까요?
데이터에 더 많은 투자를 하는 것이 왜 중요한지 다시 한 번 살펴보겠습니다.
텍스트: 편향된 라벨링(인종, 문화, 연령 관련 등)
FACS 모양 고려하기 "윗입술 올리기." 윗입술 올리기 와 같은 감정의 핵심 구성 요소입니다. 혐오, 분노, 그리고 경멸.
윗입술 올리기의 특징은 다음과 같습니다:
- 윗입술 올리기
- 둥근 위쪽 팔자 고랑 부위
(웃음 라인 - 사진 참조)
참고: 잠재적인 얼굴 행동 라벨링 편견 외에도 일반적으로 기본 감정 이론(예: 경멸, 분노 등과 같은 기본 감정 원형)에 대한 논란도 상당합니다. '''눈에 모든 것이 있다'와 다른 거짓말들.“
텍스트: 편향된 라벨링(인종, 문화, 연령 관련 등)
어떤 사람들은 팔자 고랑에 더 많은 곡선을 가지고 있습니다.
이것은 단순히 자연적으로 발생하는 얼굴 구조의 산물입니다.
텍스트: 편향된 라벨링(인종, 문화, 연령 관련 등)
얼굴 동작 코딩 시스템에 익숙하지 않은 라벨러는 표정 기반이 아닌 팔자 고랑 곡선을 가진 사람을 다음과 같이 잘못 라벨링할 수 있습니다. 윗입술 올리기.
이러한 잘못된 레이블은 특정 구조를 가진 얼굴을 다음과 같이 표현하는 것으로 식별하도록 훈련된 트래커를 탄생시킵니다. 윗입술 올리기 - 중립적이거나 웃고 있을 때도 마찬가지입니다.
라벨이 정확하지 않다면 '다양한 데이터 세트'를 확보하는 것은 의미가 없습니다.
이러한 교육을 통해 로렌 루는 다음과 같은 결과를 얻었습니다. 감정 인식 AI의 숨겨진 편견 이해하기.
텍스트: 편향된 라벨링(인종, 문화, 연령 관련 등)
편향된 감정 라벨링의 존재는 FACS 기반 접근 방식에서 벗어나 라벨러가 감정을 전체적으로 분류하도록 시도하더라도 지속될 것입니다.
텍스트: 편향된 라벨링(인종, 문화, 연령 관련 등)
전체론적 감정 라벨링이 실패할 가능성이 높은 이유가 명확하지 않은 경우(그렇지 않다면 더욱 그렇습니다) - - 다시 한 번 정리해 보겠습니다.:
- 사람들은 얼굴을 볼 때 서로 다른 정보를 추출하고 감정을 해석할 때 서로 다른 단서를 찾습니다.
- 문화는 우리가 가치 있는 정보와 단서로 간주하는 것에 깊은 영향을 미칩니다.
연구 결과에 따르면
- 동아시아 참가자들은 얼굴 중앙, 코 주변에 초점을 맞추고 눈과 시선 방향을 더 중요하게 생각하는 경향이 있습니다.
- 서양 백인 참가자들은 눈썹과 입가에서 감정 표현을 찾는 경향이 있습니다.
- 이러한 주의력 차이로 인해 참가자들이 상반된 표정을 가진 얼굴을 볼 때 편견이 생깁니다.
예: 슬픈 눈과 행복한 입이 있는 경우:
- 일본 참가자들은 눈에 보이는 감정을 더 중요하게 생각합니다.
- 미국 참가자들은 입가에 더 많은 관심을 기울입니다.
텍스트: FACS를 제대로 사용하지 않으면 어떻게 되나요?
- 잘못된 표현식 분류
- 일관성 없는 표현식 분류
- 편향된 라벨링(인종, 문화, 연령 관련 등)
- 무정부 상태
FACS를 올바르게 사용하더라도 편향성과 불일치는 항상 존재하지만, 세심한 조치를 취하면 이러한 문제를 크게 줄일 수 있습니다.
텍스트: 무정부 상태
만약 ... .
- 문화는 표현과 감정을 해석하는 방식에 영향을 미칩니다.
- 환경 조건은 얼굴을 평가할 때 어떤 단서를 살펴보는지에 영향을 미칩니다.
- 얼굴 동작에 대한 지식은 표정에 라벨을 붙이는 방식에 영향을 미칩니다.
. . . 기술 기업은 이러한 인적 오류를 줄이고 유출을 방지하기 위해 무엇을 할 수 있을까요? 알고리즘으로 전환할 수 있을까요?
텍스트: 기술 기업이 얼굴 추적의 편견을 줄이기 위해 할 수 있는 일은 무엇일까요?
- 기술 기업은 다음을 인식해야 합니다. 얼굴 추적은 엔지니어링의 범위를 뛰어넘어 발전했습니다.
- 기술 기업은 다음을 수행해야 합니다. 편견에 대한 기술의 취약성을 인정하고 직원들에게 이러한 취약성에 대해 교육합니다.
- 기술 기업은 다음을 수행해야 합니다. 데이터 품질에 더 많이 투자하세요.
텍스트: 얼굴 추적 기술의 발전을 인식하고 취약점을 이해하며 데이터 품질에 더 많은 투자를 한다는 것은 . . .
- 실제로 인원 할당 엔지니어링 인력의 공간을 확보해야 하는 경우에도 데이터 품질에 중점을 둔 역할로 전환할 수 있습니다.
- 시간, 에너지 소비, 그리고 리소스 에 데이터 전문가를 찾아보세요. 이것이 불가능하다면 데이터 전문가를 양성하는 데 시간과 에너지, 자원을 투자하는 것은 여전히 회사의 몫입니다. 얼굴 표정을 분류하는 것은 교통 신호와 같은 기본 객체를 분류하는 것보다 훨씬 더 복잡하므로 그렇게 취급해야 합니다.
텍스트: 얼굴 추적의 편향성 줄이기
얼굴 추적 기술의 발전을 인식하고 취약점을 이해하며 데이터 품질에 더 많은 투자를 한다는 것은 . . .
- 엔지니어링, 연구, 제품은 단순히 데이터에 필요한 것을 알려주는 것이 아니라 귀를 기울여야 합니다. 데이터 팀에 필요한 것을 제공합니다. 데이터 팀은 알고리즘이 작동하는 데 필요한 백그라운드 작업에 대해 가장 잘 알고 있습니다. 많은 기업이 이 부분에서 실패합니다.
- 데이터 기반 역할을 맡은 직원이 엔지니어링, 연구 및 제품 팀과 정기적으로 소통하도록 요구합니다.
텍스트: 얼굴 추적의 편향성 줄이기
얼굴 추적 기술의 발전을 인식하고 취약점을 이해하며 데이터 품질에 더 많은 투자를 한다는 것은 . . .
- 직원들에게 기술 편견의 현실에 대해 교육합니다.
- 올바른 예방 조치를 취하기 위해 라벨링을 표준화하고 정의합니다.
- 항상 편향이 나타날 수 있는 시기와 장소를 고려합니다.
- 라벨링은 누가 하나요?
- 무엇을 라벨링하나요?
- 라벨링에 영향을 미칠 수 있는 요소에는 어떤 것이 있나요?
* 기분 * 문화 * 경험
텍스트: 얼굴 추적의 편향성 줄이기
얼굴 추적 기술의 발전을 인식하고 취약점을 이해하며 데이터 품질에 더 많은 투자를 한다는 것은 . . .
사이드노트: 정적 이미지에서 표현식에 레이블을 지정하지 않습니다.
- 정확한 FACS 및 감정 라벨링은 주로 움직임을 보는 것에 달려 있습니다.
- 움직임이 더 강조되면 처진 입꼬리와 구부러진 팔자 고랑과 같은 정적인 얼굴 특징이 활성화될 가능성이 낮아집니다. 립 코너 디프레서 그리고 윗입술 올리기 (각각).
텍스트: 얼굴 추적의 편향성 줄이기
마무리 노트 . . .
텍스트: 얼굴 추적의 편향성 줄이기
우리는 기술을 더 많이 믿고 의지합니다, 가 높을수록 이러한 편견은 더 많은 영향을 미칩니다.
텍스트: 얼굴 추적의 편향성 줄이기
"... 얼굴 인식 소프트웨어는 사람의 인종에 따라 감정을 다르게 해석합니다. ... 이 발견은 개인, 조직 및 사회에 영향을 미치며, AI의 편견 및/또는 이질적인 영향에 대한 문헌이 늘어나는 데 기여합니다."
루, 로렌, 자동화된 감정 인식에 대한 인종적 영향 (2018년 11월 9일). SSRN에서 사용 가능: https://ssrn.com/abstract=3281765 또는 http://dx.doi.org/10.2139/ssrn.3281765
텍스트: 얼굴 추적의 편향성 줄이기
책임감 있게 행동하세요.
편견을 줄이기 위해 노력하세요.
데이터에 더 많이 투자하세요.
텍스트:
품질이 낮고 부정확한 FACS 참조의 만연에 대응하기 위한 조치입니다, 무료 "FACS 치트 시트"를 만들었습니다. 아티스트, 연구자, 엔지니어를 위한 가이드 역할을 합니다. FACS 리소스 사이트에서 확인할 수 있습니다, FACS에 맞서기. 컨설팅도 받을 수 있습니다.
"1"에 대한 Bias In Emotion Tracking의 생각
댓글이 닫혀 있습니다.