Упередженість у відстеженні емоцій

до

Упередженість у відстеженні облич та емоцій

Здається, ми поділяємо популярну думку про те, що машини менш упереджені, ніж люди; однак, якщо ви знайомі з тим, як машини навчають читати і фокусуватися на різних аспектах даних, ви зрозумієте, що це не так: Все не так просто.

Машини не вільні від упереджень, якщо їх навчає людина.

Нижче представлено різні типи похибок, які можуть виникати при відстеженні облич та маркуванні виразів обличчя. Багато з цих похибок можна зменшити, тому я також включив пропозиції щодо вдосконалення методів. Якщо ви працюєте над відстеженням облич та емоцій будь-якого типу, ви зобов'язані знати про ці упередження.

Перегляньте слайди нижче АБО відео за посиланням: Відео на YouTube

Расові, культурні та вікові упередження при відстеженні обличчя та емоцій
Расові, культурні та вікові упередження при відстеженні обличчя та емоцій: Багато компаній, що займаються відстеженням облич та емоцій, намагаються використовувати систему кодування мімічних дій Пола Екмана (FACS)

Текст: Багато відстеження облич та емоцій компанії Спробуй щоб використати Пол Екман's Система кодування мімічних дій (FACS) 
- але багато хто не знаходить часу, щоб використати його правильно.

Расові, культурні та вікові упередження при відстеженні обличчя та емоцій

Текст: Що трапляється, коли ви неправильно використовуєте FACS?

  • неправильна класифікація виразів
  • непослідовна класифікація висловлювань
  • упереджене навішування ярликів (расових, культурних, вікових тощо)
  • анархія

Навіть якщо ви використовуєте FACS належним чином, завжди існуватимуть упередженість і непослідовність - але, вживаючи ретельних заходів, ці проблеми можна значно зменшити.

Расові, культурні та вікові упередження при відстеженні обличчя та емоцій: Неправильна класифікація виразу обличчя

Текст: неправильна класифікація виразів

  • Мімічні дії є тонкими і їх важко диференціювати без інтенсивного вивчення.
  • Більшість посилань на FACS (за винятком оригінальний Посібник з FACS) надають некоректні візуалізації FACS - навіть джерела, які вважаються достовірними.
  • Незважаючи на ці неточності, такі джерела часто використовуються як посилання інженерами та дослідниками з відстеження облич. 
  • Оскільки технологічні компанії недостатньо інвестують у ролі, засновані на даних, вони, ймовірно, не мають потрібного персоналу або ресурсів для диференціації важливих мімічних дій.
Расові, культурні та вікові упередження при відстеженні обличчя та емоцій: Неправильна класифікація виразу обличчя
Расові, культурні та вікові упередження при відстеженні обличчя та емоцій: Неправильна класифікація виразу обличчя

Текст: неправильна класифікація виразів

  • Базові фігури на кшталт "підтяжка для губ" регулярно плутають з діями на кшталт "притиск для губ"та/або"губа морщиться."
  • Засіб для підтяжки губ дуже важлива: вираження емоцій та виробництво мовлення
Расові, культурні та вікові упередження при відстеженні обличчя та емоцій: Неправильна класифікація виразу обличчя

Текст: неправильна класифікація виразів

  • Вище показано справжній вигляд засобу для підтяжки губ.
  • Це лише одна з багатьох фігур, які щоразу пролітають повз радар:
    – помилився. – неправильно класифіковані – зловживають
Расові, культурні та вікові упередження при відстеженні обличчя та емоцій: Непослідовна класифікація виразів обличчя

Текст: Що трапляється, коли ви неправильно використовуєте FACS?

    • неправильна класифікація виразів
    • непослідовна класифікація висловлювань
    • упереджене навішування ярликів (расових, культурних, вікових тощо)
    • анархія
      •  

Навіть якщо ви використовуєте FACS належним чином, завжди існуватимуть упередженість і непослідовність - але, вживаючи ретельних заходів, ці проблеми можна значно зменшити.

Расові, культурні та вікові упередження при відстеженні обличчя та емоцій: Непослідовна класифікація виразів обличчя

Текст: неправильна класифікація виразів

Ті самі проблеми, пов'язані з неправильною класифікацією також сприяють непослідовній класифікації.

Расові, культурні та вікові упередження при відстеженні обличчя та емоцій: Непослідовна класифікація виразів обличчя

Текст: непослідовна класифікація висловлювань

Якщо технологічні компанії не будуть ретельно інвестувати в якість даних, їхні правила класифікації даних не можуть бути стандартизовані.

Через:

  • брак інвестицій у найм та/або навчання працівників для роботи з даними
  • брак якісних ресурсів FACS 
  • вроджені труднощі з диференціацією мімічних рухів

→ Маркувальники класифікують вирази непослідовно.
→ Трекери розвивають дивні дивацтва, пов'язуючи неправильні вирази один з одним, збиваючи з пантелику інших.

Текст: непослідовна класифікація висловлювань

ПРИМІТКА: Ця діаграма була створена, щоб пояснити проблеми з активацією форми для аватарів, але ті ж самі базові концепції застосовуються до відстеження обличчя та емоцій.

Текст: Що трапляється, коли ви неправильно використовуєте FACS?

    • неправильна класифікація виразів
    • непослідовна класифікація висловлювань
    • упереджене навішування ярликів (расових, культурних, вікових тощо)
    • анархія
      •  

Навіть якщо ви використовуєте FACS належним чином, завжди існуватимуть упередженість і непослідовність - але, вживаючи ретельних заходів, ці проблеми можна значно зменшити.

Расові, культурні та вікові упередження при відстеженні обличчя та емоцій: упереджене маркування

Текст: упереджене навішування ярликів (расових, культурних, вікових тощо)

Коли позначення висловлювань нечітко визначені та погано зрозумілі, маленькі помилки можуть призвести до великих упереджень.

Расові, культурні та вікові упередження при відстеженні обличчя та емоцій: упереджене маркування

Текст: упереджене навішування ярликів (расових, культурних, вікових тощо)

Перш ніж перейти до упереджень, які можуть існувати в технології відстеження облич, розглянемо вже існуючі упередження в технології ідентифікації осіб: розпізнавання облич.

Расові, культурні та вікові упередження при відстеженні обличчя та емоцій

Текст: упереджене навішування ярликів (расових, культурних, вікових тощо)

Якщо ми навіть не можемо правильно розпізнати риси обличчя, уявіть, наскільки складною може бути упередженість у відстеженні експресії. Відстеження міміки вимагає розуміння не лише рис обличчя. Воно вимагає розуміння тонких рухів обличчя.

Расові, культурні та вікові упередження при відстеженні облич та емоцій: Дослідження постійно виявляють, що люди помітно гірше розпізнають обличчя представників різних культур.
Текст: упереджене навішування ярликів (расових, культурних, вікових тощо) Дослідження постійно показують, що люди помітно гірше розпізнають обличчя представників різних культур.
    Бле, Керолайн і Джек, Рейчел і Схіперс, Крістоф і Фісет, Даніель і Кальдара, Роберто. Культура формує те, як ми дивимося на обличчя. (2008).PloS one. 3. e3022. 10.1371/journal.pone.0003022.
Расові, культурні та вікові упередження при відстеженні обличчя та емоцій:

Текст: упереджене навішування ярликів (расових, культурних, вікових тощо)

  • Люди по-різному витягують інформацію, дивлячись на обличчя, і шукають різні підказки, інтерпретуючи емоції. 
  • Культура глибоко впливає на те, що ми вважаємо цінною інформацією та підказками.

Дослідження показали:

  • Східна Азія учасники схильні зосереджуватися на середині обличчя, навколо носа, надаючи більше значення очам і напрямку погляду. 
  • Західнокавказький учасники схильні шукати вираження емоцій у бровах та області рота
  • Ці відмінності в увазі створюють упередження, коли учасники дивляться на обличчя з суперечливими виразами
    Наприклад, коли сумні очі зі щасливим ротом:
    - Японські учасники надають більшого значення емоціям в очах
    - Американські учасники більше дбають про зону рота.

 

1. Blais, C., Jack, R. E., Scheepers, C., Fiset, D., and Caldara, R. (2008). Культура формує те, як ми дивимося на обличчя. PLoS ONE 3:e3022. doi: 10.1371/journal.pone.0003022
2. Елфенбайн, Х. А., та Амбаді, Н. (2003). Універсалії та культурні відмінності у розпізнаванні емоцій. Current Directions in Psychological Science, 12(5), 159-164.
3. Мацумото, Д., Касрі, Ф. та Кукен, К. (1999). Американсько-японські культурні відмінності в судженнях про інтенсивність експресії та суб'єктивний досвід. Cognition & Emotion, 13(2), 201-218.
4. Мацумото, Д., та Екман, П. (1989). Американсько-японські культурні відмінності в оцінці інтенсивності міміки емоцій. Мотивація та емоції, 13(2), 143-157.
5. Марш, А. А., Ельфенбайн, Г. А., та Амбаді, Н. (2003). Невербальні "акценти" культурних відмінностей у вираженні емоцій на обличчі. Психологічна наука, 14(4), 373-376.
6. Юкі, М., Маддукс, В. В. та Масуда, Т. (2007). Чи однакові вікна в душу на Сході та Заході? Культурні відмінності у використанні очей та рота як сигналів для розпізнавання емоцій в Японії та США. Журнал експериментальної соціальної психології, 43(2), 303-311.

Расові, культурні та вікові упередження у відстеженні обличчя та емоцій: маркування виразу обличчя

Текст: упереджене навішування ярликів (расових, культурних, вікових тощо)

Тепер розглянемо, що входить до маркування виразів ...

Расові, культурні та вікові упередження при відстеженні обличчя та емоцій: депресія кутика губи та упередження щодо людей похилого віку

Текст: упереджене навішування ярликів (расових, культурних, вікових тощо)

  • Якщо депресор кута губи неправильно зрозумілий, етикетувальники з більшою ймовірністю неправильно класифікують будь-який форма з опущеними куточками губ як депресор кута губи. Ці неправильно класифіковані форми часто спричинені наслідками підтяжка для підборіддя – але вони також можуть включати щось гіршенейтральні обличчя (обличчя без виразу).
  • Один з можливих наслідків цього помилкового уявлення полягає в наступному: надмірне виявлення депресор кута губи у людей з опущеними кутиками губ. Часто люди похилого віку мають опущені куточки рота через тривалий вплив гравітації. 
Расові, культурні та вікові упередження при відстеженні обличчя та емоцій: депресія кутика губи та упередження щодо людей похилого віку

Текст: упереджене навішування ярликів (расових, культурних, вікових тощо)

  • Через неправильну практику маркування люди старших демографічних груп можуть бути схильні до надмірного виявлення депресор кута губи.
  • Депресор кутика губи - ключовий компонент смутку. Чи може ця помилка призвести до надмірного виявлення смутку в старших демографічних групах?
  • А як щодо інших груп, чиї риси обличчя характеризуються опущеними куточками губ? Чи не будуть вони неправильно інтерпретовані як "сумні"?
Расові, культурні та вікові упередження при відстеженні обличчя та емоцій: депресія кутика губи та упередження щодо людей похилого віку

Текст: упереджене навішування ярликів (расових, культурних, вікових тощо)

  • Може здатися, що для трекера неправильне визначення не є великою проблемою депресор кута губи або смутокале: Що відбувається, коли відстеження облич використовується для більш важливих речей, таких як оцінка психічного здоров'я або оцінка потенційних кандидатів на роботу?
Расові, культурні та вікові упередження при відстеженні обличчя та емоцій:

Текст: упереджене навішування ярликів (расових, культурних, вікових тощо)

  • ШІ тепер аналізує вираз обличчя кандидатів під час відеоспівбесіди - Unilever, IBM, Dunkin Donuts та багато інших компаній вже використовують цю технологію
  • Технологія розпізнавання емоцій не працює, але наймаючи професіоналів, інші все одно її використовують: звіт
  • "Виявлення емоцій" ШІ - це індустрія вартістю 1 трлн. 4 трлн. 20 млрд. доларів. Нові дослідження показують, що він не може робити те, про що заявляє.
Расові, культурні та вікові упередження при відстеженні облич та емоцій: Упередження на основі ознак

Текст: упереджене навішування ярликів (расових, культурних, вікових тощо)

Ми говорили про те, як неправильне маркування може спричинити упереджене ставлення до людей похилого віку. . . А як щодо інших упереджень щодо людей з певними рисами обличчя?

Расові, культурні та вікові упередження при відстеженні облич та емоцій: Упередження на основі ознак

Текст: упереджене навішування ярликів (расових, культурних, вікових тощо)

". ... програми розпізнавання облич демонструють два різних типи упередженості.

По-перше, чорні обличчя постійно оцінювалися як зліші, ніж білі, за кожну посмішку. Face++ продемонстрував такий тип упередженості. Другий, чорні обличчя завжди оцінювалися як зліші якщо вираз їхніх облич був неоднозначним. Face API відображав цей тип невідповідності. Навіть якщо чорні обличчя частково посміхаються, мій аналіз показав, що припускали більш негативні емоції порівняно з їхніми білими колегами зі схожими виразами обличчя. Середні емоційні оцінки були набагато ближчими між расами, але все ж були помітні відмінності для чорношкірих і білих осіб".

Розуміння прихованої упередженості ШІ, що зчитують емоції
-Лорен Рю

Расові, культурні та вікові упередження у відстеженні обличчя та емоцій: як це могло статися? Давайте згадаємо, ЧОМУ ВАЖЛИВО ІНВЕСТУВАТИ БІЛЬШЕ В ДАНІ.

Текст: упереджене навішування ярликів (расових, культурних, вікових тощо)

Як чи може таке статися? 

Давайте повернемося до того, ЧОМУ ВАЖЛИВО ІНВЕСТУВАТИ БІЛЬШЕ В ДАНІ.

Расові, культурні та вікові упередження при відстеженні обличчя та емоцій: Підняття верхньої губи

Текст: упереджене навішування ярликів (расових, культурних, вікових тощо)

Розглянемо форму FACS "підйомник верхньої губи." Підтяжка верхньої губи є ключовим компонентом таких емоцій, як огида, гнів, і презирство.

Особливості підтяжки верхньої губи включають в себе

  • піднята верхня губа
  • закруглена верхня частина носогубної борозни
    (лінія сміху - див. фото)

ПРИМІТКА: Окрім потенційних упереджень щодо маркування мімічних дій, існує також значна полеміка щодо теорії базових емоцій (наприклад, прототипів базових емоцій, таких як презирство, гнів і т.д.) в цілому. Дивіться ""Все в очах" та інша брехня.“

Расові, культурні та вікові упередження при відстеженні обличчя та емоцій: Носогубна борозна

Текст: упереджене навішування ярликів (расових, культурних, вікових тощо)

У деяких людей носогубна борозна більш вигнута.

Це просто результат їхньої природної структури обличчя.

Расові, культурні та вікові упередження при відстеженні обличчя та емоцій: Носогубна борозна

Текст: упереджене навішування ярликів (расових, культурних, вікових тощо)

Маркувальник, який не володіє системою кодування мімічних дій, може легко помилково позначити людей з неекспресивними вигинами носогубних борозен як таких, що мають підйомник верхньої губи.

Ці неправильні ярлики породжують трекер, навчений ідентифікувати обличчя з певною структурою як такі, що виражають підйомник верхньої губи - навіть коли вони нейтральні або усміхнені.

Закупівля "різноманітного набору даних" не має сенсу, якщо ваші етикетки неточні.

Таке навчання пояснює висновки Лорен Ру з Розуміння прихованої упередженості ШІ, що зчитують емоції.

Расові, культурні та вікові упередження у відстеженні обличчя та емоцій: цілісне маркування емоцій

Текст: упереджене навішування ярликів (расових, культурних, вікових тощо)

Наявність упередженого маркування емоцій збережеться, навіть якщо ви відійдете від підходу, заснованого на FACS, і спробуєте змусити маркувальників класифікувати емоції цілісно.

Расові, культурні та вікові упередження при відстеженні обличчя та емоцій

Текст: упереджене навішування ярликів (расових, культурних, вікових тощо)

Якщо не зрозуміло, чому цілісне маркування емоцій з такою ж ймовірністю зазнає невдачі (якщо не більше) - ОСЬ ЩЕ РАЗ НАГАДУЄМО:

  • Люди по-різному витягують інформацію, дивлячись на обличчя, і шукають різні підказки, інтерпретуючи емоції. 
  • Культура глибоко впливає на те, що ми вважаємо цінною інформацією та підказками.

Дослідження показали:

  • Східна Азія учасники, як правило, зосереджуються на середині обличчя, навколо носа, надаючи більшого значення очам і напрямку погляду. 
  • Західнокавказький учасники схильні шукати вираження емоцій у бровах та області рота
  • Ці відмінності в увазі створюють упередження, коли учасники дивляться на обличчя з суперечливими виразами
    Наприклад, коли сумні очі зі щасливим ротом:
    - Японські учасники надають більшого значення емоціям в очах
    - Американські учасники більше дбають про зону рота.
Расові, культурні та вікові упередження при відстеженні обличчя та емоцій

Текст: Що трапляється, коли ви неправильно використовуєте FACS?

    • неправильна класифікація виразів
    • непослідовна класифікація висловлювань
    • упереджене навішування ярликів (расових, культурних, вікових тощо)
    • анархія
      •  

Навіть якщо ви використовуєте FACS належним чином, завжди існуватимуть упередженість і непослідовність - але, вживаючи ретельних заходів, ці проблеми можна значно зменшити.

Расові, культурні та вікові упередження при відстеженні обличчя та емоцій: Як зменшити упередженість

Текст: анархія

Якщо... 

  • культура впливає на те, як ми інтерпретуємо висловлювання та емоції
  • умови навколишнього середовища впливають на те, на які ознаки ми звертаємо увагу, щоб оцінити обличчя
  • знання міміки впливає на те, як ми позначаємо вираз обличчя

. . . Що можуть зробити технологічні компанії, щоб зменшити кількість помилок, спричинених людським фактором, і запобігти їх витоку в алгоритми?

Расові, культурні та вікові упередження при відстеженні обличчя та емоцій: Як зменшити упередженість

Текст: Що можуть зробити технологічні компанії, щоб зменшити упередженість у відстеженні облич?

  • Технологічні компанії повинні визнати, що Відстеження обличчя вийшло за межі інженерії.
  • Технологічні компанії повинні визнати вразливість технологій до упередженості та навчати працівників про цю вразливість.
  • Технологічні компанії повинні інвестувати більше в якість даних.
Расові, культурні та вікові упередження при відстеженні обличчя та емоцій: Як зменшити упередженість

Текст: Визнання досягнень технології відстеження облич, розуміння її вразливостей та інвестування в якість даних означає, що ... . . 

  • Взагалі-то. розподіл персоналу до ролей, зосереджених на якості даних - навіть якщо це вимагає скорочення штату інженерів.
  • Витрачати час, енергію, і ресурси до знайти фахівців з даних. Якщо це неможливо, компанія все одно повинна витратити час, енергію та ресурси на підготовку фахівців з обробки даних. Класифікація міміки набагато складніша, ніж класифікація базових об'єктів, таких як сигнали світлофора, і до неї слід ставитися саме так.
Расові, культурні та вікові упередження при відстеженні облич та емоцій: зменшення упереджень при відстеженні облич

Текст: Зменшення похибок при відстеженні облич

Визнання досягнень технології відстеження облич, розуміння її вразливостей та інвестування в якість даних означає, що ... . . 

  • Інженери, дослідники та продукти повинні не просто повідомляти дані про те, що їм потрібно, а СЛУХАТИ до того, що потрібно командам даних. Команди даних є найбільш обізнаними про закулісну роботу, необхідну для функціонування алгоритмів. САМЕ ТУТ БАГАТО КОМПАНІЙ ЗАЗНАЮТЬ НЕВДАЧІ.
  • Вимагає від працівників, які виконують ролі, пов'язані з даними, регулярно взаємодіяти з інженерними, дослідницькими та продуктовими командами.
Расові, культурні та вікові упередження при відстеженні обличчя та емоцій: належне навчання

Текст: Зменшення похибок при відстеженні облич

Визнання досягнень технології відстеження облич, розуміння її вразливостей та інвестування в якість даних означає, що ... . . 

  • Інформування працівників про реальність упередженості в технологіях.
  • Вживання правильних запобіжних заходів для стандартизувати та визначити маркування.
  • Завжди враховуючи, коли і де може з'явитися упередженість.
    - Хто наклеює ярлики?
    - Що вони маркують?
    - Які фактори можуть вплинути на їх маркування?
    *     настрій * культура * досвід
Расові, культурні та вікові упередження у відстеженні облич та емоцій: статичні зображення

Текст: Зменшення похибок при відстеженні облич

Визнання досягнень технології відстеження облич, розуміння її вразливостей та інвестування в якість даних означає, що ... . . 

ДО РЕЧІ: ПРИПИНИТИ МАРКУВАННЯ ВИРАЗІВ ЗІ СТАТИЧНИХ ЗОБРАЖЕНЬ.

  • Точне маркування FACS та емоцій значною мірою залежить від того, чи бачите ви рух.
  • Якби більше уваги приділялося руху, статичні риси обличчя, такі як опущені куточки губ і вигнута носогубна борозна, з меншою ймовірністю активували б виявлення депресор кута губи і підйомник верхньої губи (відповідно).
Расові, культурні та вікові упередження у відстеженні обличчя та емоцій: Заключні зауваження

Текст: Зменшення похибок при відстеженні облич

Заключні нотатки. . . 

Расові, культурні та вікові упередження при відстеженні обличчя та емоцій: Наслідки

Текст: Зменшення похибок при відстеженні облич

Чим більше ми віримо в технології та покладаємося на них, тим більше наслідків матимуть ці упередження.

Расові, культурні та вікові упередження при відстеженні обличчя та емоцій: Вплив штучного інтелекту

Текст: Зменшення похибок при відстеженні облич

"...програмне забезпечення для розпізнавання обличчя по-різному інтерпретує емоції залежно від раси людини. ...Цей висновок має наслідки для окремих людей, організацій і суспільства, і він сприяє зростанню кількості публікацій про упередженість і/або нерівномірний вплив ШІ".

Ру, Лорен, Вплив раси на автоматизоване сприйняття емоцій (9 листопада 2018). Доступно на сайті SSRN: https://ssrn.com/abstract=3281765 або http://dx.doi.org/10.2139/ssrn.3281765

Расові, культурні та вікові упередження при відстеженні обличчя та емоцій: Відповідальність за дані

Текст: Зменшення похибок при відстеженні облич

Візьми на себе відповідальність.
Докладіть зусиль, щоб зменшити упередженість.
Інвестуйте більше в дані.

Расові, культурні та вікові упередження при відстеженні обличчя та емоцій: Шпаргалка з FACS

Текст:

У відповідь на поширеність неякісних і неточних посилань у FACS, Я створив безкоштовну "Шпаргалку з FACS" щоб слугувати посібником для художників, дослідників та інженерів. Він доступний на моєму сайті FACS, Обличчям до FACS. Я також відкритий для консультацій.

melindaozel.com/facs-cheat-sheet/

1 подумав про "Bias In Emotion Tracking"

  1. Пінгбек: "Вся справа в очах" та інша брехня: критика сучасних досліджень емоцій - Face the FACS

Коментарі закриті.

Розроблено для студій та команд

Давайте поговоримо.

Надішліть мені електронного листа зараз

facetheFACS@melindaozel.com