Miksi niin monet kasvojenseurantalaitteet ja avatarit kärsivät vääristä positiivisista otsanlaskuista? Tässä jaottelussa selvitetään Applen ARKitin avulla ongelman juurisyytä ja paljastetaan lopuksi yllättävän yksinkertainen ratkaisu. 

Avatarit ja hymyt: Memoji Edition

Väärän positiivinen kulmien lasku on yleinen ongelma kasvojen seurannassa ja avatar-animaatiossa. Vaikka nämä virheet ovatkin hienovaraisia, ne voivat vääristää avatarin ilmeitä ja antaa tahattomia vihjeitä surusta, vihasta tai huolesta. Alla olevalla videolla testaan Applen Memojia stressitestiä, jossa havainnollistan tätä ongelmaa käytännössä.

Yllä olevassa klipissä näet, kuinka Memoji "peilaa" hymyäni. Huomaatko mitään outoa tai epämiellyttävää? Kulmakarvojeni sisäkulmat ovat virheellisesti alhaalla. Väärin kohdistettu kulmakarvojen laskeminen esiintyy edelleen erilaisissa hymytyypeissä. Se esiintyy myös muilla käyttäjillä.

Alentuneet sisäkulmakarvat yhdistettynä kohonneeseen ylähuuleen (johtuen nenä ryppyinen tai huulen kohottaja) liittyy usein epämiellyttäviin tunteisiin. Alaslasketut kulmakärjet korreloivat myös negatiivisesti hymyilyn kanssa. Tämäntyyppiset semanttisesti merkittävät seurantavirheet voivat tahattomasti vihjata negatiiviseen tunnetilaan.

Miten nämä virheet syntyvät

Väärän positiivisen otsalohkon laskeminen johtuu usein tietojen laatuun liittyvistä ongelmista, merkintävirheistä ja taiteellisista valinnoista. Seuraavassa kerrotaan, miksi nämä ongelmat jatkuvat:

1. Tietojen laatuun ei kiinnitetä riittävästi huomiota.
2. Taiteeseen ei keskitytä tarpeeksi.

Kaikkialla, missä olen työskennellyt, on ollut niin paljon huolta tietyn taustan omaavien insinöörien palkkaamisesta, että henkilöstömäärää viedään muilta keskeisiltä tehtäviltä.

Monet teknologiajohtajat olettavat, että jos he hankkivat riittävästi dataa mallinsa kouluttamiseksi, laatuongelmat korjaantuvat itsestään. Vau! Taika. Tämä oletus perustuu usein siihen (mutta väärään) uskomukseen, että epäpuhtaita tietoja on vain häviävän pieni prosenttiosuus.

Olen ollut syvällä datan parissa ja työskennellyt lähes kaikissa kasvojenseurannan muissa kuin insinöörin tehtävissä:

• tietojen suunnittelu - sen määrittäminen, minkä tyyppisiä ilmaisutietoja kerätään ja miten ne kerätään.
• tiedonkeruu - työskentely osallistujien kanssa ja heidän kouluttamisensa oikeisiin ilmeasentoihin.
• data-annotaatio - parhaiden tapojen määrittäminen maamerkkien merkitsemiseksi
• tietojen luokittelu - neuvoa suunnittelua siitä, mitä luokkia pitäisi olla olemassa, mitkä ovat niiden parametrit ja miten käsitellä niiden väistämättömiä ääritapauksia.
• skaalautuminen - varmistamalla, että merkintä- ja luokittelusäännöt ovat standardoituja ja helposti ymmärrettäviä massamittaisten merkintöjen tekijöille
• seuranta seuranta - vertaamalla pohjatotuutta seurannan tuloksiin
• parannettavien alojen tunnistaminen - selvitetään, mitä ongelmia on olemassa ja miten niitä voidaan parantaa suunnittelun, keruun, merkintöjen ja/tai luokittelun avulla.
• avatarin kehittäminen - strateginen valinta, mitkä muodot asetetaan etusijalle sellaisten näkökohtien perusteella, kuten -
  • missä seurantalaite epäonnistuu
  • mitkä ovat lopputuotteen käyttötapaukset
  • mikä on esteettisesti miellyttävintä.
  • mikä on semanttisesti tärkeintä

Koska minulla on taustaa ilmaisututkimuksesta, kasvojen anatomiasta ja laajasta työstä kasvodatan parissa, voin varmuudella sanoa, että epäpuhtaat tiedot ovat kasvojen seurannassa merkittävä ongelma, eivät mikään vähäpätöinen ongelma. Lyhyesti sanottuna, vaikka algoritmi olisi täydellinen, ongelmia syntyy seuraavista syistä:

Epäpuhtaat positiiviset tiedot

• Kun ihmisiltä kerätään ekspressiotietoja, tiedot ovat aina epäpuhtaita. Taattu.
• Useimmat ihmiset eivät voi osua jokaiseen tavoiteilmaisuun. On harvinaista löytää puhdasta kasvojen toimintatietoa. Kun osallistujat esittävät epäpuhtaita ilmeitä, se johtuu siitä, että he joko esittävät väärän kasvotoiminnon tai siitä, että he eivät pysty eristämään kohdeilmaisua käyttämättä muita, ei-kohteena olevia kasvolihaksia.
• Kaiken kukkuraksi tiedonhankkijat eivät useinkaan osaa sanoa, osuuko osallistuja edes tavoiteilmaisuun. Tämä tiedon puute ei ole tiedonhankkijoiden vika, vaan pikemminkin yritys X:n vääränlaisten prioriteettien ja oikeiden osaajien palkkaamiseen tai pitämiseen kohdistuvan huomion puutteen syytä.

Huono tietojen merkintä

• Koska yritykset keskittyvät liikaa insinööritaitoihin, ne tyypillisesti laiminlyövät tietojen merkitsemisroolien priorisoinnin. Sen sijaan merkintäpyrkimyksiä käsitellään usein matalan tason tehtävinä, jotka on tarkoitettu urakoitsijoille, joilla ei ole erityistä asiantuntemusta.
• Aloittavat urakoitsijat, joilla on vain vähän kokemusta, voivat lopulta perehtyä tietoihin niin hyvin, että he saavat asiantuntemusta; näin tapahtuu kuitenkin harvoin, koska sopimusmerkintätehtävissä on yleensä suuri vaihtuvuus.

Tietämättömät taidevalinnat

• On tärkeää, että taide ymmärtää tekniikkaa ja tekniikka ymmärtää taidetta. Teknologiayrityksissä taiteen ja tekniikan välillä on hämmästyttävän suuri epäsuhta. Monissa tapauksissa hyvät seurantalaitteet eivät näytä hyvältä itse seurantalaitteiden takia, vaan niiden taiteellisten valintojen takia, jotka on tehty epäkypsän tekniikan torjumiseksi kulissien takana. Taiteen ja tekniikan välisen kuilun umpeen kuromiseen pitäisi panostaa enemmän resursseja.

Takaisin kohteeseen Memoji & väärä positiivinen kulmien laskeminen

Kuten tämän postauksen alussa mainittiin, aina kun Memoji yrittää peilata hymyäni, kulmakarvojeni sisänurkissa on tarpeetonta kulmien laskemista. Tämä lisäys jatkuu edelleen eri tyyppisissä hymyissä.

Alla oleva kaavio on esimerkki siitä, miten tietojen laadun ja taiteen välinen vuorovaikutus voi vaikuttaa erilaisiin ilmaisuihin negatiivisesti ja aiheuttaa ongelmia, kuten kulmien laskeutumisen hymyillä.

HUOMAUTUS: Mahdollisia syitä voi tietysti olla useita, mukaan lukien algoritmiin itseensä liittyvät ongelmat; tämä hahmotelma on kuitenkin tehty korostamaan tiettyä skenaariota, johon liittyy tietty joukko ehtoja.