Neden bu kadar çok yüz takip cihazı ve avatar yanlış pozitif kaş düşürme sorunu yaşıyor? Apple'ın ARKit'ini bir vaka çalışması olarak kullanan bu döküm, sorunun kökenini araştırıyor ve sonunda şaşırtıcı derecede basit bir çözüm ortaya koyuyor. 

Avatarlar ve Gülümsemeler: Memoji Sürümü

Yanlış pozitif kaş indirme, yüz izleme ve avatar animasyonunda yaygın bir sorundur. Belirgin olmasa da, bu hatalar bir avatarın ifadelerini bozarak üzüntü, öfke veya endişe için istenmeyen ipuçları ortaya çıkarabilir. Aşağıdaki videoda bu sorunu göstermek için Apple'ın Memoji'sini stres testine tabi tutuyorum.

Yukarıdaki klipte Memoji'min gülümsememi nasıl "yansıttığını" gözlemleyin. Garip ya da hoş olmayan bir şey fark ettiniz mi? Kaşlarımın iç köşeleri yanlışlıkla alçaltılmış. Yanlış atfedilen kaş alçaltma eklentisi çeşitli gülümseme türlerinde devam ediyor. Bu durum diğer kullanıcılarda da devam ediyor.

Alçaltılmış iç kaşlar, kalkık bir üst dudakla birleştiğinde (neden burun kırıştırıcı veya üst dudak yükseltici) genellikle hoş olmayan duygularla ilişkilendirilir. Düşük kaş uçları da gülümseme ile negatif ilişkilidir. Bu tür anlamsal açıdan önemli izleme hataları, istemeden de olsa olumsuz duyguları ima edebilir.

Bu Hatalar Nasıl Ortaya Çıkıyor?

Yanlış pozitif kaş düşürme genellikle veri kalitesindeki sorunlardan, etiketleme hatalarından ve sanatsal seçimlerden kaynaklanır. İşte bu sorunların devam etmesinin nedeni:

1. Veri kalitesine yeterince odaklanılmıyor.
2. Sanata yeterince odaklanılmıyor.

Çalıştığım her yerde, belirli bir geçmişe sahip mühendisleri işe alma konusunda o kadar çok endişe vardı ki personel sayısı diğer temel rollerden uzaklaştırılır.

Birçok teknoloji lideri, modellerini eğitmek için yeterli veri elde ettiklerinde kalite ile ilgili sorunların kendiliğinden çözüleceğini varsaymaktadır. Vay canına! Sihir. Bu varsayım genellikle, saf olmayan verilerin yalnızca ihmal edilebilir bir yüzdesi olduğuna dair ek (ancak yanlış) bir inanç altında çalışır.

Veri siperlerinin derinliklerinde bulundum ve yüz izleme alanında neredeyse mühendislik dışı her rolde çalıştım:

• veri̇ planlamasi - ne tür ifade verilerinin toplanacağının ve nasıl toplanacağının belirlenmesi
• veri̇ toplama - aslında katılımcılarla çalışmak ve onları doğru ifade pozlarını yakalamaları için eğitmek
• veri ek açıklaması - yer işaretlerini etiketlemenin en iyi yollarını belirleme
• veri̇ siniflandirmasi - Hangi sınıfların var olması gerektiği, parametrelerinin ne olduğu ve kaçınılmaz uç durumlarının nasıl ele alınacağı konusunda mühendislik danışmanlığı
• ölçek büyütme - açıklama ve sınıflandırma kurallarının standartlaştırılmasını ve büyük ölçekli etiketleyiciler tarafından kolay anlaşılır olmasını sağlamak
• izleme takibi - temel gerçeği izleme sonuçları ile karşılaştırma
• iyileştirme için alanların belirlenmesi - hangi sorunların var olduğunu ve bunların planlama, toplama, açıklama ve/veya sınıflandırma yoluyla nasıl iyileştirilebileceğini bulmak
• avatar geliştirme - gibi hususların karışımına dayalı olarak hangi şekillere öncelik verileceği konusunda strateji belirleme
  • izleyicinin başarısız olduğu yerler
  • nihai ürün kullanım durumlarının ne olduğu
  • Estetik açıdan en hoş olacak şey
  • anlamsal olarak en önemli olan şey

İfade bilimi, yüz anatomisi ve yüz verileriyle ilgili kapsamlı çalışma geçmişimle, saf olmayan verilerin yüz izlemede küçük değil büyük bir sorun olduğunu rahatlıkla söyleyebilirim. Kısacası, algoritma mükemmel olsa bile, sorunlar şunlardan kaynaklanır:

Saf Olmayan Pozlanmış Veri

• İnsan katılımcılardan pozlanmış ifade verileri toplanırken, veriler her zaman kirli olacaktır. Garantilidir.
• Çoğu insan her hedef ifadeye ulaşamaz. Saf yüz eylemi verisi bulmak nadirdir. Katılımcılar saf olmayan ifadeler sergilediğinde, bunun nedeni ya yanlış yüz eylemini sergilemeleri ya da hedef olmayan ek yüz kaslarını kullanmadan hedef ifadeyi izole edememeleridir.
• Üstüne üstlük, veri toplama uzmanları çoğu zaman katılımcının hedef ifadeye ulaşıp ulaşmadığını bile söyleyememektedir. Bu bilgi eksikliği veri toplama uzmanlarının hatası değil, daha ziyade X Şirketinin yanlış öncelikleri ve doğru yetenekleri işe alma veya elde tutma konusundaki dikkat eksikliğinden kaynaklanmaktadır.

Kötü Veri Etiketleme

• Mühendislik yeteneklerine aşırı odaklanma nedeniyle şirketler genellikle veri etiketleme rollerine öncelik vermeyi ihmal etmektedir. Bunun yerine, ek açıklama çabaları genellikle belirli bir uzmanlığı olmayan yükleniciler için belirlenmiş düşük seviyeli pozisyonlar olarak ele alınır.
• Çok az deneyimle işe başlayan yükleniciler sonunda uzmanlık kazanacak kadar verilerle uyumlu hale gelebilir; ancak bu nadiren gerçekleşir, çünkü sözleşmeli etiketleme rolleri genellikle yüksek devir oranına sahiptir.

Bilinçsiz Sanat Seçimleri

• Sanatın teknolojiyi, teknolojinin de sanatı anlaması önemlidir. Teknoloji şirketlerinde sanat ve mühendislik arasında şaşırtıcı bir kopukluk var. Çoğu durumda, iyi izleyiciler, izleyicilerin kendileri nedeniyle değil, perde arkasında olgunlaşmamış teknolojiyle mücadele etmek için yapılan sanatsal seçimler nedeniyle iyi görünüyor. Sanat ve mühendislik arasındaki boşluğu doldurmak için daha fazla kaynak harcanmalıdır.

Memoji ve Yanlış Pozitif Kaş Düşürmeye Geri Dön

Bu yazının başında da belirtildiği gibi, Memoji ne zaman gülümsememi yansıtmaya çalışsa, kaşımın iç köşelerinde gereksiz bir kaş alçaltma eklemesi oluyor. Yine, bu ekleme çeşitli gülümseme türlerinde devam ediyor.

Aşağıdaki grafik, veri kalitesi ve sanat arasındaki etkileşimin çeşitli ifadeleri nasıl olumsuz yönde etkileyebileceğini ve gülümsemelerde kaşların düşmesi gibi sorunlara neden olabileceğini gösteren bir örnektir.

NOT: Elbette algoritmanın kendisiyle ilgili sorunlar da dahil olmak üzere birden fazla potansiyel neden olabilir; ancak bu taslak, belirli bir dizi koşulla belirli bir senaryoyu vurgulamak için yapılmıştır.