Mengapa begitu banyak penjejak wajah dan avatar mengalami pengesanan penurunan kening palsu? Dengan menggunakan Apple ARKit sebagai kajian kes, analisis ini meneroka punca masalah dan mendedahkan penyelesaian yang mengejutkan kesederhanaannya pada penghujungnya. 

Avatar & Senyuman: Edisi Memoji

Positif palsu penurunan kening adalah isu yang meluas dalam penjejakan wajah dan animasi avatar. Walaupun halus, ralat ini boleh memutarbelitkan ekspresi avatar, memperkenalkan petunjuk yang tidak disengajakan untuk kesedihan, kemarahan, atau kebimbangan. Dalam video di bawah, saya menguji ketahanan Memoji Apple untuk menunjukkan masalah ini secara langsung.

Dalam klip di atas, perhatikan bagaimana Memoji saya “mencerminkan” senyuman saya. Ada apa-apa yang pelik atau tidak menyenangkan? Sudut dalam kening saya diturunkan secara silap. Penambahan penurunan kening yang tersalah atribut ini berterusan dalam pelbagai jenis senyuman. Ia juga berterusan pada pengguna lain.

Kening dalam yang diturunkan digabungkan dengan bibir atas yang terangkat (disebabkan oleh penyipit hidung atau Pengangkat Bibir Atas) sering dikaitkan dengan emosi yang tidak menyenangkan. Titik hujung kening yang lebih rendah juga berkorelasi negatif dengan senyuman. Jenis-jenis kesilapan penjejakan yang signifikan secara semantik ini boleh secara tidak sengaja menyiratkan sentimen negatif.

Bagaimana Kesilapan Ini Terjadi

Kejadian positif palsu penurunan kening sering berpunca daripada isu kualiti data, kesilapan pelabelan, dan pilihan artistik. Berikut sebab mengapa masalah ini berterusan:

1. Tiada tumpuan yang mencukupi terhadap kualiti data.
2. Tiada tumpuan yang mencukupi terhadap seni.

Di mana-mana tempat saya pernah bekerja, terdapat begitu banyak kebimbangan mengenai pengambilan jurutera dengan latar belakang tertentu sehingga Jumlah kakitangan diambil daripada peranan penting lain.

Banyak ketua teknikal menganggap bahawa jika mereka memperoleh data yang mencukupi untuk melatih model mereka, masalah kualiti akan selesai dengan sendirinya. Wow! Sihir. Anggapan ini sering beroperasi di bawah kepercayaan tambahan (tetapi salah) bahawa hanya terdapat peratusan yang sangat kecil data tidak tulen.

Saya telah lama bekerja mendalam dalam pengolahan data dan telah memegang hampir semua peranan bukan kejuruteraan dalam penjejakan wajah:

• perancangan data – menentukan jenis data ekspresi yang hendak dikumpul dan cara mengumpulkannya
• pengumpulan data – sebenarnya bekerja dengan peserta dan melatih mereka untuk membuat pose ekspresi yang betul
• Anotasi data – menentukan cara terbaik untuk menandakan mercu tanda
• klasifikasi data – menasihati kejuruteraan tentang kelas mana yang perlu wujud, apakah parameter mereka, dan bagaimana mengendalikan kes sempadan mereka yang tidak dapat dielakkan
• peningkatan skala – memastikan peraturan untuk anotasi dan klasifikasi disatukan dan mudah difahami oleh pelabel skala besar
• pemantauan penjejakan – membandingkan nilai rujukan dengan keputusan penjejakan
• mengidentifikasi bidang untuk penambahbaikan – mengenal pasti masalah yang wujud dan bagaimana ia boleh diperbaiki melalui perancangan, pengumpulan, anotasi, dan/atau pengelasan
• pembangunan avatar – merangka strategi bentuk mana yang perlu diutamakan berdasarkan gabungan pertimbangan seperti –
  • di mana penjejak gagal
  • Apakah kes penggunaan produk akhir?
  • apa yang akan paling menyenangkan dari segi estetika
  • apa yang paling penting secara semantik

Dengan latar belakang saya dalam sains ekspresi, anatomi wajah, dan kerja meluas dengan data wajah, saya boleh mengatakan dengan yakin bahawa data tidak tulen adalah isu besar dalam penjejakan wajah, bukan isu kecil. Ringkasnya, walaupun algoritma itu sempurna, masalah timbul daripada:

Data Posen Tidak Tahir

• Apabila mengumpul data ekspresi berpose daripada peserta manusia, data itu akan sentiasa tercemar. Dijamin.
• Kebanyakan orang tidak dapat menghasilkan setiap ekspresi sasaran. Sukar untuk mendapatkan data aksi wajah tulen. Apabila peserta menghasilkan ekspresi tidak tulen, ia kerana mereka sama ada mempamerkan aksi wajah yang salah atau tidak dapat mengasingkan ekspresi sasaran tanpa menggunakan otot wajah tambahan yang bukan sasaran.
• Lebih-lebih lagi, pemungut data sering kali tidak dapat menentukan sama ada peserta pun mencapai ungkapan sasaran. Kekurangan pengetahuan ini bukan kerana kesalahan pemungut data, tetapi sebaliknya berpunca daripada keutamaan yang salah di Syarikat X dan kurangnya perhatian dalam merekrut atau mengekalkan bakat yang tepat.

Penyalahlabelan Data

• Disebabkan tumpuan berlebihan terhadap bakat kejuruteraan, syarikat biasanya mengabaikan keutamaan peranan pelabelan data. Sebaliknya, usaha anotasi sering dianggap sebagai jawatan peringkat rendah yang diperuntukkan kepada kontraktor tanpa kepakaran khusus.
• Kontraktor yang baru bermula dengan pengalaman yang sedikit akhirnya boleh menjadi begitu selaras dengan data sehingga memperoleh kepakaran; bagaimanapun, ini jarang berlaku kerana peranan pelabelan kontrak biasanya mempunyai kadar perputaran pekerja yang tinggi.

Pilihan Seni Tanpa Maklumat

• Adalah penting bagi seni untuk memahami teknologi, dan bagi teknologi untuk memahami seni. Terdapat jurang yang amat besar antara seni dan kejuruteraan dalam syarikat teknologi. Dalam banyak kes, penjejak yang baik kelihatan hebat bukan kerana penjejak itu sendiri, tetapi kerana pilihan seni yang dibuat untuk mengatasi teknologi yang masih belum matang di sebalik tabir. Lebih banyak sumber harus dilaburkan untuk merapatkan jurang antara seni dan kejuruteraan.

Kembali ke Memoji & Penurunan kening positif palsu

Seperti yang disebutkan pada permulaan catatan ini, setiap kali Memoji cuba mencerminkan senyuman saya, ia menambah penurunan kening pada sudut dalam kening saya secara tidak perlu. Sekali lagi, penambahan ini berterusan dalam pelbagai jenis senyuman.

Graf di bawah adalah contoh bagaimana interaksi antara kualiti data dan seni boleh menjejaskan pelbagai ekspresi secara negatif dan menyebabkan masalah seperti kening yang turun semasa tersenyum.

CATATANSudah tentu terdapat pelbagai punca berpotensi, termasuk masalah pada algoritma itu sendiri; bagaimanapun, rangka ini dibuat untuk menonjolkan satu senario khusus dengan satu set syarat tertentu.