Tämä viesti tutkii audio-to-face-tekniikan, visemien ja puheen artikulaation koukeroita - kirjoitettu näkökulmasta kasvojen liikkeiden asiantuntija, joka työskentelee tekoälyn huulien synkronointiteknologioiden parissa.
Äänestä kasvoihin: The Struggle Is Real
Yksittäinen suun muoto ei määritä tiettyä puheääntä. Artikulaatiomme muuttuu jokaisen ääntämämme foneemin, tavun ja sanan myötä. Vaikka yritämme yksinkertaistaa huulien synkronointitutkimuksia määrittelemällä kanonisia muotoja (tai visemes) foneemiryhmille, absoluuttisessa mielessä "oikeaa" muotoa ei ole olemassa. "Oikea" muoto on aina suhteellinen ja riippuu suuresti lukuisista muuttuvista olosuhteista, jotka eivät riipu vain yksinkertaisesta äänteestä. HUOMAUTUS 1 yhteisartikulaatio-ongelma. Kasvojen animaation tai ääni-kasvoteknologian parissa työskenteleville tämä on yksi suurimmista haasteista tarkan ja luonnollisen näköisen puheen luomisessa.
HUOMAUTUS 1: Vaikka yhteisartikulaatio ei välttämättä ole yksinkertaista, se alkaa tuntua yksinkertaiselta, kun olet tutustunut muihin monimutkaisiin ja arvaamattomiin olosuhteisiin, jotka vaikuttavat artikulaatioon.
Gemman hampaat irvessä -toimitus S02E07:ssä
Täydellinen esimerkki viseme-ongelmasta on seuraavassa esimerkissä Erokorvaus Kausi 2, jakso 7, kun Gemma-niminen hahmo kysyy antagonistiltaan:
“Voisitko puhua kuin normaali ihminen?”
Amerikkalaisessa englannissa tämä rivi voidaan ääntää seuraavasti:
Kən ju pliz ʤʌst tɔk laɪk ə ˈ nɔrməl ˈpɜrsən?
Gemmaa näyttelevä näyttelijä, Dichen Lachman, lausuu vuorosanansa hampaita purren ja erittäin vaimealla artikulaatiotyylillä. (Hänen eloisamman perusilmaisunsa voi nähdä hänen puheestaan ennen 47 sekunnin merkkiä.) Voimme tuntea hänen tuskan, vihan ja turhautumisen, jotka hän hillitsee puristamalla leukojaan ja liikuttamalla huuliaan mahdollisimman vähän. Kaunis esitys katsojille – mutta huolestuttava esimerkki todellisesta elämästä ääni-kasvo-tutkijoille.
Puheessa suun muotoon vaikuttavat tekijät ovat loputtomia aina tunteista äänenvoimakkuuteen ja nopeuteen. Vaikka Gemman kiristetyt hampaat ja mykistetyt huulet eivät vaikuta hänen puheensa luettavuuteen, huulilta lukijan olisi vaikea tulkita hänen sanojaan. Hänen artikulaatiotyylinsä muuttaa huomattavasti monien vokaalien ja konsonanttien odotettua ilmettä.
Fonemit ja visemit: Femesemes: Lähempi tarkastelu
Yllä on vakautettu pätkä Gemman puheesta, jossa korostuvat hänen kontrastisimmat huultensa muodot. HUOMAUTUS 2. Huomatkaa, että vaikka monet näistä muodoista ovat kaikkein kontrastikkaimpia, ne ovat erottamattomia eivätkä täytä niihin liittyvien visemien odotettuja ominaisuuksia.
HUOMAUTUS 2: Kaikki Gemman puheen foneemit eivät ole tallentuneet tähän. Monet jätettiin pois, koska ne olivat visuaalisesti erottamattomia ympäröivistä äänteistä.
Alla on esitetty sama joukko foneemeja yllä olevasta klipistä ja niiden visuaaliset vastineet still-kuvina. Siirrä hiiren osoitin kunkin kuvan yläpuolelle nähdäksesi kunkin visemin grafeemikontekstin.
/p/:t /b/:t & /m/:t kiintopisteinä
Kun arvioidaan sekä klippiä että kuvia Lachmanin esityksestä, on selvää, että hyväksi havaitut suljettujen huulten bilabiaalit - /p/, /b/ ja /m/ - sulkeutuvat edelleen niin kuin niiden kuuluukin. Huulten kulmien leveys on myös hieman kasvanut /i/:n kohdalla, ja /u/:n kohdalla huulet ovat kiitettävästi lähes sulkeutuneet.
Yleisesti ottaen foneemien odotetut ja todelliset muodot vaihtelevat suuresti, mutta jotkin foneemiryhmät ovat toisia tiukempia ja vaativat jäykempää artikulaattorin asentojen järjestelyä. Jos olet kasvojen animaatioiden tai äänne-kasvotutkimuksen parissa, tunnet todennäköisesti jo /p/:n, /b/:n ja /m/:n jäykkyyden. /p/, /b/ ja /m/ ryhmitellään tyypillisesti samaan viseemaluokkaan: suljettuun huulen muotoon. /p/, /b/ ja /m/ ovat hyviä kiinnekohtia, kun arvioidaan simuloidun puheen laatua ja tarkkuutta. Rakastamme niitä, koska ne ovat aina kiinni, eikö niin? ...Eikö niin?
/p/:t /b/:t ja /m/:t: Kova totuus
Vaikka suljetut huulet voivat olla loistavia kiinnityspisteitä, valitettavasti edes kaikkein vahvimmat foneemit eivät ole immuuneja vaihtelulle. Avaa Mr. Beast (vai pitäisikö sanoa Nr. Veast) ja katso, kuinka maailmasi romahtaa, kun Veastin huulet eivät sulkeudu suuressa osassa /p/:tä, /b/:tä ja /m/:tä. Ɱr. Veast on innokas labiodentalisaattori. (Lue lisää labiodentalisaatiosta täällä ja täällä).
Voi olla kiusaus väittää, että jos huulet eivät sulkeudu, ääntä ei lasketa /p/, /b/ tai /m/ -äänteeksi; täysin sulkeutumattomat huulet eivät kuitenkaan poista p:n, b:n tai m:n äänneasemaa, eikä se estä meitä havaitsemasta niitä p:nä, b:nä tai m:nä. Itse asiassa nämä ei-täysin suljetut versiot ovat vain yleisiä. allofonit /p/, /b/ ja /m/.
Lue seuraava jaottelu Wikipediasta:
Vaihe 5: Hyväksyminen
Vaikka luotettavimmat visumit eivät olekaan niin luotettavia kuin yleisesti uskotaan, kaikki toivo ei ole menetetty. Kun opit kohtaamaan FACS:n, tarkoitan - tosiasiat, ja omaksutte ihmisen käyttäytymisen ja mekaniikan kaaos, pilvimäisten monimutkaisuuksien purkaminen voi olla jännittävää. Lopetetaanpa vielä neurotieteilijän, primatologin ja vuotiasta luennoitsijaa koskettavalla pätkällä, Robert Sapolsky:
Lisää lip sync -resursseja
Jäykempiä ja kellomaisia esimerkkejä visemeistä löydät sivustoltani:
- Ihmisen puheen vaihtelevuus (IPA-taulukoiden ulkopuolella)
- Kielelliset perusteet
- Artikulaation anatomia (leuka, huulet, kieli, hampaat)
- Koartikulaatio ja rajapinnat
- Miksi “kanoniset” visemeet eivät toimi?
- Modulaaristen puhejärjestelmien suunnittelu
- Puhe vs. tunne (miten ne voivat haitata tai harmonisoida)
- Visemes, FACS ja joustavat blendshape-kaavat