Den McGurk effekten er en illusorisk perseptuell fenomen som viser interferens mellom hørsel og syn når oppfatte tale . Denne effekten antyder en multimodalitet av taleoppfatning. McGurk-effekten (også kjent som McGurk-MacDonald-effekten) oppstår når syn og hørsel gir uriktige talesignaler. To typer fenomener oppstår fra denne feilaktige oppfatningen: fusjon og kombinasjon.
Den utilsiktede oppdagelsen av McGurk-effekten dateres tilbake til 1970-tallet da Harry McGurk og John MacDonald, utviklingspsykologer ved University of Surrey i England, studerte oppfatningen av tale hos barn på forskjellige stadier av deres utvikling. Motivene så på en videopresentasjon av en talende mor. Videoen ble kombinert med en auditiv presentasjon fra et annet sted i rommet. Stavelsen / ba / ble hørt, men sekvensen "ga" ble presentert på skjermen. Under den første visningen av båndet oppfattet forskerne en tredje stavelse / da / som lå på artikulatorisk nivå mellom de to første. I følge McGurk-effekten, å se noen uttale stavelsen / ga / mens du hører stavelsen / ba / forårsaker den perseptuelle illusjonen / da /. Det var etter å ha testet barn og voksne med videoen at forskerne først publiserte i 1976 i tidsskriftet Nature den perseptuelle illusjonen de hadde lagt merke til. Denne artikkelen har tittelen: Hearing Lips and Seeing Voice. McGurk-effekten ble gjengitt og studert på nytt av mange forskerteam etterpå.
Taleoppfatning ble i lang tid ansett for å være en utelukkende auditiv prosess. I løpet av andre halvdel av XX th århundre, flere studier anses visuell informasjon som et viktig bidrag i oppfatningen av talen. I 1954 demonstrerte forskerne William H. Sumby og Irwin Pollack at forståeligheten av et akustisk signal blandet med omgivende støy forbedres betydelig ved leppelesing. Dette bidrar også til oppfatningen av tale, selv om støyen rundt øker. Ifølge disse forskerne er leppeavlesning et aktivum og et kompenserende middel for mennesker med hørselstap. Det deltar også i anskaffelsen av muntlig språk hos døve barn. Leppelesing forbedrer forståelsen av et tydelig talesignal med komplekst semantisk innhold. Det kan forbedre forståelsen av ytringer som snakkes på et fremmed språk av en høyttaler med fremmed aksent, og når det er en samtale mellom flere høyttalere på et sted med omgivende støy.
Fusjon og kombinasjon er de to typene av illusoriske fenomener observert under McGurk-effekten. Hvert fenomen er assosiert med en type konsonanter ( fonem ). Hendelsesforløpet for effekten forblir den samme. Dermed er CV-typen auditive stavelser (/ ba /) kombinert med en visuell presentasjon av artikulatoriske bevegelser som tilsvarer en annen CV-type stavelse (/ ga /) som gir en subtil konflikt mellom den visuelle og auditive modaliteten. Disse modalitetene lager deretter en syntese av de forskjellige oppfattede opplysningene. Disse fenomenene kan for eksempel brukes til å lage talegjenkjenningsprogrammer
Fusjonsfenomenet skyldes simulering av en såkalt mellomproduksjon etter fusjonen av en oppfattet stavelse og en hørt stavelse. En stavelse som starter med en velarkonsonant (g, k, w) presenteres visuelt. Den er kombinert med en stavelse som starter med en bilabial konsonant (p, b, m) som presenteres i lydform. Sammensmeltingen av de to informasjonsdelene simulerer en mellomproduksjon (f.eks: / da /).
Eksemplet illustrerer fenomenet fusjon:
Kombinasjonsfenomenet kombinerer den visuelle presentasjonen av en stavelse som begynner med en bilabial konsonant med lytningen av en stavelse som begynner med en velar konsonant. Det er et tillegg av de to fenomenene. En visuell presentasjon av en bilabial konsonant (p, b, m) presenteres. Det er kombinert med den auditive presentasjonen av en velarkonsonant (g, k, w). Faget kombinerer informasjonen sett og hørt. Den oppfatter for eksempel en kombinasjon av typen / bga /.
Her er et eksempel som illustrerer kombinasjonsfenomenet:
McGurk-effekten er en robust effekt . Pensumstrukturen, sammenhengen mellom ord og setninger påvirker ikke utseendet til fenomenene (se seksjon 2), uavhengig av lengden på ordene eller setningene; for eksempel betyr ikke pensumstrukturen noe, enten det er CV, VCV eller til og med VC, vil en visuell velar kombinert med en oral bilabial alltid resultere i oppfatningen av en fusjon. Effekten gjelder også for ord og setninger, så lenge de motarbeider en velar mot en bilabial.
Stavelse:
CV: Hørt: / ba /
Sett: / ga /
Oppfattet: / da /, V
VCV: Hørt: / aba /
Sett: / aga /
Oppfattet: / ada /
Ord:
Hørt: / mail /
Sett: / deal /
Oppfattet: / spiker /
Frasering:
Hørt: / min babypave meg poo brive /
Sett: / my gag koke me koo thrush /
Oppfattet: / faren min lærte meg å kjøre /
McGurk-effekten er uimotståelig . Et individ kan ikke la være å være følsom overfor fonatormekanismer, selv om hans intensjon er i strid. Han vil være følsom overfor de forskjellige mekanismene til tross for seg selv. Denne forestillingen innebærer at sinnet er kognitivt ugjennomtrengelig og at det utfører behandlingen uten å bli påvirket av andre kognitive domener (hukommelse, resonnement, oppmerksomhetsmekanismer, etc.). Rask, obligatorisk og ufleksibel refleks
McGurk-effekten er påvirket av flere variabler i forskjellige eksperimentelle innstillinger. For det første har flere forfattere vist at McGurk virkning kan påvirkes av den romlige orientering av talerens ansikt, mer presist når ansiktet er skråstilt, for det annet, når den tidsmessige desynkronisering . Av stimuli skrider 200 ms, blir den McGurk effekt påvirket tredje, den språketestet kan variere noen resultater. Denne variabelen refererer til egenskapene til stimuli. Studier utført på flere språk (engelsk, spansk, malaysisk, koreansk, fransk osv.) Har oppnådd blandede resultater. På noen språk virker McGurk-effekten mindre robust. For eksempel er kinesiske og japanske høyttalere ufølsomme for McGurk-effekten. Disse resultatene kan forklares i kulturelle termer; det regnes som uhøflig å se på talerens ansikt i begge kulturer. Variasjonen av effekten kan være relatert til forskjeller i de fonetiske systemene til språk, forskjellige fonotaktiske begrensninger og kulturelle forskjeller.
Derimot har noen variabler ingen innflytelse på McGurk-effekten. Den romlige separasjonen mellom auditive og visuelle stimuli påvirker ikke effekten av effekten, som rapportert i studien av Colin, Radeau, Deltenre og Morais i 2001.