Den multimodalitet , semiotisk forstand betyr gjennomføringen i produksjon av betydning av forskjellige uttrykksformer kombin - slik som tale, bevegelse, faste eller animerte bilder og lyd akkompagnement - i forbindelse med sine medier overførings modaliteter, som kan være synkron eller asynkron .
Begrepet multimodalitet brukes i semiotikk og didaktikk , der det hjelper til med å analysere og designe undervisningspraksis tilpasset et stadig skiftende digitalt miljø.
Inntil nylig, språket var den viktigste uttrykksform og produksjonen av dens virkninger var godt kjent fordi den ble vurdert av retorikken fra IV th århundre f.Kr.. AD I forrige århundre utvidet utviklingen av det semiotiske og pragmatiske studiet av språk som medium for meningsproduksjon blant flere andre.
Med overgangen fra boken til skjermen og den stadig viktigere rollen som bilder spiller, innebærer ikke produksjonen av mening lenger bare språk, men ofte også bilder og lyder, på en multimodal måte. Det digitale miljøet fører til en spredning av nye semiotiske metoder samtidig som en utvidelse av eksisterende praksis. Flytbarheten som tilbys av digital teknologi gjør det mulig å enkelt integrere tidligere separate moduser, som tekst, bilde og lyd, og dermed multiplisere de overkommelighetene eller mulighetene som produsenten av meldingen tilbyr. Dette gjør multimodalitet til en naturlig uttrykksmåte. Ifølge Kress vil denne situasjonen føre til en transformasjon av moduser og spesialisere dem i henhold til behovene til representasjon og kommunikasjon.
Konseptet "multimodality", på engelsk multimodalitet , kommer fra arbeidet til Gunther Kress (2003). Begrepet ble introdusert på fransk i sin semiotiske forstand med arbeidet til Lebrun, Lacelle og Boutin (2012). I følge disse forfatterne betegner den: “bruk, i en reell kontekst av mediekommunikasjon, av mer enn en semiotisk modus for å designe et semiotisk objekt eller en hendelse. " En semiotisk metode er en medium type verbalt uttrykk og representasjon eller ikke-verbalt for å gi mening. Det kan være tekstlig, ikonisk eller lyd. Kombinasjonen av forskjellige moduser gir en "multimodal tekst", også kalt "multitext".
For eksempel gir bilde / lydforhold tre hovedklasser av applikasjoner, ifølge Zenouda: