Automatisk språkbehandling

Den naturlig språk prosessering (Rep. NLP ), eller automatisk behandling av naturlig språk eller språkbehandling (Rep. TAL ) er et tverrfaglig felt som involverer språk , den maskinen og kunstig intelligens , som har som mål å skape naturlig språk prosessering verktøy for ulike bruksområder. Det skal ikke forveksles med beregningslingvistikk , som tar sikte på å forstå språk ved hjelp av dataverktøy.

TALN kom ut av forskningslaboratoriene for å bli gradvis implementert i dataprogrammer som krever integrering av menneskelig språk i maskinen. Så NLP blir noen ganger referert til som språkteknikk . I Frankrike har Natural Language Processing sin journal, Automatic Language Processing , utgitt av Association for Automatic Language Processing (ATALA).

Historie

1950- 1960-tallet

Det første arbeidet med naturlig språkbehandling begynte på 1950-tallet, hovedsakelig i USA hvor den politiske konteksten, knyttet til den kalde krigen , var gunstig for utviklingen av temaet maskinoversettelse .

De første dataprogrammene var knyttet til automatisk behandling av samtaler. I 1950 presenterte Alan Turing i sin grunnleggende artikkel om kunstig intelligens, "  Computing machines and intelligence  ", en evalueringsmetode som senere ville bli kalt "  Turing test  " eller "Turing criterion". Denne testen måler graden av intelligens til en maskin, basert på evnen til et samtaleprogram til å utgi seg for et menneske: i en utveksling av skriftlige meldinger må et menneske bestemme om samtalepartneren er en maskin eller ikke. Grunnlaget som brukes er imidlertid skjørt for å evaluere kunstig intelligens, fordi inntrykket av en enkelt bruker avhenger av for mange faktorer relatert til det omgivende miljøet som regel.

I 1954 involverte Georgetown-IBM-eksperimentet , utført i fellesskap av Georgetown University og IBM- selskapet , den fullautomatiske oversettelsen til engelsk av mer enn seksti romaniserte russiske setninger knyttet til felt politikk, jus, matematikk og vitenskap. Forfatterne hevder at innen tre til fem år vil maskinoversettelse ikke lenger være et problem. Det ser imidlertid ut til at ytringene på russisk ble valgt med omhu, og at mange av operasjonene som ble utført for demonstrasjonen var tilpasset bestemte ord og uttrykk. I tillegg er det ingen relasjons- eller syntaktisk analyse for å identifisere setningenes struktur. Metoden som brukes er en i hovedsak leksikografisk metode basert på en ordbok der et gitt ord er knyttet til spesifikke regler og prosedyrer.

Konseptene introdusert av Turing tillot Joseph Weizenbaum å utvikle, fra 1964 til 1966, den første samtaleautomaten som lurte et menneske om sin natur. Automaten, kalt ELIZA , simulerer en Rogerisk psykoterapeut , selv om den nesten ikke bruker informasjon om menneskelig tanke eller følelser, klarer noen ganger å etablere en interaksjon som er overraskende lik menneskelig interaksjon. Så når "pasienten" overstiger kunnskapens svake kapasitet, kan ELIZA gi en generisk respons, for eksempel "Hvorfor sier du at du har hodepine? »Som svar på« Jeg har hodepine ».

På slutten av 1960-tallet, Terry Winograd , en MIT-forsker, utviklet et naturlig språk program kalt SHRDLU (uttales "chreudeul"), som gjør det mulig for brukeren å snakke med en datamaskin til å styre en "verden for å bygge kuber“( en blokker verden ) vises på en av de første skjermbildene. Det er det første programmet som kan forstå og utføre komplekse ordrer på naturlig språk. Men den eneste operasjonen han kan gjøre er å ta kuber, flytte dem, samle dem eller spre dem. Han vil aldri kunne forstå alt det menneskene kan gjøre med fysiske gjenstander.

Virkelig fremgang er derfor skuffende. Rapporten ALPAC  (i) 1966 bemerker at ti års forskningsmål ikke har blitt nådd. Denne bevisstheten om språkens ekstreme kompleksitet har redusert ambisjonen med forskningsarbeid betraktelig.

1970-80-tallet

I løpet av 1970-tallet begynte mange programmerere å skrive "konseptuelle ontologier", som hadde som mål å strukturere informasjon i data som datamaskinen kunne forstå. Dette er tilfellet MARGIE (Schank, 1975), SAM (Cullingford, 1978), PAM (Wilensky, 1978), TaleSpin (Meehan, 1976), SCRUPULE (Lehnert, 1977), Politics (Carbonell, 1979), Plot Units ( Lehnert 1981).

År 1990-2000

Siden 2000

I januar 2018, lykkes kunstige intelligensmodeller utviklet av Microsoft og Alibaba å slå mennesker i en lese- og forståelsestest fra Stanford University . Naturlig språkbehandling etterligner menneskelig forståelse av ord og uttrykk, og lar nå maskinlæringsmodeller behandle store mengder informasjon før de gir nøyaktige svar på spørsmålene til dem.

I november 2018, Google lanserer BERT , en språkmodell.

I Mai 2020, OpenAI , et selskap grunnlagt av Elon Musk og Sam Altman , kunngjør lanseringen av GPT-3 , en 175 milliarder parameter språkmodell utgitt som en gaffel i et kommersielt API .

Statistisk NLP

Statistisk bruk av naturlig språkbehandling er avhengig av stokastiske , probabilistiske eller ganske enkelt statistiske metoder for å løse noen av problemene som er diskutert ovenfor, spesielt de som oppstår fordi svært lange setninger er svært tvetydige når de behandles med realistiske grammatikker. Tillater tusenvis eller millioner av mulige analyser. Tvetydighetsmetoder innebærer ofte bruk av corpora og formaliseringsverktøy som Markov-modeller . Statistisk NLP inneholder alle kvantitative tilnærminger til automatisert språklig prosessering, inkludert modellering, informasjonsteori og lineær algebra . Teknologien for statistisk NLP kommer først og fremst fra maskinlæring og datautvinning , som innebærer å lære av data som kommer fra kunstig intelligens .

Forskningsfelt og applikasjoner

Feltet med automatisk naturlig språkbehandling dekker et stort antall forskningsdisipliner som kan bruke ferdigheter så forskjellige som anvendt matematikk eller signalbehandling.

Syntaks

• Lemmatisering : Gruppering av ord fra samme familie i en tekst, for å redusere disse ordene til deres kanoniske form (lemmaet), som liten , liten , liten og liten . Enkelte bøyninger kan gjøre denne oppgaven komplisert for datamaskiner, for eksempel å hente den kanoniske formen "å ha " fra "ville ha hatt ". På den annen side har ikke " fly  " og "vi hadde  " det samme lemmaet.
• Morfologi : Gruppering av forskjellige ord gjennom sine deler, for eksempel suffikser , prefikser , radikaler . For eksempel kan snødekke brytes ned i "  en- + neige + -ment  ".
• Morfosyntaktisk merking : Tilordner hvert ord i en tekst til sin grammatiske kategori . For eksempel kan ordet lukker være et verb i "han lukker døren" og et substantiv i "han går til gården".
• Syntaksanalyse : Morfosyntaktisk merking av hvert ord i en tekst, som i et syntaks-tre . Noen tvetydige setninger kan tolkes på flere forskjellige måter, for eksempel "  Jeg ser på mannen med kikkerten  ", som kan bety "Jeg ser på mannen som bruker kikkert", eller "Jeg ser på mannen som har kikkert ", eller" Jeg ser på mannen som er ledsaget av tvillingsøstre ".
• Setningsavgrensning  : Separasjon av setninger fra en tekst. Skriftlig brukes vanligvis skilletegn eller store bokstaver for å skille setninger, men komplikasjoner kan være forårsaket av forkortelser som bruker punktum, eller sitater med skilletegn innenfor en setning, etc.
• Rotisering  : Gruppering av ord som har en felles rot og tilhører samme leksikale felt. For eksempel, fersken , fersken , fisker har samme rot, men verken fersken (frukt) , og heller ikke synd , er en del av det samme leksikalske feltet.
• Ordseparasjon : I talespråk er setninger bare en kjede av fonemer, der typografisk rom ikke blir uttalt. Setningen / ɛ̃bɔnapaʁtəmɑ̃ʃo / kan for eksempel forstås som “en god varm leilighet” og “en enarmet Bonaparte ”.

Semantikk

• Maskinoversettelse  : Dette er et av de mest komplekse problemene, sier IA-komplett , som krever mye kunnskap, ikke bare språklig, men også om verden. Det er den første søknadsprogrammet, aktiv siden 1950-tallet.
• Automatisk generering av tekst  : Skriver syntaktisk og semantisk korrekte tekster, for eksempel for å produsere værmeldinger eller automatiserte rapporter.
• Automatisk tekstsammendrag , omformulering og omskrivning  : Utvinning av relevant innhold fra en tekst, oppdagelse av den viktigste informasjonen, permitteringer, for å generere en sammenhengende menneskelig troverdig tekst.
• Leksikalsk tvetydighet  : Fortsatt uløst problem, bestående i å bestemme betydningen av et ord i en setning, når det kan ha flere mulige betydninger, avhengig av den generelle konteksten.
• Stavekorreksjon  : i tillegg til en sammenligning med ordene i ordboken og et omtrentlig søk for å foreslå korreksjoner, er det grammatikkrettere som bruker semantikk og kontekst for å korrigere homofonier .
• Samtaleagenter og spørsmål og svar-systemer  : Kombinasjon av et språkforståelsesstadium og deretter et trinn for generering av tekst.
• Koreferanse deteksjon og anafor oppløsning  : Påvisning av sammenhengen mellom flere ord i en setning henviser til samme emne.

Signalbehandling (tale og skriving)

• Håndskriftgjenkjenning , optisk tegngjenkjenning og automatisk dokumentlesing  : Systemanalyse og bildebehandling kombinert med språklige regler for å vurdere sannsynligheten for at bokstaver og ord blir dekodet.
• Automatisk talegjenkjenning : Akustisk analyse, sammenheng mellom elementære lydsegmenter og leksikale elementer, deretter korrespondanse av mønstrene som er oppnådd med gjeldende ord, eller ordsekvenser som vises ofte.
• Talesyntese : En oversettelse til det fonetiske alfabetet brukes oftest, men den grammatiske kategorien skal også tas med i betraktningen; for eksempel må vi anerkjenne andre- ent som stum i eksemplet "Presidentens president". Ord med uregelmessig uttale bør lagres. I tillegg må intonasjon og prosodi også tas i betraktning for å få en naturlig effekt.
• Talebehandling  : Kombinerer de to kategoriene ovenfor.
• Oppdagelse av språk og dialekter: både fra tekster og fra muntlige ytringer.

Henting av informasjon

• Tekstutvinning  : Søke etter spesifikk informasjon i et korpus av gitte dokumenter, som bruker innholdsindeksering .
• Informasjonssøk : Tekstgruvedrift underdomenet; den mest kjente applikasjonen gjelder søkemotorer , som også går gjennom analysen av metadata og lenker mellom sidene selv.
• Anerkjennelse av navngitte enheter  : Bestemmelse i en tekst med egennavn, for eksempel personer eller steder, samt mengder, verdier eller datoer.
• Klassifisering og kategorisering av dokumenter  : Aktivitet som består i automatisk klassifisering av dokumentressurser, vanligvis fra et korpus.
• Intelligente veiledningssystemer: Brukes spesielt for språkundervisning
• Sentimentanalyse  : Tar sikte på å trekke ut følelsen av en tekst (vanligvis positiv eller negativ) i henhold til ordene og typen språk som brukes, typografiske ledetråder eller personen som skrev den.
• Automatisk dokumentanbefaling : Består av å hente ut viktig informasjon fra en database for å koble dem til "serier", for å tilby elementene til folk som er interessert i andre elementer i denne serien.

Bibliometri

De Bibliometri er bruk av naturlig språk prosessering vitenskapelige publikasjoner.