Søkemotor

En søkemotor er en webapplikasjon som lar brukeren utføre et online søk (eller internett-søk ), det vil si å finne ressurser fra et spørsmål som består av termer. Ressursene kan være spesielt nettsider , elementene i forumet Usenet , bildene , videoene , filene , bøkene, utdanningssidene, applikasjonene fra programvare med åpen kildekode .

I prinsippet jobber de generelt:

Noen nettsteder tilbyr en søkemotor som hovedfunksjonalitet; selve nettstedet kalles da "søkemotor". De er forskningsverktøynettet uten menneskelig inngripen, noe som skiller dem fra kataloger . De er basert på "  roboter  ", også kalt "  bots  ", "  edderkopper ", "  crawlere  " eller "agenter", som automatisk blar gjennom nettstedene med jevne mellomrom for å oppdage nye adresser ( URL-er ). De følger hyperkoblingene som kobler sidene til hverandre, den ene etter den andre. Hver identifiserte side indekseres deretter i en database , som deretter kan nås av Internett-brukere ved hjelp av nøkkelord .

Det er gjennom misbruk av språk vi også kaller "søkemotorer" nettsteder som tilbyr kataloger på nettsteder: i dette tilfellet er de forskningsverktøy utviklet av folk som lister opp og klassifiserer nettsteder som er verdige. Av interesse, ikke web-crawlere.

Søkemotorer gjelder ikke bare for Internett: noen søkemotorer er programvare som er installert på en personlig datamaskin . Dette er såkalte “desktop” -motorer som kombinerer søk mellom filer som er lagret på PC-en og søk blant nettsteder - for eksempel Copernic Desktop Search, Windex Server, etc.

Det finnes også metasøkemotorer , det vil si nettsteder der det samme søket blir lansert samtidig på flere søkemotorer, og resultatene blir deretter slått sammen for å bli presentert for Internett-brukeren .

Historisk

Internett-søkemotorer forut for begynnelsen av nettet i slutten av 1990:

Søkemotorer er inspirert av dokumentasjonsinnhentingsverktøy ( inverterte filbaserte , også kalt indeksfiler ) som er brukt på mainframes siden 1970-tallet, som STAIRS-programvare på IBM . Metoden for å fylle databasene er imidlertid forskjellig, siden den er nettverksorientert . I tillegg eksisterer ikke lenger skillet mellom formatert data (“felt”) og fritekst, selv om det siden 2010 har begynt å gjeninnføre seg selv gjennom det semantiske nettet .

Historiske motorer har vært Lycos (1994), Altavista (1995, den første 64-bits motoren) og Backrub (1997), stamfar til Google .

Operasjon

Funksjonen til en søkemotor som ethvert forskningsverktøy kan deles inn i tre hovedprosesser:

  1. Utforskning eller gjennomsøking  : Internett gjennomsøkes systematisk av en indekseringsrobot som rekursivt følger alle hyperkoblingene den finner og henter de ressursene som anses som interessante. Utforskningen startes fra en hubressurs, for eksempel en webkatalogside . En søkemotor er først og fremst et indekseringsverktøy , det vil si at den har en teknologi for å samle dokumenter eksternt fra nettsteder, via et verktøy som kalles en robot eller bot . En crawler har sin egen signatur (som alle nettlesere). For eksempel, Googlebot er user agent (signatur) av Google crawler  ; BingBot er Bing's  ; AppleBot det fra Apple .
  2. Den indekseringen av de gjenopprettede ressursene består i å ekstrahere ord betraktes som signifikant fra corpus som skal undersøkes . De ekstraherte ordene er registrert i en database organisert som en gigantisk omvendt ordbok eller, mer nøyaktig, som den terminologiske indeksen til et verk, som gjør det mulig å raskt finne i hvilket kapittel av arbeidet en gitt betydningsfull betegnelse ligger. Begreper som ikke er meningsfylte i en gitt kontekst kalles stoppord . Betydelige begreper er assosiert med en vekt . Dette gjenspeiler både sannsynligheten for at ordet vises i et dokument og den "diskriminerende kraften til dette ordet" på et språk, i samsvar med prinsippet i TF-IDF- formelen . Indeksering utføres etter et sett med syntaktisk og semantisk prosessering ( lemmatisering , kategorisering , sletting av "tomme" ord ...) og algoritmisk i henhold til forskjellige teknikker basert i dag på kunstig intelligens ( Word2Vec , LDA ...).
  3. Søket tilsvarer spørringsdelen av motoren, som returnerer resultatene . Det brukes en algoritme for å identifisere dokumentene som samsvarer best med ordene i spørringen i dokumentarkorpuset (ved hjelp av indeksen), for å presentere søkeresultatene i den antatte relevansen. Forskningsalgoritmer er gjenstand for mange vitenskapelige undersøkelser . De enkleste søkemotorene bruker boolske spørsmål for å sammenligne ordene i et spørsmål med de i dokumentene. Men denne metoden når raskt sine grenser for store korpora. De mer avanserte motorene er basert på vektormodellparadigmet  : de bruker TF-IDF-formelen for å knytte vekten av ord i et spørsmål til de som finnes i dokumentene. Denne formelen brukes til å konstruere vektorer av ord, sammenlignet i vektorrom , etter cosinus-likhet . For ytterligere å forbedre ytelsen til en motor er det mange teknikker, den mest kjente er den fra Google PageRank, som gjør det mulig å veie en cosinusmåling ved hjelp av en sidebevissthetsindeks. De siste søkene bruker den såkalte latente semantiske analysemetoden som prøver å introdusere ideen om medforekomster i søket etter resultater (begrepet "bil" blir automatisk assosiert med de nære ordene som "garasje" eller en navn. merke i søkekriteriene).
Likeledes vil en artikkel om "innhøsting" av "hvete" i "Frankrike" bli ansett som relevant som kandidat for svaret på et spørsmål angående "dyrking" av "korn" i "Europa".

Utfyllende moduler brukes ofte sammen med de tre grunnleggende byggesteinene i søkemotoren. De mest kjente er følgende:

Stavekontrollen: Lemmatizer: Anti-ordboken:
Det gjør det mulig å korrigere de introduserte feilene

med ordene i forespørselen, og sørg for å

deres relevans ved å ta hensyn til deres

kanonisk form.

Det gir muligheten for å redusere

søkeord til deres lemma for

utvider dermed deres forskningsomfang.

Den brukes til å fjerne alt

"tomme" ord (for eksempel "av", "the", "the")

som ikke er diskriminerende, og som forstyrrer

søkeresultat ved å innføre støy .

Slettingen gjøres i indeksen og i

forespørslene.


Optimalisering av søkemotorer

For å optimalisere søkemotorer setter webansvarlige inn meta - elementer (metatags) i websider , i HTML-overskriften (head). Denne informasjonen gjør det mulig å optimalisere søk etter informasjonnettsteder .

Finansiering

Nettsteder som hovedsakelig tjener forskning finansieres av salg av teknologi og reklame.

Reklamefinansiering består av å presentere annonser som tilsvarer ordene den besøkende har søkt på. Annonsøren kjøper nøkkelord: for eksempel kan et reisebyrå kjøpe nøkkelord som "ferie", "hotell" og "strand" eller "Cannes", "Antibes" og "Nice" hvis det er spesialisert i denne regionen. Dette kjøpet gjør det mulig å skaffe en referanse kalt "betalt referanse" for å skille seg fra referanse som kalles "naturlig referanse".

Søkemotoren kan vise annonsen på to måter: som et eget innlegg eller som en del av søkeresultatene. For den besøkende ser det separate innlegget ut som en klassisk annonse. Integrering i resultatene er derimot til skade for resultatens relevans og kan ha negative konsekvenser for motorens opplevde kvalitet. På grunn av dette selger ikke alle motorer en investering i resultater.

Søkemotorer er et økonomisk spørsmål. Aksjemarkedsverdien til holdingselskapet Alphabet eid av Google , den viktigste søkemotoren, var 831 milliarder dollar i april 2020.

Avledningsteknikker

Betydningen av de økonomiske innsatsene genererte teknikker for uærlig avledning av søkemotorene for å oppnå "naturlig" referanse, spamdexing (voldelig referanse på fransk).

De mest populære teknikkene for spam-dexing er:

De voldelige referanse- teknikkene blir jaktet på av utgivere av søkemotorer, som utgjør svartelister, foreløpige eller definitive.

Vi skiller spamdexing , uærlig avledning, fra "SEO", Search Engine Optimization ( optimalisering for søkemotorer på fransk). SEO-teknikker markedsføres av spesialiserte selskaper.

Teknologisalg

Store organisasjoner (selskaper, administrasjoner) har generelt et stort antall IT-ressurser i et stort intranett . Siden ressursene deres ikke er tilgjengelige fra Internett , dekkes de ikke av søkemotorer på nettet. De må derfor installere sin egen motor hvis de vil søke i ressursene sine. De utgjør derfor et marked for søkemotorutviklere. Dette er referert til som en virksomhets søkemotor (se nedenfor).

Det hender også at offentlige nettsteder bruker tjenestene til en søkemotor for å utvide tilbudene. Dette kalles “SiteSearch”. Denne programvaren gjør det mulig å søke etter innhold i en eller flere grupper av nettsteder. Disse teknologiene brukes spesielt på innholdssider og online salgssider. Det spesielle ved disse verktøyene er ofte kompleksiteten i implementeringen og de nødvendige tekniske ressursene som er tilgjengelige.

Store portaler kan også utnytte søkemotorteknologi. Så Yahoo! , en spesialist på nettkatalogen , brukte Google- teknologi til søk i noen år til den lanserte sin egen søkemotor Yahoo Search Technology i 2004, og grunnlaget kom fra Altavista, Inktomi og Overture, selskaper som grunnla søkemotorer og ervervet av Yahoo! .

Evolusjon mot det semantiske nettet

Flere og flere innholdsprodusenter, som følger W3C- anbefalingene på det semantiske nettet , indekserer databasene sine med metadata eller taksonomier ( ontologier ), for å la søkemotorer tilpasse seg semantiske analyser .

Disse formene for forskning og analyse av informasjonskapsler via datamaskiner er fremdeles bare potensialer.

Sammenlignet med fulltekstsøk bør søk utført på det semantiske nettet være mer brukervennlige:

Strengt tatt er det ennå ikke en semantisk søkemotor som gjør det mulig å forstå et spørsmål på naturlig språk og tilpasse et svar i henhold til resultatene som ble funnet.

Det er imidlertid noen forsøk på å finne et mellomliggende svar på denne problematiske betydningen i søket etter informasjon:

Evolusjon mot motor og katalogmiks

Internett-adressesøk

Den gradvise oppgivelsen av trykte kataloger fører til at brukerne utfører de samme søkene på Internett "yrke + lokalitet". Google anskaffet derfor i 2010 en fil med selskaper (for Frankrike og et visst antall land) for å utføre en blanding av nett- og katalogdata når forespørslene tilsvarer en lokalisert aktivitet. Denne nye trenden er bekreftet av de viktigste søkemotorene, og nye "blandede verktøy" dukker opp. Yandex og Baidu har ennå ikke tatt i bruk denne miksmodellen.

I følge en studie utført av McKinsey & Co, hadde bare 65% av franske SMB-er internettilstedeværelse i 2013. Ifølge en annen studie når denne andelen 72% for liberale yrker (advokater, tannleger, leger, notarier, namsmenn, sykepleiere osv.).

Søkemotorer, som per definisjon kun samler inn data fra Internett, var derfor forpliktet til å skaffe og tilby disse katalogadressene i tillegg til å tilfredsstille internettbrukernes søk etter adresser. Google døpte disse adressene "Google-adresser", og byttet deretter automatisk til "Google +", for tiden "  Google Min bedrift  ". Bing- og Google- søkemotorer kommuniserer ikke opprinnelsen til disse integrerte firmafilene, bortsett fra Yahoo! som er i samarbeid med Pages Jaunes .

Markedsandel utenfor Asia

Markedsandelen oppdatert ved utgangen av 2019.
Frankrike Tyskland Canada forente stater Mexico Brasil Marokko
Google 94,21% 94,54% 92,38% 84,8% 94,9% 97,35% 97,31%
Bing 2,95% 2,89% 4,31% 5,59% 3,36% 1,32% 1,79%
Yahoo 1,53% 0,84% 2,33% 8,35% 1,51% 1,18% 0,71%
Qwant 0,7%
DuckDuckGo 0,25% 0,67% 0,73% 1,01% 0,09% 0,01% 0,08%
Msn 0,1% 0,08% 0,1% 0,02%
Yandex 0,03%

Metamotorer

De meta motorene er søkeverktøy som spørringen flere søkemotorer samtidig og skjermen til brukeren et relevant syntese.

Eksempler: Startside , Searx , søker og Lilo , Framabee .

Flermotor

Uttrykket “ multi-engine  (en)  ” (eller sjeldnere, “super engine”) betegner  en webside som tilbyr en eller flere skjemaer som gjør det mulig å spørre på flere motorer. Det kan også (men sjeldnere) være en programvare, en funksjon eller en nettleser- plugin eller en verktøylinje ...

Valget av en av motorene kan gjøres med knapp , alternativknapp , fane , rullegardinliste eller annet.

De første sidene av denne typen kopierte skjemakoden til flere motorer. Med JavaScript ble det mulig å ha bare en form.
Vi kan sitere for eksempel Creative Commons søk , Ecosia , Disconnect , Maxthon er søk motor , HooSeek (stengt i 2012).

Solidaritet eller økologiske søkemotorer

Uttrykket “solidaritetssøkemotor” brukes til å betegne en motor som donerer deler av inntekten til økologiske, sosiale eller humanitære formål. Disse motorene ble født av observasjonen om at de årlige inntektene som genereres av annonsering på søkemotorer er ganske betydelige (rundt $ 45  per bruker for Google). Solidaritetssøkemotorer skiller seg særlig ut i måten de fordeler inntektene på. Noen motorer som Ecosia donerer deretter en del av inntekten til en enkelt sak, mens motorer som Lilo tillater internettbrukere å velge hvilke prosjekter de skal finansiere.

Se listen over solidaritetssøkemotorer.

Vertikale motorer

Uttrykket "vertikale motorer" betegner en webside eller en multimedietjeneste som tilbyr spesialisert forskning innen et profesjonelt felt eller som er spesielt målrettet. Dette forskningsverktøyet spesialiserer seg i en bestemt sektor, som telekommunikasjon, lov, bioteknologi, finans (forsikring) eller til og med eiendom. Den generelle driften er basert på en database som består av databasene til alle de spesialiserte nettstedene for den målrettede aktiviteten.

Denne typen motor brukes av fagpersoner og er rettet mot forbrukerne, ofte med et økonomisk formål som kommer fra geolokalisering.

Det er altså kataloger og komparatorer for allmennheten. De er nå tilgjengelige for alle aktiviteter: eiendom, turisme, jobbsøk, rekruttering, bil, fritid, spill.

Bedrifts søkemotor

Eksplosjonen i antall innhold i forskjellige formater (data, ustrukturert informasjon, bilder, videoer osv.) Tilgjengelig i selskaper, presser dem til å utstyre seg med en intern søkemotor.

I følge en studie utført av MARKESS International i Februar 200849% av organisasjonene bruker allerede en bedriftssøkemotor, og 18% planlegger å bruke den innen 2010. Disse søkemotorene er for det meste integrert i arbeidsstasjoner eller elektroniske dokumenthåndteringsverktøy , men de er i et økende antall selskaper som kan dekke begge interne og eksternt bedriftsinnhold, eller integrert i verktøy for innholdsadministrasjon eller business intelligence-løsninger.

Blant spillerne som tilbyr bedriftssøkemotorer er Google , Exalead , PolySpot eller OpenSearchServer .

Ressurser for søkemotorer

Språkanalyseteknologier, som lemmatisering, navngitt enhetsutvinning, klassifisering og klynging, kan forbedre søkemotorenes funksjon. Disse teknologiene gjør det mulig både å forbedre relevansen til resultatene og å engasjere Internett-brukeren i en mer effektiv søkeprosess, slik det er tilfelle med fasettert søk .

Miljøpåvirkning

I henhold til ADEME-studien "Internet, emails, reduce impacts" publisert iFebruar 2014Gå direkte til adressen til et nettsted, eller ved å skrive adressen i nettleseren, enten ved å få det registrert som "favoritt" (i stedet for å søke på nettstedet via en søkemotor) delt på 4 utslipp av klimagasser .

Merknader og referanser

  1. Zone Stock Exchange , "  ABC INC. : Estimater og forventninger til økonomiske dataprognoser | GOOGL | Zone Bourse  ” , på www.zonebourse.com (åpnet 13. april 2020 )
  2. "  Akselerere den digitale transformasjonen av selskaper: en kilde til vekst og konkurranseevne for Frankrike  " , på McKinsey & Company (åpnet 29. november 2018 )
  3. Bolero-konsulentfirma innen digital strategi og innflytelse , "  Markedsandeler av søkemotorer i verden  " , om Bolero - konsulentfirma innen digital strategi og innflytelse ,20. september 2019(åpnet 13. april 2020 )
  4. Hooseek og vu.fr/search refererer til seg selv som supermotorer og Supermoteur var navnet på en flermotor
  5. Creative Commons Search
  6. http://www.digitalstrategyconsulting.com/intelligence/2014/06/ad_revenue_per_user_google_facebook_twitter.php

Se også

Relaterte artikler

Verktøy Teori Automatisering

Bibliografi

Eksterne linker