Lucene
Apache Lucene
Lucene er et open source- bibliotek skrevet på Java som gjør det mulig å indeksere og søke etter tekst. Den brukes i noen søkemotorer .
Det er et prosjekt fra Apache-stiftelsen gjort tilgjengelig under Apache-lisensen . Den er også tilgjengelig for Ruby , Perl , C ++ , PHP , C # , Python-språk .
Historisk
Lucene lastes først opp av Doug Cutting på SourceForge.net- nettstedet iMars 2000. Den frigjøres deretter under GNU Lesser General Public License . Hans overgang til Apache Jakarta ble kunngjort iOktober 2001.
Lucene-prosjektet kommer fra boken Lucene in Action (Lucene in action) utgitt i desember 2004 . Det er skrevet av Erik Hatcher, en av lederne for open source-prosjektene Ant , Lucene og Tapestry , og av Otis Gospodnetic, et aktivt medlem av Apache Jakarta-prosjektet.
De 14. februar 2005, Lucene migrerer til Apache Jakarta- prosjektet . Den kildekoden basen ble omdannet til SVN versjon kontrolleren .
mandag 12. desember 2005, Grant Ingersol presenterer en casestudie i Java hos ApacheCon US om avansert bruk av Lucene-komponenter, inkludert tekniske detaljer om naturlig språkbehandling .
I dag brukes Lucene til søkemotoren til et veldig stort antall produkter og nettsteder over hele verden.
Hvordan Lucene fungerer
Indeksering
Fram til eksplosjonen av internett var Deweys desimalklassifisering veldig effektiv i å kategorisere objekter i et bibliotek. Imidlertid har massen av tilgjengelige data på nettet blitt så gigantisk at det nå er nødvendig å bruke alternative og mer dynamiske midler for å finne informasjon.
Kjernen i alle søkemotorer er en automatisk indekseringsmekanisme : behandling av rådata en gang og gir den flere svært effektive lenker, fremskynder søkeoperasjonen. Konseptet er ganske likt terminologiindeksen som vanligvis finnes på slutten av en bok, som lar deg raskt finne sider som omhandler et gitt emne.
Hvis du trenger å dekke et stort felt av filer eller finne en spesifikk streng med tegn i en enkelt fil, bør du ikke skanne hver fil sekvensielt for den gitte frasen. Fordi jo større antall filer, jo lengre tid tar det å søke etter informasjon . Det er bedre å etablere en tekst indeks i et format som tillater rask søking, som unngår den sekvensielle metoden. Denne prosessen kalles indeksering .
Undersøkelser
Den forskningen er handlingen av å se opp ord i en indeks for å finne referanser til dokumenter når de dukker opp. Kvaliteten på et søk evalueres av posisjonering og relevans av resultatene. Imidlertid er det andre faktorer som går inn i et søk. Hastighet er en avgjørende faktor i behandlingen av en stor mengde informasjon. Å være i stand til å støtte enkle eller komplekse spørsmål, spørre setninger, tegn, posisjonere og sortere resultater er like viktig som en lettlært syntaks for å skrive inn disse spørsmålene.
Klasser
De følgende avsnittene gir en kort introduksjon til hovedklassene som brukes til å bygge denne søkemotoren.
Indeksering av klasser
-
IndexWriter - IndexWriter-klassen er den sentrale komponenten i indekseringsprosessen. Denne klassen oppretter en ny indeks og legger til dokumenter i en eksisterende indeks. Vi kan tenke på det som et objekt som vi kan skrive i indeksen, men som ikke tillater det å bli lest eller søkt.
-
Katalog - Katalogklassen representerer plasseringen til Lucenes indeks. IndexWriter bruker en av katalogens implementeringer, FSDirectory , for å lage indeksen i en katalog i filsystemet . En annen implementering, RAMDirectory , tar alle dataene i minnet. Dette kan være nyttig for mindre indekser som kan lastes helt inn i minnet og kan ødelegges når applikasjonen avsluttes.
-
Analyzer - Før teksten er i indeksen, går den gjennom Analyzer. Dette er en abstrakt klasse som brukes til å trekke ut viktige ord for indeksen og slette resten. Denne klassen er en viktig del av Lucene og kan brukes til å gjøre mer enn bare et inndatafilter.
-
Dokument - Dokumentklassen representerer en samling felt. Felter i et dokument representerer dokumentet eller metadataene som er knyttet til dokumentet. Den opprinnelige kilden (som poster fra en database, et Word-dokument, et kapittel fra en bok osv.) Er ikke relevant for Lucene. Metadata som forfatter, tittel, emne, dato osv. indekseres og lagres separat som felt i et dokument.
-
Felt - Hvert dokument er en indeks som inneholder ett eller flere felt, satt inn i en klasse som heter Felt . Hvert felt ( felt ) er en datadel som blir spurt eller hentet fra indeksen under søket.
Forskningskurs
-
IndexSearcher - IndexSearcher- klassen er å søke hva IndexWriter skal indeksere. Vi kan tenke på det som en klasse som åpner en indeks i skrivebeskyttet modus.
-
Uttrykket - En sikt er en grunnleggende enhet for søking, lik den felt objektet . Det er en tegnstreng: navnet på feltet og verdien. Merk at begrepene som brukes, også er inkludert i indekseringsprosessen.
-
Query - Query- klassen er en abstrakt klasse som inkluderer BooleanQuery , PhraseQuery , PrefixQuery , PhrasePrefixQuery , RangeQuery , FilteredQuery og SpanQuery .
-
TermQuery - Dette er Lucenes mest grunnleggende spørringsmetode. Den brukes til å utjevne dokumenter som inneholder felt med spesifikke verdier.
-
QueryParser - Klassen QueryParser brukes til å generere en analytisk dekomponist som kan søke gjennom en indeks.
-
Treff - Hits-klassen er en enkel indeksbeholder for rangering av søkeresultatene for dokumenter som vises for et gitt søk. Av ytelsesårsaker laster ikke rangeringseksemplene alle dokumentene for en gitt spørring fra indeksen, men bare noen av dem.
Ressurser
Verktøy
- Luke (Lucene Index Toolbox) er et praktisk diagnostisk og utviklingsverktøy som får tilgang til eksisterende Lucene-indekser og lar innholdet deres vises og redigeres på en rekke måter. Luke er dekket av Apache-lisensen, bortsett fra en del av koden.
- LIMO (Lucene Index Monitor) gir grunnleggende informasjon om indeksene som brukes av Lucene-søkemotoren. Det er et SourceForge-prosjekt.
Relaterte prosjekter
Alle disse prosjektene er eller har vært delprosjekter av Apache Lucene og tillater implementering av en søkemotor.
Komponenter i en søkemotor
Merknader og referanser
-
" LuceneTM Core News " (åpnet 3. desember 2020 )
-
Den Lucene siden på SourceForge
-
Økten presentert på ApacheCon
-
(in) Liste over applikasjoner som bruker Lucene
Vedlegg
Bibliografi
- " Introduction to Apache Lucene: Construction of Java Open Source Full Text Retrieval Systems " av Koshi Sekiguti; Gijutsu-Hyohron Co, Ltd; ( ISBN 4774127809 )
- " Lucene In Action " av Erik Hatcher og Otis Gospodnetić; Bemanningspublikasjoner;desember 2004; ( ISBN 1932394281 ) (no) [1]
- Manfred Hardt, Dr. Fabian Theis: " Suchmaschinen entwickeln mit Apache Lucene "; Programvare og støtte Verlag, Frankfurt am Main, Tyskland;September 2004; ( ISBN 3935042450 )
Relaterte artikler
Eksterne linker