BERT (språkmodell)

BERT

Informasjon
Utviklet av Google Research ( d )
Første versjon 2018
Innskudd github.com/google-research/bert
Datastørrelse 110.000.000 parameter og 340.000.000 parameter
Type Språkmodell
Transformermodell
Tillatelse Apache-lisens versjon 2.0
Nettsted ai.googleblog.com/2018/11/open-sourcing-bert-state-of-art-pre.html

I naturlig språkbehandling er BERT , akronym for Bidirectional Encoder Representations from Transformers , en språkmodell utviklet av Google i 2018. Denne metoden har forbedret ytelsen i automatisk språkbehandling .

Bruk i applikasjoner

De 25. oktober 2019, Kunngjør Google offisielt at BERT nå er integrert i noen av sine tjenester for selskaper (Cloud TPU , bibliotek for TensorFlow ) og at distribusjonen vil finne sted de neste dagene, først for engelsk, deretter de andre. Mountain View-firmaet kvalifiserer denne endringen som den viktigste endringen i Googles algoritme i 5 år, da RankBrain ble lansert.

Metoden ble tilpasset det franske språket i 2019 med CamemBERT og FlauBERT-modellene. CamemBERT ble trent på et korpus på 138 GB tekst og FlauBERT på et korpus på 71 GB tekst.

Bibliografi

Se også

Relaterte artikler

Eksterne linker

Merknader og referanser

  1. "  Hvordan BERT, den største oppdateringen til en verden av Google algoritme  " (vist på en st mai 2020 )
  2. (in) "  Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processing  " på Google AI Blog (åpnet 30. oktober 2019 )
  3. https://arxiv.org/abs/1911.03894
  4. https://arxiv.org/abs/1912.05372