Demosaicing

Den demosaicing (også kjent som neologisme débayerisator eller démosaïsage ) er en av fasene i signalbehandling råolje fra sensoren til et digitalt kamera . Den består i å interpolere dataene til hver av de røde, grønne og blå monokrome fotosidene som utgjør den elektroniske sensoren for å oppnå en trikromatisk verdi for hver piksel .

Den Bayer mosaikk , med en halvdel av grønt filter sensorer anordnet i en forskjøvet måte, adskilt av avvekslende røde og blå filter sensorer, er den mest vanlige arrangement for farge sensorer. Demosaicing er den grunnleggende driften av bildebehandling; det ledsages ofte av korrigerende operasjoner. Det gjøres i kameraet, og hvis en RAW-fil er spilt inn , med spesialisert programvare, tar det hensyn til kameraets egenskaper.

Prinsipper

Sensoren

Den fotografiske sensoren er i et stort flertall av tilfellene, enten det er en CCD eller CMOS , dannet av justeringer av elementer som kalles "fotosites". Kolonnene og radene på disse fotosidene utgjør sensorens "matrise", de reagerer på lyset de mottar og forvandler den til en elektrisk ladning, på prinsippet om en fotoelektrisk celle.

Disse fotosidene er følsomme for mottatt belysning, uansett farge. Den fotosensitive sensoren er derfor dekket med en mosaikk av fargefiltre tildele hvert foto til en av de tre primærfargene i den additive farge syntese system av anordningen. Det vanligste arrangementet av disse filtrene kalles Bayer Matrix , oppkalt etter oppfinneren.

Bayer-matrisen tar i betraktning faktumet om den overveiende viktigheten av grønt i luminans , som styrer oppfatningen av former . Halvparten av fotosidene er tildelt grønt, mens rød og blå deler resten likt. Filtrene er jevnlig fordelt, greenene arrangert i et rutebrett er hver omgitt av et rødt og et blått i horisontal retning som i vertikal retning, slik at arrangementet av hver av de tre fargene er et nettverk som tillater en jevnlig prøvetaking .

Sensoren produserer en rekke verdier som er proporsjonale med belysningen på fotosidene, der de tre komponentene er flettet sammen.

Behandling av huset

Enheten må produsere et bilde raskt, bare for sikte og teknisk kontroll. Den enkleste behandlingen er å velge data fra de grønne sensorene, og sende disse verdiene direkte til en svart-hvitt kontrollskjerm . Denne enkle og strenge prosessen brukes noen ganger for å kontrollere skarphet og fokus .

For å fremstille et fargebilde i henhold til data -standarder , er det nødvendig å utføre en digital interpolasjon mellom verdiene av sensorene, for å være i stand til å foreta en triplett av rød, grønn, blå verdiene tilsvarer et bildeelement, deretter å bruke på hver en gammakorreksjon , som de gjør det mer representativt for lysstyrken oppfattet av menneskets syn . For å forbedre utseendet på bildene og gjøre det lettere å ta bilder, tilbyr produsenten også justeringer, noen ganger tilgjengelige for brukeren, med hensyn til kontrast, hvitbalanse , fargemetning og aksentueringen av skarpheten. Svært ofte ledsages disse justeringene av korreksjoner som lindrer defektene i optikken: vignettering, aberrasjoner, deformasjoner.

Lagring av bilder som kan vises på en hvilken som helst enhet er i JPEG , med datakomprimering som eliminerer informasjon som ikke bidrar til utseendet på bildet med innstillingene som vises.

Prosessoren tilbyr bilder i henhold til beregningsmetoder som skyldes rimelige kompromisser, men ikke alltid i samsvar med fotografenes ønsker. For å overvinne dette velger vi et RAW- opptaksformat , det vil si rå , inkludert alle verdiene som er nødvendige for demosaisering og korrigerende operasjoner.

A . Fra sensoren blir analog informasjon hentet ut som vil bli forsterket i større eller mindre grad for å bringe den opprinnelige følsomheten til ISO 30-40 i tråd med de - mer konsistente - som kreves av brukeren: 100, 200, 400, etc. ISO. I forbifarten digitaliseres disse analoge signalene.
B . Det er demosaisering. Fra fotosidene: V, G, B og V, G, R, er det hensiktsmessig å produsere autentiske piksler sammensatt av hver av de tre fargene: RGB for å gjøre trelagsbilder gjenkjent av skjermer, skrivere og programvare.
C . En slags kalibrering blir brukt på bildet som dannes, med utgangspunkt i generiske profiler knyttet til menneskelige visuelle evner. Vi vil derfor for eksempel kontrollere maksimale terskler for høyt og lite lys, kontrasten derfor og profilene valgt av brukeren eller automatiseringen. Nemlig fargetemperatur (K) (hvitbalanse), fargemetning, skarphetskontroll, etc. På dette punktet har bildet fremdeles sensorens "innfødte" fargedybde: 12 til 14 lineære biter generelt.
D . Derfra er to mulige valg mulig:
- D1 . Bytter til 8 ikke-lineære biter, produksjon av en JPEG- fil med valg av komprimering hvis firmwaren tillater det.
- D2 . Produksjon av en 8-bits ikke-lineær eller 16-lineær TIFF- fil hvis firmwaren tilbyr dette valgfrie formatet, eller av en RAW-fil, generelt TIFF / EP, inkludert alle prosesseringsparametrene i metadata .

Etterbehandling fra en RAW-fil

RAW-filen inneholder nesten all informasjonen som trengs for å bygge et endelig bilde. Datamaskinen som behandler dem, er mye mindre begrenset enn bærbare enheter etter strømforbruk og behandlingstidskrav, og fotografen kan observere bildet under mye bedre forhold enn i felt.

Demoseringsprogramvaren (Lightroom, Darktable, Capture One, Camera Raw, DXOpro, Rawtherapy, Canon DPP, UFRaw , etc.) vil gjengi fasene B, C og D i behandlingen basert på parametrene som er angitt i ruten, men overlater dem operatøren å endre.

Demosaiseringen i seg selv kan utføres i henhold til flere algoritmer. Ifølge prøvetakingssetningen skal Bayer-matrisen resultere i et bilde på så mange piksler som det er grønne filtersensorer (halvparten av totalen), med en oppløsning på halvparten for de røde filtrene. Og blått. Demoseringsalgoritmer bruker tommelfingerregler slik at de høyere romlige frekvensene som er tilstede i motivet ikke gir ubehagelige effekter. Å ta hensyn til et større antall nabosensorer, med bikubisk interpolasjon og bruk av vertikale, horisontale og diagonale linjer, gjør det mulig å dempe, ved bekostning av betydelig viktigere beregninger, aliasing av konturene. Algoritmer som bruker alle tre kanalene har resultert i betydelig forbedring. Vanlige scener viser faktisk fargekorrelasjon. Gradienten for utviklingen av verdiene for hver farge er parallell: den brukes til å bestemme formelen for å rekonstruere den manglende pikselet. De mest avanserte algoritmene utfører praktisk talt bildesegmenteringsoperasjoner for å få konturer av objekter fra variasjonene av hver farge i alle retninger. De enkleste er basert på korrelasjonen mellom den grønne kanalen og en luminanskanal.

Kanal-for-kanal-demosaiseringsalgoritmer

Demosaicing består i å estimere de manglende nivåene i et RAW-bilde for å gi et fargebilde. I mer enn 40 år har det kommet mange metoder for demosaisering i litteraturen. Vi nøyer oss med å presentere formalismen ved demosaisering og foreslår tre enkle metoder for demosaisering.

Formalisme av demosaisering

En Digital Image Color (rangert ) omfatter hver piksel informasjon om tre fargekomponentene ( , , ). Fargen på pikselet blir deretter utledet ved additiv syntese av de tre fargekomponentene. Den Bayer matrisen gjør det mulig å oppnå en såkalt rå bildet (bemerket ), hvor hvert billedelement bærer informasjon av en enkelt komponent i henhold til Bayer Matrix . Dermed bærer halvparten av pikslene informasjonen til den grønne komponenten ( og mangler), en fjerdedel bærer informasjonen til den røde komponenten ( og mangler) og en fjerdedel bærer informasjonen til den blå komponenten ( og mangler). ${\ displaystyle {\ textbf {I}}}$ $s$ ${\ displaystyle I_ {p} ^ {R}}$ ${\ displaystyle I_ {p} ^ {V}}$ ${\ displaystyle I_ {p} ^ {B}}$ ${\ displaystyle I ^ {RAW}}$ $s$ ${\ displaystyle I ^ {k} (k \ in \ {R, V, B \})}$ ${\ displaystyle I_ {p} ^ {V}}$ ${\ displaystyle I_ {p} ^ {R}}$ ${\ displaystyle I_ {p} ^ {B}}$ ${\ displaystyle I_ {p} ^ {R}}$ ${\ displaystyle I_ {p} ^ {V}}$ ${\ displaystyle I_ {p} ^ {B}}$ ${\ displaystyle I_ {p} ^ {B}}$ ${\ displaystyle I_ {p} ^ {V}}$ ${\ displaystyle I_ {p} ^ {R}}$

Demosaicing består i å estimere de manglende nivåene i hver piksel i RAW-bildet for å få et fargebilde.

Nedbrytning i underbilder

Det første trinnet i demosaisering består i å bryte ned RAW-bildet i tre delmengder, der informasjonen til en enkelt komponent er tilgjengelig. For dette utføres en maskering ved bruk av binære masker av størrelsen på bildet med en verdi på 1 ved pikslene der komponenten er tilgjengelig og 0 overalt ellers. Masker er definert for en hvilken som helst piksel av: ${\ displaystyle m ^ {k} (k \ in \ {R, V, B \})}$ $k$ $s$

${\ displaystyle m_ {p} ^ {k} = {\ begin {cases} 1 & {\ text {si}} I_ {p} ^ {k} = I_ {p} ^ {RAW} \\ 0 & {\ tekst {ellers}} \\\ slutt {cases}}}$

ved maskebildesekvensen med tre masker ( , , ) får vi tre underbilder , og hvor bare den informasjon som svarer til den respektive komponenten R, G og B er tilgjengelige og er 0 ellers. ${\ displaystyle I ^ {RAW}}$ ${\ displaystyle m ^ {R}}$ ${\ displaystyle m ^ {V}}$ ${\ displaystyle m ^ {B}}$ ${\ displaystyle {\ tilde {I}} ^ {R}}$ ${\ displaystyle {\ tilde {I}} ^ {V}}$ ${\ displaystyle {\ tilde {I}} ^ {B}}$

Demosering av pixelkopier

Pikselkopieinterpolasjon er den enkleste demosaiseringsmetoden, den består i å erstatte et manglende nivå med det kjente nivået til en nabo. For underbildet vil således hvert ukjente nivå bli erstattet av det kjente til høyre. For underbildene og erstattes de ukjente nivåene av den kjente til høyre, øverst eller øverst til høyre diagonalt, avhengig av tilfelle. ${\ displaystyle {\ tilde {I}} ^ {V}}$ ${\ displaystyle {\ tilde {I}} ^ {R}}$ ${\ displaystyle {\ tilde {I}} ^ {B}}$

Bilinear Interpolation Demosaicing

Bilinear Interpolation demosaicing består i å estimere de manglende nivåene ved å beregne de nærmeste naboene. For å gjøre dette er det tilstrekkelig å bruke et konvolusjonsfilter på hvert underbilde , og . For den grønne komponent foldingen filteret er definert ved: . For de røde og blå komponenter, er det definert ved: . ${\ displaystyle {\ tilde {I}} ^ {R}}$ ${\ displaystyle {\ tilde {I}} ^ {V}}$ ${\ displaystyle {\ tilde {I}} ^ {B}}$ ${\ displaystyle H ^ {V} =}$ ${\ displaystyle {\ begin {bmatrix} 0 & 1 & 0 \\ 1 & 4 & 1 \\ 0 & 1 & 0 \ end {bmatrix}}}$ ${\ displaystyle H ^ {R, B} =}$ ${\ displaystyle {\ begin {bmatrix} 1 & 2 & 1 \\ 2 & 4 & 2 \\ 1 & 2 & 1 \ end {bmatrix}}}$

Demosaicing av Directional Interpolation

Ideen med denne demosaiseringsmetoden er å bruke Gradient for å interpolere langs konturene og unngå interpolering gjennom dem. For eksempel på en grønn piksel estimert til posisjonen : ${\ displaystyle I_ {p} ^ {V}}$

den vertikale gradienten er definert av den absolutte forskjell mellom piksel over og en under: . ${\ displaystyle \ Delta _ {p} ^ {Ver} = | I_ {p- (0,1)} ^ {V} -I_ {p + (0,1)} ^ {V} |}$
Den horisontale gradient er definert av den absolutte forskjell mellom piksel venstre og en på høyre side: . ${\ displaystyle \ Delta _ {p} ^ {Hor} = | I_ {p- (1,0)} ^ {V} -I_ {p + (1,0)} ^ {V} |}$

Det estimerte nivået blir deretter estimert ved å ta gjennomsnittet av de nærliggende nivåene i retning av den svakeste gradienten, for eksempel: ${\ displaystyle I_ {p} ^ {V}}$

${\ displaystyle I_ {p} ^ {V} = {\ begin {cases} {\ frac {1} {2}} \ left (I_ {p- (0,1)} ^ {V} + I_ {p + (0,1)} ^ {V} \ right) & {\ text {si}} \ Delta _ {p} ^ {Ver} <\ Delta _ {p} ^ {Hor} \\ {\ frac {1} {2}} \ left (I_ {p- (1,0)} ^ {V} + I_ {p + (1,0)} ^ {V} \ right) & {\ text {si}} \ Delta _ {p} ^ {Ver}> \ Delta _ {p} ^ {Hor} \\ {\ frac {1} {4}} \ left (I_ {p- (1,0)} ^ {V} + I_ { p + (1,0)} ^ {V} + I_ {p- (0,1)} ^ {V} + I_ {p + (0,1)} ^ {V} \ høyre) & {\ text { si}} \ Delta _ {p} ^ {Ver} = \ Delta _ {p} ^ {Hor} \\\ end {cases}}}$

Interkanals demosaiseringsalgoritmer

Hamilton-Adams-metoden, som Kodak patenterte under forfatterens navn i 1997, tar hensyn til variasjonene av de tre kanalene i bare én retning, horisontal eller vertikal. Det gir resultater av god kvalitet til en beskjeden kostnad i beregning.

Det variable antall gradienter-metoden søker etter de ensartede områdene rundt pikselet som skal beregnes, og deretter blir forskjellene mellom kanalene bestemt der.

Mønstersøk undersøker større domener for å utnytte homogenitetsegenskapene til et nabolag og bestemme posisjonen til en linje eller et hjørne.

Disse metodene kan brukes i kameraet. Offline demosaiseringsmetoder kan bruke de samme prinsippene med mange flere beregninger. Noe programvare gir brukeren valg av metode, hver med fordeler for en gitt type emne.

Noe multi-format demosaicing programvare

(no) Adobe Camera Raw , modul for Adobe Photoshop (inkludert i programvaren) (Windows og Mac)
(fr) Photoshop Lightroom , veldig komplett universell (Windows og Mac)
(no) Apple blenderåpning , retusjering, klassifisering (Mac)
(no) Bibble Lite eller Pro-versjon (Windows, Mac og Linux)
(no) Darktable gratis programvare (Windows, Mac og Linux)
(no) Gratis programvare for Raw Therapee (Windows, Mac og Linux)
(in) Rawstudio fri programvare (Linux)
(no) SilverFast 48-biters HDR-programvare (Windows)
(en) Capture One (Windows)
(no) Dcraw fri programvare (Windows, Mac, Linux og Unix)
(no) DxO Optics Pro den eneste demastereren på markedet optimalisert av kamera og objektiv som brukes (Windows og Mac)
(no) UFRaw fri programvare (Windows, Mac og Linux)

Vedlegg

Bibliografi

Henri Maître , Fra foton til piksel: Det digitale kameraet , ISTE, koll. "Signal- og bildebehandling",2016, 2 nd ed.
Harold Phelippeau , metoder for demosering og støyfiltrering og algoritmer for digital fotografering: doktorgradsavhandling, Université Paris-Est ,2009( les online ) [PDF]

Eksterne linker

(no) Rå filformat.

Relaterte artikler

RAW (bildeformat)

Merknader og referanser

Master 2016 , s. 195-196.
Master 2016 , s. 198.
Master 2016 , s. 199-203.
David Alleysson, " 30 years of demosaicing ", signalbehandling ,2004, s. 8 ( les online )
Olivier Losson og Eric Dinet, Fra sensor til fargebilde ,2012, 33 s. ( les online ) , s. 4-6
Quebaud Jérémy og Mahdjoub-araibi Samy, fargebilder demoseringsteknikker (Color camera-CFA filter-ALGORITHMS ° , LILLE,2011, 24 s. ( les online ) , s. 1. 3
Harold Phelippeau, Metoder og algoritmer for demosaisering og støyfiltrering for digital fotografering , Paris,2009, 232 s. ( les online ) , s. 42
Master 2016 , s. 199-200.
Master 2016 , s. 200-201.
Master 2016 , s. 201-202.