Hvordan digitale kameraer og direktesendinger manipulerer virkeligheten – – – — Deepfakes i sanntid.

I Israel har de tatt i bruk teknologi der man kan redigere livebilder uten at du ser det. Snart kan du redigere deg selv live på FaceTime før og mens du snakker med noen. Eller kanskje det er gammelt nytt allerede. Deepface Live er på Github. Rediger på Zoom eller noe slikt da. Den ligger på Github: https://github.com/iperov/DeepFaceLive. Vi skal snakke om teknologien bak bildene.

Lever vi i en simulert verden?

I dag er den digitale teknologien blitt så skremmende god at mange har begynt å lure på om vi lever i en simulert virkelighet. Vi ser videoer og direktesendinger på nettet og TV der ansikter kan endres på et blunk, eller der filtre legges på i sanntid. Kameraet eller programmet du laster opp til kan velge en speilet versjon som du ser deg selv (i speilet) eller slik som andre ser deg. Og mange tror at det er foto. Det kan føles som magi, eller som om selve virkeligheten vår har blitt en illusjon. Og jeg tror mange tror det pga av alt et digitalt kamera kan gjøre.

Sannheten er langt mer jordnær. Det er ikke virkeligheten som er simulert – det er bare måten vi måler og viser den på som har forandret seg radikalt. For å forstå hvordan et ansikt kan redigeres på en direktesending (for eksempel for å skjule en identitet live), må vi kaste denne gamle ideen om hva et kamera faktisk er.

Kameraet er ikke et fotoapparat

Many tror fortsatt at et moderne digitalkamera fungerer som et gammeldags fotoapparat – at det fanger opp et fysisk bilde på en linse og lagrer det. Det gjør det ikke. Et digitalkamera er i realiteten en avansert datamaskin som måler partikler. Det er altså AI. Så hvorfor fremstilles det som at det ikke er det og at de kan avsløre AI når digitale bilder er AI allerede?

Når du peker et kamera mot et ansikt, skjer det en ren fysisk og matematisk prosess:

1. Fotoner inn i linsen: Verden rundt oss er full av lyspartikler som kalles fotoner. Når lyset treffer et ansikt, reflekteres fotonene og strømmer inn gjennom kameralinsen.
2. Oppsplitting i RGB: Bak linsen treffer fotonene en digital bildesensor. Denne sensoren er dekket av et ørlite filter som deler lyset opp i tre grunnleggende fargekanaler: Rød (R), Grønn (G) og Blå (B).
3. Fra lys til tall: Sensoren måler rett og slett bare hvor mange fotoner som treffer hver rød, grønn og blå rute. Deretter gjør den denne mengden om til elektriske signaler – altså rene digitale tallkoder (en strøm av 0-er og 1-ere). Det er det samme med satellittbilder, bilder fra verdensrommet og videre fra Kepler og slikt. Det er piksler og det er lys og det er gjetning der det mangler lys. Du kan legge på hva som helst, om du behandler slike bilder. De formes etter hva vi ser for oss hvordan ting kan være og det skal være fantastisk og flott og det skal gjenspeile det folk både ser i virkeligheten og hvordan man tror ting ser ut.

Det du kaller et «bilde» på skjermen, eksisterer ikke inne i kameraet. Det kameraet ser, er egentlig bare en enorm tabell med tall som beskriver lysstyrke og farge. Digitale bilder er ikke bra bevis. Eldre mennesker er programmerte til å tro det de ser. Nå skal du se, men aldri tro.

Likely Human? nja, jeg vet ikke det…?

Prosessorenes tidsalder – Redigering i sanntid

Når et ansikt først har blitt redusert til en strøm av tall, åpner det seg en helt ny verden. Moderne kameraer, smarttelefoner og TV-skjermer er i dag utstyrt med ekstremt kraftige mikroprosessorer – små, lynraske datamaskinhjerner.

Siden videosignalet bare er tall, trenger ikke en redaktør å sitte i timevis i et studio etterpå for å endre på klippet. Kameraets egen prosessor kan regne om disse tallene i løpet av noen få millisekunder (milliontedels sekunder) – altså i sanntid.

Avansert programvare er trent opp til å gjenkjenne tallsymmetrien som utgjør et menneskelig ansikt. På brøkdelen av et sekund kan prosessoren endre tallverdiene for øyefarge, hudtekstur eller ansiktsform før signalet i det hele tatt sendes ut til TV-en eller PC-skjermen din. For seeren ser det ut som en direktesending av en ekte person, men i realiteten ser man på tall som blir matematisk manipulert i det sekundet lyset treffer linsen.

Slik fungerer TV-skjermen – Fra tall tilbake til lys

Når den digitale tallstrømmen har blitt behandlet av prosessoren, sendes den videre til TV-skjermen din. Nå skal hele prosessen kjøres i revers.

Skjermen din består av millioner av bittesmå lyspunkter som kalles piksler (bildeelementer). Hver eneste piksel er delt inn i de samme tre fargene som i kameraet: Rød, Grønn og Blå (RGB).

Når tallkoden treffer TV-en, forteller den prosessoren nøyaktig hvor mye strøm som skal sendes inn i de røde, grønne og blå under-pikslene. Hvis tallkoden sier «maks grønn», lyser det grønne punktet for fullt. Siden pikslene sitter så tett sammen at det menneskelige øyet ikke klarer å skille dem fra hverandre, lurer skjermen hjernen din til å tro at de tre RGB-fargene smelter sammen til alle mulige farger og nyanser.

Det du ser på skjermen er altså ikke et sammenhengende bilde av virkeligheten, men et gigantisk, lysende mosaikk-mønster av røde, grønne og blå lamper som slår seg av og på i takt med tallene de mottar.

Hvorfor vi må forstå fysikken bak kulissene?

Denne teknologien ble opprinnelig utviklet for å kunne identifisere eller skjule ansikter under kritiske eller politimessige operasjoner – for eksempel hvis man ville skjule identiteten til en person live under en pågående sak. I dag er den imidlertid tilgjengelig for alle gjennom enkle apper og filtre på telefonen.

! Men dette skaper også et stort utropstegn for hvordan vi oppfatter verden. Tidligere sa vi at «å se er å tro», og vi stolte blindt på direktesendinger fordi de skjedde der og da. Nå vet vi at en direktesending kan manipuleres live uten at vi merker det.

Når vi forstår fysikken og mekanikken bak – at et kamera bare teller fotoner og deler dem inn i RGB, og at en prosessor endrer tallene på veien – forsvinner mystikken og frykten for en «simulert verden». Det er ikke magi. Det er bare anvendt matematikk og datakraft. Ved å forstå denne teknologien, kan vi beholde en sunn og kritisk sans, og navigere trygt i en digital tidsalder der det vi ser på skjermen ikke lenger automatisk er det samme som finnes i den virkelige verden. Det er ikke vanskelig å tenke seg hvordan dette kan misbrukes. Det kan plantes ansikt og kropp, det kan plantes stemme. Man kan skjule identiteten og skjule stemmen. Sa jeg Israel? Kamera og TV får sterkere og sterkere prosessorer. Kan fra hvert år behandle mer og mer data og alt blir paradoksalt mer og mer fake.

Fra lyspartikkel til TV-skjerm

• Fotoner (Lys): Alt startet med at naturlige lyspartikler reflekteres fra omverdenen og flyr inn i kameralinsen.
• RGB-splittelsen: En digital bildesensor bak linsen deler lyset opp i tre fargekanaler: Rød (Red), Grønn (Green) og Blå (Blue).
• Tallkoder: Kameraet teller hvor mange fotoner som treffer hver farge, og gjør informasjonen om til digitale tallkoder (0-er og 1-ere).
• Sanntids redigering: Siden bildet nå er rene tall, kan kraftige mikroprosessorer regne om og endre på farger, former eller ansiktstrekk i løpet av noen få millisekunder før signalet sendes ut.
• TV-mosaikk: TV-skjermen tar imot tallene og bruker elektrisk strøm til å tenne millioner av bittesmå røde, grønne og blå lamper (piksler). Hjernen vår smelter disse punktene sammen og opplever det som en levende video.

Forstår at det er gøy også da, men allerede er mange lei av at alt er fake. Jeg har fått noen gamle gode speilreflekskameraer. Slike tror jeg mange vil ønske seg etterhvert. Fotoapparat.