©Unsplash
Met nieuwe techniek van Apple kan je perfecte foto's maken in het donker
Foto’s maken in het donker, het blijft altijd een uitdaging. Vaak zie je veel niet scherp op de foto, of zijn de details überhaupt niet zichtbaar. Apple-onderzoekers hebben met behulp van AI echter een nieuwe oplossing hiervoor ontwikkeld.
De AI-techniek kan extreem donkere foto’s alsnog scherp en bruikbaar maken door de AI diep in het cameraverwerkingsproces te stoppen, nog vóórdat details verloren gaan, meldt de site 9to5Mac.
Het probleem van nu
Normaal gesproken loopt smartphonefotografie in het donker vast op één groot probleem: te weinig licht. De sensor vangt simpelweg niet genoeg licht, waardoor foto’s vol ruis zitten. Fabrikanten proberen dat te maskeren met slimme beeldbewerking, maar dat leidt vaak tot gladgestreken beelden waarin texturen verdwijnen en details veranderen in een soort digitale verfstreken. Nep dus.
De oplossing
De nieuwe aanpak heet DarkDiff, en het werkt zo: DarkDiff is gebaseerd op een bestaande diffusion-AI, vergelijkbaar met Stable Diffusion. Die is getraind op miljoenen beelden en ‘weet’ daardoor hoe structuren, texturen en kleuren er in de echte wereld uit horen te zien. Die kennis gebruikt het model om ‘te’ donkere delen van een foto zelf in te vullen, en dat zonder dat het beeld compleet wordt verzonnen.
Om te voorkomen dat de AI dingen hallucineert, werkt DarkDiff met 'lokale aandacht'. Het kijkt dus per stukje beeld wat er waarschijnlijk hoort te zitten, in plaats van het hele plaatje globaal te reconstrueren. De standaard cameraverwerking, zoals witbalans en kleurconversie, blijft intact. DarkDiff neemt het daarna over en levert direct een eindbeeld af.
In tests met echte nachtelijke foto’s, gemaakt met zeer korte belichtingstijden, wist DarkDiff details terug te halen die bij andere methodes verloren gingen. Die resultaten werden vergeleken met referentiefoto’s die met een 300 keer langere belichting waren gemaakt.
Wordt niet direct geïntegreerd in de iPhone
Dat het werkt betekent echter niet dat deze techniek morgen in je iPhone zit. De onderzoekers geven toe dat DarkDiff zwaar is om te draaien en waarschijnlijk cloudverwerking nodig heeft. Ook werkt tekstherkenning in donkere scènes nog niet altijd goed.
Toch laat het onderzoek zien waar Apple naartoe wil in de toekomst. Dat is namelijk niet betere camera’s door grotere lenzen integreren in de iPhone, maar slimmere software die begrijpt wat een foto zou moeten laten zien als de sensor dat zelf nauwelijks kan waarnemen.