Porträttlägen med bokeh-effekter har blivit en populär kamerafunktion i telefoner senaste åren. Motivet är skarpt medan bakgrunden är suddig – vilket gör att motivet hamnar mer i fokus. ”Bokeh” är hämtat från japanskan och betyder just ”suddig”.

Vanligtvis behövs två sensorer tätt intill varandra för att skapa bokeh med en mobilkamera. Den sekundära kameran används för att triangulera djupet för de olika delarna av fotografiet. HTC var väldigt tidigt ute med den lösningen, genom One M8 våren 2014.

Höstens Pixel 2 och Pixel 2 XL erbjuder dock porträttläge med bara en kamerasensor – hur går det till? Google kombinerar maskininlärning med vad som kan översättas till beräknande fotografi för att nå effekten.

Tekniken börjar med en HDR+-bild där allt är skarpt. Därefter behöver koden naturligtvis ta reda på vad som hör till bakgrunden respektive förgrunden, och här används maskininlärning för att skapa en så kallad ”segmenteringsmask”.

Ett neuronnät har tränats till att identifiera vilka pixlar som hör till människor och vilka som inte gör det. Nätet baseras på cirka en miljon bilder och det kan även känna igen hattar, solglasögon, glassar och annat som kan tänkas vara del av bilder på människor.

Det räcker dock inte, då suddigheten ska bli starkare ju längre bort från motivet det är. Dual Pixel-sensorn i Pixel 2 används för att titta igenom både den vänstra och högra sidan av objektivet samtidigt. De två synfälten används för att beräkna en djupkarta – så avståndet kan mätas från kameran till varje punkt i bilden. Därefter skapas bokeh-effekten utifrån segmenteringsmasken och djupkartan.

Betydligt fler tekniska detaljer finns på Googles forskningsblogg.