Google Lens kan ses som en modernisering och vidareutveckling av Google Goggles. Lens kan analysera innehållet i fotografier och vad som visas i sökaren och försöka tillhandahålla matnyttig information.

Lens kommer att bli tillgänglig i kamera-appen på enheter från LG, Motorola, Xiaomi, Sony, HMD/Nokia, OnePlus, Asus, med flera. Lens integreras förstås även i kameran i Googles egna Pixel-telefoner. Google har samtidigt utökat funktionaliteten.

Mjukvaran kan redan användas till att kopiera text från omgivningen, som Wi-Fi-lösenord och recept. Ett tillskott är att Lens kommer börja visa information och relaterade bilder när text skannas. Om användaren exempelvis är i en restaurang och pekar kameran mot namnet på en okänd måltid, kan Lens visa en bild på rätten.

Om Lens pekas mot kläder kan mjukvaran inte bara visa samma plagg utan liknande kläder för de som är ute efter samma stil. Sista förbättringen är att Lens fungerar i realtid – det vill säga att användare kan svepa telefonen runt omgivningen och Lens analyserar allt live.

Enligt Google är detta möjligt tack vare bästa möjliga maskininlärning samt beräkningskraft i molnet, vilket gör att ”miljarder ord, fraser, platser och saker” kan identifieras på bråkdelen av en sekund.