Zo werkt Ask Photos binnen Google Foto's straks

Vanaf aankomende zomer krijgt Google Foto's er een gloednieuwe functie bij: Ask Photos. Daarover hebben we je verteld in ons uitgebreide overzicht van Google I/O 2024, maar nu heeft Google iets meer informatie gegeven. Daardoor leren we de functie wat beter kennen en weten we wat we er zoal van kunnen verwachten.

Ask Photos binnen Google Foto's

Volgens het onderzoeksteam van Google laat Ask Photos perfect zien waartoe kunstmatige intelligentie Google Gemini in staat is wanneer ze die ergens lokaal toepassen. Dan doelt het team op de functies met betrekking tot de capaciteiten oproepen of herinneren. Zo kun je onder meer de volgende dingen vragen aan Google Foto's:

• Laat me de beste foto's zien van alle parken die ik bezocht heb.
• Welke thema's hebben we gehad voor de verjaardagen van onze kinderen?

Omdat je via Ask Photos als het ware een gesprek voert met Google Foto's, maakt de dienst gebruik van retrieval augmented generation voor het bedenken van een juist antwoord of oplossen van de taak. Dat soort technologie combineert het ophalen van informatie met generatieve taalmodellen, waardoor de resultaten relevant moeten zijn.

Glimlachend persoon op een fiets

Hierdoor is het systeem beter in staat om te gaan met natuurlijk taalgebruik. Zo kun je een zin uiten als 'een glimlachend persoon op een fiets', en Google Foto's kan dan dergelijke foto's laten zien. Dit werkt beter dan wanneer je zou zoeken op zoekwoorden als 'fiets', omdat je dan ook veel materiaal ziet dat níet relevant is.

Voordat je de resultaten echter te zien krijgt, zal een antwoordmodel bepalen welke foto's en video's relevant zijn voor hetgeen je zoekt. Daarvoor maakt Foto's gebruik van Gemini's contextmodel en multimodale vaardigheden. Dat komt bovenop het rekening houden met visuele content, evenals tekst, data en andere metadata.

Verwacht jij veel gebruik te gaan maken van deze nieuwe optie binnen Google Foto's? Laat het weten in de comments!