Google Fotos startet neue Ask Photos-Funktion, die von Gemini unterstützt wird
In diesem Sommer wird Google Fotos eine neue Funktion namens Ask Photos einführen, die auf dem Modell der künstlichen Intelligenz Gemini basiert. Google hat mehr über diese Funktion mitgeteilt und erklärt, wie sie funktionieren wird.
So funktioniert Ask Photos
Laut Googles Forschungsteam ist Ask Photos “ein Beispiel dafür, wie Gemini-Modelle als Agenten agieren können, indem sie Speicherfunktionen und -fähigkeiten nutzen”. Beispiele für Abfragen, die demonstriert wurden, sind:
- “Zeigen Sie mir das beste Foto von jedem Nationalpark, den ich besucht habe.”
- “Was waren die Themen von Leras Geburtstagen?”
Ihre Dialogabfrage wird an ein Agentenmodell weitergeleitet, das mithilfe von Gemini das beste Rich Search Tool (RAG) für die Aufgabe ermittelt. Das Modell analysiert zunächst die Absicht des Nutzers und formuliert dann eine Fotosuche unter Verwendung eines aktualisierten Vektorsystems, das die bereits in Google Fotos integrierten Metadatensuchfunktionen erweitert. Das System versteht natürlichsprachliche Konzepte, wie z. B. “lächelnde Person beim Fahrradfahren”, besser als die herkömmliche Stichwortsuche. Das Modell überprüft dann die Fotos und Videos, die als Ergebnis der Suche erhalten wurden. Dank des “langen Kontextfensters und der multimodalen Fähigkeiten” von Gemini kann es die relevantesten Informationen finden. Zusätzlich zu den visuellen Inhalten werden auch Daten, Orte und andere Metadaten verwendet. Das Modell erstellt dann eine Antwort auf der Grundlage der gefundenen Fotos und Videos.
Zusätzliche Merkmale
Sie können Ask Photos anpassen, und die App merkt sich diese Änderungen für zukünftige Abfragen. So kann die Funktion als Assistent genutzt werden, nicht nur als Suchwerkzeug. Die Nutzer können “die gespeicherten Details jederzeit einsehen und verwalten”. Eine experimentelle Funktion, die möglicherweise mit dem gerüchteweise angekündigten Project Ellman zusammenhängt, wird in den kommenden Monaten eingeführt, und es gibt bereits Hinweise auf neue Funktionen.
Schlussfolgerung
Ask Photos, powered by Gemini, verspricht, das Sucherlebnis in Google Fotos zu verbessern, indem es den Nutzern ermöglicht, genaue und relevante Antworten auf ihre Suchanfragen mit Hilfe von fortschrittlicher künstlicher Intelligenztechnologie zu erhalten.
