Google erweitert seine visuelle Such-App Lens um die Möglichkeit, Fragen zu Ihrer Umgebung nahezu in Echtzeit zu beantworten.
Englischsprachige Android- und iOS-Benutzer mit installierter Google-App können jetzt mit der Aufnahme eines Videos über Lens beginnen und Fragen zu interessanten Objekten im Video stellen.
Lou Wang, Leiter des Produktmanagements bei Lens, sagte, die Funktion verwende ein „maßgeschneidertes“ Gemini-Modell, um das Video und relevante Fragen zu verstehen. Gemini ist Googles Familie von KI-Modellen und unterstützt eine Reihe von Produkten im gesamten Portfolio des Unternehmens.
„Nehmen wir an, Sie möchten mehr über einige interessante Fische erfahren“, sagte Wang in einer Pressekonferenz. „(Lens wird) eine Übersicht erstellen, die erklärt, warum sie im Kreis schwimmen, zusammen mit weiteren Ressourcen und hilfreichen Informationen.“
Um auf die neue Videoanalysefunktion von Lens zuzugreifen, müssen Sie sich für das Search Labs-Programm von Google anmelden und sich für die experimentellen Funktionen „KI-Übersichten und mehr“ in Labs anmelden. Wenn Sie in der Google-App den Auslöser Ihres Smartphones gedrückt halten, wird der Videoaufnahmemodus von Lens aktiviert.
Wenn Sie beim Aufzeichnen eines Videos eine Frage stellen, wird Lens auf eine Antwort verlinken, die von AI Overviews bereitgestellt wird, der Funktion in der Google-Suche, die mithilfe von KI Informationen aus dem Internet zusammenfasst.
Laut Wang nutzt Lens KI, um zu bestimmen, welche Bilder in einem Video am „interessantesten“ und hervorstechendsten – und vor allem relevant für die gestellte Frage – sind, und verwendet diese, um die Antwort aus KI-Übersichten zu „erden“.
„All dies ergibt sich aus der Beobachtung, wie Menschen derzeit versuchen, Dinge wie Lens zu nutzen“, sagte Wang. „Wenn man die Hürde, diese Fragen zu stellen, senkt und den Leuten hilft, ihre Neugier zu befriedigen, werden die Leute das ganz natürlich aufgreifen.“
Die Einführung des Videos für Lens folgt auf eine ähnliche Funktion, die Meta letzten Monat für seine AR-Brille Ray-Ban Meta vorgestellt hat. Meta plant, die Brille mit Echtzeit-KI-Videofunktionen auszustatten, die es den Trägern ermöglichen, Fragen zu ihrer Umgebung zu stellen (z. B. „Was für eine Blume ist das?“).
OpenAI hat außerdem eine Funktion angekündigt, die es seinem Advanced Voice Mode-Tool ermöglicht, Videos zu verstehen. Schließlich wird der erweiterte Sprachmodus – eine Premium-Funktion von ChatGPT – in der Lage sein, Videos in Echtzeit zu analysieren und den Kontext zu berücksichtigen, während er Ihnen antwortet.
Google hat offenbar beide Unternehmen geschlagen – abgesehen von der Tatsache, dass Lens asynchron ist (man kann damit nicht in Echtzeit chatten) und davon auszugehen, dass die Videofunktion wie angekündigt funktioniert. Während der Pressekonferenz wurde uns keine Live-Demo gezeigt, und Google hat in der Vergangenheit zu viel versprochen, wenn es um die Fähigkeiten seiner KI ging.
Neben der Videoanalyse kann Lens jetzt auch Bilder und Text in einem Durchgang durchsuchen. Englischsprachige Nutzer, auch solche, die nicht an Labs teilnehmen, können die Google-App starten und den Auslöser gedrückt halten, um ein Foto aufzunehmen, und dann eine Frage stellen, indem sie laut sprechen.
Schließlich erhält Lens neue E-Commerce-spezifische Funktionen.
Wenn Lens auf Android oder iOS ab heute ein Produkt erkennt, zeigt es Informationen darüber an, darunter Preis und Angebote, Marke, Bewertungen und Lagerbestand. Die Produkt-ID funktioniert bei hochgeladenen und neu aufgenommenen Fotos (aber nicht bei Videos) und ist vorerst auf ausgewählte Länder und bestimmte Einkaufskategorien, einschließlich Elektronik, Spielzeug und Schönheit, beschränkt.
„Nehmen wir an, Sie haben einen Rucksack gesehen und er gefällt Ihnen“, sagte Wang. „Sie können Lens verwenden, um dieses Produkt zu identifizieren, und Sie können sofort Details sehen, über die Sie sich vielleicht wundern.“
Es gibt auch eine Werbekomponente. Auf der Ergebnisseite für von Lens identifizierte Produkte werden laut Google auch „relevante“ Shopping-Anzeigen mit Optionen und Preisen angezeigt.
Warum Werbung in Lens kleben? Denn laut Google stehen jeden Monat etwa 4 Milliarden Lens-Suchanfragen im Zusammenhang mit dem Einkaufen. Für einen Technologieriesen, dessen Lebenselixier die Werbung ist, ist diese Gelegenheit einfach zu lukrativ, um sie sich entgehen zu lassen.
