Der KI-Assistent von Project Astra stiehlt bei Google I/O die Show – und er funktioniert mit Datenbrillen
Google hat sich gerade mit seinem eigenen Project Astra gegen OpenAIs GPT-4o durchgesetzt. Dieser universelle KI-Agent ist als Ihr Assistent bei alltäglichen Aufgaben konzipiert und nutzt die Kamera und Spracherkennung Ihres Telefons, um Antworten zu geben.
Und Google hat Project Astra ebenfalls mit einer Datenbrille vorgeführt.
Um es klarzustellen: Astra kommt zuerst auf Mobiltelefonen und wird Gemini Live heißen, aber es hat das Potenzial, im Laufe der Zeit auf andere Formfaktoren umzusteigen. Aber ich kann sagen, dass die auf der Google I/O 2024 gezeigte Demo beeindruckend ist.
Laut Google kann Project Astra die Welt wie Menschen verstehen und darauf reagieren – und es kann aufnehmen und sich daran erinnern, was es sieht und hört, um den Kontext zu verstehen und Maßnahmen zu ergreifen. Sie können auch auf natürliche Weise mit ihm sprechen, ohne dass es zu Verzögerungen kommt.
Die Agenten, die Project Astra antreiben, basieren auf dem Gemini-Modell von Google und anderen aufgabenspezifischen Modellen. Durch die kontinuierliche Verarbeitung von Video- und Spracheingaben können Informationen schneller verarbeitet werden.
Während der Project Astra-Demo hielt eine Person ein Android-Telefon hoch und ließ das Live-Video der Kamera geöffnet, während sie eine Reihe von Fragen stellte. Das Projekt Astra hat keine Sekunde ausgelassen.
Als Astra beispielsweise die Kamera des Telefons auf einen Tisch richtete und fragte, was Geräusche erzeugt, fand er einen Computerlautsprecher. Dann umkreiste die Frau den oberen Teil des Lautsprechers und fragte Astra, was das sei. Sie reagierte korrekt auf einen Hochtöner.
Von dort aus war Astra in der Lage, eine kreative Alliteration über eine Reihe von Buntstiften bereitzustellen, herauszufinden, was ein Teil des Codes bewirkt, wenn er auf einen Computermonitor gerichtet wird, und den Stadtteil Kings Cross in London korrekt zu identifizieren, wenn die Kamera aus dem Fenster gerichtet wird.
Dann wurde es richtig interessant. Die Google-Mitarbeiterin setzte eine Datenbrille auf, blickte auf eine Tafel und fragte, woran Sie das erinnert, während Sie auf eine Illustration starrten. Woran erinnert dich das? Schrödingers Katze, antwortete Astra.
Während Project Astra einen Stofftiertiger neben einem Golden Retriever hielt, wurde es gebeten, sich spontan einen Bandnamen auszudenken. Antwort: Goldene Streifen.
Insgesamt scheinen das räumliche Verständnis und die Videoverarbeitung von Project Astra beeindruckend zu sein, und ich bin gespannt, wohin Google diesen KI-Agenten führt. Es wird später in diesem Jahr in der Gemini-App verfügbar sein und wir können es kaum erwarten, es auszuprobieren.
- ChatGPT mit GPT-4o – ich kann mich nicht erinnern, wann ich das letzte Mal von einer Technologie so überwältigt war
- Google hat gerade auf GPT-4o mit einer Gemini-Demo geantwortet, die auf Konversation basiert und Videos verwendet
- OpenAI GPT-4o wird jetzt eingeführt – hier erfahren Sie, wie Sie Zugriff erhalten
