Ich habe die neuen KI-Funktionen der Copilot+-PCs ausprobiert und bin (größtenteils) beeindruckt – hier ist der Grund

Ich habe die Zukunft der KI in Windows auf der Microsoft Build 2024 gesehen und sie ist aufregend.

Ich spreche insbesondere über die neuen Funktionen für Copilot+-PCs, die Microsoft auf der Build groß angepriesen hat, insbesondere Recall und Cocreator.

Zumindest einige dieser Funktionen stehen Windows 11-Insidern in irgendeiner Form bereits seit einiger Zeit zur Verfügung, laut Microsoft werden sie jedoch exklusiv auf Copilot+-PCs verfügbar sein, sobald die Geräte am 18. Juni in die Handel kommen.

Falls Sie es verpasst haben: Copilot+ PC ist ein neuer Marketingbegriff von Microsoft, der im Wesentlichen einen Windows-Laptop oder -Desktop mit mindestens 16 GB RAM, 256 GB Speicher und einer NPU (Neural Processing Unit) mit der Fähigkeit zu mindestens 40 TOPS (Billionen Operationen pro Sekunde) bezeichnet.

Microsofts eigene Modelle Surface Pro 11 und Surface Laptop 7 werden dank der Snapdragon X Plus- und Snapdragon X Elite-Chips zu den ersten Copilot+-PCs gehören, aber auch Acer, Dell, Samsung und andere Laptop-Hersteller werden im Juni Copilot+-PCs ausliefern.

Bestimmte Funktionen von Windows 11 werden nur auf Copilot+-PCs verfügbar sein, vielleicht weil sie mindestens eine 40 TOPS NPU erfordern oder weil Microsoft Ihnen einen Grund geben möchte, einen neuen PC zu kaufen. Was auch immer der Grund sein mag, diese Funktionen sind wissenswert, wenn Sie dieses Jahr über den Kauf eines neuen PCs nachdenken, denn sie zeigen Ihnen, was die neueste Windows-KI leisten kann.

Während ich diese Woche bei Microsoft HQ für Build 2024 war, hatte ich Gelegenheit, Demos einiger der neuen Windows-Funktionen zu sehen, die diesen Sommer nur für Copilot+-PCs verfügbar sein werden, und einige sind mir aufgefallen. Hier ist ein kurzer Überblick darüber, was sie sind, wie sie funktionieren und wie sie Ihre Art, Windows zu verwenden, verändern könnten.

Abrufen

Recall ist die große neue Schlagzeilenfunktion, die auf Copilot+-PCs verfügbar sein wird, und es handelt sich um eine ziemlich wichtige Ergänzung.

Wenn verfügbar, befindet es sich in Ihrer Taskleiste und funktioniert im Grunde wie eine erweiterte Suchfunktion für Ihren PC, kann aber nicht nur die Daten auf Ihrem PC durchsuchen, sondern auch den Verlauf dessen, was Sie darauf getan haben. Wenn Sie also nach einem Bild eines Bootes oder einer Webseite über Boote suchen, die Sie sich letzte Woche angesehen haben, können Sie „Boot“ eingeben und Recall zeigt Ihnen eine scrollbare Zeitleiste mit allem, was Sie sich im letzten Monat oder so auf dem Bildschirm angesehen haben und das Bilder von Booten oder das Wort „Boot“ enthält.

Dies ist eine sehr einfache Erklärung für ein scheinbar komplexes neues System, das in regelmäßigen Abständen „Schnappschüsse“ von dem macht, was Sie auf Ihrem Windows-PC tun, und diese Screenshots dann für die semantische Suche speichert, scannt und indiziert.

Recall benötigt mindestens 25 GB freien Speicherplatz (Sie können jedoch bei Bedarf mehr zuweisen) und ist auf PCs, die es unterstützen, standardmäßig aktiviert. Sie können es jedoch vorübergehend pausieren oder über die Systemeinstellungen vollständig deaktivieren. Ich kann auch verstehen, warum Sie es deaktivieren möchten, da Recall eine eigene Logik verwendet, um zu entscheiden, wann Schnappschüsse Ihres Bildschirms aufgenommen und gespeichert werden.

Als ich mit Pete Kyriacou, dem Microsoft Surface-Manager, auf der Build sprach, sagte er mir, dass Recall nur dann Schnappschüsse macht, wenn Sie etwas Neues oder Anderes auf Ihrem PC tun, z. B. wenn Sie auf einen Link auf einer Webseite klicken, zu einem anderen Fenster navigieren oder eine neue App starten. Diese Schnappschüsse Ihres Bildschirms werden von Windows gescannt und indiziert. Wenn Sie also später versuchen, nach einem Wort, einer Phrase oder einer einfachen Beschreibung zu suchen (z. B. „dem Staubsauger, den ich am Mittwoch gekauft habe“), verwendet Recall KI-Inferenz, um diese Screenshots zu scannen (die Microsoft „Screenrays“ nennt, ähnlich einer Röntgenaufnahme Ihres Bildschirms) und Ihnen die relevanten in einer scrollbaren Zeitleiste anzuzeigen.

Wenn Sie in Recall nach etwas suchen, werden die Ergebnisse in einem Fenster mit einer datierten Zeitleiste oben angezeigt. Sie können vor- und zurückblättern, um die von Recall erfassten Screenshots anzuzeigen. Wenn Sie gefunden haben, wonach Sie suchen, können Sie darauf klicken, um sofort zu der Website, Datei oder was auch immer Sie suchen, zu gelangen.

Während dies derzeit nur mit Windows-Apps funktioniert, sagte mir Kyriacou, dass geplant sei, eine Recall-API zu veröffentlichen und mit App-Entwicklern zusammenzuarbeiten, um ihnen bei der Integration der Recall-Funktionalität in ihre Produkte zu helfen. Das Ziel sei, dass man irgendwann in der Lage sei, auf Snapshots dieser Apps zu klicken und sofort in der Zeit zurückversetzt zu werden, in der man gerade in Spotify oder Photoshop tue, als Recall einen Snapshot aufzeichnete.

Laut Microsoft werden die von Recall erfassten Snapshots standardmäßig verschlüsselt und lokal gespeichert und gescannt. Es besteht also keine Gefahr, dass Ihre vertraulichen Daten zur Verarbeitung an einen Remote-Server gesendet werden. Sie können Ihre Snapshots auch jederzeit löschen.

Dennoch ist es ein wenig beängstigend zu wissen, dass Windows ständig alles beobachten kann, was Sie tun, und in bestimmten Abständen von der KI auswertbare Bilder aufnimmt.

Mitschöpfer

Cocreator ist eine neue Funktion von Paint in Windows 11, die nur auf Copilot+-PCs verfügbar ist und es Ihnen im Grunde ermöglicht, Paint mitzuteilen, welche Art von Kunstwerk Sie erstellen möchten, und dann genau abzustimmen, wie stark Paint diese Anforderung auf das von Ihnen erstellte Kunstwerk anwendet.

Um es klarzustellen: Cocreator generiert kein Bild in Paint für Sie – diese Art der Bildgenerierung muss immer noch von Copilot oder anderen generativen KI-Programmen durchgeführt werden. Wenn Sie stattdessen in Paint auf die Schaltfläche Cocreator klicken, wird seitlich ein Bedienfeld mit einem Texteingabefenster und einigen Schiebereglern angezeigt.

Im Texteingabefenster werden Sie aufgefordert, „zu beschreiben, was Sie erstellen möchten“. Wenn Sie eine einfache Beschreibung eingeben (etwas so Einfaches wie „Cyberpunk-Stadt“ oder so Spezifisches wie „eine süße Schildkröte, die unter dem Meer schwimmt, mit Korallenriffen, Fischen und dramatischer Beleuchtung“), wird Ihre Anfrage mithilfe künstlicher Intelligenz auf das angewendet, was Sie tatsächlich in Paint zeichnen.

Ich habe das persönlich und live bei Build gesehen und es funktioniert im Grunde wie ein Filter: Sie zeichnen Ihr Kunstwerk in Paint, geben in Cocreator ein, wie es aussehen soll und dann versucht die App automatisch, das, was Sie gezeichnet haben, in das umzuwandeln, was Sie zeichnen wollten.

Die Ergebnisse sind gemischt, zumindest nach meiner kurzen Erfahrung bei praktischen Demos auf der Build. Sie können die Ergebnisse mithilfe einer Reihe von Steuerelementen in Cocreator feinabstimmen. Derzeit handelt es sich dabei um einen Schieberegler, mit dem Sie steuern können, wie stark Cocreator Ihre Kunst verändert, sowie ein Dropdown-Menü „Stil auswählen“ mit Optionen wie Pixelkunst oder Ölgemälde.

Diese Funktion wurde 2023 angeteasert und kurz darauf für Windows Insider zum Testen bereitgestellt, sie ist also nicht wirklich neu. Es ist auch unklar, ob sie dauerhaft nur auf Copilot+-PCs verfügbar sein wird oder ob PCs, die die Copilot+-PC-Anforderungen nicht erfüllen, trotzdem darauf zugreifen können.

Live-Untertitel

Live Captions ist ein gutes Beispiel für die Art von Verwirrung, die bei der Entscheidung für oder gegen einen Copilot+ PC auftreten kann, da diese Funktion bereits in Windows 11 verfügbar ist. Aber mit einem Copilot+ PC scheint Live Captions etwas besser zu funktionieren als auf einem älteren Windows 11-PC, der die Copilot+ PC-Anforderungen nicht erfüllt.

Während Live Captions unter Windows bereits funktioniert und Untertitel in englischer Sprache für alle Audiodateien bereitstellt, die auf Ihrem PC abgespielt werden (von einem Google Meet-Anruf bis zu einem YouTube-Video oder Twitch-Stream), ist die Version von Live Captions, die ich auf Copilot+-PCs bei Build laufen sah, leistungsfähiger und kann neben Untertiteln auch Echtzeitübersetzungen durchführen.

Dies bedeutet, dass Sie zwar derzeit Live Captions in Windows 11 aktivieren können, diese jedoch nur auf Englisch untertiteln können und andere Sprachen nicht in Echtzeit ins Englische übersetzen können. Aber mit einem Copilot+ PC kann die verbesserte Live Captions-Funktion jedes Live- oder voraufgezeichnete Audio aus über 40 Sprachen ins Englische übersetzen und die Untertitel sofort und sogar offline auf Englisch anzeigen.

Darüber hinaus gibt es das hartnäckige Versprechen, dass ein Copilot+-PC Live Captions besser ausführen kann als ein Windows-PC ohne NPU, da Windows 11 die Live-Übersetzungs-/Untertitelungsarbeit auf die NPU auslagern kann, sodass Ihre CPU sich auf andere Aufgaben konzentrieren kann.

Windows Studio-Effekte

Auch die in Windows 11 integrierten Windows Studio Effects werden auf Copilot+-PCs einige Upgrades erhalten, und obwohl sie nicht besonders aufregend sind, gab es auf der Build 2024 eines, das meine Aufmerksamkeit erregte: Eine neue Teleprompter-Funktion, die das Ablesen eines Skripts während Meetings erleichtern soll.

Wenn das nicht die aufregendste neue Funktion ist, von der Sie je gehört haben, verstehe ich das. Aber ich habe sie bei Build live in Aktion gesehen und war beeindruckt, wie eine so kleine Funktion so viel Druck und Stress aus Ihrem Leben nehmen kann. Ich persönlich habe Probleme damit, cool, ruhig und gelassen zu bleiben, wenn ich Besprechungen leite oder vorgefertigte Anmerkungen mache, und diese neue Teleprompter-Funktion könnte in solchen Situationen eine große Hilfe sein.

Es handelt sich praktisch um eine erweiterte Version der in Windows Studio Effects bereits verfügbaren Augenkontaktfunktion, die Ihren Video-Feed subtil manipuliert, sodass es aussieht, als seien Ihre Augen immer auf die Kamera gerichtet, selbst wenn Sie wegschauen.

Ich mochte diese Funktion nie, weil sie unheimlich und unecht wirkt, aber durch die Hinzufügung eines Teleprompters auf Ihrer Seite weiß ich sie plötzlich viel mehr zu schätzen. Mit der neuen Teleprompter-Funktion können Sie Text auf dem Bildschirm anzeigen, den Sie lesen können, und während Sie dies tun, manipuliert der PC Ihr Video subtil, sodass es so aussieht, als würden Sie in Ihre Webcam schauen, anstatt von einem Skript abzulesen.

Es handelt sich um ein kleines Upgrade, das für manche Leute eine große Sache sein könnte, und obwohl ich nicht sicher bin, warum es nur auf Copilot+-PCs verfügbar ist, bin ich sicher, dass ich es gern hätte, wenn ich das nächste Mal eine Rede halten muss.

Ausblick

Ich weiß nicht, wie es Ihnen geht, aber Microsofts anhaltender Vorstoß, KI in jeden Aspekt von Windows zu integrieren, beeindruckt und beunruhigt mich gleichermaßen.

Als ich Recall und Cocreator in Aktion sah, konnte ich mir gut vorstellen, dass sie auf Windows-PCs in aller Welt eingeführt werden. Bei Recall zumindest sehe ich einen klaren Mehrwert. Ich habe ein paar einfache Techniken entwickelt, um Dateien und Daten auf meinem Windows-PC aufzuspüren. Und obwohl sie gut funktionieren, kann ich mir gut vorstellen, Recall jede Woche zu verwenden, um besuchte Webseiten nachzuschlagen oder Dokumente mit bestimmten Texten zu finden.

Aber ehrlich gesagt, wenn ich erst einmal Gelegenheit habe, es eine Weile auszuprobieren, werde ich Recall wahrscheinlich ganz deaktivieren, weil ich Microsoft oder KI im Allgemeinen einfach nicht genug vertraue, um sie meine Aktivitäten scannen und indizieren zu lassen.

Und obwohl Cocreator ganz nett ist, habe ich aufgrund der überwältigenden Explosion im Internet bereits meinen Geschmack für KI-generierte Kunst verloren. Jetzt, wo jedes kleine Unternehmen in meiner Nachbarschaft dieselben KI-Kunstgeneratoren verwendet, um E-Mail-Werbung, Banner und Werbekunst zu erstellen, steigt die Attraktivität von von Menschen geschaffener Kunst immer weiter. Wie Recall scheint Cocreator für manche nett und potenziell nützlich zu sein, aber mir persönlich bringt es nichts.

Nein, als ich mich auf den Heimweg von Build zum Sea-Tac-Flughafen machte, stellte ich überrascht fest, dass die Durchsagen, die mir am meisten bedeuteten, Live-Untertitel und die neue Teleprompter-Funktion waren.

Es scheinen zwar nur Nebenfunktionen zu sein, aber in der Praxis machen die Live-Untertitel die Nutzung eines Windows-PCs wesentlich robuster und zugänglicher. Und die Teleprompter-Funktion ist der erste Windows-Studio-Effekt, für den ich tatsächlich eine Verwendung gesehen habe, während die vorhandenen Funktionen (wie Filter, automatischer Augenkontakt und Hintergrundunschärfe) mir immer wie kosmetischer Schnickschnack vorkamen, der nett zu haben ist.

Aber es wird mit ziemlicher Sicherheit im kommenden Jahr noch mehr Windows-KI-Funktionen von Microsoft geben, von denen einige wahrscheinlich exklusiv auf Copilot+-PCs verfügbar sein werden. Wenn diese Ergänzungen also nichts für Sie getan haben, bleiben Sie dran – der KI-PC-Wahn zeigt auch 2024 oder 2025 keine Anzeichen einer Verlangsamung.

• Microsoft sagt jetzt, dass Ihr PC „reparaturbedürftig“ ist, wenn Sie Bing nicht mit Edge verwenden
• Das erste faltbare MacBook ist möglicherweise nicht so groß wie wir zunächst dachten
• OpenAI sagt, dass die Sky-Stimme in ChatGPT pausiert wird, nachdem Bedenken aufkamen, dass sie zu sehr nach Scarlett Johansson klingt