Eine Woche nach der Ankündigung einer Welle von Updates für seine Enterprise-Suite von Copilot-KI-basierten Produkten führt Microsoft neue Copilot-Funktionen für alle Benutzer unter Windows ein, darunter ein Tool, das Fragen zu dem, was auf Ihrem Bildschirm angezeigt wird, verstehen und beantworten kann.
Aktualisierte Copilot-Apps für iOS, Android, Windows und das Web werden heute eingeführt und alle verfügen über einen Copilot mit einem „warmeren“ und „eindeutigeren“ Stil, wie Microsoft es beschreibt. Microsoft bringt den Chatbot auch auf WhatsApp, sodass Benutzer über DM mit Copilot chatten können, ähnlich wie bei anderen Bots auf der Messaging-Plattform von Meta.
Copilot-Vision
Copilot Vision hat einen Überblick über das, was Sie auf Ihrem PC sehen – genauer gesagt, einen Einblick in die Websites, die Sie mit Microsoft Edge besuchen. Copilot Vision steht hinter Copilot Labs, einem neuen exklusiven Opt-in-Programm für Copilot Pro für experimentelle Copilot-Funktionen, und kann Text und Bilder auf Webseiten analysieren und Fragen beantworten (z. B. „Wie lautet das Rezept für das Essen auf diesem Bild?“) ihnen.
Vision, das durch Eingabe von „@copilot“ in die Adressleiste von Edge aufgerufen werden kann, ist nicht gerade ein technisches Wunderwerk. Google-Angebote ähnliche Suchtechnologie auf Android und hat kürzlich Teile dieser Technologie auch auf Chrome gebracht.
Microsoft weist jedoch darauf hin, dass Copilot Vision leistungsfähiger und datenschutzbewusster ist als frühere Bildschirmanalysefunktionen.
„Copilot Vision kann … nächste Schritte vorschlagen, Fragen beantworten, bei der Navigation helfen, was auch immer Sie tun möchten, und bei Aufgaben unterstützen, während Sie einfach in natürlicher Sprache mit ihm sprechen“, schrieb Microsoft in einem Blogbeitrag, der mit TechCrunch geteilt wurde. „Stellen Sie sich vor, Sie versuchen, eine neue Wohnung einzurichten. Copilot Vision kann Ihnen bei der Suche nach Möbeln helfen, die richtige Farbpalette finden, Ihre Optionen für alles vom Teppich bis zum Überwurf durchdenken und Ihnen sogar Möglichkeiten vorschlagen, das Gesehene anzuordnen.“
Zweifellos wollte ich es unbedingt vermeiden eine weitere Runde schlechter Presse von KI-DatenschutzfummelnMicrosoft betont, dass Copilot Vision darauf ausgelegt sei, Daten unmittelbar nach Gesprächen zu löschen. Verarbeitete Audiodaten, Bilder oder Texte werden nicht gespeichert oder zum Trainieren von Modellen verwendet, behauptet das Unternehmen – zumindest nicht in dieser Vorschauversion.
Copilot Vision ist auch hinsichtlich der Arten von Websites, die es interpretieren kann, begrenzt. Derzeit blockiert Microsoft die Funktion dieser Funktion bei kostenpflichtigen und „sensiblen“ Inhalten und beschränkt Vision auf eine vorab genehmigte Liste „beliebter“ Web-Eigenschaften.
Was genau beinhaltet „sensibler“ Inhalt? Porno? Gewalt? Zu diesem Zeitpunkt wollte Microsoft keine Angaben machen.
Vorwürfe, Paywalls mit KI-Tools umgangen zu haben, haben Microsoft in der jüngeren Vergangenheit juristisch in Bedrängnis gebracht. In einer laufenden Klage behauptete die New York Times, Microsoft habe es Benutzern ermöglicht, seine Paywall zu umgehen, indem es Artikel der NY Times über den Copilot-Chatbot auf Bing bereitstellte. Laut The Times würde Copilot – das auf den Modellen des engen Microsoft-Partners OpenAI basiert – bei entsprechender Aufforderung wörtliche (oder nahezu wörtliche) Ausschnitte bezahlter Geschichten liefern.
Microsoft sagte, dass Copilot Vision, das derzeit nur in den USA erhältlich ist, die „maschinenlesbaren Kontrollen der KI“ von Websites respektieren wird – etwa Regeln, die es Bots verbieten, Daten für KI-Training zu sammeln. Aber das Unternehmen hat es nicht gesagt genau welche Kontrollen Vision respektieren wird; es gibt mehrere In verwenden. Wir haben Microsoft um Klarstellung gebeten.
Viele große Verlage haben sich dafür entschieden, KI-Tools daran zu hindern, ihre Websites zu durchsuchen, nicht nur aus Angst, dass ihre Daten ohne Erlaubnis verwendet werden könnten, sondern auch, um dies durch diese Tools zu verhindern ihre Serverkosten in die Höhe schnellen lassen. Wenn der aktuelle Trend anhält, funktioniert Copilot Vision möglicherweise auf einigen Websites nicht Top-Nachrichtenseiten.
Microsoft sagte, es sei bestrebt, „Feedback entgegenzunehmen“, um Bedenken auszuräumen.
„Bevor wir allgemein auf den Markt kommen, werden wir unsere Sicherheitsmaßnahmen weiter verfeinern und den Datenschutz und die Verantwortung in den Mittelpunkt unseres Handelns stellen“, sagte Microsoft in dem Blogbeitrag. „Es gibt keine spezielle Verarbeitung des Inhalts einer Website, die Sie besuchen (mit Copilot), noch ein KI-Training – Copilot Vision liest und interpretiert einfach die Bilder und Texte, die es zum ersten Mal auf der Seite sieht, zusammen mit Ihnen.“
Denken Sie tiefer
Wie bei Vision ist die neue Think Deeper-Funktion von Copilot ein Versuch, den Assistenten von Microsoft vielseitiger zu machen.
Think Deeper gibt Copilot laut Microsoft die Möglichkeit, komplexere Probleme zu lösen, dank „Argumentationsmodellen“, die mehr Zeit benötigen, bevor sie Schritt-für-Schritt-Antworten liefern.
Welche Argumentationsmodelle? Als ich nachfragte, war Microsoft etwas zurückhaltend und sagte nur, dass Think Deeper „die neuesten Modelle von OpenAI verwendet, die von Microsoft verfeinert wurden“. Wenn man zwischen den Zeilen liest, kann man davon ausgehen, dass es sich um eine angepasste Version des o1-Modells von OpenAI handelt.
„Wir haben Think Deeper so konzipiert, dass es bei allen möglichen praktischen, alltäglichen Herausforderungen hilfreich ist, etwa beim Vergleich zweier komplexer Optionen nebeneinander“, schrieb Microsoft in einem Blogbeitrag. „Think Deeper kann bei allem helfen, von der Lösung schwieriger mathematischer Probleme bis hin zur Abwägung der Kosten für die Verwaltung von Heimprojekten.“
Microsoft hat in seinen Pressematerialien ausführlich über das Potenzial von Think Deeper gesprochen. Aber wenn man davon ausgeht, dass das zugrunde liegende Modell o1 ist, wird es in einigen Bereichen mit Sicherheit hinter den Erwartungen zurückbleiben. Wir sind gespannt, welche Art von Verbesserungen Microsoft am Basismodell vorgenommen hat und wie das bevorstehende Think Deeper mit seinen Einschränkungen umgeht.
Think Deeper wird ab heute für eine begrenzte Anzahl von Copilot Labs-Benutzern in Australien, Kanada, Neuseeland, den USA und Großbritannien verfügbar sein
Copilot-Stimme
Eine neue Copilot-Funktion, die heute allgemein verfügbar ist, ist Copilot Voice (nicht zu verwechseln mit GitHubs). Copilot-Stimme). Voice erscheint zunächst auf Englisch in Neuseeland, Kanada, Australien, Großbritannien und den USA und fügt vier synthetische Stimmen hinzu, sodass Sie mit Copilot sprechen und die Antworten laut vorlesen können.
Wie der erweiterte Sprachmodus von OpenAI für ChatGPT kann Copilot Voice Ihren Ton während Gesprächen erkennen und entsprechend reagieren, und Sie können jederzeit einwerfen, während Copilot Voice antwortet. Ein Microsoft-Sprecher sagte mir, dass der Modus „die neueste Sprachtechnologie mit neuen Modellen nutzt, die für die Copilot-App optimiert wurden“. Welche Technik? Welche Modelle? Was die Einzelheiten angeht, ist Mama das Richtige.
Beachten Sie Folgendes: Copilot Voice hat eine zeitliche Nutzungsbeschränkung. Copilot Pro-Abonnenten erhalten mehr Minuten, aber die Anzahl ist „variabel“, sagte mir Microsoft, je nach Nachfrage.
Personalisierung
Laut Microsoft wird Copilot dank einer neuen Personalisierungseinstellung bald besser auf Ihre Vorlieben und Vorlieben zugeschnitten sein.
Wenn die Einstellung aktiviert ist, greift Copilot auf Ihre vergangenen Interaktionen und Ihren Verlauf sowie auf Ihre Interaktionen mit anderen Microsoft-Apps und -Diensten zurück (Microsoft sagt nicht, welche), um Möglichkeiten zur Verwendung von Copilot zu empfehlen.
„Das hilft Ihnen beim Einstieg“, schrieb Microsoft in einem Blogbeitrag, „und bietet sowohl einen praktischen Leitfaden zu den nützlichen Funktionen von Copilot als auch Gesprächseinstiege.“
Die Personalisierung in Copilot, die im Copilot-Einstellungsmenü unter Windows ausgeschaltet werden kann, ist in absehbarer Zeit nicht für Großbritannien oder die EU geplant. Aber Benutzer anderswo sollten die Einstellung heute Nachmittag sehen.
Microsoft und die EU hatten eine schwierige Beziehung, wenn es um die Einführung von KI-Produkten des Unternehmens ging. Im Mai warnte die EU Microsoft, dass dem Unternehmen im Rahmen des Online-Governance-Regimes des Blocks, dem Digital Services Act, eine Geldstrafe von bis zu 1 % seines weltweiten Jahresumsatzes drohen könnte, nachdem das Unternehmen auf eine Informationsanfrage, die sich auf seine generative KI konzentrierte, nicht reagiert hatte Werkzeuge.
Eine Reihe von Technologiegiganten außerhalb von Microsoft, darunter Apple und Meta, haben bei der Einführung von KI-Tools in der EU einen vorsichtigen Ansatz gewählt, da sie sich davor hüten, gegen die Gesetze der Union zum Datenschutz und zur Modellbereitstellung zu verstoßen.
„Für Benutzer im Europäischen Wirtschaftsraum (EWR) und einer begrenzten Anzahl anderer Länder prüfen wir Optionen, bevor wir diesen Benutzern dieses Maß an Copilot-Personalisierung anbieten“, sagte ein Microsoft-Sprecher gegenüber TechCrunch. „Einige Funktionen werden im EWR erst zu einem späteren Zeitpunkt verfügbar sein.“
