Microsoft hat eine Patentanmeldung für eine KI-Technologie eingereicht, die Sprache und Gesichtsbewegungen in Live-Videos nahezu in Echtzeit verändern kann. Das System identifiziert gesprochene Worte automatisch, ersetzt oder entfernt sie und passt die Lippenbewegungen des Sprechers an die bearbeitete Tonspur an. Die Technologie könnte Video-Workflows für internationale Marketingkampagnen, Bildungsinhalte und Social-Media-Creator grundlegend verändern, wirft aber gleichzeitig neue Fragen zu Deepfakes und Content-Authentizität auf.
Wie die Technologie funktioniert
Zwei Verarbeitungswege für unterschiedliche Szenarien
Die am 29. April 2025 eingereichte und am 29. Oktober 2026 veröffentlichte Patentanmeldung trägt den Titel “Near Real-Time Artificial Intelligence (AI) Enhancement of Video or Augmented Reality (AR) Presentations of Live Events”. Das System nutzt KI-Agenten, die auf festgelegten Parametern oder Nutzerprofilen basieren und Änderungen vornehmen, bevor das Material den Zuschauer erreicht.
Die Anmeldung beschreibt zwei Verarbeitungswege: In der Post-Production bearbeitet ein generatives KI-System ein vorhandenes Skript oder Transkript und tauscht entsprechende Worte in der Tonspur aus. Im Near-Real-Time-Modus scannt ein KI-Agent die Live-Audiospur und wählt Worte zur Änderung aus. Das System bearbeitet dann auch das Material unmittelbar vor und nach jedem Austausch, um glatte Übergänge zu ermöglichen. Die Anmeldung definiert “near-real-time” als Verzögerung von wenigen Sekunden, mit einem Beispielbereich von 1 bis 10 Sekunden.
Welche Änderungen das System vornehmen kann
Die Patentanmeldung listet verschiedene Ziele für Sprachänderungen auf: Füllwörter wie “ähm” oder “äh”, persönliche Wortschöpfungen, umgangssprachliche Begriffe wie “y’all” oder “gonna”, genuschelte, falsch ausgesprochene oder falsch verwendete Worte, beleidigende oder unangemessene Ausdrücke sowie Anzeichen von Sprachstörungen wie Stottern. Das System kann auch Übersetzungen durchführen und Sprache in die bevorzugte Sprache des Zuschauers umwandeln, wobei die Lippenbewegungen entsprechend angepasst werden.
Praktische Anwendungsfälle für Creator und Marketer
Internationale Content-Lokalisierung ohne Neudreh
Für Content-Creator und Marketingteams könnte die Technologie teure Neuaufnahmen und manuelle Bearbeitung überflüssig machen. Statt für jeden Markt separate Videos zu produzieren, ließe sich ein einziges Video automatisch in mehrere Sprachen übersetzen, mit synchronisierten Lippenbewegungen, die den Eindruck erwecken, der Sprecher würde natürlich in der Zielsprache sprechen. Die Patentanmeldung nennt als mögliche Anwendungsfälle Vorlesungen, Präsentationen, Fernsehproduktionen wie Preisverleihungen, Game- und Kochshows sowie Live-Sport.
Automatisierte Qualitätskontrolle und Anpassung
Das System könnte auch zur Qualitätsverbesserung eingesetzt werden: Entfernung von Füllwörtern aus Live-Präsentationen, Korrektur von Versprechern oder Anpassung regionaler Dialekte an standardisierte Sprache. Laut Patentanmeldung könnte die Technologie sogar “instant fact-checking” durchführen und ungenaue oder irreführende Informationen in Echtzeit korrigieren, wobei Ersatzworte aus Internet- oder Datenbanksuchen stammen könnten. Die Verarbeitung könnte auf Geräte-CPUs, GPUs oder NPUs laufen, einschließlich AR-Brillen, Smartphones, Tablets und Videoaufnahmegeräten.
Geschäftliche Auswirkungen und Branchenausblick
Effizienzgewinne und neue Workflow-Möglichkeiten
Die Technologie könnte Video-Produktions-Workflows erheblich beschleunigen. Internationale Unternehmen könnten Schulungsmaterialien, Produktpräsentationen und Marketingvideos einmal erstellen und automatisch für verschiedene Märkte anpassen. Bildungseinrichtungen könnten Vorlesungen in mehreren Sprachen anbieten, ohne zusätzliche Aufnahmen zu benötigen. Social-Media-Creator könnten ihre Reichweite erweitern, indem sie Content für verschiedene Sprachräume zugänglich machen.
Deepfake-Risiken und Authentizitätsfragen
Die Technologie wirft aber auch erhebliche Bedenken auf. Experten warnen vor möglichem Missbrauch: Kompromittierte Parteien könnten Live-Übertragungen abfangen und Worte von Politikern, Unternehmensstatements oder Live-Berichterstattung verändern, um Fehlinformationen zu verbreiten. Um diese Risiken zu mindern, beschreibt die Patentanmeldung ein Verifikationsprotokoll: Das System erfasst und speichert das ursprüngliche, unbearbeitete Live-Video als unveränderliche “Ground Truth”. Die veränderte Version wird mit digitalen Wasserzeichen und kryptografischen Daten versehen, die bei Prüfung mit Erkennungstools anzeigen, dass das Video KI-verbessert wurde.
| Anwendungsbereich | Nutzen | Risiko |
|---|---|---|
| Übersetzung | Mehrsprachiger Content ohne Neudreh | Verfälschung ursprünglicher Aussagen |
| Qualitätskontrolle | Entfernung von Füllwörtern und Versprechern | Ungewollte Zensur oder Bedeutungsänderung |
| Barrierefreiheit | Anpassung an Nutzerpräferenzen | Personalisierte Filterblasen |
| Live-Events | Echtzeit-Anpassung für verschiedene Zielgruppen | Manipulation politischer oder öffentlicher Aussagen |
Regulatorische und ethische Herausforderungen
Zustimmung und Kontrolle über digitale Identität
Die Implementierung der Technologie bringt schwierige regulatorische und moralische Fragen mit sich. Die Möglichkeit, Live-Video- und Audiofeeds dynamisch zu verändern, schafft eine rechtliche Grauzone rund um geistige Eigentumsrechte und den Schutz der persönlichen Identität. Broadcaster, Content-Creator und öffentliche Personen könnten es schwerer haben, ihre Online-Präsenz zu kontrollieren, da Echtzeit-Änderungen die ursprüngliche Absicht ohne ausdrückliche Genehmigung verschleiern könnten.
Wann und ob die Technologie kommt
Da es sich um eine Patentanmeldung handelt, ist unklar, wann oder ob Microsoft die Technologie auf den Markt bringen wird. Microsoft hat auf Anfragen von Medien nicht unmittelbar reagiert. Die Patentanmeldung ist noch keine erteilte Patentschrift, laut einem Bericht hat das Patentamt die Anmeldung genehmigt, und sie sollte als erteiltes Patent ausgestellt werden, sobald Microsoft die Endgebühr zahlt. Die Veröffentlichung zeigt jedoch, dass Microsoft an dieser Technologie arbeitet und ihre möglichen Anwendungen bereits detailliert durchdacht hat.
Quellen
- Microsoft files patent for AI that can alter what people say during live broadcasts, Computerworld
- Microsoft Patents an AI That Can Literally Put Words in People's Mouths in Real Time
- Microsoft files patent for AI that can change what people say in live video
- Microsoft Patent Application Describes AI That Could Rewrite Live Speech and Alter Lip Movements
- Microsoft's AI Patent Could Put Words in Your Mouth Mid-Sentence, Then Make Your Lips Match | IBTimes UK
