Die US-Wettbewerbs- und Verbraucherschutzbehörde FTC hat eine formelle 6(b)-Untersuchung zu „AI-Companions“ gestartet – also KI-Chatbots, die wie Freund:innen, Coaches oder Begleiter:innen mit Menschen interagieren, teils explizit mit Minderjährigen. Betroffen sind Alphabet/Google, Meta (inkl. Instagram), OpenAI, xAI, Character Technologies (Character.ai) und Snap. Die Behörde verlangt umfangreiche Informationen zu Sicherheitsmaßnahmen, Altersgrenzen, Datennutzung und Monetarisierung – und zwar verpflichtend. (Federal Trade Commission)
Anders als eine klassische Strafverfolgung ist 6(b) zunächst eine breite Auskunftsanordnung: Die FTC darf Unternehmen in großem Stil zur Ablage von Dokumenten, Metriken und Prozessen verpflichten, um den Markt zu verstehen – Erkenntnisse können anschließend in Ermittlungen, Auflagen oder neue Regeln münden. Die offizielle Resolution und die Pressemitteilung betonen den Fokus auf Kinder und Jugendliche als besonders schützenswerte Gruppe. (Federal Trade Commission)
Wer ist betroffen – und warum gerade diese Firmen?
Die Orders gingen laut FTC an Alphabet (Google), Meta (Facebook & Instagram), OpenAI, xAI, Character Technologies und Snap. Die Auswahl dürfte daran liegen, dass diese Anbieter entweder sehr große Reichweiten haben (Social-Plattformen) oder marktprägende Chatbots betreiben, die Beziehungen simulieren: vom Allzweck-Assistenten bis zum emotionalen „Companion“ mit eigener Persona. Reuters, AP und andere große Medien bestätigen die Liste. (Reuters)
In den vergangenen Monaten gab es mehrere Vorwürfe und Berichte zu ungeeigneten Interaktionen zwischen Chatbots und Minderjährigen sowie zu mangelhaften Schutzmechanismen. Auch Fälle, in denen Chatbots problematische Ratschläge gaben oder romantisierende Dialoge zuließen, haben den politischen Druck erhöht. In einem öffentlichen Statement verweist FTC-Kommissar Mark R. Meador auf konkrete Vorfälle und begründet damit die besondere Dringlichkeit beim Schutz junger Menschen. (Federal Trade Commission)
Was will die FTC ganz genau wissen?
Die 6(b)-Orders sind detailreich. Laut FTC verlangt die Behörde u. a. Unterlagen und Daten zu folgenden Punkten:
- Sicherheits- & Qualitätstests: Wie werden Chatbots vor dem Rollout getestet? Welche Red-Teamings laufen? Wie wird Fehlverhalten (z. B. bei Selbstverletzung, Essstörungen, sexualisiertem Inhalt, Hassrede) erkannt und reduziert? (Federal Trade Commission)
- Altersgrenzen & Age-Gating: Wie erkennen Anbieter Minderjährige? Welche Mechanismen (Verifikation, Elternfunktionen, Sperrlisten) greifen? Was passiert bei falschen Positiv/Negativ-Erkennungen? (Federal Trade Commission)
- Persona-Design & Nudging: Wie entstehen Charaktere/„Personas“? Welche Leitplanken verhindern, dass Bots sich als reale Personen ausgeben oder emotionale Abhängigkeiten fördern? (Federal Trade Commission)
- Datenflüsse & Training: Welche Nutzerdaten werden erhoben, wie lange gespeichert und wofür (z. B. Training, Personalisierung)? Welche Opt-in/Opt-out-Wege existieren? (Federal Trade Commission)
- Monetarisierung: Wie wird mit Companions Geld verdient (Abos, In-App-Käufe, Werbung)? Welche Anreize entstehen – und werden risikoreiche Interaktionen dadurch ungewollt befeuert? (Federal Trade Commission)
- Transparenz & Aufklärung: Wie werden Nutzer:innen (und Eltern) über Fähigkeiten und Grenzen aufgeklärt? Gibt es klare Warnhinweise bei heiklen Themen (Gesundheit, Finanzen, Sexualität)? (Federal Trade Commission)
Die FTC betont, dass Companions heute menschliche Eigenschaften und Emotionen simulieren können – dadurch entsteht Vertrauen, das speziell bei Kindern und Teens fehlleitend wirken kann. (SiliconANGLE)
Was bedeutet 6(b) – ist das schon „Ermittlung“?
Noch nicht. 6(b) erlaubt der FTC, Marktstudien durchzuführen und Sonderberichte anzufordern – unabhängig von konkreten Verdachtsfällen. Aber: Die gewonnenen Erkenntnisse können direkt in Enforcement-Fälle, Vergleichsvereinbarungen (Consent Orders) oder Regelsetzung einfließen. Für die betroffenen Firmen ist die Frist- und Nachweispflicht ernst: Falsche oder unvollständige Angaben wären rechtsriskant. (Federal Trade Commission)
Warum das Timing wichtig ist
Zum einen häufen sich die Nutzungszahlen von Chatbots, die Beziehung oder Vertrautheit simulieren – ob als „AI-Freund:in“, „Coach“ oder „Therapeut:in“ (was sie ausdrücklich nicht sind). Zum anderen standen Anbieter zuletzt wegen Teen-Sicherheit öffentlich in der Kritik. Die FTC-Begründung knüpft daran an und macht klar: Kinder- und Jugendschutz ist Top-Priorität. Große Nachrichtenhäuser wie FT und Reuters ordnen den Schritt als Signal an die gesamte Branche ein. (Financial Times)
Was jetzt für Anbieter:innen zählt (und woran die FTC dich messen wird)
1) Safety by Design statt „Patchen nach Skandal“.
Sicherheitslogik gehört ins Produktdesign, nicht nur in Moderation und Support. Dazu zählen Ablehnungs-Flows bei riskanten Themen, Deeskalations-Prompts, Notfall-Hinweise und aktive Umleitungen zu professioneller Hilfe – speziell bei Selbstverletzung und Suizidgedanken. Dokumentation ist Pflicht. (Federal Trade Commission)
2) Altersmanagement, das wirklich greift.
„Wir richten uns nicht an Teens“ reicht nicht. Die FTC will Methoden, Trefferquoten und Fehlerfälle sehen – inklusive Eltern-Tools und Sperren für riskante Personas. Transparenz gegenüber Familien ist Teil der Erwartung. (Federal Trade Commission)
3) Daten- und Trainingsklarheit.
Werden Chats von Minderjährigen jemals fürs Training genutzt? Unter welchen Bedingungen? Mit welcher Anonymisierung? Wie lange werden Daten gespeichert, und wo? Ohne klare Antworten wachsen Risiko und Reputationsschaden. (Federal Trade Commission)
4) Monetarisierung ohne falsche Anreize.
Wenn Abo-Modelle oder Features Engagement belohnen, darf das nicht dazu führen, dass Bots Grenzen überschreiten, nur um Nutzer:innen „bei Laune“ zu halten. Die FTC will Anreizsysteme verstehen – und wird „dark patterns“ nicht akzeptieren. (Federal Trade Commission)
5) Governance & Revisionssicherheit.
Ohne Vorstands- bzw. Leadership-Verantwortung, interne Audits, Red-Team-Protokolle und Vorfall-Reports wird es eng. 6(b)-Anfragen sind beweislastig – ein loses PDF reicht nicht. (Federal Trade Commission)
Was das für Eltern, Lehrkräfte und Jugendleiter:innen bedeutet
Auch wenn Regulierung wichtig ist: Der stärkste Schutz beginnt bei dir.
- Klar reden statt tabuisieren. Sprich mit Jugendlichen über Grenzen von Chatbots: keine echte Empathie, mögliche Fehler, kein Ersatz für medizinische oder psychologische Hilfe.
- Regeln gemeinsam festlegen. Was ist okay (z. B. Sprachübungen, Hausaufgabenhilfe), was nicht (Krisenthemen, intime Chats, Geldfragen)? Haltet klare „No-Go“-Themen fest.
- Einstellungen prüfen. Accounts privat halten, Melden/Blockieren kennen, Verläufe zusammen anschauen. (Viele Anbieter liefern inzwischen zusätzliche Filter – prüfe sie regelmäßig.) (AP News)
- Hilfswege kennen. Wenn jemand stark belastet ist, gehören Erwachsene und Fachstellen ins Boot – nicht ein Bot.
Was das für Unternehmen bedeutet – drei konkrete To-do-Listen
Wenn du an Produkt- und Policy-Themen arbeitest, beginne damit, Personas und Prompts konsequent zu härten. Alles, was für Minderjährige riskant ist – Romance-, Erotik- oder „Therapie“-Frames – gehört per Design ausgeschlossen. Setze konservative Defaults, definiere klare Sicherheits-Prompts und lege Abbruchkriterien fest, die heikle Gesprächsverläufe zuverlässig beenden. Kommuniziere zudem transparent, was der Bot kann und was nicht: in der UI, in Hilfetexten und in den Nutzungsrichtlinien. Bei sensiblen Themen wie Gesundheit oder Finanzen sind auffällige Hinweise Pflicht; Informationen für Eltern sollten zentral auffindbar sein. Ebenfalls essenziell sind saubere Notfall-Routen: Erkennt der Bot Krisenbegriffe, gibt er keine Ratschläge, sondern deeskaliert, verweist auf professionelle Hilfe und dokumentiert den Vorfall nachvollziehbar.
Für Data- und ML-Teams steht ein belastbares Eval-Framework am Anfang. Miss systematisch Halluzinationen, Fehlklassifikationen und Safety-Verstöße – idealerweise getrennt nach Altersgruppen, damit du Risiken für Teens gezielt reduzieren kannst. Ergänze das durch ein Red-Team-Programm mit Jugendschutz-Fokus: Teste Grenzfälle rund um Selbstverletzung, Grooming-Signale oder Essstörungen in realitätsnahen Szenarien und mit klaren Abbruchregeln. Dokumentiere außerdem deine Datenhygiene lückenlos: Herkunft und Qualität der Daten, Aufbewahrungsfristen, Anonymisierungspfade und ob bzw. wie Chats von Minderjährigen in Trainings- oder Tuningprozesse einfließen. Alles sollte versioniert, auditierbar und für interne wie externe Prüfungen schnell abrufbar sein.
Legal und Compliance schaffen den Rahmen, damit das Ganze tragfähig bleibt. Bestelle klare Owner für die geforderten Auskünfte, lege ein strukturiertes Dokumentenverzeichnis an und übe interne Fristenläufe – so bist du auskunftsfähig, wenn Aufsichten Sonderberichte anfordern. Arbeite mit einer lebenden Risikomatrix, die Jugendschutz, Datenverarbeitung, Marketing und UX zusammenführt, und definiere eindeutige „If-this-then-that“-Prozesse für Vorfälle: Wer entscheidet, wer informiert wird, welche Maßnahmen greifen. Prüfe schließlich alle Marketing-Aussagen und Produkttexte: keine implizite Therapiesprache, keine „Freund:in“-Versprechen, die falsche Erwartungen wecken, und keine Dark Patterns, die Bots zu grenzüberschreitendem Engagement verleiten. Wenn Produkt/Policy, Data/ML und Legal/Compliance so ineinandergreifen, entsteht eine Governance, die im Alltag trägt – mit klaren Leitplanken für Minderjährige, überprüfbaren Sicherheitsnachweisen und der nötigen Transparenz nach innen und außen.
Was außerhalb der USA relevant wird
Auch wenn die FTC in den USA agiert, setzt eine 6(b)-Untersuchung faktische Standards: Große Plattformen werden global ähnliche Schutzmechanismen ausrollen (technisch lohnt selten eine US-Sonderlösung). Für Europa wirken zusätzlich DSA und – bei Anbietern großer Modelle – AI-Act-Pflichten; viele der von der FTC angefragten Governance-Bausteine (Risikoberichte, Transparenz, Safety) sind kompatibel mit den europäischen Erwartungen. Kurz: Wer sich an der FTC-Liste orientiert, ist auch EU-fit – nicht vollständig, aber näher dran. (Einordnung)
Worauf du in den nächsten Wochen achten solltest
- Antwortfristen & Umfang: Wie schnell und wie vollständig reagieren die Unternehmen? (Erfahrung: Die FTC fragt sehr konkret nach Metriken, Datasets, Logs, Roadmaps.) (Federal Trade Commission)
- Öffentliche Commitments: Erscheinen neue Teen-Safety-Features, striktere Alters-Gates oder geänderte Persona-Kataloge? (Reuters)
- Weitere Schritte der FTC: Folgt auf die Markterhebung Enforcement (z. B. wegen irreführender Claims oder Datenpraxis) – oder gar neue Leitlinien? (Federal Trade Commission)
Fazit: Die Branche steht vor einem Reality-Check
Mit der 6(b)-Untersuchung stellt die FTC eine einfach formulierte, aber harte Frage: Könnt ihr belegen, dass eure AI-Companions Kinder und Jugendliche nicht in gefährliche Situationen führen – und dass euer Geschäftsmodell keine falschen Anreize setzt?
Für Anbieter:innen heißt das: Dokumentation nachliefern, Lücken schließen, Governance verankern. Für Eltern, Lehrkräfte und Organisationen heißt es: Aufklärung, Einstellungen prüfen, klare Regeln setzen.
Die gute Nachricht: Wenn die Branche diese Hausaufgaben ernst nimmt, werden sicherere Produkte und mehr Transparenz zum neuen Normal. Genau das ist das Ziel – und die FTC hat jetzt die Hebel in Bewegung gesetzt.
