Ohne menschliche Kontrolle kann künstliche Intelligenz große Schäden anrichten. Das zeigen die bekannt gewordenen KI-Pannen in den zurückliegenden Monaten. Wie Unternehmen sich dagegen schützen können, beschreibt der Experte für KI-Management Dr. Jens-Uwe Meyer in seinem neuen Buch.

Erfundene Studien und Gerichtsurteile, Millionenverluste durch falsche Prognosen, von Deepfake-CFOs veranlasste Fehlüberweisungen und von KI-Agenten gelöschte Datenbanken – die spektakulärsten KI-Pannen der vergangenen Monate wirken auf den ersten Blick alle wie ein Technologieversagen. Doch bei einem genaueren Hinsehen zeigt sich ein anderes Muster. Nicht die künstliche Intelligenz gerät außer Kontrolle; nein, Menschen bzw. Unternehmen verlieren die Kontrolle über ihren Einsatz.

Deshalb muss sich KI-Management zu einer neuen Führungsdisziplin entwickeln, schreibt Dr. Jens-Uwe Meyer in seinem neuen Buch „KI-Management in der Praxis“. Für dieses untersuchte der CEO des Unternehmens DICIS AG, Leipzig, reale KI-Pannen von Unternehmen. Dabei interessierte ihn weniger die einzelne Panne als das Muster dahinter. Und seine Analyse ergab: Die spektakulärsten Fälle lassen sich auf wenige, immer wiederkehrende Fehler zurückführen. Deshalb gelangt er zur Schlussfolgerung: „Es gibt keine KI-Pannen. Es gibt nur falsches KI-Management.“

Muster 1: KI-Ergebnisse werden nicht ausreichend kontrolliert

Generative KI hat laut Meyer eine unangenehme Eigenschaft: Sie kann überzeugend Unsinn erzählen. Dieses Problem ist inzwischen allgemein bekannt. Trotzdem gelangen falsche KI-Ergebnisse weiterhin oft ungeprüft in Berichte, Schriftsätze, die Kundenkommunikation und andere geschäftskritische Prozesse.

So musste zum Beispiel die renommierte Wirtschaftsprüfungsgesellschaft KPMG – wie Meyer schreibt – einen Bericht über den KI-Einsatz in Unternehmen zurückziehen, nachdem mehrere darin genannte Organisationen in ihm enthaltenen Darstellungen vehement widersprochen hatten. Und das Beratungsunternehmen Deloitte musste einen für das australische Arbeitsministerium erstellten Bericht überarbeiten, der unter anderem nicht existente Quellen und erfundene Gerichtszitate enthielt. Nur zwei Beispiele von vielen. Die Gemeinsamkeit all dieser Fälle, so Meyer, ist: Nicht das Halluzinieren der KI ist das eigentliche Problem. Entscheidend ist, dass das Ergebnis anschließend einen menschlichen Prüf- und Freigabeprozess passiert hat – ohne dass, die Halluzinationen erkannt wurden.

Meyer beschreibt das Problem in seinem Buch mit einem einfachen Gedankenexperiment: „Stellen Sie sich einen Copiloten vor, der in neun von zehn Fällen die Landebahn perfekt trifft – doch beim zehnten Anflug so weit danebenliegt, dass es beinahe zu einem Unfall kommt.“ Keine Fluggesellschaft würde einen solchen Copiloten allein unbeaufsichtigt fliegen lassen, nur weil er zumeist richtig liegt. Bei der KI geschieht jedoch genau das häufig – „obwohl KI zwar ein hervorragender Assistent ist, aber kein Ersatz für kritisches Denken, fachliche Prüfung und menschliche Verantwortung“.

Muster 2: Die KI bekommt zu viele Freiheiten

Mit KI-Agenten entsteht eine zweite Risikokategorie. Moderne KI erzeugt nicht mehr nur Texte oder Bilder. Sie kann zunehmend selbstständig handeln: Datenbanken bearbeiten, Programme bedienen, Dateien verändern, EMails versenden oder ganze Prozessschritte ausführen. Damit verschiebt sich die Managementfrage. Es reicht nicht mehr aus, zu fragen: Welche Antworten darf unsere KI geben? Unternehmen müssen sich fragen: Was darf sie tatsächlich tun?

Wie schnell ansonsten Probleme entstehen, zeigt laut Meyer 2026 der Fall des Softwareunternehmens PocketOS. Ein KI-Assistent sollte dort bei einer Aufgabe in einer Testumgebung helfen. Als ein Problem auftrat, suchte die KI selbstständig nach einer Lösung. Hierbei nutzte sie Zugangsdaten, die ihr weitreichendere Eingriffe ermöglichten, und löschte versehentlich die produktiv genutzte Datenbank – einschließlich der dort gespeicherten Sicherungskopien. Meyer bringt das Problem in seinem Buch auf die einfache Formel, dass die entscheidende Frage deshalb lautet: Was darf die KI technisch tatsächlich tun – und nicht nur, was haben wir ihr gesagt, dass sie tun darf?

Ein professionelles KI-Management überträgt damit, so Meyer, „Prinzipien, die Unternehmen bei menschlichen Beschäftigten selbstverständlich sind, auf die künstliche Intelligenz.“ Nicht jeder Mitarbeiter bekommt Administratorrechte. Nicht jeder darf Zahlungen in beliebiger Höhe freigeben. Und nicht jeder darf sensible Unternehmensdaten löschen. Je autonomer die KI wird, desto wichtiger wird dieses Prinzip, auch beim KI-Einsatz.

Muster 3: Unternehmen unterschätzen die neuen Risiken

Das dritte Muster reicht über die klassischen KI-Fehler hinaus. Künstliche Intelligenz schafft neue Möglichkeiten – und damit neue Formen des Missbrauchs. Ein besonders spektakulärer, von Meyer beschriebener Fall betraf den britischen Ingenieurkonzern Arup. Ein Mitarbeiter nahm dort an einer Videokonferenz teil und glaubte, in dieser mit dem Finanzchef und Kollegen zu sprechen. Tatsächlich waren die Personen Deepfakes. Der Mitarbeiter veranlasste – in deren Auftrag – insgesamt 15 Überweisungen über rund 20 Millionen Pfund an die Betrüger. Der Fall zeigt, wie schnell bisher bewährte Sicherheitsmechanismen durch KI an Wirkung verlieren können. Früher konnte ein persönliches Telefonat oder eine Videokonferenz als zusätzliche Identitätsprüfung gelten. Heute können Stimme und Erscheinungsbild einer Führungskraft künstlich erzeugt werden.

Hinzu kommen vollkommen neue Angriffsmethoden, betont Meyer, der von 1982 bis 1990 als Polizeibeamter unter anderem auf der Hamburger Davidwache und bei der Rauschgiftfahndung tätig war. Beim sogenannten AI Search Poisoning versuchen Kriminelle beispielsweise, falsche Telefonnummern, Links oder andere Informationen so im Internet zu platzieren, dass KI-Systeme diese übernehmen und Nutzern als vermeintlich vertrauenswürdige Antwort präsentieren.

Auch innerhalb eines Unternehmens kann die KI missbraucht werden. Beschäftigte können Deepfakes erzeugen, vertrauliche Informationen in ungeeignete Systeme eingeben oder die KI für Zwecke verwenden, die Persönlichkeitsrechte, Urheberrechte oder interne Vorgaben verletzen. Deshalb reicht heute ein einmaliger „KI-Führerschein“ für Beschäftigte nicht mehr aus, denn: „Technologie und Risiken entwickeln sich dafür zu schnell.“ Für Meyer ist KI-Management deshalb eine neue Führungsdisziplin, bei der es „nicht darum geht, ständig dem neuesten KI-Modell hinterherzulaufen. Es geht vielmehr darum, eine Organisation zu schaffen, die mit dieser Entwicklung umgehen kann.

Aus Einzelmaßnahmen wird ein Managementsystem

Die Lösung für diese Probleme besteht Meyer zufolge nicht darin, die KI zu verbieten oder jeden KI-generierten Satz durch mehrere Hierarchiestufen freigeben zu lassen. Professionelles KI-Management verfolgt einen anderen Ansatz.

Zunächst muss ein Unternehmen wissen, wo KI in ihm überhaupt eingesetzt wird. Anschließend muss es bewerten, welche Risiken mit den einzelnen Anwendungen verbunden sind. Es braucht Spielregeln für den Einsatz, klar definierte Verantwortlichkeiten und Beschäftigte, die wissen, was sie tun dürfen und was sie kontrollieren müssen. Schließlich muss regelmäßig überprüft werden, ob diese Regeln in der Praxis tatsächlich funktionieren. „Ein Managementsystem ist im Grunde etwas sehr Einfaches: eine Mischung aus Vorgaben und Kontrollen“, schreibt Meyer in seinem Buch.

Beim KI-Management geht es ihm zufolge ausdrücklich nicht darum, ein neues Bürokratiemonster zu schaffen. Ein KI-System, das interne Texte zusammenfasst, benötigt ein anderes Maß an Kontrolle als eine KI, die selbstständig mit Kunden kommuniziert, Bewerber bewertet, medizinische Empfehlungen unterstützt oder Zahlungen auslösen kann. Das Prinzip ist risikobasiert: Je größer die möglichen Auswirkungen, desto stärker müssen Regeln und Kontrollen sein.

Genau darin liegt für Meyer denn auch der Unterschied zwischen einzelnen KI-Regeln und einem KI- Managementsystem. Eine Richtlinie allein verhindert noch keine Panne. Erst wenn Zuständigkeiten, Risiken, Kontrollen, Schulungen und Verbesserungsprozesse ineinandergreifen, entsteht ein System. „Nicht KI entscheidet über den Erfolg von Unternehmen. Sondern die Art, wie sie geführt wird“, lautet eine der zentralen Aussagen seines Buchs.

Für KI-Management gibt es bereits eine internationale Norm

Unternehmen müssen dieses System nicht selbst erfinden, betont Meyer. Mit der ISO/IEC 42001 gibt es laut Aussagen des CEO der DICIS AG, die selbst auch KIZertifizierungen durchführt, bereits einen internationalen Standard für KI-Managementsysteme. Seine Logik ähnelt etablierten Managementsystemen für Qualität oder Informationssicherheit. Die ISO 42001 verlangt unter anderem, den Anwendungsbereich des KI-Managementsystems zu bestimmen, Verantwortlichkeiten festzulegen, Risiken und Chancen zu bewerten, Kompetenzen sicherzustellen, den KI-Einsatz zu kontrollieren und das Managementsystem regelmäßig zu überprüfen und zu verbessern. Hinzu kommen konkrete Maßnahmen rund um KI-Richtlinien, Ressourcen, Folgenabschätzungen, Daten, den Lebenszyklus von KISystemen sowie den Umgang mit externen Beteiligten.

Der Vorteil eines solchen Standards liegt vor allem darin, dass nicht jedes Unternehmen seine eigene Definition von „verantwortungsvollem KI-Einsatz“ entwickeln muss. „ISONormen haben einen entscheidenden Vorteil: Sie sind weltweit anerkannt“, betont Meyer. Ein Kunde muss sich folglich nicht im Detail erklären lassen, nach welcher selbst entwickelten Methode ein Dienstleister seine KI kontrolliert, denn: Es existiert ein gemeinsamer Referenzrahmen.

ISO-42001-Zertifizierung als neues Vertrauenssignal

Meyer, der bereits mehrere Fachbücher zum Themenkomplex KI und Digitalisierung schrieb, versteht sein neues Buch „KI-Management in der Praxis“ denn auch nicht nur als ein Buch über die Risiken künstlicher Intelligenz. Es soll vielmehr auch ein praktischer Leitfaden für Unternehmen sein, die sich nach der ISO 42001 zertifizieren lassen wollen. Eine Zertifizierung ist ihm zufolge vor allem dort interessant, „wo Unternehmen ihren Kunden nicht nur versprechen wollen, KI verantwortungsvoll einzusetzen, sondern dies auch durch eine unabhängige Prüfung nachweisen möchten“. Gerade bei Dienstleistern und Technologieunternehmen kann dieser Nachweis Vertrauen schaffen, denn: Die Kunden müssen nicht selbst prüfen und beurteilen, ob Regeln, Verantwortlichkeiten, Risikobewertungen und Kontrollen tatsächlich vorhanden sind.

Das Zertifikat verspricht jedoch nicht, dass niemals mehr eine KI-Panne auftreten wird, warnt Meyer: „Das wäre unrealistisch.“ Es weist vielmehr nach, dass ein Unternehmen seinen KI-Einsatz systematisch organisiert, Risiken bewertet, Verantwortlichkeiten festgelegt, geeignete Maßnahmen umgesetzt und deren Wirksamkeit überprüft hat. Oder anders formuliert: Eine ISO-42001Zertifizierung bescheinigt nicht, dass die KI eines Unternehmens keine Fehler macht. Sie zeigt vielmehr, dass das Unternehmen das Vermeiden von Fehlern bzw. das Qualitätsmanagement auch beim KI-Einsatz nicht dem Zufall überlässt.

Gastbeitrag von Willy Laux, freier Journalist, primär für Fach- und Branchenmagazine tätig.

Topaktuell