Webinar – „Data, Explored“ Nr. 8 – Ist KI-Governance „ Data Governance “?

Dies ist die Webinar-Reihe „Data Explored“, die von Action veranstaltet wird. Mein Name ist Ole Olsen-Bernoe. Ich bin Chief Evangelist hier bei Action und beleuchte in dieser Webinar-Reihe gemeinsam mit klugen und einflussreichen Gästen die Entwicklung von Daten und KI.

Und mein Gast heute ist Dr. Andrea Isoni, eine langjährige Expertin für Sicherheit und alle Aspekte der Governance rund um Datentechnologie und KI, insbesondere aber für KI. Deshalb bist du mir, Andrea, vor einem Jahr bei einem Gespräch hier in London aufgefallen, und seitdem stehen wir im Austausch.

Ich würde mich freuen, wenn Sie sich, falls es Ihnen nichts ausmacht, noch ein wenig näher vorstellen könnten, bevor wir uns der Frage und dem heutigen Thema zuwenden. Ich werde noch näher darauf eingehen, aber im Grunde handelt es sich um ein ausführliches Gespräch über KI-Governance. Ich habe viele Fragen vorbereitet, und es wird auch Zeit für Fragen und Antworten geben.

Aber um diese Formalitäten kümmere ich mich gleich. Andrea, bitte stell dich doch erst einmal vor. Zunächst einmal hat es mir sehr gefreut, hier zu sein, und vielen Dank, dass du das organisiert hast, Ole.

Ja. Mein Name ist Andrea Isoni. Ich bin nicht besonders gut darin, mich selbst zu beschreiben, aber ich bin eine Akademikerin, die in die Wirtschaft gewechselt ist.

Im Grunde habe ich einen Doktortitel in numerischer Strömungsmechanik und Mathematik, und direkt danach – Entschuldigung, genauer gesagt Ende 2014 – habe ich mich mit dem beschäftigt, was damals neu war. Heute wirkt das schon alt. Es ist seltsam, aber KI wirkt irgendwie alt, oder?

Es ist seltsam, aber KI hat 2014 angefangen. Vielleicht war sie schon ein paar Jahre älter, als es in San Francisco noch solche Dinge gab, aber selbst dort war sie noch nicht allzu alt. Aber ja, seit 2014 beschäftige ich mich ausschließlich mit KI, und zwar aus offensichtlichen Gründen – die wir noch besprechen werden – zunehmend mehr mit KI-Governance, denn wenn man die Nachrichten liest, gibt es definitiv ein Problem hinsichtlich der Sicherheit und des Schutzes von KI.

Das will ich keineswegs leugnen, auch wenn es Gründe gibt, warum bestimmte Unternehmen bestimmte Dinge so darstellen – aber das ist eine andere Geschichte. Ja. Darauf werden wir noch eingehen.

Das ist eine andere Geschichte, wenn du willst, dass ich das sage. Aber ja, seit 2014 mache ich nichts anderes mehr, als selbst KI-Projekte zu leiten oder tatsächlich selbst daran zu arbeiten, okay? Und jetzt konzentriere ich mich zunehmend auf die KI-Governance, denn seit dem Moment, in dem die LLMs die Oberhand gewonnen haben, geht die Zeit zu Ende, in der man ein Modell tatsächlich selbst von Grund auf entwickelt, es aus Daten „ trainieren “ lässt und so weiter und so fort.

Man beschäftigt sich höchstens mit der Feinabstimmung eines Modells. Auf der anderen Seite muss man das Modell jedoch viel stärker absichern und überprüfen. Man widmet sich also weniger dem „ Training “ und mehr der KI-Governance.

Das ist die Veränderung seit 2014, die wesentliche Veränderung, die ich beobachtet habe. Und der Grund, warum ich darauf eingehe, ist, dass wir heute darüber sprechen werden, wie wir unsere Governance definieren können, die von der Data Governance und der Sicherheits-Governance abhängt. Ja, das ist etwas, das sich vom Rest unterscheidet, und wir wollten ja versuchen, diese drei Arten von Governance voneinander abzugrenzen, nicht wahr?

Sicherheit – Auf jeden Fall … Daten und KI. Auf jeden Fall, Andrea.

Bevor wir damit beginnen, möchte ich kurz darauf hinweisen, dass wir noch etwa 40 Minuten Zeit haben. Das Webinar dauert 45 Minuten. Wir werden also etwa eine halbe Stunde lang diskutieren und am Ende eine Frage-und-Antwort-Runde durchführen.

Ich habe mehr Fragen, als ich Zeit habe, sie zu beantworten. Aber bitte, ihr alle, zögert nicht, euch einzubringen. Ich freue mich über alle Fragen, die ihr habt.

Das ist offensichtlich ein neues Thema – zumindest für viele –, aber was mein Interesse geweckt hat, Andrea all diese Fragen zu stellen, ist die Tatsache, dass du dich schon so lange genau mit diesem Thema beschäftigst, dass du eine echte Expertin bist und nicht nur eine „Glücks-Expertin“, die einfach ihren Titel geändert hat und nun über KI spricht. Du verfügst über fundiertes Wissen auf diesem Gebiet. Deshalb wollte ich dir all diese Fragen stellen, die ich vorbereitet habe.

Zunächst einmal sagen Sie – genau wie Sie bereits erwähnt haben –, dass sich die KI-Governance so grundlegend von früheren Governance-Modellen unterscheidet, und ich denke, wir sollten zunächst einige dieser früheren Governance-Modelle betrachten, damit wir verstehen, warum das so ist. Lassen Sie uns also vielleicht das Gespräch mit „ Data Governance “ aufgreifen. Was bedeutet für Sie „ Data Governance “?

Wie ist das entstanden? Und später sprechen wir dann darüber, inwiefern dies mit der KI-Governance zusammenhängt. Was ist „ Data Governance “ an sich?

Ja. „ Data Governance “ umfasst die Richtlinien, Verfahren, Tests und Maßnahmen zur Reaktion auf Vorfälle im Zusammenhang mit der Verwaltung von Rohdaten, damit diese hoffentlich so weit wie möglich zu qualitativ hochwertigen oder gut verwalteten Daten in einer bestimmten Form oder Art werden, richtig? Und natürlich auch die Rückverfolgbarkeit und Standardisierung.

Du bist in all diesen Dingen ein Experte, du brauchst mich definitiv nicht. Aber genau das sollte Data Governance leisten, und es ist die Grundlage für alles, was du darüber hinaus tust. Ja, auf jeden Fall.

Im Grunde genommen wäre also ein weiterer Vorläufer der KI-Governance die Sicherheitsgovernance, und diese Grenzen lassen sich durchaus ziehen. Ich habe intern bei Action darüber diskutiert, ob man das tatsächlich so unterteilen kann. Wir können sie miteinander verbinden, und genau darum geht es: zu verstehen, was was ist und wie alles zusammenwirkt.

Aber im Grunde genommen – nachdem wir nun ein wenig darüber gesprochen oder das Thema „ Data Governance “ näher beleuchtet haben – was ist eigentlich „Security Governance“? Was ist das? Ich erinnere mich, dass dieser Begriff vor mehr als einem Jahrzehnt aufkam.

Na ja, schon. Es ist schon komisch, wie diese Governance-Strukturen, wie du sagst, im Laufe der Zeit entstanden sind. Denn zuerst gab es das Internet, und das bedeutet, dass man Sicherheits-Governance und so weiter braucht, oder?

Und dann hatte man irgendwann die Daten – nur um den historischen Hintergrund zu erläutern und dem Publikum die Situation näherzubringen: Irgendwann haben wir, da die Menschen das Internet nutzten, im Internet Daten generiert, die für Empfehlungsdienste genutzt werden konnten. Das war der Anfang, oder? Buchempfehlungen bei Amazon oder für welches Produkt auch immer, richtig?

Das ist also die Anfangsphase der Datenerfassung für kommerzielle Zwecke. Und wie Sie bereits gefragt haben: Bei der Sicherheits-Governance handelt es sich – leider wieder – um denselben Begriff, aber ich muss ihn wiederholen. Richtlinien, Verfahren, Tests, Reaktion auf Vorfälle, Register oder ähnliche Maßnahmen, die es einem Unternehmen erst einmal ermöglichen, den Überblick darüber zu behalten, wer was nutzt und wer nicht, ob es eine Sicherheitsverletzung gibt usw., wie man die Sicherheitsverletzung behebt und was im Falle einer Sicherheitsverletzung zu tun ist.

Ja, sie ermöglichen es dem Unternehmen, sich zunächst abzusichern, falls etwas passiert … Übrigens passiert natürlich in jedem Fall und bei jeder Unternehmensführung etwas. Die Aufgabe jeder Unternehmensführung besteht nicht darin, zu garantieren, dass nichts passiert, sondern in erster Linie, böswillige Vorfälle so weit wie möglich zu minimieren und die bestmöglichen Abhilfemaßnahmen zu ergreifen, wenn es doch einmal zu Vorfällen kommt.

Genau deshalb gibt es überhaupt eine Unternehmensführung – nur für den Fall, dass jemand glaubt, die Unternehmensführung müsse absolut unfehlbar sein oder so. Das ist nicht der Grund. Tatsächlich ist das unmöglich.

Ja. Es ist ein Trugschluss, so zu denken. Ja.

Aber ja. Bei der Sicherheit geht es darum, die eigene Infrastruktur vor böswilligen Absichten, Handlungen oder Akteuren jeglicher Art zu schützen und zu wissen, was zu tun ist, wenn ein böswilliger Akteur in Ihre Daten, Ihre Unternehmensinfrastruktur oder was auch immer eindringt oder dort etwas Böswilliges anstellt. Ich möchte also noch eine Frage stellen, um den Rahmen für den weiteren Verlauf des Gesprächs richtig zu setzen, und dann gibt es noch eine großartige Frage in der Fragerunde.

Also, nach dieser Frage von Jewel Darlington werde ich fortfahren, und wir werden auf diese Frage zurückkommen, Jewel. Ich möchte hier nur noch eine letzte Frage stellen, um den Rahmen wirklich abzustecken, denn – okay – wir haben über Sicherheits-Governance gesprochen, die nach dem Aufkommen des World Wide Web entstand, sowie über das gesamte Sicherheitsparadigma rund um das Internet und den Datenfluss durch diese offene Struktur, die die Welt zuvor noch nicht gesehen hatte. Dann kam „ Data Governance “, bei dem es eigentlich darum ging, den Zustand der Daten selbst zu steuern – also wie sie durch die Struktur flossen.

Es geht also nicht nur um die Größe der Kabel und der Server und all das, worum es bei der Sicherheit geht, sondern auch um die Daten – um eine gründliche Bewertung der Datenqualität, darum, wer auf was zugreifen darf und so weiter. Und nun befinden wir uns in einem KI-Zeitalter, das durch das Aufkommen großer Sprachmodelle vor drei, vier Jahren vorangetrieben wurde. Und in diesem Zeitalter entsteht ein neues Governance-Paradigma, nämlich die KI-Governance – was für uns heute, vielleicht werden die Menschen in 20 Jahren darüber schmunzeln, aber für uns heute extrem schwer zu verstehen ist: Okay, wie regeln wir eigentlich den Einsatz von KI?

Worin besteht der Unterschied? Was können wir aus den bisherigen Steuerungsmodellen mitnehmen? Wie hängt das alles also zusammen?

Also, Andrea, kannst du uns zunächst einmal einen Überblick darüber geben, was KI-Governance eigentlich ist? Ja.

Also, noch einmal: Ich werde kurz die Definition geben, aber es ist am besten, ein historisches Verständnis dafür zu haben, warum es so schwierig ist – oder zumindest, warum ich es für so schwierig halte –, KI von Daten und KI-Governance von „ Data Governance “ zu trennen und zu sagen: „Ach, aber ‚ Data Governance ‘ ist doch dasselbe, oder?“ Nein, ich erkläre euch, warum – oder zumindest, warum ich das so sehe. Also noch einmal: Die Definition ist dieselbe, oder? Die Gesamtheit aus Richtlinien, Verfahren, Tests und Maßnahmen zur Reaktion auf Vorfälle, wenn ein KI-Modell etwas falsch macht.

Wenn natürlich etwas schiefgeht, gibt es eine Reaktion auf den Vorfall, eine Strategie zur Schadensbegrenzung, einen Weg, die Situation zu lösen, und hoffentlich wird so etwas nicht noch einmal passieren. Im Grunde also eine Rückkopplungsschleife, um die bereits bestehenden Abläufe anzupassen und zu ändern. Wie Sie feststellen, handelt es sich bei allen drei Begriffen um dieselbe Art von Begriff.

Was man in dieser Welt tut, ist zwar anders, aber die Formulierung ist natürlich dieselbe. Ich möchte das nur ganz kurz hinzufügen: Der Grund, warum das so verwirrend ist, liegt darin, dass es – zumindest hat es sich inzwischen ausgezahlt, zu Recht – immer noch im Gedächtnis haften bleibt, dass Daten das Öl sind, dass alles in den Daten steckt, was ja teilweise stimmt, okay? Daten sind absolut wichtig, aber sie sind nicht alles.

Nein. Das ist das Problem. Deshalb kommen die Leute durcheinander.

Sobald man glaubt, Daten seien alles, erkennt man den Wert von KI-Governance nicht mehr, oder? Das ist meiner Meinung nach ein Problem, das schon seit jeher besteht. Wir gehen von der Vorstellung aus, dass Daten alles sind, dass alles aus Daten besteht.

Wenn ich also die Daten richtig aufbereite, ergibt sich alles von selbst. Leider reicht das nicht aus. Das ist ein Problem.

Deshalb glaube ich, dass die Leute Schwierigkeiten haben, das zu verstehen, weil sie aus dieser Denkweise kommen, die lange Zeit in den Medien vermittelt wurde. Ich sage nicht, dass das falsch ist, es reicht einfach nicht aus. Nein, ich werde dir hier ins Wort fallen, denn ich finde tatsächlich – bitte, es ist absolut richtig, was du sagst –, und ich würde es so formulieren, dass es sich um eine datenzentrierte Sichtweise auf die Dinge handelt.

Es ist eine Art Blase, in der sich „ Datenmanagement “-Praktiker und Technologen so sehr auf die Daten selbst konzentrieren, dass sie glauben, diese würden alle technischen Probleme in einem Unternehmen lösen. Und ich denke, wir beschäftigen uns mit Daten, und ich sage das nicht, um irgendwelche „ Datenmanagement “-Prinzipien zu kritisieren. Ja.

Ich glaube einfach nicht, dass wir Daten richtig verwalten, wenn wir diese Sichtweise vertreten. Und Sie sagen nun, dass uns das in Bezug auf die KI-Governance wirklich einschränkt. Genau.

Übrigens gehen wir darauf nicht ein, weil niemand darüber nachdenkt – denn sobald man sich mit den Daten beschäftigt, muss man sie irgendwann auch nutzen. In dem Moment, in dem man sie nutzt, gibt es zwei Möglichkeiten, die Daten zu verwenden, oder? Entweder nutzt sie ein KI-Modell oder ein Mensch.

Nun haben wir zwar noch keine menschliche Regierungsform, aber aufgepasst: Irgendwann wird es auch eine menschliche Regierungsform geben. Okay, das haben wir.

Wie ich mir sicher bin: Man muss wieder einen Prozess, ein Verfahren, einen Vorfall festlegen, damit der Mensch erkennt, dass etwas mit den Daten oder dem KI-Modell nicht stimmt oder dass er etwas falsch macht – nennen wir es menschliche Kontrolle. Aber es würde mich nicht überraschen, wenn wir irgendwann auch dahin kommen. Doch heute befinden wir uns ganz sicher noch in der Anfangsphase der Erkenntnis, dass wir etwas haben, das die Daten nutzt, okay?

Und diese neue Sache kann irgendwie, irgendwo von selbst schiefgehen. Das ist der Punkt. Sie kann von selbst schiefgehen.

Deshalb braucht man eine Reihe von Vorgehensweisen oder, um es noch einmal zu sagen, Richtlinien für die Reaktion auf Vorfälle, um sicherzustellen, dass nichts schiefgeht oder zumindest so wenig wie möglich schiefgeht, oder? Mm-hmm. Ich weiß nicht, wie man das einfacher ausdrücken könnte.

Was auch immer mit den Daten interagiert und dieses Ding interagiert – also etwas tut –, dieses Ding muss irgendwann irgendwie reguliert werden. Ja. Wenn dieses Ding eine KI ist, wird es eine KI-Regulierung geben.

Das klingt zwar hässlich, aber dieses Ding ist ein Mensch, also ist es kein Ding, sondern ein echter Mensch. Irgendwann im Laufe des heutigen Tages werden wir auch die entsprechenden Vorschriften haben. Übrigens, die DSGVO kennen wir doch schon, oder?

Die DSGVO ist die „ Nutzer “ des Menschen, der Daten. Ja. Wenn man es so betrachten will, handelt es sich um eine „Human Governance“, oder?

Die DSGVO ist eine Frage der menschlichen Verantwortung. Ganz genau. Sobald man die Daten hat, gibt es einen Weg, das hoffentlich zu klären.

Ich denke außerdem, dass es ziemlich wichtig ist, sich vor Augen zu halten, dass es bei der KI – wie Sie ganz richtig angemerkt haben – nicht nur um die von der KI verwendeten Daten geht. Ja. Es geht um den Mechanismus selbst.

Es geht also eher um die Verwaltung einer Anwendung. Es gibt Versionen, es gibt Integrationen, es gibt viele Dinge, die nichts mit Daten zu tun haben. Und daher denke ich, dass wir im Grunde genommen einige Fragen haben.

Anstatt also selbst Fragen zu stellen, werde ich die Fragen der Teilnehmer vorlesen. Ich finde, das ist viel besser. Also zuerst Jewels Frage.

Das wird eine lange Geschichte, also hab noch etwas Geduld, Andrea. Also gut. Wie sollten Unternehmen auf Führungsebene festlegen, wo die Verantwortung liegt, wenn die Daten ordnungsgemäß verwaltet werden und die Sicherheitskontrollen wie vorgesehen funktionieren, das KI-System aber dennoch eine unzulässige oder erheblich schädliche Handlung ausführt?

Soll ich das noch einmal vorlesen? Okay. Also „ Data Governance “ – bevor Sie es lesen: Falls Sie es genauer wissen möchten: Er spricht von einem unterschiedlichen Reifegrad zwischen der KI-Governance, die bereits im Gange ist – es läuft also schon etwas schief –, und einem etablierten Reifegrad bei der Sicherheitsdaten-Governance.

Aber ich frage ihn persönlich, falls er seine Frage noch genauer formulieren kann – bitte lies sie aber noch einmal durch, für den Fall, dass er das vielleicht schon getan hat. Ich finde, die Frage trifft den Nagel auf den Kopf, oder? Denn damit wird eigentlich gesagt: „ Data Governance “ funktioniert, und die Sicherheits-Governance bzw. die Sicherheitskontrollen funktionieren wie vorgesehen.

Diese Elemente, diese Governance-Regeln, funktionieren also. Aber ein KI-System führt dennoch eine unzulässige oder erheblich schädliche Handlung aus. Was sollten die Führungskräfte tun?

Wem sollte die Verantwortung für solche unbeabsichtigten Handlungen von KI-Lösungen zugeschrieben werden, wenn „ Data Governance “ und die Sicherheitsmaßnahmen funktionieren? Zunächst einmal werden wir uns in dieser Diskussion gewissermaßen im Kreis drehen. Bitte haben Sie etwas Geduld mit uns – das liegt in der Natur der Sache.

Was ich damit sagen will: Wenn man den Artikel liest, geht er – genau in der Frage, die du mir stellst – davon aus, dass er bereits weiß, dass der Fehler bei der KI liegt. Okay? Wenn er das weiß, dann also im Grunde genommen anhand einer Ausgabe – er hat also die Ausgabe, die Ausgabe ist falsch, und er hat bereits festgestellt: Okay, die Daten sind nicht …

Wenn ich von den Daten spreche, meine ich nicht die Daten an sich, denn die werden separat geprüft. Es geht um die konkreten Daten, die in das jeweilige Modell eingespeist wurden – sie erhalten die Ausgabe, es ist nicht so, dass wir die Daten separat haben, nur um das klarzustellen, denn sonst… Und die Sicherheit bzw. die spezifische Lösung, die er verwendet, usw., wurden bereits geprüft, und es gibt dort nichts zu beanstanden.

Das bedeutet, dass das Problem entweder in der „ Training “ des Modells oder in der Feinabstimmung des Modells liegt, oder in der Art und Weise, wie die Daten – die ja bereits klar und von guter Qualität sind – irgendwie vom Modell verarbeitet werden, oder in der Pipeline, Datenpipeline wie zuvor, was auch immer das sein mag – dort liegt das Problem. Okay? Okay, du meinst also, dass die Führungskräfte in dieser konkreten Situation die Architektur rund um die Agentenarchitektur oder das betreffende Modell untersuchen sollten und dass das Problem in diesen Elementen liegt und nicht in den eingespeisten Daten oder in der Sicherheit.

Richtig. Genau. Aber das ergibt sich doch nur durch Ausschluss, oder?

Aber das geht doch schon aus der Frage hervor, oder? Es handelt sich im Grunde um einen Ausschlussprozess. Ich habe bereits überprüft, ob die Daten von dem jeweiligen Modell verarbeitet wurden.

Das ist es nicht. Dann muss es also per Ausschlussprinzip das hier sein. Okay?

Und die Frage lautet, nur um das klarzustellen: Auf welcher Ebene, was hat er gesagt? Auf welcher Führungsebene sollte die Verantwortung liegen, so etwas in der Art, richtig? Ja.

Wo sollte die Verantwortung im Grunde genommen liegen? Okay. Auf allen Ebenen.

Wenn ihr euch daran erinnert, dass ich von den Definitionen von „Richtlinie“, „Verfahren“, „Prüfung“ und „Vorfall“ gesprochen habe, dann meine ich damit alle Ebenen. Es gibt also eine Richtliniebene, und es gibt bestimmte Personen. Okay?

Dann gibt es noch die Verfahrensebene. „Verfahren“ bedeutet, dass ich über eine Methode verfüge, um das Modell zu „ trainieren “ und die „ Training “ des Modells zu testen, und dass ich die Vorgehensweise für den Test strukturiere. Ich bin möglicherweise nicht die Person, die den Knopf drückt, um den Test durchzuführen, und das ist die Testebene.

Die Leute, die tatsächlich jede Woche, jeden Monat – je nachdem – den Knopf am Computer drücken oder das Skript „ Python “ für die Tests schreiben. Ja. Und dann führen sie es aus und erstellen anschließend einen Bericht unter Aufzeichnung .

Heute, am 22. September, in deinem Fall um 17:22 Uhr, habe ich es bei Aufzeichnung eingegeben, und das war das Ergebnis. Und das ist schon eine ganz andere Ebene. Aber diese Person trägt die Verantwortung dafür, dass die Tests korrekt durchgeführt werden.

Wenn etwas schiefgeht, ist er dafür verantwortlich, zu melden, dass dieser Test nicht stattgefunden hat. Ist dies nicht der Fall, löst entweder ein Vorfallmanagement oder etwas Ähnliches aus, oder – wenn es sich um einen geringfügigen Vorfall handelt – wird eine Überprüfung der Einhaltung der Richtlinien und Verfahren eine Woche später eingeleitet, da es sich um ein geringfügiges Ereignis handelt. Okay?

Aber das gibt es auf allen Ebenen. Es gibt – ja … eine Person, die innerhalb der Unternehmensführung für eine bestimmte Aufgabe zuständig ist.

So wie man es bei „ Data Governance “ machen würde, würde man meiner Meinung nach auch im Bereich der Sicherheits-Governance genau dasselbe tun. Ja, das würden wir. Das hängt alles irgendwie zusammen, weshalb es so wichtig ist, dass diese Teams zusammenarbeiten.

Das ist eine andere Geschichte, aber oft ist das nicht der Fall. Wir haben noch zwei weitere Fragen im Chat, und ich finde, sie sind alle ziemlich gut, deshalb möchte ich sie jetzt stellen. Die nächste Frage kommt von – ja – jemandem, der seinen Namen nicht nennen möchte.

Das ist in Ordnung. Die Frage ist ganz einfach: Ist KI-Governance letztendlich eine Verbindung zwischen „ Data Governance “ und Sicherheits-Governance? Wenn Sie möchten, können Sie das gerne näher erläutern, aber auf den ersten Blick lautet Ihre Antwort „nein“.

Denn letztendlich geht es bei dem, was Sie versuchen, um etwas, das davon unabhängig und nicht damit verknüpft ist. Verstanden. Denn wenn es bereits damit verknüpft wäre, würden Sie übrigens auch die Governance untergraben, da Sie sich damit selbst beurteilen würden.

Stimmt. Das ist zwar ein kleiner Exkurs, aber nicht allzu sehr. Deshalb bin ich manchmal nicht so begeistert, wenn jemand aus dem Publikum, der sich ein bisschen mit technischen Details auskennt, sich selbst als Richter beim LLM sieht – diese Art von Mentalität.

Das Problem bei der Ausübung der Governance ist, dass dann der LLM sich selbst beurteilt; man gerät in einen Kreislauf und untergräbt damit gewissermaßen die Unabhängigkeit. Man muss also vorsichtig sein. Wenn man also von einer „Ehe“ spricht, besteht das Problem darin, dass Unabhängigkeit erforderlich ist.

Richtig. Andernfalls besteht die Gefahr von Interessenkonflikten innerhalb der Organisation, innerhalb der verschiedenen Gremien usw., und das kann den eigentlichen Zweck einer Governance untergraben, die eine gewisse Unabhängigkeit aufweisen sollte. Okay?

Aber bitte, falls ich das nicht richtig verstanden habe, klären Sie es bitte. Das Wichtigste ist jedoch zu verstehen, dass KI-Governance eine Reihe von Richtlinien, Verfahren, Tests, Maßnahmen zur Reaktion auf Vorfälle usw. umfasst, um festzustellen, ob ein Modell korrekt trainiert wurde und ob die Feinabstimmung korrekt war. Ob die Ausgabe einem bestimmten Layout folgt, ob Sie spezifizieren...

Entschuldigung, wenn Sie bei der Feinabstimmung oder den darin enthaltenen Fähigkeiten – was auch immer das sein mag – ein bestimmtes Layout für die Antwort vorgeben, wird dieses dann eingehalten? Weicht es manchmal davon ab? Warum?

Warum nicht? Und wenn es vom Layout abweicht – was wirst du dann tun, um das Problem auf einfachste Weise zu lösen? Liegt es an der „ Training “?

Liegt es daran, dass – wenn die Datenaufnahme anders als zuvor war – wir die Daten dann eben strukturieren müssen? Aber wenn es nur daran lag, dass die Feinabstimmung in dieser bestimmten Version schiefgelaufen ist, dann ist das ein KI-Problem. Oder?

Ja. Oder du hast vielleicht etwas geändert, oder es ist einfach so, wie wir es nutzen – wie heißt es jetzt noch mal? Fable 5.0, und dann ist es 5.1. Sobald man die API wechselt, ändert sich etwas daran, und deshalb ist das Modell einfach ein bisschen aus der Bahn geraten.

Das hat doch nichts mit KI-Governance zu tun, oder? Es liegt einfach nur daran, dass du die API ein wenig geändert hast. Eine Kleinigkeit.

Das fällt unter den Bereich der KI-Governance. Ja. Ich nenne dir mal das einfachste Beispiel, um das zu verdeutlichen.

Das hat nichts mit den Daten zu tun. Wenn man die API ein wenig ändert, hat das nichts mit den Daten zu tun. Man ändert das einfach ein wenig, und aus diesem Grund muss es ein wenig angepasst werden.

Ja, auf jeden Fall. Nein, ich hoffe, dass das auch für die Zuhörer klar ist. Im Chat gibt es eine dritte Frage, die ich gerne stellen möchte.

Das stammt von Mihir Mohanty, und die Frage lautet: Was Sie da beschreiben, klingt nach Ressourcen-Governance – also nach Zugriff, Fähigkeiten, Kontrolle und so weiter. Wie sieht es mit der absichtsbasierten Governance für die KI als Ganzes aus, wenn wir versuchen, einen Unternehmensprozess zu implementieren? Nun müssen wir uns mit verschiedenen technischen Details befassen, und dazu gibt es ganze Workshops, aber es gibt verschiedene Wege, das umzusetzen, was Sie als „Absicht“ oder „Sicherheit“ bezeichnen.

Ich kann Ihnen einen Überblick über zwei Hauptansätze geben, die ich in der Praxis verwende, beispielsweise im Verteidigungsbereich oder bei bestimmten Finanzinstituten. Um Ihnen einen Eindruck zu vermitteln, gehe ich etwas näher auf die jeweiligen Ziele ein, möchte Ihnen aber vor allem einen Einblick in die verschiedenen Ansätze geben, die Sie nutzen können. Ein Ansatz ist beispielsweise die Kombination aus Auswirkung und Wahrscheinlichkeit.

Was ich damit meine: Egal, welche KI-Lösung du hast, ja – einfach nur die KI. Also, ob du nun „feinabstimmen “ oder was auch immer nutzt oder einfach nur die API, du hast eine Pipeline aus Agent und Daten aufgebaut. Entschuldigung, Agent mit den Daten, aber die Daten sind ja an sich schon vorhanden, oder?

Das nimmst du einfach so hin. Du hast also eine Struktur und eine agentenbasierte Lösung mit verschiedenen Agenten, die das tun, was auch immer, okay? Du hast zwei Möglichkeiten, die KI-Governance zu gestalten.

Daten sind das Produkt aus Auswirkung und Wahrscheinlichkeit. Man definiert also zunächst eine Risikobewertung der Lösung. Um es einfach zu halten: Nehmen wir einen Kundenservice-Chat als Beispiel – das Risiko besteht darin, dass man den Kunden beleidigen könnte.

Etwas Einfaches. Ja. Nur um eine Vorstellung zu vermitteln.

Du wirst also die Auswirkungen bewerten, okay? Und bei den Stufen eins bis fünf musst du das übrigens manuell machen – es gibt keinen anderen Weg. Es gibt einen Menschen, der die Verantwortung für die Beurteilung übernimmt.

Und die Auswirkung ist: Okay, wir könnten den Kunden verlieren. Du bewertest die Auswirkung mit drei. Die Wahrscheinlichkeit, dass das passiert, vielleicht vier, weil ich es nicht weiß.

Es können auch zwei sein. Das hängt übrigens von der jeweiligen Situation ab. Ich sage nicht, dass es bei einem Kunden unbedingt drei oder unbedingt vier sein müssen Chatbot.

Das sage ich gar nicht. Denn es gibt jemanden, der das tatsächlich bewertet. Was habe ich auf der Grundlage dieser Risikoanalyse gesagt?

Die Wahrscheinlichkeit liegt bei vier und die Auswirkung bei drei. Auf dieser Grundlage legen Sie die Tests fest. Okay?

Da es sehr häufig vorkommt, brauchen wir zum Beispiel häufigere Tests. Da die Auswirkungen jedoch gering sind, wollen wir weniger Tests. Wären die Auswirkungen sehr hoch, würde man viele Tests durchführen wollen, um die Robustheit des Modells zu prüfen – Ja …

Wir haben genau dieselben Daten getestet, aber die Auswirkungen waren gering. Wir wollen jedoch häufige Tests, da so etwas oft vorkommt. Sie sehen, warum das ein Ansatz ist.

Ja. Andrea – Der andere Ansatz ist aus Sicherheitsgründen völlig anders. Ja.

Zum Beispiel Kernreaktoren oder kerntechnische Anlagen, wann immer … Das geht übrigens über das Thema KI hinaus, kann aber mit KI-Themen zusammenhängen. Ich möchte nicht ins Detail gehen, aber sie berücksichtigen die Wahrscheinlichkeit eines Aufpralls nicht.

Sie nutzen etwas, das als „Sicherheitseigenschaft“ bezeichnet wird. Sie verfügen also wiederum über ein KI-System und definieren entsprechende – sie wollen die Robustheit und die Anfälligkeit für Angriffe überprüfen. Sie haben dies und versuchen dann, die Tests für jede Eigenschaft zu maximieren.

Also gut, wie kann ich die Anfälligkeit dieses konkreten Modells testen? Sie überlegen sich, diese Robustheit zu testen. Und das tun sie dann auch.

Das ist ein anderer Ansatz, aber er betrachtet die Sache aus einem anderen Blickwinkel. In einem Kernkraftwerk oder einem Kraftwerk – oder so etwas in der Art – muss man sich besonders stark auf die Eigenschaften des Modells und die Sicherheitsmerkmale konzentrieren. Oder?

Mhm. Das war eher kommerziell. Es ist also sehr lang und sehr komplex.

Aber ich habe das alles nur in wenigen Minuten ausprobiert, um euch einen breiteren Überblick über die verschiedenen Ansätze zu geben, die ihr bei dieser – ja … dieser Governance – verfolgen könntet. Und hoffentlich seht ihr, dass es dabei noch gar nicht um die Daten geht.

Ich spreche von dem Ansatz, wie man es so nennt, der Absicht des Modells, das irgendwie zu überprüfen. Absolut. Nein, ich verstehe dich.

Die Fragen sind einfach – es ist wirklich schön zu sehen, dass sie in einer solchen Geschwindigkeit hereinströmen, dass ich mir nicht sicher bin, ob wir alle beantworten können, einschließlich der Fragen, die ich noch offen habe. Das ist also großartig, aber ich möchte weitermachen. Ich werde eine Frage in der Warteschlange überspringen und später darauf zurückkommen, denn ich glaube, Sie waren gerade dabei, Mihais Frage zu beantworten, und es gibt noch eine Anschlussfrage.

Mihai fragt: „Du hast also drei Aspekte der KI-Governance erwähnt. Wir haben zwei: Daten und Sicherheit. Was ist der dritte?“ Das Modell, würde ich sagen – man könnte es so nennen, etwa die agentische Architektur.

Ja. Würdest du es als Modell bezeichnen? Du kannst es so nennen.

Auf jeden Fall. Letztendlich ist ein Model doch nur eine Person. Es ist – ja …

Das klingt jetzt vielleicht etwas hart, ich weiß, aber ein Modell ist, grob gesagt, ein Akteur, oder? Ja. Der Grund, warum man vorher nie von „agentisch“ gesprochen hat, ist, dass es letztendlich doch nur ein Modell war, das etwas tat, oder?

Ein Modell interagierte bisher kaum damit. Wir sind nun an einem Punkt angelangt, an dem ein anderes Modell interagieren und andere Aufgaben übernehmen kann. Deshalb haben wir diesen neuen Begriff geprägt: „agentisch“.

Aber vorher – ja … wir waren im Grunde genommen jahrelang der einzige Vertreter. Ja.

Aber – Das ist also wohl die Antwort. Es gibt Daten im Modell, es gibt Sicherheit, und dann gibt es das Modell selbst. Ja.

Oder die agentenbasierte Architektur, die mehrere Agenten kombiniert – ja … und auf der Grundlage verschiedener Modelle arbeitet. Daten.

Ja. Vorhin hat der anonyme Teilnehmer eine Frage gestellt, und ich habe den Eindruck, dass dies eine Folgefrage ist – oder vielleicht ist es auch eine neue Frage. Aber wenn von „Information Governance“ die Rede ist: Handelt es sich dabei um einen dynamischen Oberbegriff, der mittlerweile auch Records Management, Data Governance und AI Governance umfasst?

Ich weiß nicht, ob dir dieser Begriff schon einmal begegnet ist, Andrea. Ich persönlich finde, dass er ein wenig am Rande des Themas liegt. Sag das noch einmal.

Wenn also von Informations-Governance die Rede ist – okay … handelt es sich dabei um einen dynamischen Oberbegriff, der mittlerweile auch Records Management, Daten-Governance und KI-Governance umfasst? Ja, sehen Sie, „Information“ – zum Beispiel in der ISO – der eigentliche Begriff für den Sicherheitsbereich lautet „Informationssicherheits-Governance“.

Es handelt sich also um einen eher allgemeinen Begriff. Zum Beispiel geht es bei ISO 27001, wenn ich mich nicht irre, um Informationssicherheit und nicht nur um Sicherheitsaspekte im engeren Sinne. Ja.

Das ist zwar ein etwas unpassender Begriff, aber ich wollte noch einmal auf die vorherige Frage zurückkommen, in der es um „Daten im Modell“ ging. Beim Training des Modells kann man natürlich KI-Governance nur für die „ Training “ anwenden, aber der Großteil der heutigen KI-Governance dient nicht dazu, den „ Training “ des Modells zu steuern, sondern dazu, trainieren … Entschuldigung, es geht darum, das Modell zu steuern, wenn es „live“ ist.

Die Ergänzung durch „it“. Ja, auf jeden Fall. Das ist die Zukunft.

Wenn es live ist, nicht wenn es unter Training läuft. Normalerweise kümmert man sich nicht um KI-Governance, wenn es unter Training läuft, okay? Das wollte ich nur kurz klarstellen.

Wenn Sie also von den Daten im Modell sprechen, ist das bereits das, was Sie in einer Governance-Situation interessiert. Wenn das Modell live ist, also Kunden oder Ähnliches bedient, besteht ein Risiko. Wenn Sie das Modell „ Training “ betreiben, wo liegt dann das Risiko?

Sie befinden sich innerhalb Ihres Unternehmens. Das ist ein Kostenfaktor ohne Nutzen, nicht wahr? Wenn dieses Modell bereits trainiert ist und dann für Kunden eingesetzt wird, besteht ein gewisses Risiko, weshalb es eine Governance gibt.

Nur um das klarzustellen: In einer „ Training “-Phase betreibt man keine Governance. Ja. Nein, das ist ein wichtiger Punkt, oder?

Denn letztendlich muss sich Unternehmensführung aus finanzieller Sicht rechtfertigen lassen. Richtig. Und genau dann, wenn es zu Wechselwirkungen kommt – besteht ein gewisses Risiko.

Ja, in einem Kontext, in dem tatsächlich ein Risiko besteht, oder? Wir haben auch eine Frage von Romain Alemo. Ich hoffe, ich spreche den Namen richtig aus.

Und die Frage lautet: „Was empfehlen Sie, um KI unternehmensweit zu etablieren und zu vermeiden, dass sie nur ein Thema für Mitarbeiter der Datenabteilung bleibt? Wie lassen sich KI-Anwendungsfälle fördern, die einfach der data-driven n Problemlösung dienen, auch außerhalb der Kreise der datenversierten Mitarbeiter?“ Wie lässt sich also KI unternehmensweit etablieren, damit sie nicht nur in dem verbleibt, was ich zuvor als „Datenblase“ bezeichnet habe, könnte man wohl sagen. Ist das verständlich?

Die Frage ist, ob Sie … Vielleicht kann ich es so umformulieren. Ja, bitte.

Siehst du unter deinen Kunden, Andrea, viele Projekte – sei es im Bereich KI-Governance oder KI-Projekte insgesamt –, die in Datenteams verankert sind, oder sind diese Projekte eher in den direkten Fachabteilungen oder – ja … Teams verankert? Nein, es ist die zweite Variante.

Das ist schon irgendwie so … Zugegeben, es ist nicht ganz der Punkt, aber lassen wir das mal beiseite – denn ich habe die Erfahrung gemacht, dass zumindest die Kunden, mit denen ich im Laufe der Jahre zu tun hatte, und das gilt heute erst recht, eine Rendite erwarten. Das bedeutet also, dass sie bereits über eine Lösung nachdenken, die irgendwie eine Rendite oder welche Kennzahl auch immer man zugrunde legen möchte, generiert. Daher – sofern das nicht schon ein paar Mal passiert ist – besteht die Lösung darin, die Datenspeicherung oder Ähnliches effizienter zu gestalten.

Aber das ist doch ein Sonderfall, oder? Man muss die Daten auf irgendeine effiziente Art und Weise verarbeiten. Abgesehen davon ist es jedoch eher eine wirtschaftliche als eine technische Frage.

Mhm. Ja.

Das ist wirklich wunderbar, muss ich sagen, denn – ja … es gibt nichts Schlimmeres, als an Projekten mitzuarbeiten, bei denen man spürt, dass sie nur von technischer Neugier angetrieben werden. Die muss natürlich vorhanden sein, aber es ist eine wahre Freude, an technischen Projekten mitzuwirken, die tatsächlich etwas bewirken.

Okay. Es gibt eine Antwort eines anonymen Teilnehmers, wonach Governance in jeder Phase des Lebenszyklus eines KI-Systems angewendet werden muss – das heißt, man braucht Governance bereits während der Modell Training , um sicherzustellen, dass man beispielsweise bei voreingenommenen Daten auf Training bleibt. Wie sehen Sie das?

Verzerrte Daten sind per Definition Data Governance. Per Definition, oder? Das hat nichts mit… – Ja…

Nein, nein, nein. Also – Per Definition gilt doch: Wenn die Daten eine Verzerrung aufweisen, geht das darüber hinaus, oder? Ich meine, über die Algorithmen hinaus.

Ja. Diese Unterscheidung gefällt mir. Du sagst also eigentlich nicht, dass die Person, die diese Frage stellt, Unrecht hat, sondern es ist einfach etwas, das man vor der Training -Phase des Modells erwarten muss: dass eine Data-Governance-Maßnahme diese Verzerrung tatsächlich beseitigt hat.

Oder vielleicht handelt es sich um einen Grenzfall. Sicher. Okay, wir führen ein „ trainieren “ der Lösung durch, stellen fest, dass die Ausgabe eine Verzerrung aufweist, und dann können wir – oder sollten wir – verstehen: Okay, liegt die Verzerrung daran, dass die Daten bereits verzerrt waren, und dann haben wir es wieder mit einem Problem der „ Data Governance “ zu tun.

Oder aus welchem Grund auch immer – als wir die „ Training “ gemacht haben, haben wir eine weitere Verzerrung eingebaut. Mm-hmm. Klar.

Aber noch einmal: Wenn man sieht, dass es dasselbe ist, geht es zunächst um das Ergebnis, und erst anhand des Ergebnisses versucht man dann zu verstehen, woher es stammt. Aber sehen Sie, was Voreingenommenheit angeht, ist das sehr schwierig. Nun ja, alles ist möglich – wer weiß?

Aber wenn ich raten müsste, würde ich sagen, meistens liegt es an Data Governance. Das heißt nicht, dass ich den Datenleuten die Schuld geben will – das nicht –, aber meistens liegt es an den Daten. Ja.

Nein, ich denke, als Datenexperte übernehme ich gerne die Verantwortung dafür. Ich halte deine Unterscheidung insofern für richtig, als man das Problem dort angehen muss, wo es gelöst werden kann, oder? Ja.

Und ein KI-Governance-Team kann nicht wirklich „ Data Governance “-Arbeit außerhalb eines „ Data Governance “-Kontexts leisten, denn dann könnte es die eigentliche manuelle Arbeit übernehmen oder – wenn es klug ist – einen Agenten einsetzen, um diese Voreingenommenheit zu beseitigen. Aber dafür wäre eine Abstimmung mit dem „ Data Governance “-Team erforderlich, oder?

Klar. Eigentlich, anonymer Gast, eine tolle Frage. Vielen Dank.

Mihir hat ebenfalls eine Frage, und ich denke, wir werden die Fragerunde mit Mihirs Frage abschließen, da ich mit einer letzten Frage zum Ende kommen werde – und dann ist die Zeit tatsächlich um. Wir haben nur noch vier Minuten. Das ging extrem schnell, und ich sehe, dass die überwiegende Mehrheit der Teilnehmer darauf hinweist, dass noch eine letzte Frage ansteht.

Das war eine ganze Menge. Mal sehen, ob wir das alles durchgehen können. Mihir fragt: „Traditionelle Überwachung ist meist reaktiv, protokollbasiert oder stützt sich auf bestimmte Ausgabedaten.“

Im Falle der KI ist das zu spät. Wie lässt sich das kontinuierlich umsetzen, sodass man von Echtzeit-Governance sprechen kann – wie geht das? Denn die Entwicklung schreitet so schnell voran.

Ja. Auch hier gilt: Im Allgemeinen ist Governance doch eher reaktiv, oder? Man reagiert auf einen Vorfall und lernt daraus.

Noch einmal: Die Denkweise in der Regierungsführung lautet nicht, dass wir immer zu 100 % sicher sein oder keine Fehler machen dürfen. Das ist nicht die Denkweise. Deshalb möchte ich zunächst einmal ein wenig von dieser Denkweise Abstand nehmen.

Das stimmt so nicht. Zu glauben, dass alles in Ordnung sein sollte, sobald man die richtige Unternehmensführung umsetzt – das ist nicht der Grund, warum man das tut. Man tut es einfach, weil man Fehler minimieren und daraus schnell und so schnell wie möglich lernen will.

Klar. Das ist das Erste. Ich werde mich, entschuldigen Sie bitte, kurz fassen.

Nun, wie ich bereits in einer anderen Antwort kurz erwähnt habe: Ich beziehe mich auf Dinge, mit denen wir experimentiert haben oder die ich beobachtet habe, etwa so etwas wie ein LLM als Richter. Wenn man ein anderes LLM oder eine andere KI damit beauftragt, die andere KI zu überprüfen, kann das natürlich in Echtzeit geschehen, oder? Denn es gibt niemanden, der das tatsächlich überprüft, und daher kann es so schnell ablaufen, wie man möchte, da es sich um eine API handelt, die eine andere API überprüft, und so weiter.

Ich sehe darin ein gewisses Risiko. Übrigens: Je öfter man das alles macht, desto größer wird das Sicherheitsrisiko, oder? Denn man muss nicht nur die ursprüngliche API absichern, sondern jetzt auch noch eine weitere API, die die erste bewertet.

In gewisser Weise ist die Decke also immer zu kurz. In gewisser Weise rutscht man irgendwann in der Decke hin und her. Es gibt sicherlich Möglichkeiten, bestimmte Tests zu automatisieren und so weiter, aber je mehr man das automatisiert, desto anfälliger ist man für verschiedene Cyberangriffe.

Ja. Du wirst sicher sagen: „Oh, jetzt gibt es in Echtzeit eine bessere KI-Governance.“ Ja, aber beim Thema Sicherheit ist es schlechter geworden. Ja.

Also ja, du schiebst die Decke beiseite. Ja. Mm-hmm.

Ja. Sei also vorsichtig mit solchen Dingen oder einer solchen Einstellung. Okay?

Ja. Genau. Das ist eine tolle Sichtweise.

Und ich werde meine eigene letzte Frage überspringen und die letzte Frage, die wir im Chat von Mark Doherty erhalten haben, zusammenfassen. Im Grunde werde ich sie auf folgende Frage reduzieren: Glauben Sie, dass Governance-Aktivitäten insgesamt – Data Governance, Sicherheit und nun auch KI – durch ein einziges Dokument mit dem Titel „ Lager “ erfasst werden können, das die Aktivitäten dieser Governance dokumentiert? Was meinen Sie damit?

„Single- Lager “ – was ist damit gemeint? Der Nachweis, dass die Governance durchgeführt wurde. Meinst du die Register?

Ja. Also das Protokoll der Tests. Ja, genau.

Ja. Tatsächlich, ja. Das trifft es genau.

Was ich damit meine: Wenn ich einen Workshop durchführe – zum Beispiel einen Workshop zum Thema KI-Governance –, gebe ich euch am Ende des Tages normalerweise eine Faustregel oder einen Tipp, einen kurzen Hinweis, den ihr schon morgen umsetzen könnt. Einer der Punkte, die ich dabei anspreche, ist genau dieser: Da es sich bei dem Skript „ Python “ um ein Skript handelt, das tatsächlich Tests zur KI-Governance durchführt, ist es in vielen Situationen sehr sinnvoll, dieses „ Python “-Skript mit dem Sicherheitstest-Skript oder gegebenenfalls dem „ Python “-Skript zu kombinieren.

Das kann also dieselbe Person tun, und daher kann sie alles darin „ Aufzeichnung “ einbinden. Nun, das ist eine Faustregel. Ich sage nicht, dass jede Situation so sein sollte – nur um das klarzustellen –, denn es gibt immer Sonderfälle oder sogar mehr als nur Sonderfälle.

Aber sehen Sie, in vielen Situationen ist es auf jeden Fall kosteneffizient und sinnvoll, viele verschiedene Skripte, Testdaten oder Sicherheitsdaten usw. zu kombinieren. Sicher. Vielen Dank, Andrea.

Es gibt jedoch nicht für alles einen Vorbehalt.

Nur eine Faustregel. Ja. Nur zur Klarstellung.

Ja. Danke. Ich glaube, das ist ein wichtiges Detail, das man wissen sollte.

Da wir die Zeit überschritten haben, möchte ich mich bei dir, Andrea, dafür bedanken, dass du bei „Data Explored“, einer Webinar-Reihe von Action, dabei warst. Vielen Dank an alle, die teilgenommen und so tolle Fragen gestellt haben. Bitte schickt uns weiterhin eure Fragen.

Sie können sich über LinkedIn, Substack und eine Vielzahl weiterer „ social media “, auf denen wir alle vertreten sind, an uns oder an Andrea wenden. Bleiben Sie also bitte in Kontakt. Vielen Dank für Ihre Zeit.

Vielen Dank, Andrea, dass du heute bei mir bist. Vielen Dank. Vielen Dank für die Einladung.