Webinaire – « Data, Explored » n° 8 – L’IA est-elle « gouvernance » ou « Data gouvernance » ?

Voici la série de webinaires « Data Explored », organisée par Action. Je m’appelle Ole Olsen-Bernoe. Je suis évangéliste en chef chez Action, et j’explore, dans cette série de webinaires, l’évolution des données et de l’IA, en compagnie d’invités perspicaces et influents.

Et mon invitée aujourd’hui est le Dr Andrea Isoni, une experte de longue date en matière de sécurité, plus particulièrement dans tout ce qui touche à l gouvernance , aux technologies des données et à l’IA, mais surtout à l’IA. C’est d’ailleurs pour cette raison que tu as retenu mon attention, Andrea, lors d’une conversation que nous avons eue en personne ici à Londres il y a un an, et depuis lors, nous avons commencé à échanger.

J'aimerais, si cela ne vous dérange pas, que vous vous présentiez un peu plus en détail avant que nous abordions la question et le sujet qui nous occupe aujourd'hui. Je vais vous en dire un peu plus, mais en gros, il s'agit d'une discussion approfondie sur l'IA gouvernance. J'ai préparé de nombreuses questions, et nous aurons également du temps pour une séance de questions-réponses.

Mais je m'occuperai de ces formalités dans une minute. Andrea, je t'invite à te présenter. Tout d'abord, c'est un plaisir d'être ici, et merci d'avoir organisé cela, Ole.

Oui. Je m'appelle Andrea Isoni. Je ne suis pas très douée pour ce genre de présentations, mais je suis une universitaire qui s'est reconvertie dans le monde des affaires.

En gros, j’ai un doctorat en dynamique des fluides computationnelle, en maths, et juste après ça, excusez-moi, à la fin de l’année 2014, je me suis lancé dans ce qui était tout nouveau à l’époque. Ça semble dépassé aujourd’hui. C’est bizarre, mais l’IA semble déjà dépassée, non ?

C'est bizarre, mais je me suis lancé dans l'IA en 2014. Peut-être que ça remontait à quelques années de plus quand j'étais à San Francisco, ce genre de choses, mais même là, ce n'était pas si loin que ça. Mais bon, depuis 2014, je ne fais plus que de l'IA, et de plus en plus, pour une raison évidente dont nous allons parler : l'gouvernance de l'IA, car si vous lisez l'actualité, il y a clairement un problème de sûreté et de sécurité lié à l'IA.

Je ne nie pas du tout cela, même s'il y a des raisons pour lesquelles certaines entreprises présentent les choses d'une certaine manière, mais c'est une autre histoire. Oui. On y reviendra.

C'est une autre histoire si tu veux que je te parle de ça. Mais bon, en gros, depuis 2014, je ne fais que diriger ou, en fait, mener moi-même des projets d'IA, d'accord ? Et maintenant, je me concentre de plus en plus sur l'gouvernance de l'IA, car depuis que les LLM ont commencé à s'imposer, l'époque où l'on développait soi-même un modèle à partir de zéro, où l'on s'entraîner ait à partir de données, etc., etc., touche à sa fin.

Tout ce que vous faites, c'est affiner un modèle. Mais d'un autre côté, vous devez sécuriser et vérifier le modèle bien davantage. Vous vous consacrez donc moins à l'apprentissage et davantage à l'gouvernance de l'IA.

C'est le changement qui s'est opéré depuis 2014, le changement majeur que j'ai constaté. Et si j'aborde ce sujet, c'est parce que ce dont nous allons parler aujourd'hui, c'est de la manière dont nous pouvons définir notre « gouvernance », qui dépend de la «data gouvernance » et de la «security gouvernance ». Oui, c'est un élément distinct du reste, et nous allons essayer de clarifier ces trois types de « gouvernance », n'est-ce pas ?

Sécurité — Tout à fait… les données et l'IA. Tout à fait, Andrea.

Avant d'entrer dans le vif du sujet, permettez-moi de vous donner quelques informations générales : il nous reste environ 40 minutes. Ce webinaire dure 45 minutes. Nous allons donc consacrer environ une demi-heure à la discussion, puis nous terminerons par une séance de questions-réponses.

J'ai plus de questions que je n'ai le temps d'y répondre. Mais n'hésitez pas, vous tous, à intervenir. Je serai ravi de répondre à toutes vos questions.

Il s’agit évidemment d’un sujet nouveau, du moins pour beaucoup d’entre nous, mais ce qui m’a vraiment donné envie de poser toutes ces questions à Andrea, c’est que tu travailles précisément sur ce sujet depuis si longtemps que tu es une véritable experte, et pas simplement une experte « à la mode » qui a changé de titre et qui parle désormais d’IA. Tu possèdes une connaissance approfondie de ce domaine. C’est donc pour cette raison que j’ai souhaité te poser toutes ces questions que j’ai préparées.

Tout d’abord, comme vous l’avez justement souligné, vous affirmez que l’ gouvernance par l’IA est fondamentalement différente des régimes d’ gouvernance antérieurs, et je pense que nous devrions commencer par examiner certains de ces régimes antérieurs gouvernance afin de comprendre pourquoi. Commençons donc peut-être par approfondir cette discussion en nous penchant sur la gouvernance des données. Pour vous, qu’est-ce que la gouvernance des données ?

Comment cela a-t-il vu le jour ? Et ensuite, nous parlerons de la manière dont cela s'appuie sur l'gouvernance de l'IA. Qu'est-ce que l'gouvernance de données en soi ?

Oui. L'gouvernance des données, c'est l'ensemble des politiques, procédures, tests et mesures de réponse aux incidents liés à la gestion des données brutes, dans le but, espérons-le, de les rapprocher autant que possible de données de qualité ou de données bien gérées, d'une manière ou sous une forme ou une autre, n'est-ce pas ? Et bien sûr, la traçabilité et la normalisation.

Tu es un expert dans tous ces domaines, tu n'as certainement pas besoin de moi. Mais c'est justement le rôle de l'gouvernance de données, et c'est la base de tout ce que tu fais par la suite. Oui, tout à fait.

En somme, un autre domaine antérieur à l’IA gouvernance serait la sécurité gouvernance, et ces distinctions peuvent tout à fait être établies. Je me demandais en interne, chez Action, s’il était réellement possible de les compartimenter de cette manière. Nous pouvons les combiner, et c’est là tout l’intérêt de l’exercice : essayer de comprendre ce qu’est chaque élément et comment ils fonctionnent ensemble.

Mais en gros, maintenant que nous en avons un peu parlé et que nous avons présenté des données gouvernance, qu'est-ce que la sécurité gouvernance? De quoi s'agit-il ? Je me souviens que ce concept a fait son apparition il y a plus de dix ans.

Eh bien, oui. C'est drôle, mais il y a cette émergence temporelle de ces « gouvernance », comme tu dis. Parce qu'au départ, il y a eu Internet, ce qui implique des besoins en matière de sécurité gouvernance et ainsi de suite, n'est-ce pas ?

Et puis, à un moment donné, on disposait de ces données – juste pour replacer les choses dans leur contexte historique et préparer le terrain pour le public –, à un moment donné, du fait que les internautes généraient des données sur Internet pouvant servir à des systèmes de recommandation. C'était les débuts, n'est-ce pas ? Des recommandations de livres sur Amazon ou de n'importe quel produit, n'est-ce pas ?

Voilà donc la première étape de la collecte de données à des fins commerciales. Et de toute façon, pour répondre à votre question, la « gouvernance de la sécurité » est, encore une fois, malheureusement le même mot, mais je dois le répéter. Politique, procédure, tests, réponse aux incidents, registre, ou des éléments de ce genre, qui permettent avant tout à une entreprise d’avoir une visibilité en interne sur qui utilise quoi ou non, s’il y a une faille, etc., comment y remédier et quoi faire en cas de faille.

Oui, elles permettent à l'entreprise de se protéger en premier lieu au cas où quelque chose se produirait… D'ailleurs, il se passe naturellement toujours quelque chose, quelle que soit l'gouvernance. Le rôle de toute gouvernance n'est pas de garantir qu'il ne se passera rien, mais avant tout de réduire autant que possible les cas malveillants et de disposer des meilleurs moyens d'atténuation possibles lorsque des incidents surviennent naturellement.

C'est justement pour cela qu'il existe une clause d'gouvernance , au cas où quelqu'un penserait que l'gouvernance est censée être à toute épreuve ou quoi que ce soit de ce genre. Ce n'est pas la raison. En réalité, c'est impossible.

Oui. C'est une erreur de raisonner ainsi. Oui.

Mais oui. La sécurité, c'est protéger sa propre infrastructure contre toute action, intention ou tout acteur malveillant, sous quelque forme que ce soit, et savoir comment réagir lorsqu'un acteur malveillant s'infiltre ou commet un acte malveillant au sein de vos données, de l'infrastructure de votre entreprise, ou de tout autre élément concerné. Je voudrais donc poser une dernière question, juste pour bien poser les bases de la suite de la conversation, puis il y a une excellente question dans la session de questions-réponses.

Je vais donc poursuivre après cette question de Jewel Darlington, et nous y reviendrons, Jewel. Je vais simplement poser une dernière question ici pour bien planter le décor, car, en effet, nous avons parlé de l’ gouvernance de la sécurité, qui a fait son apparition après l’avènement du World Wide Web et de tout le paradigme de sécurité entourant Internet et la circulation des données à travers cette structure ouverte que le monde n’avait jamais vue auparavant. Puis est venue l’ gouvernance des données, qui visait en réalité à régir l’état des données elles-mêmes, la manière dont elles circulaient au sein de cette structure.

Il ne s'agit donc pas seulement de la taille des câbles, des serveurs et de tout ce qui touche à la sécurité, mais aussi des données : il faut évaluer en profondeur la qualité des données, déterminer qui peut accéder à quoi, etc. Et nous nous trouvons désormais dans une ère de l’IA, propulsée par l’émergence, il y a trois ou quatre ans, de grands modèles linguistiques. Et dans cette ère, un nouveau paradigme d’ gouvernance est en train d’émerger : la gouvernance de l’IA ( gouvernance), ce qui est vraiment, pour nous aujourd’hui – peut-être que dans 20 ans, on en rira –, mais pour nous aujourd’hui, c’est extrêmement difficile à comprendre : comment gouverner concrètement l’IA ?

En quoi cela diffère-t-il ? Que pouvons-nous retenir des précédents régimes d'gouvernance ? Quel est donc le lien entre tout cela ?

Alors, pour commencer, Andrea, pourrais-tu nous donner un aperçu de ce qu’est l’IA gouvernance? Oui.

Bon, je vais donc à nouveau donner une définition rapide, mais il vaut mieux avoir une compréhension historique des raisons pour lesquelles c'est si difficile, ou du moins pourquoi je pense qu'il est si difficile de distinguer l'IA des données, l'gouvernance de l'IA de l'gouvernance des données, et de dire : « Oh, mais l'gouvernance des données, c'est la même chose, non ? » Non, je vais vous expliquer pourquoi, ou du moins pourquoi je pense cela. Donc, encore une fois, la définition est la même, n'est-ce pas ? L’ensemble des politiques, procédures, tests et mesures de réponse aux incidents lorsqu’un modèle d’IA commet une erreur.

Si, bien sûr, un problème survient, vous disposez d'un plan d'intervention, d'une stratégie d'atténuation, d'un moyen de résoudre la situation et, espérons-le, d'éviter que cela ne se reproduise. Il s'agit donc, en somme, d'une boucle de rétroaction permettant d'ajuster la procédure que vous aviez déjà mise en place. Comme vous pouvez le constater, le principe est le même pour les trois cas.

Ce que vous faites dans ce domaine est différent, mais la formulation est naturellement la même. Je voudrais juste ajouter très rapidement que la raison pour laquelle cela prête tant à confusion, c'est qu'il y avait – du moins, maintenant, cela a porté ses fruits, à juste titre – mais cela reste ancré dans les esprits : l'idée que « les données, c'est du pétrole », que « tout réside dans les données », ce qui est en partie vrai, d'accord ? Les données sont absolument importantes, mais elles ne font pas tout.

Non. C'est justement ça le problème. C'est pour ça que les gens s'y perdent.

Dès lors que l'on considère que les données sont tout, on ne voit plus l'intérêt de l'IA gouvernance, n'est-ce pas ? C'est un problème, je pense, d'un point de vue historique. Nous partons du principe que les données sont tout, que tout se résume aux données.

Par conséquent, si je traite correctement les données, tout se mettra en place. Malheureusement, cela ne suffit pas. C'est là le problème.

C’est pour ça que je pense que les gens ont du mal à comprendre ça, parce qu’ils ont intériorisé cette mentalité qui a été véhiculée par les médias pendant longtemps. Je ne dis pas que c’est faux, mais ça ne suffit pas. Non, je vais t’interrompre parce que je pense en fait que, s’il te plaît, ce que tu dis est tout à fait juste, et ce que je veux dire, c’est qu’il s’agit d’une vision des choses centrée sur les données.

C'est une sorte de bulle dans laquelle les professionnels de l'gestion des données et les technologues se concentrent tellement sur les données elles-mêmes qu'ils pensent qu'elles apportent une réponse à tous les problèmes techniques d'une entreprise. Et je pense que nous travaillons avec les données, et je ne dis pas cela pour dénigrer les principes de l'gestion des données . Oui.

Je pense simplement qu'avec ce genre de vision, nous ne gérons pas correctement les données. Et donc, vous dites maintenant que cela nous limite vraiment en matière d'gouvernance s liées à l'IA. Exactement.

Et d'ailleurs, on n'aborde pas ce sujet parce que personne n'y pense, car une fois qu'on a les données, à un moment donné, il faut bien les utiliser. Au moment de les utiliser, on a deux façons de s'en servir, n'est-ce pas ? Soit un modèle d'IA les utilise, soit c'est une personne qui s'en sert.

Pour l'instant, nous n'avons pas encore d'gouvernance , mais attention. Un jour ou l'autre, nous aurons aussi une gouvernance . Bon, c'est bon, on s'en charge.

Comment puis-je être sûr, encore une fois, de mettre en place un processus, une procédure, un protocole, pour que l’humain puisse s’apercevoir qu’il y a un problème ou qu’il commet une erreur avec les données ou le modèle d’IA, disons l’ gouvernance humaine. Mais je ne serais pas surpris qu’à un moment donné, nous en arrivions là aussi. Mais ce qui est sûr, aujourd’hui, c’est que nous en sommes au stade initial où nous prenons conscience que nous disposons d’un système qui exploite les données, d’accord ?

Et cette nouveauté peut, d'une manière ou d'une autre, quelque part, mal tourner d'elle-même. C'est vrai. Elle peut mal tourner d'elle-même.

Par conséquent, il vous faut un ensemble de procédures ou, encore une fois, une politique de gestion des incidents, pour vous assurer que tout se passe bien ou, du moins, que les problèmes soient réduits au minimum, n'est-ce pas ? Mm-hmm. Je ne vois pas comment le dire plus simplement.

Tout ce qui interagit avec les données et qui, ce faisant, effectue une action quelconque, a besoin, d’une manière ou d’une autre, d’ gouvernance s à un moment donné. Oui. Si cette entité est une IA, il y aura une « IA gouvernance ».

C'est moche à dire, mais cette chose est un être humain, donc ce n'est pas une chose, c'est un véritable être humain. À un moment donné, nous aurons aussi gouvernance dans le courant de la journée. Au fait, on a déjà vu ce RGPD, n'est-ce pas ?

Le RGPD, c'est l'utilisateur de l'humain, des données. Oui. Si on veut voir les choses sous cet angle, c'est une « human gouvernance », n'est-ce pas ?

Le RGPD concerne l'gouvernance des personnes. Tout à fait. Une fois que vous disposez des données, il existe un moyen, espérons-le, de régler cette question.

Je pense également qu’il est assez important de garder à l’esprit que, lorsque l’on parle d’IA, il ne s’agit pas, comme vous l’avez justement mentionné, uniquement des données utilisées par l’IA. Oui. C’est le mécanisme lui-même.

C'est donc plutôt comme gérer une application. Il y a des versions, des intégrations, et tout un tas d'éléments qui n'ont rien à voir avec les données. Du coup, je pense qu'on se pose quelques questions.

Donc, au lieu de poser moi-même les questions, je vais poser celles des participants. Je trouve que c'est bien mieux comme ça. Commençons donc par la question de Jewel.

C'est un peu long, alors accroche-toi, Andrea. Bon. Au niveau de la direction, comment les organisations devraient-elles déterminer à qui incombe la responsabilité lorsque les données sont correctement gérées et que les contrôles de sécurité fonctionnent comme prévu, mais que le système d'IA produit malgré tout une action non autorisée ou gravement préjudiciable ?

Est-ce que je devrais relire ça ? D'accord. Donc, « data gouvernance » — Avant de lire ça, au cas où tu voudrais préciser, il parle d’un écart de maturité entre, en gros, la « AI gouvernance », qui est déjà en cours, donc quelque chose ne va déjà pas, et une maturité bien établie en matière de données de sécurité « gouvernance ».

Mais je m'adresse directement à lui, au cas où il pourrait préciser davantage sa question ; relisez-la tout de même, au cas où il l'aurait déjà fait. Je trouve que la question est tout à fait pertinente, n'est-ce pas ? Car ce qu'elle signifie en réalité, c'est que l'gouvernance des données fonctionne, et que la sécurité gouvernance ou les contrôles de sécurité fonctionnent comme prévu.

Ces éléments, ces disciplines de l'gouvernance , sont donc efficaces. Mais un système d'IA peut tout de même produire une action non autorisée ou causant un préjudice important. Que doivent faire les dirigeants ?

À qui devrait-on attribuer la responsabilité de ce type d'action involontaire de la part des solutions d'IA si la gouvernance , la protection et la sécurité des données fonctionnent correctement ? Tout d'abord, d'une certaine manière, cette discussion va nous amener à tourner en rond. Et nous vous demandons un peu de patience, c'est dans la nature même du sujet.

Ce que j'essaie de dire, c'est que si vous lisez l'article, dès l'instant où vous me dites ça, dans la question même, il part du principe qu'il sait déjà que la faute vient de l'IA. D'accord ? S'il le sait, alors en gros, à partir d'un résultat… Donc il a le résultat, le résultat est faux, et il a déjà conclu que les données ne sont pas…

Quand je parle des données, je ne parle pas des données en général, car il les vérifie séparément. Il s’agit des données spécifiques qui ont été intégrées par le modèle en question ; ce sont elles qui alimentent le modèle, et non pas simplement des données prises séparément, je tiens à le préciser, sinon… Et la sécurité ou la solution spécifique qu’il utilise, etc., ont déjà été vérifiées et tout est en ordre.

Cela signifie que le problème réside soit dans l’ apprentissage e du modèle, soit dans son réglage fin, soit dans la manière dont les données – qui sont pourtant déjà claires et de bonne qualité – sont intégrées d’une manière ou d’une autre par le modèle, soit dans le pipeline, pipeline de données comme précédemment, quel qu’il soit. D’accord ? D’accord, donc ce que vous dites, c’est que les dirigeants, dans cette situation précise, devraient examiner l’architecture entourant l’architecture des agents ou le modèle spécifique en question, et que le problème réside dans ces éléments et non dans les données qui l’alimentent ni dans la sécurité.

C'est vrai. Exactement. Mais c'est par exclusion, n'est-ce pas ?

Mais ça figure déjà dans la question, non ? C'est en quelque sorte par élimination. J'ai déjà vérifié que les données avaient bien été importées par le modèle en question.

Ce n'est pas ça. Alors, par élimination, ça doit être ça. D'accord ?

Et la question, juste pour clarifier les choses, c'est : à quel niveau de… qu'est-ce qu'il a dit déjà ? À quel niveau de la direction la responsabilité devrait-elle incomber, quelque chose comme ça, n'est-ce pas ? Oui.

En fin de compte, à quel niveau la responsabilité doit-elle être assumée ? D'accord. À tous les niveaux.

Si vous vous souvenez bien, quand je parle des définitions des termes « politique », « procédure », « test » et « incident », cela concerne tous les niveaux. Il y aura donc un niveau « politique », et il y aura certaines personnes. D'accord ?

Ensuite, il y a le niveau des procédures. Par « procédure », j’entends que je dispose d’une méthode pour « entraîner er » le modèle et tester l’ apprentissage de celui-ci, et que je définis la manière de le tester. Je ne suis peut-être pas la personne qui appuie sur le bouton pour effectuer le test, et c’est cela, le niveau des tests.

Les personnes qui, chaque semaine, chaque mois, selon les cas, appuient réellement sur le bouton de l'ordinateur ou écrivent le script Python pour les tests. Oui. Ensuite, elles l'exécutent, puis elles le soumettent à l'enregistrement .

Aujourd'hui, le 22 septembre, dans ton cas, à 17 h 22, j'ai fait une recherche sur « enregistrement », et voilà le résultat. Et là, c'est un tout autre niveau. Mais cette personne a la responsabilité de faire le test correctement.

Si un problème survient, il a la responsabilité de signaler que ce test n'a pas été effectué. Dans le cas contraire, soit vous déclenchez une procédure d'intervention en cas d'incident ou quelque chose de ce genre, soit, s'il s'agit d'un incident mineur, vous procédez à une vérification de conformité avec la politique et la procédure dans la semaine qui suit, car il s'agit d'un événement mineur. D'accord ?

Mais cela se retrouve à tous les niveaux. Il y a… Oui… une personne chargée d’un domaine spécifique au sein de l’ gouvernance.

Tout comme on le ferait dans le domaine de l'gouvernance des données, je pense que, dans celui de la sécurité gouvernance, on procéderait exactement de la même manière. Oui, c'est vrai. Tout est en quelque sorte lié, c'est pourquoi il est si important que ces équipes travaillent ensemble.

C'est une autre histoire, mais ce n'est souvent pas le cas. Nous avons deux autres questions dans le chat, et je trouve qu'elles sont toutes très pertinentes, donc je voudrais les poser tout de suite. La question suivante vient de… oui, de quelqu'un qui préfère rester anonyme.

Ce n'est pas grave. La question est assez simple : l'IA gouvernance est-elle, en fin de compte, une alliance entre la gestion des données gouvernance et la sécurité gouvernance? Si vous le souhaitez, vous pouvez développer davantage, mais à première vue, ce que vous dites, c'est « non ».

Parce qu’au bout du compte, ce que vous essayez de faire est quelque chose de distinct et sans rapport avec cela. Je comprends. Parce que si c’était déjà lié, d’ailleurs, vous briseriez également l’ gouvernance , car cela reviendrait à vous juger vous-même.

D'accord. Ça part un peu en digression, mais pas trop. C'est pour ça que parfois ça me dérange un peu quand quelqu'un d'un peu trop « technique » dans le public se met à se juger lui-même au LLM, à considérer le LLM comme un juge, ce genre de mentalité.

Le problème, quand on utilise une « gouvernance », c'est que le LLM finit par s'évaluer lui-même : on entre dans un cercle vicieux et on compromet en quelque sorte son indépendance. Il faut donc faire attention. Ainsi, quand on parle de « mariage », le problème réside dans la nécessité de préserver cette indépendance.

Exactement. Sinon, on risque un conflit d’intérêts au sein même de l’ gouvernance, entre ses différentes instances, etc., et cela peut aller à l’encontre de l’objectif même d’une , qui devrait jouir d’une certaine indépendance. D’accord ?

Mais s'il vous plaît, si je n'ai pas bien compris, précisez-moi. Le plus important, c'est de comprendre que l'gouvernance de l'IA consiste en un ensemble de politiques, de procédures, de tests, de mesures de réponse aux incidents, etc., visant à déterminer si un modèle a été correctement entraîné et si son réglage était correct. Si les résultats respectent une certaine structure, si vous spécifiez...

Excusez-moi, mais si, dans les réglages avancés ou les paramètres inclus – quoi que cela puisse être –, vous spécifiez une certaine mise en page pour la réponse, est-ce que cela est bien respecté ? Y a-t-il parfois des écarts ? Pourquoi ?

Pourquoi pas ? Et quand ça s'écarte de la mise en page, la réponse la plus simple que tu puisses donner, c'est : qu'est-ce que tu vas faire ? Est-ce que c'est à cause de l'apprentissage?

Est-ce parce que, si le processus d'ingestion des données était différent de ce qu'il était auparavant, alors d'accord, il faudrait le structurer. Mais si c'était simplement parce que le réglage fin a mal tourné dans cette version-là, alors c'est un problème lié à l'IA. N'est-ce pas ?

Oui. Ou alors tu as peut-être changé de version, ou tout simplement, comme on le fait souvent, on passe de… comment ça s'appelle déjà ? Fable 5.0, puis 5.1. Dès que tu changes d'API, quelque chose change, et du coup, le modèle se retrouve un peu décalé.

Ça n'a rien à voir avec l'IA gouvernance, n'est-ce pas ? C'est simplement parce que vous avez légèrement modifié l'API. Rien de bien compliqué.

Ça fait partie de tout ce qui touche à l'gouvernance e en IA. Oui. Je vais te donner l'exemple le plus simple possible, juste pour illustrer mon propos.

Cela n'a rien à voir avec les données. Si vous modifiez légèrement l'API, cela n'a rien à voir avec les données. Il suffit de modifier légèrement cela, et c'est pour cette raison qu'il faut l'adapter un peu.

Oui, tout à fait. Non, j'espère que cela paraîtra clair pour l'auditeur également. Il y a une troisième question dans le chat que j'aimerais poser.

C'est une question posée par Mihir Mohanty : « Ce que vous décrivez ressemble à une « gouvernance » des ressources, comme l'accès, les capacités, le contrôle, etc. Qu'en est-il de l'gouvernance axée sur l'intention pour l'IA dans son ensemble lorsque nous essayons de mettre en œuvre un processus d'entreprise ? Nous devons maintenant aborder différents aspects techniques, et il existe des ateliers complets sur ce sujet, mais il existe différentes façons d'aborder ce que vous appelez l'« intention » ou la « sécurité ». »

Je peux vous donner un aperçu des deux principales approches que j'utilise dans la pratique, par exemple dans le domaine de la défense ou au sein de certaines institutions financières. Pour vous donner une idée, je vais développer un peu plus le principe, mais l'objectif est de vous présenter les différentes approches que vous pouvez adopter. Par exemple, l'une d'elles repose sur l'impact et la probabilité.

Ce que je veux dire par là, c'est que quelle que soit la solution d'IA dont vous disposez, oui… Juste l'IA. Donc, que vous utilisiezoptimiser , ou autre, ou que vous utilisiez simplement l'API, vous avez mis en place un pipeline d'agent et de données. Pardon, d'agent avec les données, mais les données sont déjà là en tant que telles, n'est-ce pas ?

Tu te contentes d'assimiler tout ça. Donc tu as une structure et une approche agentique avec différents agents qui font ce qu'ils veulent, d'accord ? Tu as deux façons de mettre en œuvre l'gouvernance de l'IA.

Les données correspondent à l'impact multiplié par la probabilité. Il faut donc commencer par définir une évaluation des risques liés à la solution. Pour prendre un exemple simple, prenons un service client par chat : le risque est que l'on puisse offenser le client.

Quelque chose de simple. Ouais. Juste pour donner une idée.

Ce que tu vas faire, c'est évaluer l'impact, d'accord ? Et pour les niveaux 1 à 5, tu le fais manuellement, d'ailleurs, il n'y a pas d'autre solution. C'est une personne qui se charge de juger.

Et l'impact, c'est que, bon, on risque de perdre le client. Tu lui attribues un impact de trois. Quant à la probabilité que cela se produise, disons quatre, parce que je ne sais pas.

Ça peut en être deux. D'ailleurs, ça dépend de la situation. Je ne dis pas qu'il y en a forcément trois ou quatre pour un chatbot destiné aux clients.

Ce n'est pas ce que je dis. Parce qu'il y a quelqu'un qui procède réellement à cette évaluation. D'après cette analyse des risques, qu'est-ce que j'ai dit ?

La probabilité est de quatre et l'impact de trois. C'est sur cette base que vous définissez les tests. D'accord ?

Comme c'est très fréquent, il faut par exemple multiplier les tests. Mais comme l'impact est faible, on souhaite réduire le nombre de tests. Si l'impact était très élevé, on voudrait effectuer de nombreux tests pour vérifier la robustesse du modèle... Oui...

Nous avons testé exactement les mêmes données, mais l'impact était faible. Cependant, nous souhaitons effectuer ces tests fréquemment, car ce genre de situation se produit souvent. Vous comprenez pourquoi c'est une approche valable.

Oui. Andrea… L’autre approche est complètement différente, pour des raisons de sécurité. Oui.

Par exemple, les réacteurs nucléaires ou les installations nucléaires, chaque fois que… D'ailleurs, cela dépasse le cadre de l'IA, mais cela peut avoir un lien avec ce domaine. Je ne veux pas entrer dans les détails, mais ils ne tiennent pas compte de la probabilité d'impact.

Ils utilisent ce qu'on appelle une « propriété de sécurité ». Ils disposent donc à nouveau d'un système d'IA, et ils définissent les propriétés appropriées… Ils souhaitent vérifier la robustesse et la vulnérabilité aux attaques. Une fois ces propriétés définies, ils s'efforcent d'optimiser les tests pour chacune d'entre elles.

Bon, alors, comment puis-je tester la vulnérabilité de ce modèle précis ? Ils réfléchissent à la manière de tester sa robustesse. Et c'est ce qu'ils font.

C'est une approche différente, mais qui s'inscrit dans une perspective différente. Dans une centrale nucléaire ou une centrale électrique, par exemple, il faut accorder une attention toute particulière aux caractéristiques du modèle et aux critères de sécurité. N'est-ce pas ?

Mm-hmm. C'était plutôt une publicité. Du coup, c'est très long et très complexe.

Mais je me suis contenté de l'essayer en quelques minutes pour vous donner une perspective plus large sur les différentes approches possibles… Oui… ça gouvernance. Et j'espère que vous verrez qu'il n'y a encore rien concernant les données.

Je parle de l'approche visant à vérifier, comme tu dis, l'intention du modèle d'une manière ou d'une autre. Tout à fait. Non, je te comprends.

Les questions se succèdent à un rythme tel que je ne suis pas sûr que nous puissions répondre à toutes, y compris celles que j'ai laissées de côté. C'est formidable, mais je voudrais continuer. Je vais sauter une question de la liste et y revenir plus tard, car je crois que vous étiez en train de répondre à la question de Mihai, et il y a une suite à cela.

Mihai demande : « Tu as donc évoqué trois composantes de l’IA gouvernance. Nous en avons deux : les données et la sécurité. Quelle est la troisième ? » Le modèle, je suppose, c’est ainsi qu’on pourrait l’appeler, à l’instar de l’architecture agentique.

Ouais. Est-ce qu'on pourrait appeler ça le modèle ? Tu peux l'écrire comme ça.

Tout à fait. En fin de compte, si tu as un modèle, ça correspond à un seul agent. C'est… Ouais…

C'est un peu simpliste, je sais, mais un modèle, c'est un agent, en gros, non ? Ouais. La raison pour laquelle on ne parlait jamais d'« agentic » avant, c'est qu'au final, il s'agissait d'un seul modèle qui faisait quelque chose, n'est-ce pas ?

Un modèle interagissait rarement avec cela. Nous en sommes désormais à un stade où un autre modèle peut interagir et effectuer des actions différentes. C'est pourquoi nous avons inventé ce nouveau terme : « agentique ».

Mais avant… Oui… on a été l’unique agent pendant des années, en gros. Ouais.

Mais… Bon, je suppose que c'est ça, la réponse. Il y a les données dans le modèle, il y a la sécurité, et puis il y a le modèle lui-même. Ouais.

Ou encore l’architecture agentique, qui combine plusieurs agents… Ouais… et qui fonctionne selon différents modèles. Des données.

Oui. Un participant anonyme a posé une question tout à l’heure, et j’ai l’impression que celle-ci s’inscrit dans la continuité, à moins qu’il ne s’agisse d’une nouvelle question. Mais lorsque l’on parle d’« information gouvernance », s’agit-il d’un terme générique évolutif qui englobe désormais la gestion des documents, la « data gouvernance » et l’IA gouvernance?

Je ne sais pas si tu as déjà entendu ce terme circuler, Andrea. Personnellement, je trouve qu'il est un peu en marge du sujet. Répète ça.

Donc, quand on parle d’ gouvernance de l’information — d’accord… s’agit-il d’un terme générique évolutif qui englobe désormais la gestion des documents, l’ gouvernance des données et l’IA gouvernance? Oui, écoutez, l’information, par exemple, dans les normes ISO, le terme utilisé pour la sécurité est « sécurité de l’information » gouvernance.

C'est donc un terme un peu générique. Par exemple, la norme ISO 27001, si je ne me trompe pas, concerne la sécurité de l'information, et pas seulement les questions de sécurité en général. Oui.

C'est un peu un gros mot, mais je voulais revenir sur la question précédente, quand on parle de « données » dans le modèle. apprentissage le modèle, bien sûr, on peut faire de l'IA gouvernance juste pour l'apprentissage, mais la plupart de l'IA gouvernance aujourd'hui ne sert pas à contrôler la apprentissage du modèle, mais à entraîner... Pardon, c'est pour contrôler son fonctionnement lorsqu'il est en production.

Son ajout. Oui, tout à fait. C'est l'avenir.

Quand c'est en direct, pas quand c'est apprentissage. En général, on ne fait pas d'gouvernance s sur l'IA quand c'est apprentissage, d'accord ? Juste pour clarifier rapidement ce point.

Donc, quand vous parlez des données du modèle, c’est déjà ce qui vous intéresse dans une situation d’ gouvernance . Lorsque le modèle est en production, qu’il dessert des clients ou autre, il y a un risque. Quand vous effectuez une « apprentissage » du modèle, quel est le risque ?

Vous êtes au sein de votre entreprise. C'est un coût sans contrepartie avantage, n'est-ce pas ? Lorsque ce modèle est déjà entraîné et qu'il est mis au service des clients, vous courez alors un certain risque ; c'est pourquoi vous disposez d'un gouvernance.

Pour être clair, on ne fait pas d’ gouvernance s pendant la phase d’ apprentissage . Oui. Non, c’est un point important, n’est-ce pas ?

Car, en fin de compte, gouvernance doit se justifier d'un point de vue financier. Exactement. Et c'est justement lorsqu'il y a interaction que… Il y a un risque quelconque.

Oui, dans un contexte où il y a effectivement un risque, n'est-ce pas ? Nous avons également une question de Romain Alemo. J'espère que je prononce bien son nom.

Et la question est la suivante : « Que recommandez-vous pour généraliser l’IA au sein d’une organisation et éviter qu’elle ne reste un sujet réservé aux membres du service des données ? Comment favoriser les cas d’utilisation de l’IA permettant simplement de résoudre des problèmes à partir de données, en dehors des cercles des personnes maîtrisant les données ? » Alors, comment généraliser l’IA au sein d’une organisation pour qu’elle ne reste pas confinée à ce que j’ai appelé tout à l’heure la « bulle des données », si je puis m’exprimer ainsi ? Est-ce que cela vous semble logique ?

La question est de savoir si vous… Je vais peut-être reformuler ainsi. Oui, s'il vous plaît.

Parmi vos clients, Andrea, voyez-vous beaucoup de projets — qu’il s’agisse de projets d’ gouvernance de l’IA ou de projets d’IA en général — qui relèvent des équipes chargées des données, ou ces projets relèvent-ils davantage des équipes opérationnelles directes ou… des équipes… ? Non, c’est la deuxième option.

C'est un peu... Bon, ce n'est pas tout à fait ça, mais mettons ça de côté pour l'instant, car j'ai remarqué, au fil des années, et encore plus aujourd'hui, que les clients veulent un retour sur investissement. Cela signifie donc qu'ils envisagent déjà une solution qui, d'une manière ou d'une autre, génère un certain rendement ou répond à l'indicateur de performance de leur choix. Par conséquent, à moins que cela ne se soit produit à plusieurs reprises, la solution consiste à rendre le stockage des données ou tout autre aspect plus efficace.

Mais c'est un cas particulier, n'est-ce pas ? Il faut traiter les données de manière efficace. Mais à part ça, c'est davantage une question commerciale que technique.

Mm-hmm. Ouais.

Ce qui est tout à fait formidable, je dois dire, parce que… Ouais… il n’y a rien de pire que de participer à des projets où l’on sent que c’est la curiosité technique qui les fait avancer. Celle-ci doit bien sûr être présente, mais c’est un vrai plaisir de participer à des projets technologiques qui font réellement la différence.

D'accord. Un participant anonyme a fait remarquer que l’« gouvernance » doit être appliquée à chaque étape du cycle de vie d’un système d’IA, ce qui signifie qu’il faut recourir à l’« gouvernance » pendant l’ apprentissage du modèle pour s’assurer, par exemple, que l’on suit bien les principes de l’« apprentissage » en cas de données biaisées. Qu’en pensez-vous ?

Des données biaisées sont, par définition, des données gouvernance. Par définition, n'est-ce pas ? Ça n'a rien à voir avec... Ouais...

Non, non, non. Donc… Par définition, s’il y a un biais dans les données, ça va au-delà de ça, non ? Je veux dire, au-delà des algorithmes.

Oui. J'apprécie cette distinction. Donc, en réalité, tu ne dis pas que la personne qui pose cette question a tort, mais simplement qu’il faut s’attendre à ce que, avant l’ apprentissage ation du modèle, l’activité de gouvernance de données ait effectivement corrigé ce biais.

Ou peut-être s'agit-il d'un cas limite. Bien sûr. Bon, on « entraîner » la solution, on constate qu'il y a un biais dans le résultat, et là, on peut comprendre, ou on devrait comprendre : « Bon, est-ce que ce biais est dû au fait que les données étaient déjà biaisées ? » Et là encore, on se retrouve face à un problème d'gouvernance des données.

Ou alors, pour une raison ou une autre, quand nous avons réalisé l'étude « apprentissage », nous avons introduit un autre biais. Mm-hmm. Bien sûr.

Mais encore une fois, si vous constatez que c'est la même chose, on commence par examiner le résultat, puis, à partir de ce résultat, on essaie de comprendre d'où cela vient. Mais écoutez, en ce qui concerne les préjugés, c'est très difficile. Bon, tout est possible, qui sait ?

Mais si je devais parier, je dirais que c’est généralement une question d’ gouvernance des données. Ce n’est pas que je veuille rejeter la faute sur les responsables des données, loin de là, mais le problème se situe généralement au niveau des données. Oui.

Non, en tant que spécialiste des données, je suis prêt à en assumer la responsabilité. Je pense que ta distinction est juste dans le sens où il faut s’attaquer au problème là où il peut être résolu, n’est-ce pas ? Oui.

Et on ne peut pas vraiment demander à une équipe d’ gouvernance s en IA de s’occuper de l’ gouvernance des données en dehors d’un contexte de « data gouvernance », car dans ce cas, elle peut effectuer le travail manuel nécessaire, ou, si elle est avisée, faire appel à un agent pour éliminer ce biais. Mais cela nécessiterait une coordination avec l’équipe chargée de la « data gouvernance », n’est-ce pas ?

Bien sûr. En fait, cher visiteur anonyme, c'est une excellente question. Merci.

Mihir souhaite également intervenir, et je pense que nous allons clore la séance avec la question de Mihir, car je vais conclure par une dernière question, après quoi notre temps sera effectivement écoulé. Il ne nous reste plus que quatre minutes. Le temps a filé à une allure folle, et je constate que la grande majorité des participants signalent que nous en sommes à la dernière question.

Ça a été long. Voyons si on arrive à tout passer en revue. Mihir demande : « L'gouvernance traditionnelle repose principalement sur une approche réactive, sur des journaux ou sur certaines données d'exhaust. »

Dans le cas de l'IA, c'est déjà trop tard. Comment la mettre en œuvre de manière continue pour pouvoir parler d'gouvernance en temps réel ? Comment s'y prendre ? Car tout évolue tellement vite.

Oui. Encore une fois, l'objectif de l'gouvernance , en général, est en quelque sorte réactif, n'est-ce pas ? On intervient face à un incident, puis on en tire des enseignements.

Encore une fois, chez « gouvernance », notre philosophie n’est pas de viser une sécurité à 100 % en permanence ou l’absence totale d’erreurs. Ce n’est pas notre approche. Je vais donc commencer par revenir un peu sur cette philosophie.

Ce n'est pas ça. Penser qu'une fois qu'on a effectué la bonne gouvernance, tout devrait aller bien, ce n'est pas pour ça qu'on le fait. On le fait simplement parce qu'on veut minimiser l'erreur et en tirer des leçons rapidement, le plus vite possible.

Bien sûr. C'est la première chose. Encore une fois, je vais, excusez-moi, faire court sur ce point.

Comme je l’ai brièvement évoqué dans une autre réponse, je cite des exemples de ce que nous avons testé ou de ce que j’ai observé, comme l’utilisation d’un LLM en tant que « juge ». Évidemment, si vous faites appel à un autre LLM ou à une autre IA pour vérifier une autre IA, cela peut se faire en temps réel, n’est-ce pas ? Car personne ne vérifie réellement le processus et cela peut donc aller aussi vite que vous le souhaitez, puisqu’il s’agit d’une API qui vérifie une autre API, et ainsi de suite.

Je vois là un petit risque. D'ailleurs, plus on met tout cela en place, plus le risque de sécurité augmente, n'est-ce pas ? Car non seulement il faut sécuriser l'API d'origine, mais il faut désormais sécuriser une autre API qui évalue la première.

D'une certaine manière, la couverture est donc toujours trop courte. D'une certaine manière, on finit toujours par se déplacer sous la couverture. Il existe bien sûr des moyens d'automatiser certains tests, etc., mais plus on automatise ces processus, plus on s'expose à différentes cyberattaques.

Ouais. Bon, bien sûr, tu vas dire : « Oh, maintenant, sur en temps réel, il y a une meilleure IA gouvernance ». Ouais, mais tu t'es planté sur la question de la sécurité. Ouais.

Alors oui, tu déplaces la couverture. Oui. Mm-hmm.

Ouais. Fais bien attention à ce genre de choses ou à ce genre de mentalité. D'accord ?

Oui. C'est vrai. C'est un excellent point de vue.

Je vais donc passer ma dernière question et résumer la dernière question posée dans le chat par Mark Doherty. En gros, je vais la résumer ainsi : pensez-vous que l’ensemble des activités de l’ gouvernance , de l’ gouvernance des données, de la sécurité et désormais de l’IA, puissent être couvertes par une seule dépôt documentant les activités de ce gouvernance ? Qu’entendez-vous par là ?

« Une seule “ dépôt ”… c’est-à-dire ? » La preuve que l’ gouvernance a bien eu lieu. Tu parles des registres ?

Ouais. Donc, le registre des tests. Ouais, exactement.

Ouais. En fait, ouais. C'est tout à fait ça.

Ce que je veux dire par là, c’est que lorsque j’anime un atelier, par exemple un atelier sur l’IA gouvernance , à la fin de la journée, je vous donne généralement une règle empirique ou une astuce, une petite astuce à mettre en pratique dès le lendemain. L’une des choses que je dis est précisément celle-ci : pour ceux qui effectuent les tests de l’IA gouvernance — puisqu’il s’agit d’un script Python ou autre —, il est très utile, dans de nombreuses situations, de combiner ce script Python avec le script de test de sécurité, ou à défaut, le script Python .

Donc, la même personne peut s'en charger ; par conséquent, elle peut tout « enregistrement r » dans ce cadre. Bon, c'est une règle générale. Je ne dis pas que toutes les situations devraient se dérouler ainsi, je tiens à le préciser, car il y a toujours des cas particuliers, voire plus que cela.

Mais écoutez, dans de nombreux cas, il sera sans aucun doute plus rentable et judicieux de combiner différents scripts, tests ou données de sécurité, etc. Bien sûr. Merci, Andrea.

Mais tout n'est pas pour autant sans réserve.

C'est juste une règle générale. Oui. Juste pour clarifier les choses.

Oui. Merci. Je pense que c'est un détail important à connaître.

Nous avons dépassé le temps imparti, je tiens donc à vous remercier, Andrea, d’avoir participé à « Data Explored », une série de webinaires organisée par Action. Merci à tous ceux qui ont participé et posé d’excellentes questions. N’hésitez pas à continuer à nous en envoyer.

Vous pouvez nous contacter ou contacter Andrea sur LinkedIn, sur Substack et sur de nombreuses autres réseaux sociaux s où nous sommes tous présents. N'hésitez donc pas à rester en contact avec nous. Merci beaucoup de votre attention.

Merci, Andrea, de m'avoir invitée. Merci. Merci de m'avoir accueillie.