seminario en línea – «Data, Explored» n.º 8 – ¿Es la gobernanza de la IA lo mismo que la gobernanza de los datos?

Esta es la serie «Data Explored» seminario en línea , presentada por Action. Me llamo Ole Olsen-Bernoe. Soy el evangelista jefe aquí en Action, y en esta serie seminario en línea exploro la evolución de los datos y la inteligencia artificial junto con invitados reflexivos e influyentes.

Y mi invitada de hoy es la Dra. Andrea Isoni, una experta con amplia trayectoria en seguridad y en todo lo relacionado con la gobernanza de las tecnologías de datos y la inteligencia artificial, aunque especialmente en esta última. Por eso me llamaste la atención, Andrea, durante una conversación que mantuvimos en persona aquí en Londres hace un año, y desde entonces empezamos a hablar.

Me gustaría, si no te importa, que te presentaras un poco más antes de que pasemos a la pregunta y al tema que nos ocupa hoy. Yo lo explicaré con más detalle, pero, básicamente, se trata de una conversación en profundidad sobre la gobernanza de la IA. He preparado muchas preguntas y también habrá tiempo para una ronda de preguntas y respuestas.

Pero ya me ocuparé de esos trámites en un momento. Andrea, por favor, preséntate. En primer lugar, ha sido un placer estar aquí, y gracias por organizarlo todo, Ole.

Sí. Me llamo Andrea Isoni. No se me da muy bien este tipo de descripciones personales, pero soy una académica que ha dado el salto al mundo empresarial.

Básicamente, tengo un doctorado en dinámica de fluidos computacional y en matemáticas, y justo después de eso —perdón—, al terminar en 2014, me metí en lo que por entonces era una novedad. Ahora parece algo anticuado. Es curioso, pero la IA parece algo anticuado, ¿verdad?

Es curioso, pero la IA empezó en 2014. Quizá llevara ya un par de años más cuando en San Francisco ya se veían cosas por el estilo, pero ni siquiera allí llevaba mucho tiempo. Pero sí, desde 2014 me dedico exclusivamente a la IA, cada vez más, por razones obvias que vamos a comentar: la gobernanza de la IA, porque si lees las noticias, está claro que hay un problema en cuanto a la seguridad y la protección de la IA.

No lo descarto en absoluto, aunque hay razones por las que ciertas empresas presentan ciertas cosas de determinada manera, pero eso ya es otra historia. Sí. Ya hablaremos de todo eso.

Eso ya es otra historia, si quieres que lo diga. Pero, sí, lo único que he estado haciendo desde 2014 es dirigir o, mejor dicho, llevar a cabo yo mismo proyectos de IA, ¿vale? Y ahora me estoy centrando cada vez más en la gobernanza de la IA, porque desde el momento en que los modelos de lenguaje grande (LLM) empezaron a imponerse, la época en la que uno desarrollaba por su cuenta un modelo desde cero, lo entrenaba a partir de datos, etcétera, etcétera, está llegando a su fin.

Lo máximo que haces es ajustar un modelo. Pero, por otro lado, tienes que garantizar la seguridad del modelo y supervisarlo mucho más. Así que dedicas menos tiempo al entrenamiento y más a la gobernanza de la IA.

Ese es el cambio que se ha producido desde 2014, el cambio más importante que he observado. Y la razón por la que voy a abordar este tema es porque lo que vamos a tratar hoy es cómo podemos definir nuestra gobernanza, que depende de la gobernanza de los datos y de la gobernanza de la seguridad. Sí, es algo distinto del resto, e íbamos a intentar diferenciar claramente estos tres tipos de gobernanza, ¿verdad?

Seguridad... Por supuesto... los datos y la IA. Por supuesto, Andrea.

Antes de entrar en materia, permíteme poner en contexto la situación diciendo que nos quedan unos 40 minutos. Se trata de un « seminario en línea » de 45 minutos. Así pues, dedicaremos aproximadamente media hora a la conversación y, al final, habrá una ronda de preguntas y respuestas.

Tengo más preguntas de las que me da tiempo a responder. Pero, por favor, no dudéis en intervenir. Estaré encantado de responder a todas las preguntas que tengáis.

Obviamente, se trata de un tema nuevo —al menos para muchos—, pero lo que me ha llevado a interesarme tanto por plantearle a Andrea todas estas preguntas es que llevas tanto tiempo trabajando precisamente en este tema que eres una auténtica experta, y no solo una experta afortunada y entusiasta que ha cambiado de título y ahora habla de IA. Tienes un profundo conocimiento sobre este tema. Por eso quería hacerte todas estas preguntas que he preparado.

En primer lugar, tal y como has mencionado, afirmas que la gobernanza de la IA es tan fundamentalmente diferente de los regímenes de gobernanza anteriores, y creo que deberíamos empezar por analizar algunos de esos regímenes anteriores para comprender por qué. Así que quizá podríamos comenzar la conversación hablando de la gobernanza de los datos. Para ti, ¿qué es la gobernanza de los datos?

¿Cómo surgió eso? Y luego, más adelante, hablemos de cómo se relaciona con la gobernanza de la IA. ¿En qué consiste la gobernanza de datos en sí misma?

Sí. La gobernanza de datos es el conjunto de políticas, procedimientos, pruebas y respuestas ante incidentes relacionados con la gestión de los datos en bruto, con el fin de que, con suerte, se acerquen lo más posible a unos datos de calidad o bien gestionados, de una forma u otra, ¿verdad? Y, obviamente, el linaje y la estandarización.

Eres un experto en todo esto, sin duda no me necesitas. Pero eso es precisamente lo que debe hacer la gobernanza de datos y es la base de todo lo que haces a partir de ahí. Sí, por supuesto.

Así que, básicamente, otro marco previo a la gobernanza de la IA sería la gobernanza de la seguridad, y estas líneas se pueden trazar sin problemas. Estaba debatiendo internamente en Action si realmente se podía dividir de esta manera. Podemos combinarlas, y de eso se trata todo este ejercicio: intentar entender qué es qué y cómo funcionan juntas.

Pero, en definitiva, ahora que hemos hablado un poco sobre la gobernanza de datos o hemos profundizado en el tema, ¿qué es la gobernanza de la seguridad? ¿En qué consiste? Recuerdo que surgió hace más de una década.

Bueno, sí. Es curioso, pero la aparición temporal de estas políticas de gobernanza, como tú dices. Porque primero estaba Internet, lo que significa que se necesitan políticas de seguridad y todo eso, ¿no?

Y luego, en algún momento, ya se disponía de los datos —solo para dar un poco de contexto histórico y preparar al público—; en algún momento, debido a que la gente utilizaba Internet, estábamos generando algunos datos en la red que podían utilizarse para sistemas de recomendación. Eso fue al principio, ¿no? Recomendaciones de libros en Amazon o de cualquier producto que se te ocurra, ¿verdad?

Esa es, pues, la fase inicial de la recopilación de datos con fines comerciales. Y, en cualquier caso, tal y como has preguntado, la gobernanza de la seguridad es —una vez más, por desgracia es el mismo término, pero tengo que repetirlo— Políticas, procedimientos, pruebas, respuesta ante incidentes, registros o cosas por el estilo, que permiten a una empresa, en primer lugar, tener visibilidad interna sobre quién está utilizando qué o no, si se produce una brecha de seguridad, etcétera, cómo resolverla y qué hacer cuando se produce.

Sí, permiten a la empresa protegerse ante cualquier imprevisto... Por cierto, siempre que ocurre algo, sea cual sea el modelo de gobernanza. La función de cualquier modelo de gobernanza no es garantizar que no ocurra nada, sino, ante todo, reducir al máximo los casos maliciosos y contar con la mejor mitigación posible cuando, inevitablemente, surjan problemas.

Por eso existe cualquier tipo de gobernanza, por si acaso alguien piensa que la gobernanza tiene que ser infalible o algo así. Esa no es la razón. De hecho, eso es imposible.

Sí. Es un error pensar así. Sí.

Pero sí. La seguridad consiste en proteger tu propia infraestructura frente a fines, intenciones o actores maliciosos, sean cuales sean, y en saber qué hacer cuando algún actor malicioso se infiltra o lleva a cabo alguna acción maliciosa en tus datos, en la infraestructura de tu empresa o en lo que sea. Así que quiero hacer una pregunta más, solo para sentar las bases del resto de la conversación de forma adecuada, y luego hay una pregunta estupenda en la ronda de preguntas y respuestas.

Así pues, pasaré a responder a la pregunta de Jewel Darlington, y luego abordaremos esa cuestión, Jewel. Solo haré una última pregunta aquí para sentar bien las bases, porque, bueno, hemos hablado de la gobernanza de la seguridad, que surgió tras la llegada de la World Wide Web y de todo el paradigma de seguridad en torno a Internet y al flujo de datos a través de esta estructura abierta que el mundo no había visto antes. Luego llegó la gobernanza de datos, que en realidad consistía en gestionar el estado de los propios datos, cómo circulaban por la estructura.

Así pues, no solo el tamaño de los cables y los servidores y todo aquello en torno a lo que gira la seguridad, sino también los datos: evaluar a fondo la calidad de los datos, quién puede acceder a qué y demás. Y ahora nos encontramos en una era de la IA impulsada por la aparición de los grandes modelos de lenguaje hace tres o cuatro años. Y en esta era está surgiendo un nuevo paradigma de gobernanza: la gobernanza de la IA, que es algo realmente difícil de comprender para nosotros en el presente —quizá dentro de 20 años nos hagamos una sonrisa al recordarlo—, pero para nosotros en el presente resulta extremadamente difícil entender: ¿cómo gobernamos realmente la IA?

¿En qué se diferencia? ¿Qué podemos aprender de los regímenes de gobernanza anteriores? ¿Cómo se relaciona todo eso?

Bueno, para empezar, Andrea, ¿podrías ofrecernos una visión general de qué es la gobernanza de la IA? Sí.

Así que, de nuevo, daré una definición rápida, pero es mejor tener una perspectiva histórica de por qué resulta tan difícil —o, al menos, de por qué creo que es tan difícil— separar la IA de los datos, la gobernanza de la IA de la gobernanza de datos, y decir: «Pero, ¿la gobernanza de datos es lo mismo, no?». No, os diré por qué, o al menos por qué pienso eso. Así que, de nuevo, la definición es la misma, ¿verdad? El conjunto de políticas, procedimientos, pruebas y respuesta ante incidentes cuando un modelo de IA hace algo mal.

Si, naturalmente, ocurre algún problema, se cuenta con una respuesta ante incidentes, una estrategia de mitigación y una forma de resolver la situación, con la esperanza de que no vuelva a ocurrir. Básicamente, se trata de un ciclo de retroalimentación para ajustar el procedimiento que ya se tenía establecido. Como puedes observar, se utiliza el mismo tipo de término para los tres conceptos.

Lo que haces en este mundo es diferente, pero la forma de expresarlo es, naturalmente, la misma. Creo que solo quiero añadir esto muy rápidamente: la razón por la que resulta tan confuso es que existía —al menos ahora ya se ha amortizado, y con razón— esa idea que sigue rondando por la cabeza de que «los datos son el petróleo», de que «todo está en los datos», lo cual es cierto en parte, ¿vale? Los datos son absolutamente importantes, pero no lo son todo.

No. Ese es el problema. Por eso la gente se confunde.

En el momento en que piensas que los datos lo son todo, no ves el valor de la gobernanza de la IA, ¿verdad? Creo que ese ha sido un problema desde siempre. Partimos de la idea de que los datos lo son todo, de que todo son datos.

Por lo tanto, si analizo bien los datos, todo lo demás vendrá solo. Por desgracia, eso no basta. Y ahí está el problema.

Por eso creo que a la gente le cuesta entenderlo, porque parten de esa mentalidad que se ha reflejado en los medios durante mucho tiempo. No digo que esté mal, pero no es suficiente. No, te voy a interrumpir porque creo que, en realidad, por favor, lo que estás diciendo es totalmente acertado, y lo que quiero decir es que se trata de una visión de las cosas centrada en los datos.

Es una especie de burbuja en la que las prácticas de gestión de datos y los especialistas en tecnología se centran tanto en los datos en sí mismos que creen que estos resuelven todos los problemas técnicos de una empresa. Y creo que nosotros nos dedicamos a los datos, y no digo esto para criticar ningún tipo de principios de gestión de datos. Sí.

Simplemente no creo que gestionemos los datos correctamente si tenemos este tipo de visión. Y ahora estás diciendo que eso nos limita mucho en lo que respecta a la gobernanza de la IA. Exacto.

Y, por cierto, no abordamos ese tema porque nadie piensa en ello, ya que, una vez que se accede a los datos, llega un momento en el que hay que utilizarlos. En el momento de utilizarlos, hay dos formas de hacerlo, ¿verdad? O bien los utiliza un modelo de IA, o bien los utiliza una persona.

De momento, todavía no contamos con un gobierno humano, pero estad atentos. En algún momento, también tendremos un gobierno humano. Vale, ya lo tenemos.

Cómo estoy seguro, una vez más, de que se ha establecido un proceso, un procedimiento, un incidente, para que el ser humano se dé cuenta de que algo va mal o de que se está haciendo algo incorrecto con los datos o con el modelo de IA; llamémoslo «gobernanza humana». Pero no me sorprendería que, en algún momento, llegáramos también a eso. Pero lo que es seguro es que, a día de hoy, nos encontramos en la fase inicial de darnos cuenta de que tenemos algo por encima que utiliza los datos, ¿de acuerdo?

Y esa novedad, de alguna manera, en algún momento, puede salir mal por sí sola. Esa es la cuestión. Puede salir mal por sí sola.

Por lo tanto, necesitas un conjunto de procedimientos o, de nuevo, una política de respuesta ante incidentes, para asegurarte de que no salga mal o, al menos, de que salga mal lo menos posible, ¿verdad? Mm-hmm. No se me ocurre una forma más sencilla de decirlo.

Cualquier cosa que interactúe con los datos y que, al hacerlo, realice alguna acción, necesitará de alguna forma una gobernanza en algún momento. Sí. Si se trata de una IA, habrá una gobernanza de la IA.

Suena feo decirlo, pero esa cosa es un ser humano, así que no es una cosa, es un ser humano de verdad. En algún momento, a lo largo de hoy, también tendremos una normativa al respecto. Por cierto, ya conocemos el RGPD, ¿verdad?

El RGPD se centra en las personas, en los datos. Sí. Si lo quieres ver así, se trata de una gobernanza centrada en las personas, ¿no?

El RGPD es una cuestión de gestión humana. Sin duda. Una vez que se dispone de los datos, hay una forma de, con suerte, resolverlo.

Creo también que es bastante importante tener en cuenta que, cuando hablamos de IA, no se trata, tal y como has mencionado, únicamente de los datos que utiliza la IA. Sí. Se trata del mecanismo en sí mismo.

Así que se parece más a la gestión de una aplicación. Tiene versiones, integraciones y muchas otras cosas que no tienen nada que ver con los datos. Y, básicamente, creo que tenemos algunas preguntas.

Así que, en lugar de hacer yo las preguntas, voy a plantear las preguntas de los participantes. Creo que así es mucho mejor. Empezaremos con la pregunta de Jewel.

Es un tema largo, así que ten paciencia, Andrea. Muy bien. A nivel ejecutivo, ¿cómo deberían las organizaciones determinar a quién corresponde la responsabilidad cuando los datos están debidamente gestionados y los controles de seguridad funcionan según lo previsto, pero el sistema de IA sigue realizando una acción no autorizada o que causa un perjuicio significativo?

¿Debería volver a leerlo? Vale. Entonces, la gobernanza de datos... Antes de que lo leas, por si quieres precisarlo, se refiere a un nivel diferente de madurez entre, básicamente, la gobernanza de la IA —que ya está en marcha, por lo que algo ya va mal— y una madurez consolidada en la gobernanza de la seguridad de los datos.

Pero se lo pregunto directamente a él, por si acaso puede aclarar un poco más su pregunta; no obstante, por favor, léela de nuevo, por si acaso ya lo ha hecho. Creo que la pregunta da en el clavo, ¿verdad? Porque lo que dice es que, en realidad, la gobernanza de datos funciona, y que la gobernanza de la seguridad o los controles de seguridad funcionan según lo previsto.

Así pues, esos elementos, esas disciplinas de gobernanza, funcionan. Pero un sistema de IA sigue llevando a cabo una acción no autorizada o que causa un perjuicio significativo. ¿Qué deberían hacer los directivos?

¿A quién se le debería atribuir la responsabilidad de ese tipo de acciones no deseadas por parte de las soluciones de IA si la gobernanza y la seguridad de los datos funcionan correctamente? En primer lugar, en cierto modo, esta conversación va a ser bastante circular. Y tened paciencia con nosotros, es la naturaleza misma del tema.

Lo que intento decir es que, si lees el artículo, en el momento en que me lo cuentas, en la pregunta concreta, él da por hecho que ya sabe que el fallo está en la IA. ¿Vale? Si lo sabe, entonces, básicamente, a partir de un resultado... Es decir, tiene el resultado, el resultado es incorrecto, y ya ha determinado que, vale, los datos no son...

Cuando digo «los datos», no me refiero a los datos en general, porque él los comprueba por separado. Los datos concretos que ha procesado ese modelo específico; ellos reciben el resultado, no es que tengamos datos separados, solo para aclararlo, porque, de lo contrario... Y la seguridad o la solución concreta que está utilizando, etc., ya se han comprobado y no hay ningún problema.

Eso significa que el problema radica o bien en el entrenamiento del modelo, o bien en su ajuste fino, o bien en la forma en que el modelo procesa de alguna manera los datos —que ya son claros y de buena calidad—, o bien en el proceso de tratamiento de datos, como antes, sea lo que sea, ahí es donde está el problema. ¿De acuerdo? Vale, entonces lo que estás diciendo es que los ejecutivos, en esta situación concreta, deberían examinar la arquitectura que rodea a la arquitectura de los agentes o al modelo específico en cuestión, y que el problema residirá en esos elementos y no en los datos con los que se alimenta ni en la seguridad.

Correcto. Exacto. Pero eso es por exclusión, ¿no?

Pero eso ya se indica en la pregunta, ¿no? Básicamente es por exclusión. Ya he comprobado que los datos han sido procesados por ese modelo concreto.

No lo es. Entonces, por descarte, debe de ser esto. ¿De acuerdo?

Y la pregunta, solo para aclararlo, es: ¿a qué nivel de...? ¿Qué ha dicho? ¿A qué nivel ejecutivo debería recaer la responsabilidad? Algo así, ¿no? Sí.

¿A quién debe recaer, en definitiva, la responsabilidad? Vale. A todos los niveles.

Si recordáis, cuando hablo de las definiciones de «política», «procedimiento», «prueba» e «incidente», me refiero a todos los niveles. Así que habrá un nivel de política, y habrá algunas personas. ¿De acuerdo?

Luego está el nivel de procedimiento. Por «procedimiento» me refiero a que dispongo de un método para entrenar el modelo y comprobar el resultado de ese entrenamiento, y estructuro la forma de realizar esa comprobación. Puede que yo no sea la persona que pulse el botón para realizar la comprobación, y ese es el nivel de comprobación.

Las personas que, cada semana, cada mes —dependiendo del caso—, pulsan el botón en el ordenador o escriben el script en Python para las pruebas. Sí. Y luego lo ejecutan y lo graban.

Hoy, 22 de septiembre, en tu caso, a las 17:22, lo he registrado, y este ha sido el resultado. Y esto es otro nivel. Pero esa persona tiene la responsabilidad de realizar las pruebas correctamente.

Si algo sale mal, tiene la responsabilidad de informar de que esta prueba no se ha realizado. De lo contrario, o bien se pone en marcha una respuesta ante incidentes o algo por el estilo, o bien, si se trata de algo menor, se lleva a cabo una verificación del cumplimiento de la política y el procedimiento una semana después, ya que se trata de un incidente de menor importancia. ¿De acuerdo?

Pero está presente en todos los niveles. Hay... Sí... una persona responsable de un aspecto concreto dentro de la gobernanza.

Al igual que se haría en la gobernanza de datos, creo que en la gobernanza de la seguridad se haría exactamente lo mismo. Sí, así es. En cierto modo, todo está relacionado, y por eso es tan importante que estos equipos trabajen juntos.

Eso es otra historia, pero no suele ser así. Tenemos dos preguntas más en el chat, y creo que todas son bastante buenas, así que quiero seguir adelante y plantearlas. La siguiente pregunta es de, sí, alguien que prefiere no dar su nombre.

No pasa nada. La pregunta es bastante sencilla: ¿Es la gobernanza de la IA, en definitiva, una combinación entre la gobernanza de los datos y la gobernanza de la seguridad? Si quieres, puedes explicarlo con más detalle, pero, a primera vista, lo que estás diciendo es que no.

Porque, al fin y al cabo, lo que intentas hacer es algo independiente y sin relación con eso. Entendido. Porque, si ya estuviera relacionado, por cierto, también se rompería la gobernanza, ya que sería como juzgarte a ti mismo.

Claro. Me estoy yendo un poco por las ramas, pero no demasiado. Por eso a veces no me hace mucha gracia que alguien del público con conocimientos técnicos se erija en juez del LLM, el LLM como juez, con esa mentalidad.

El problema de establecer un sistema de gobernanza es que, entonces, el propio LLM se juzga a sí mismo; se entra en un círculo vicioso y, de alguna manera, se rompe la independencia. Por eso hay que tener cuidado. Así que, cuando dices que es una unión, el problema es que se necesita esa independencia.

Exacto. De lo contrario, se corre el riesgo de que surjan conflictos de intereses dentro de la propia entidad, entre los distintos órganos, etcétera, y eso puede socavar el propio objetivo de la gobernanza, que debería gozar de cierta independencia. ¿De acuerdo?

Pero, por favor, si no lo he entendido bien, acláralo. Lo más importante es comprender que la gobernanza de la IA es un conjunto de políticas, procedimientos, pruebas, respuesta a incidentes, etcétera, para determinar si un modelo se ha entrenado correctamente y definir si el ajuste ha sido el adecuado. Si el resultado sigue un formato determinado, si se especifica...

Disculpa, si en el ajuste de precisión o en las habilidades incluidas —sea lo que sea eso— se especifica un formato concreto para la respuesta, ¿se respeta ese formato? ¿Se desvía a veces? ¿Por qué?

¿Por qué no? Y cuando se desvíe del esquema, ¿qué vas a hacer, según la respuesta más sencilla que has dado? ¿Se debe a la formación?

¿Es porque, si el proceso de importación de datos fuera diferente al de antes, entonces vale, tendríamos que estructurarlo? Pero si fuera solo porque el ajuste fino salió mal en esa versión concreta, entonces se trata de un problema de IA. ¿No?

Sí. O quizá hayas cambiado, o simplemente, como solemos hacer, ¿cómo se llama ahora?, Fable 5.0, y luego pasa a ser 5.1. En cuanto cambias la API, algo cambia y, por lo tanto, el modelo se ha desajustado un poco.

Eso no tiene nada que ver con la gobernanza de la IA, ¿verdad? Es solo porque has modificado ligeramente la API. Es algo sencillo.

Eso entra dentro del ámbito de la gobernanza de la IA. Sí. Te voy a poner el ejemplo más sencillo posible, solo para que se entienda la idea.

No tiene nada que ver con los datos. Si modificas ligeramente la API, no tiene nada que ver con los datos. Solo tienes que modificarla ligeramente y, por eso, hay que cambiarla un poco.

Sí, claro. No, espero que al oyente también le quede claro. Hay una tercera pregunta en el chat que me gustaría plantear.

Eso lo ha dicho Mihir Mohanty, y la pregunta es: lo que describes suena a gobernanza de recursos, como el acceso, la capacidad, el control, etcétera. ¿Qué hay de la gobernanza basada en la intención para la IA en su conjunto cuando intentamos implementar un proceso empresarial? Ahora tenemos que abordar diferentes aspectos técnicos, y hay talleres completos sobre eso, pero hay diferentes formas de abordar lo que tú llamas «intención» o «seguridad».

Puedo darte una idea de los dos enfoques principales que utilizo en la práctica, por ejemplo, en el ámbito de la defensa o en determinadas entidades financieras. Para que te hagas una idea, voy a profundizar un poco más en la intención, pero el objetivo es que conozcas los diferentes enfoques que puedes utilizar. Por ejemplo, uno de ellos es el de «impacto más probabilidad».

Lo que quiero decir con eso es que, sea cual sea la solución de IA que tengas, sí... Solo la IA. Así que la ajustas o lo que sea, o simplemente utilizas la API, pero has creado un flujo de trabajo con el agente y los datos. Perdón, el agente con los datos, pero los datos ya están ahí por sí mismos, ¿no?

Simplemente estás asimilando eso. Así que tienes una estructura y una solución basada en agentes con diferentes agentes que hacen lo que sea, ¿vale? Tienes dos formas de gestionar la IA.

Los datos son el producto de la gravedad por la probabilidad. Así que primero hay que definir una evaluación de riesgos de la solución. Por poner un ejemplo sencillo, un chat de atención al cliente, donde el riesgo es que se pueda ofender al cliente.

Algo sencillo. Sí. Solo para que te hagas una idea.

Pues lo que vas a hacer es evaluar el impacto, ¿vale? Y del uno al cinco, lo haces manualmente; por cierto, no hay otra opción. Hay una persona que asume la responsabilidad de juzgarlo.

Y el impacto es que, vale, puede que perdamos al cliente. Le das un impacto de tres. La probabilidad de que eso ocurra, quizá un cuatro, porque no lo sé.

Pueden ser dos. Por cierto, esto depende de la situación. No estoy diciendo que sean estrictamente tres o estrictamente cuatro para un chatbot de atención al cliente.

No estoy diciendo eso. Porque hay alguien que realmente lo evalúa. Basándome en este análisis de riesgos, ¿qué es lo que dije?

La probabilidad es cuatro y el impacto es tres. En función de eso, se definen las pruebas. ¿De acuerdo?

Como es muy frecuente, necesitamos realizar pruebas con mayor frecuencia, por ejemplo. Pero, como el impacto es bajo, queremos hacer menos pruebas. Si el impacto fuera muy alto, querrías hacer muchas pruebas para comprobar la robustez del modelo... Sí...

Probamos exactamente los mismos datos, pero el impacto fue escaso. Sin embargo, queremos que sea frecuente porque eso ocurre a menudo. Ya ves por qué ese es un enfoque válido.

Sí. Andrea... El otro enfoque es totalmente diferente, por motivos de seguridad. Sí.

Por ejemplo, los reactores nucleares o las instalaciones nucleares, siempre que... Por cierto, esto va más allá de la IA, pero puede estar relacionado con temas de IA. No quiero entrar en detalles, pero no tienen en cuenta la probabilidad de que se produzca un impacto.

Utilizan algo que se denomina «propiedad de seguridad». Así que vuelven a contar con un sistema de IA y definen las propiedades adecuadas... Quieren comprobar la robustez y la vulnerabilidad ante los ataques. Disponen de esto y, a continuación, intentan maximizar las pruebas para cada propiedad.

Vale, ¿cómo puedo comprobar la vulnerabilidad de este modelo concreto? Se plantean comprobar su robustez. Y eso es lo que hacen.

Es un enfoque diferente, pero se aborda desde otro punto de vista. En una central nuclear o en una central eléctrica, o algo por el estilo, hay que prestar especial atención a las características del modelo y a las propiedades de seguridad. ¿No?

Mm-hmm. Eso era más comercial. Así que es muy largo y muy complejo.

Pero solo lo he probado durante unos minutos para ofreceros una perspectiva más amplia de los diferentes enfoques que se podrían adoptar respecto a... Sí... esta gobernanza. Y espero que podáis ver que, por ahora, no hay nada sobre los datos.

Me refiero al enfoque para, como tú lo llamas, la intención del modelo de comprobar eso de alguna manera. Por supuesto. No, te entiendo.

Las preguntas son, sencillamente, algo muy agradable de ver; están surgiendo a tal velocidad que no estoy seguro de que podamos dar con las respuestas a todas ellas y a las preguntas que me quedan. Así que esto es estupendo, pero quiero seguir adelante. Me saltaré una pregunta de la cola y volveré a ella más tarde, porque creo que estabas respondiendo a la pregunta de Mihai y hay una pregunta de seguimiento.

Mihai pregunta: «Bueno, has mencionado tres aspectos de la gobernanza de la IA. Tenemos dos: los datos y la seguridad. ¿Cuál es el tercero?». Supongo que se podría llamar «modelo», algo así como la arquitectura agencial.

Sí. ¿Se podría llamar «el modelo»? Puedes ponerlo así.

Por supuesto. Al fin y al cabo, si tienes un modelo, se trata de un solo agente. Es... Sí...

Es un poco simplista, lo sé, pero un modelo es un agente, a grandes rasgos, ¿no? Sí. La razón por la que nunca has dicho «agente» antes es que, al fin y al cabo, se trataba de un modelo que hacía algo, ¿verdad?

Un modelo rara vez interactuaba con eso. Ahora nos encontramos en una etapa en la que un modelo diferente puede interactuar y realizar otras acciones. Por eso hemos acuñado este nuevo término: «agentic».

Pero antes... Sí... fuimos el único agente durante años, básicamente. Sí.

Pero... Supongo que esa es la respuesta. En el modelo hay datos, hay seguridad y luego está el modelo en sí. Sí.

O la arquitectura agencial, que combina múltiples agentes... Sí... y que funciona basándose en diversos modelos. Datos.

Sí. Hace un rato, el participante anónimo hizo una pregunta, y tengo la impresión de que esto es una continuación de la misma, o quizá se trate de una nueva pregunta. Pero cuando se habla de «gobernanza de la información», ¿se trata de un término genérico dinámico que ahora abarca la gestión de documentos, la gobernanza de datos y la gobernanza de la inteligencia artificial?

No sé si has oído hablar de ese término, Andrea. Personalmente, me parece que se queda un poco al margen del tema. Repite eso.

Entonces, cuando se habla de gobernanza de la información... Vale... ¿se trata de un término genérico dinámico que ahora incluye la gestión de documentos, la gobernanza de datos y la gobernanza de la IA? Sí, mira, en cuanto a la información, por ejemplo, en la norma ISO, el término concreto para la versión sobre seguridad es «gobernanza de la seguridad de la información».

Así que es un término un poco genérico. Por ejemplo, la norma ISO 27001, si no me equivoco, se refiere a la seguridad de la información, no solo a cuestiones de seguridad en general. Sí.

Bueno, es una expresión un poco malsonante, pero quería retomar la pregunta anterior sobre cuando se habla de «datos» en el modelo. En cuanto al entrenamiento del modelo, claro, se puede aplicar la gobernanza de la IA solo para el entrenamiento, pero la mayor parte de la gobernanza de la IA hoy en día no consiste en regular el entrenamiento del modelo, sino en regular... Perdón, consiste en regular su funcionamiento una vez que está en producción.

La incorporación de eso. Sí, claro que sí. Es el futuro.

Cuando está en producción, no durante el entrenamiento. Normalmente, no se aplica la gobernanza de la IA durante el entrenamiento, ¿de acuerdo? Solo quería aclararlo rápidamente.

Así que, cuando hablas de los datos del modelo, eso es precisamente lo que te interesa en un contexto de gobernanza. Cuando el modelo está en producción, prestando servicio a los clientes o lo que sea, existe un riesgo. Pero cuando estás entrenando el modelo, ¿cuál es el riesgo?

Estás dentro de tu empresa. Es un gasto sin ningún beneficio, ¿verdad? Cuando este modelo ya está entrenado y está prestando servicio a los clientes, entonces asumes cierto riesgo, por lo que es necesario contar con un sistema de gobernanza.

La gobernanza no se lleva a cabo durante la fase de formación, solo para que quede claro. Sí. No, ese es un punto importante, ¿verdad?

Porque, al fin y al cabo, la gobernanza debe justificarse desde una perspectiva financiera. Correcto. Y es precisamente cuando interactúa con... Existe algún tipo de riesgo.

Sí, en un contexto en el que realmente existe un riesgo, ¿verdad? También tenemos una pregunta de Romain Alemo. Espero estar pronunciándolo bien.

Y la pregunta es: «¿Qué recomiendas para implantar la IA en toda la organización y evitar que sea solo un tema para los miembros de la oficina de datos? ¿Cómo fomentar casos de uso de la IA que consistan simplemente en la resolución de problemas basada en datos fuera de los círculos de personas con conocimientos de datos?». Así pues, ¿cómo se puede implantar la IA en toda la organización para que no se quede solo dentro de lo que antes he llamado la «burbuja de datos», por así decirlo? ¿Tiene sentido?

La pregunta es si tú... Quizás pueda reformularla así. Sí, por favor.

Entre tus clientes, Andrea, ¿ves muchos proyectos —ya sean de gobernanza de la IA o proyectos de IA en general— que estén integrados en los equipos de datos, o estos proyectos están más integrados en equipos de las líneas de negocio más directas o... Sí... ¿equipos? No, es lo segundo.

Es algo así como… Vale, no es exactamente eso, pero dejémoslo un poco a un lado, en el sentido de que, según los comentarios que he recibido de los clientes a lo largo de los años, y más aún ahora, lo que quieren es un retorno de la inversión. Eso significa que ya están pensando en una solución que, de alguna manera, genere algún tipo de rendimiento o cualquier otra métrica que se quiera aplicar. Por lo tanto, a menos que haya ocurrido varias veces, la solución es hacer que el almacenamiento de datos o cualquier otro aspecto sea más eficiente.

Pero se trata de un caso excepcional, ¿no? Hay que gestionar los datos de alguna forma eficiente. Pero, aparte de eso, se trata más bien de una cuestión comercial que técnica.

Mm-hmm. Sí.

Lo cual es maravilloso, tengo que decir, porque... Sí... no hay nada peor que participar en proyectos en los que se nota que lo que los impulsa es la curiosidad técnica. Esa curiosidad tiene que estar ahí, por supuesto, pero es un auténtico placer participar en proyectos tecnológicos que realmente marcan la diferencia.

De acuerdo. Hay una respuesta de un asistente anónimo que señala que la gobernanza debe aplicarse en todas las fases del ciclo de vida de un sistema de IA, lo que significa que se necesita gobernanza durante el entrenamiento del modelo para garantizar, por ejemplo, que no se esté entrenando con datos sesgados. ¿Qué opinas al respecto?

Los datos sesgados, por definición, forman parte de la gobernanza de datos. Por definición, ¿no? No tiene nada que ver con... Sí...

No, no, no. Entonces... Por definición, si hay un sesgo en los datos, eso va más allá de eso, ¿no? Es decir, más allá de los algoritmos.

Sí. Me gusta esa distinción. Así que, en realidad, no estás diciendo que la persona que hace esta pregunta esté equivocada, sino que simplemente es algo que hay que dar por hecho, antes del entrenamiento del modelo, de que una actividad de gobernanza de datos haya resuelto efectivamente ese sesgo.

O quizá sea un caso límite. Claro. Vale, entrenamos el modelo, vemos que hay un sesgo en el resultado y entonces podemos —o deberíamos— entender si ese sesgo se debe a que los datos ya estaban sesgados, en cuyo caso, de nuevo, se trata de un problema de gobernanza de datos.

O, por la razón que sea, al realizar el entrenamiento, introdujimos otro sesgo. Mm-hmm. Claro.

Pero, de nuevo, si ves que es lo mismo, primero te fijas en el resultado y, a partir de ahí, intentas entender de dónde viene. Pero mira, en cuanto al sesgo, es muy difícil. Bueno, todo es posible, ¿quién sabe?

Pero si tuviera que apostar, diría que suele ser la gobernanza de los datos. No es porque quiera echar la culpa a los responsables de los datos, no es eso, sino que suele estar en los propios datos. Sí.

No, creo que, como especialista en datos, no me importa asumir la culpa en este caso. Creo que tu distinción es acertada en el sentido de que hay que abordar el problema allí donde se pueda resolver, ¿no? Sí.

Y, en realidad, no se puede tener un equipo de gobernanza de la IA que realice tareas de gobernanza de datos fuera del contexto de la gobernanza de datos, porque entonces podrían llevar a cabo el trabajo manual propiamente dicho o, si son inteligentes, podrían utilizar un agente para eliminar ese sesgo. Pero eso requeriría coordinación con el equipo de gobernanza de datos, ¿no?

Claro. La verdad, invitado anónimo, es una pregunta estupenda. Gracias.

Mihir también está haciendo un seguimiento, y creo que cerraremos la ronda de preguntas con la de Mihir, porque yo voy a concluir con una última pregunta y, después, se nos acabará el tiempo. Solo nos quedan cuatro minutos. Ha pasado todo muy rápido, y veo que la gran mayoría de los participantes señalan que nos queda una última pregunta.

Ha sido muy largo. A ver si somos capaces de repasar todo. Mihir pregunta: «La gobernanza tradicional es, en su mayor parte, reactiva, basada en registros o en datos exhaustivos».

En el caso de la IA, eso ya es demasiado tarde. ¿Cómo se puede aplicar de forma continua para poder hablar de gobernanza en tiempo real? ¿Cómo se hace eso? Porque todo cambia muy rápido.

Sí. Una vez más, el objetivo de la gobernanza, en general, es de algún modo reactivo, ¿no? Se responde a un incidente y se aprende de él.

Una vez más, la mentalidad de la gestión no consiste en que tengamos que estar siempre seguros al 100 % o en que no se produzcan errores. Esa no es la mentalidad. Así que, en primer lugar, voy a dar un paso atrás respecto a esa mentalidad.

Eso no es correcto. Pensar que, una vez que se aplica una buena gobernanza, todo debería salir bien, no es por eso por lo que se hace. Lo haces simplemente porque quieres minimizar los errores y aprender de ellos rápidamente, lo más rápido posible.

Claro. Eso es lo primero. De nuevo, voy a ser, perdón, breve en esto.

Ahora bien, como ya mencioné brevemente en otra respuesta anterior, cito ejemplos con los que hemos estado experimentando o que he visto, como el uso de un modelo de lenguaje grande (LLM) a modo de juez. Obviamente, si se utiliza otro LLM u otra IA para verificar a la otra IA, se puede hacer en tiempo real, ¿no? Porque en realidad no hay nadie que lo compruebe y, por lo tanto, puede ir tan rápido como se quiera, ya que se trata de una API que verifica a otra API, etcétera.

Veo que eso conlleva un pequeño riesgo. Por cierto, cuanto más se hace todo esto, más aumenta el riesgo de seguridad, ¿verdad? Porque no solo hay que proteger la API original, sino que ahora también hay que proteger otra API que evalúa a la primera.

Así que, en cierto modo, la manta siempre se queda corta. En cierto modo, llega un momento en el que te mueves dentro de la manta. Sin duda hay formas de automatizar algunas pruebas, etcétera, pero cuanto más automatizas eso, más te expones a diferentes ciberataques.

Sí. Claro, dirás: «Ah, ahora, en tiempo real, una mejor gestión de la IA». Sí, pero en el tema de la seguridad ha empeorado. Sí.

Pues sí, estás moviendo la manta. Sí. Mm-hmm.

Sí. Así que ten cuidado con este tipo de cosas o de mentalidad. ¿Vale?

Sí. Claro. Es una perspectiva estupenda.

Voy a omitir mi propia pregunta final y resumiré la última pregunta que tenemos en el chat, formulada por Mark Doherty. Básicamente, la resumiré en lo siguiente: ¿crees que todas las actividades de gobernanza —la gobernanza de datos, la seguridad y ahora la IA— pueden contar con un único repositorio que documente las actividades de esta gobernanza? ¿A qué te refieres con eso?

¿«Un único registro» en el sentido de...? La prueba de que se ha llevado a cabo la gobernanza. ¿Te refieres a los registros?

Sí. O sea, el registro de las pruebas. Sí, exactamente.

Sí. De hecho, sí. Has dado en el clavo.

Lo que quiero decir con esto es que, cuando imparto un taller —un taller sobre gobernanza de la IA—, al final del día suelo daros una regla general o un consejo, una idea rápida que podáis poner en práctica al día siguiente. Una de las cosas que digo es precisamente esto: la persona que realmente lleva a cabo las pruebas de gobernanza de la IA, dado que se trata de un script de Python o similar, en muchas situaciones resulta muy útil combinar este script de Python con el script de pruebas de seguridad o, en su defecto, con el script de Python.

Así que la misma persona puede hacerlo; por lo tanto, puede registrarlo todo ahí. Ahora bien, esto es una regla general. No estoy diciendo que todas las situaciones deban ser así, solo para que quede claro, porque siempre hay casos excepcionales, o incluso más que eso.

Pero mira, en muchas situaciones, sin duda será una buena idea y una opción rentable combinar distintos scripts, pruebas o datos de seguridad, etcétera. Claro. Gracias, Andrea.

Sin embargo, no hay una salvedad para todo.

Es solo una regla general. Sí. Solo para que quede claro.

Sí. Gracias. Creo que es un detalle importante que hay que tener en cuenta.

Se nos ha acabado el tiempo, así que quiero darte las gracias, Andrea, por participar en «Data Explored», una serie de « seminario en línea » de Action. Gracias a todos los que habéis participado y habéis planteado preguntas tan interesantes. Seguid enviándolas.

Puedes ponerte en contacto con nosotros o con Andrea en LinkedIn, en Substack y en un sinfín de otras redes sociales en las que todos estamos presentes. Así que, por favor, mantente en contacto. Muchas gracias por tu tiempo.

Gracias, Andrea, por acompañarme. Gracias. Gracias por invitarme.