Resumen
- seminario en línea de TDWI seminario en línea Databricks y Actian.
- Observabilidad nativa de los lagos del delta.
- Cobertura al 100 %, sin puntos ciegos.
- Un alcance enorme en materia de gobernanza.
- El poder de la capa semántica.
- El contexto prima sobre el contenido.
Capítulos
Hola a todos y bienvenidos al seminario en línea de TDWI. Soy Andrew Miller y seré vuestro moderador. En el programa de hoy vamos a hablar sobre «Sin observabilidad, sin agentes: la clave para proporcionar datos a la IA».
Y nuestros patrocinadores de hoy son Actian y Databricks. En cuanto a las ponencias de hoy, escucharemos primero a Evan Levy, de TDWI, y, tras la intervención de Evan, contaremos con la presencia de Emma McGrattan, de Actian, y Raja Parimal, de Databricks, para las ponencias y una mesa redonda. Antes de ceder la palabra a nuestros ponentes, permítanme repasar algunos aspectos básicos.
seminario en línea de hoy seminario en línea aproximadamente una hora y, al finalizar las ponencias, nuestros ponentes dedicarán un tiempo a responder preguntas. Así que, si en cualquier momento durante las ponencias deseas plantear una pregunta, solo tienes que utilizar el apartado «Plantea una pregunta» que aparece en tu pantalla para escribirla. Si tienes alguna dificultad técnica durante el seminario en línea, puedes hacer clic en el apartado «Preguntas frecuentes técnicas» y recibirás asistencia técnica.
Y si quieres una copia de la presentación de hoy, puedes ir a la ventana de recursos para descargar un PDF. Por último, estamos grabando el evento de hoy y te enviaremos por correo electrónico un enlace a una versión archivada para que puedas volver a ver la presentación más tarde si lo deseas, o si lo prefieres, puedes compartirla con un compañero. Una vez más, hoy vamos a hablar de «Sin observabilidad, sin agentes: la clave para proporcionar datos a la IA».
Y nuestro primer ponente es Evan Levy. Es investigador en TDWI y socio de Integral Data LLC. Evan es consultor de gestión especializado en estrategia de datos empresariales, gestión de datos, análisis e integración de sistemas.
Asesora a los clientes sobre estrategias para abordar los retos empresariales utilizando sus datos y recursos tecnológicos existentes, combinados con métodos y prácticas nuevos y creativos. Con más de 25 años de experiencia en consultoría con clientes, Evan imparte clases y talleres en los que ofrece conocimientos prácticos y basados en la experiencia real para abordar los retos y garantizar el éxito tanto de las tecnologías de la información como del negocio. Dicho esto, os invito a dar la bienvenida a Evan, y ahora le cedo la palabra.
Gracias, Andrew. Es fantástico estar aquí. La verdad es que tengo muchas ganas de participar en el debate que vamos a tener hoy.
Habría que haber estado aislado fuera del planeta durante unos meses o unos años para no conocer la importancia, no solo de intentar avanzar en el campo de la IA, sino también de todas las dependencias y retos que estamos tratando de abordar, ya que la IA, en muchos casos, solo es tan potente como los datos de los que puede aprender, analizar y procesar. Dicho esto, vamos a abordar varios temas o conceptos diferentes en nuestra conversación de hoy antes de pasar al debate del panel. El primero, obviamente, es: ¿qué son la observabilidad de los datos y la semántica?
Para aquellos de vosotros que seáis nuevos en este ámbito —aunque, obviamente, probablemente no lo seáis en materia de IA—, pero sí en todo lo relacionado con la observabilidad y la semántica de los datos. Repasaremos algunos datos que la investigación de TDWI ha revelado a través de sus encuestas. Y para aquellos que no lo sepan, la investigación de TDWI lleva a cabo un buen número de encuestas a lo largo del año para intentar estar al tanto de las tendencias, los intereses y las ideas de nuestros miembros.
Abordaremos algunos de esos retos en nuestra mesa redonda y, a continuación, veremos cómo, obviamente, Actian y Databricks pueden ayudar a superar y abordar algunos de ellos. Dicho esto, permítanme pasar a mostrarles un diagrama muy sencillo. Cuando hablamos del concepto de observabilidad de los datos, obviamente lo primero que nos viene a la mente es la calidad de los datos, pero es mucho más que eso.
Si echamos un vistazo a un entorno típico, nos encontramos con una gran cantidad de sistemas de origen, ya sean entornos locales, contenidos de datos de terceros, estudios de mercado por suscripción o sindicados, así como aplicaciones en la nube. E, inevitablemente, se requiere una cantidad considerable de trabajo para conseguir esos datos. Por lo tanto, desde el principio, ya se cuenta con una parte de la cadena de suministro de datos.
¿Qué es lo que hago para recopilar, recoger o recibir los datos? A continuación, paso a almacenarlos en mis repositorios principales o plataformas analíticas y/o sistemas de consulta y generación de informes. Así pues, hay toda una serie de servicios y funciones que son necesarios para poder transformar, depurar y manipular esos datos antes de que puedan incorporarse a ese entorno.
La idea de la observabilidad consiste en que, a medida que los datos se desplazan a lo largo de la cadena de suministro, se puede medir y supervisar —prácticamente como en un proceso de auditoría o inspección—, ya que el objetivo es detectar e identificar los problemas o errores que se produzcan. Pueden ser datos inesperados, valores que no esperas o problemas de transformación o limpieza de datos. Lo que se busca es detectarlos lo antes posible, en lugar de esperar a que alguien genere un informe y descubra entonces que faltan datos.
Por supuesto, quiero que estos datos estén preparados y sean utilizables por el entorno de análisis y de IA, porque una cosa es que esté consultando un informe en busca de un evento concreto. Si tengo un registro erróneo, bueno, ese informe va a ser un problema. El reto de la IA es que analiza decenas de miles, cientos de miles, cientos de millones de eventos y detalles, y si de hecho hemos cometido un error, es posible que presente lo que a menudo llamamos «alucinaciones» o datos inexactos, lo que la llevará a sacar conclusiones erróneas.
Ahora bien, para que todas estas piezas funcionen, también está el aspecto de la gobernanza de datos, que incluye elementos como un catálogo de datos, el linaje y otros detalles para que se sepa de dónde proceden los datos. Así que, cuando hablamos de la idea de la observabilidad de los datos, a lo que realmente nos referimos es al concepto de poder realizar un seguimiento y un rastreo a lo largo de toda la cadena de suministro y disponer de los detalles necesarios para saber, bueno, ¿cuáles son todas las etapas y/o cambios que podrían ocurrir o que de hecho han ocurrido? Y toda la premisa de la semántica radica en cómo denominamos a estos elementos o atributos de datos a medida que se desplazan por el sistema, ya que, en algunos casos, podrían incluso cambiar de nombre debido a que realizamos cálculos relacionados con aspectos como los ingresos y los costes, o para determinar la rentabilidad.
Entonces, ¿cuándo están disponibles, se conocen y se comprenden esos elementos y detalles? Y, de nuevo, todo esto es, en muchos casos, un conjunto interrelacionado. Se necesita una pieza para tener la otra, y se necesita la otra para tener la primera.
Pero la idea de la observabilidad, una vez más, no se limita únicamente a la carga de datos o a la ingeniería de datos. Existe la idea errónea de que la observabilidad solo se refiere a ese aspecto, cuando en realidad abarca desde el punto de origen o creación hasta el consumo y el uso de los datos, de modo que podamos evaluar el éxito o identificar los retos. Si te doy la definición formal de lo que es la observabilidad de los datos, obviamente se trata de la capacidad de comprender, supervisar y resolver problemas relacionados con el estado y la calidad de los datos a través del sistema de datos de una organización.
Así que, una vez más, la calidad de los datos es, obviamente, un componente fundamental, pero no es el único. En realidad, se trata de asegurarse de lo siguiente: ¿dispongo de los datos que necesito? ¿Son adecuados para el fin al que se destinan?
¿Y es adecuado para el trabajo y la actividad que hay que realizar? Se trata, pues, de la actualidad. ¿Qué tan reciente es el contenido?
En cuanto a los volúmenes, ¿es el nivel de detalle adecuado? Existe la creencia de que se puede utilizar la IA para resolver cualquier cosa. El problema, cuando no se dispone de suficientes datos históricos o detalles, es que no se puede analizar ni obtener una comprensión más profunda, ni abordar aspectos como la predicción y algunos de los aspectos matemáticos que realmente requieren un gran nivel de detalle.
Obviamente, la distribución. El concepto es bastante sencillo: ¿los datos que recibo se encuentran dentro del rango y el conjunto de valores previstos, o se trata de algo fuera de lo habitual que no esperaba? El esquema es, evidentemente, la forma en que se diseñó y cómo se relacionan entre sí.
Luego está el linaje, como ya hemos comentado: ¿de dónde proceden los datos? ¿Quién ha manipulado esos datos y cómo podrían haber cambiado? Así que, de nuevo, no se trata solo de si los datos reflejan lo que ocurrió.
¿Es precisa y comprensible? ¿Conozco cuáles son los formatos, los detalles y las representaciones? Permítanme pasar rápidamente a repasar brevemente algunos datos que ha revelado la investigación del TWRI, así como las preguntas que planteamos; se trata de la evaluación de preparación para la IA de este año, o perdón, de 2025.
Mi organización cuenta con sistemas que garantizan que los datos sean fácilmente accesibles y que puedan integrarse desde diversas fuentes, incluidos conjuntos de datos internos y externos para aplicaciones de análisis e inteligencia artificial. Y lo que me gustaría recordar a todo el mundo es que gran parte de la inteligencia artificial y el análisis asociado a ella no siempre se limita únicamente a contenidos locales o internos. A veces es necesario fusionarlos o combinarlos con contenidos de terceros o externos.
Pero en esta circunstancia concreta, preguntamos a todo el mundo: «¿Estás de acuerdo con esta afirmación o en desacuerdo?». Y, en caso afirmativo, ¿cuáles son los matices? Como puedes ver, el 15,33 % está totalmente en desacuerdo.
No tienen todo bien organizado. Un 15 % más está en desacuerdo. Los neutrales, bueno, ni están de acuerdo ni en desacuerdo.
En resumen, eso supone más de la mitad. Y lo que me gustaría que tuvieras en cuenta con estas cifras es que no se trata de que una organización sea «pura». O bien está en desacuerdo, o bien no está de acuerdo.
De hecho, lo que solemos observar en las empresas y organizaciones de mayor tamaño es que esto significa que más del 50 % de las personas o bien no se sienten seguras o bien han tenido dificultades para encontrar los datos. Así pues, no se trata de una organización frente a otra, sino de la disparidad de necesidades y/o circunstancias que existe también dentro de una organización muy grande. Pasemos al siguiente punto.
Mi organización cuenta con una base de datos fiable para el análisis. El 16 % está totalmente en desacuerdo, el 13 % en desacuerdo y el 24 % se muestra neutral. Así que, una vez más, resulta que algo más de la mitad no dispone necesariamente de una base fiable para todos los análisis y los datos que realmente necesitan.
Así que, de nuevo, no es que esto sea malo o perjudicial. Creo que, en realidad, refleja más bien la maduración de nuestro entorno. Llevamos muchos años hablando de la importancia de la calidad de los datos, la observabilidad, la precisión y la corrección.
Pero creo que la IA está haciendo que esto cobre mayor relevancia precisamente por su importancia fundamental. Y cuando hay que revisar potencialmente decenas o cientos de millones de registros y los atributos asociados, es de vital importancia contar con un sistema que permita detectar e inspeccionar de forma automatizada, ya que no se puede recurrir a personal humano para ello. Simplemente hay demasiado contenido.
Pasemos al último punto. Mi organización tiene conocimientos sobre datos. Tanto los usuarios de negocio como los analistas de negocio pueden utilizar los datos para extraer información útil.
Y cuando hablamos del concepto de «alfabetización en datos», nos referimos a la capacidad de utilizar los datos en conversaciones empresariales, y a si existe una conciencia y una comprensión de lo que realmente significan los conceptos, atributos, detalles o términos que utilizamos. Así pues, en esta pregunta concreta de la encuesta, lo que observamos fue que alrededor del 70 % estaba «totalmente en desacuerdo» y otro 16 % estaba «en desacuerdo». Eso supone un tercio desde el principio.
Y luego, otro 20 %, casi el 28 %, respondió que ninguna de las dos cosas. Así que, si lo analizamos, la idea es que el 40 % de la organización tiene conocimientos sobre datos, pero gran parte de ella no los tiene. Por lo tanto, está claro que se trata de un ámbito que va a requerir cierto nivel de inversión, incluso con la IA.
Así, la gente entiende que, cuando preguntan de dónde proceden estos datos, parece un concepto peculiar o interesante que se le ha ocurrido a la IA. Inevitablemente, dirán: «Bueno, ¿de dónde proceden estos datos? ¿Cómo llegamos a esta conclusión o se nos ocurrió esta idea?». Y tú quieres poder responder a esa pregunta.
Así que no quiero dar a entender que no hayamos logrado grandes avances. Es evidente que sí los hemos logrado. Pero donde surgen estos retos, sobre todo con la IA, es que la IA tiende a tener un apetito más amplio y profundo por los contenidos.
Y lo que hemos observado en muchos de nuestros miembros es que no solo están utilizando los datos que ya empleaban para sus entornos de análisis, paneles de control e informes, sino que también están ampliando y añadiendo nuevos contenidos que quizá no hubieran utilizado debido al enfoque y los objetivos específicos del entorno de IA. Así que permítanme resumir o concluir mi breve exposición sobre la observabilidad y la semántica. En realidad, si se analizan los retos específicos del entorno de IA en lo que respecta a los datos, queda claro que la calidad y la degradación de los datos son importantes, y mucha gente olvida que, a medida que los datos envejecen, surge un problema implícito: que no sean necesariamente precisos para el fin al que se destinan.
No quiero saber cuáles eran las tendencias de mis clientes hace ocho meses si ahora mismo tengo que abordar un problema relacionado con los precios. Por eso, la actualidad forma parte de esa calidad y de su deterioro. Se trata, en definitiva, del concepto de gobernanza de datos y controles de acceso.
¿Quién tiene permiso para consultar los datos? ¿Quién tiene permiso para modificar y actualizar el contenido? Y también: las normas relacionadas con esos datos.
¿Se permite a alguien consultar esta información? ¿Se les permite consultar determinados datos de clientes o productos concretos, o tenemos políticas que lo contradigan o entren en conflicto con ello? En cuanto a la idea de la concienciación sobre los datos y su accesibilidad, ¿sabemos siquiera qué datos hay ahí?
De hecho, uno de los mayores obstáculos con los que nos encontramos, además de la alfabetización y la precisión o calidad, es: ¿son conscientes los desarrolladores y los usuarios de la IA de todos los activos de datos que existen? Y si recordáis esa ilustración que os mostré brevemente al principio, existe toda esa gobernanza de datos a lo largo del espectro temporal, es decir, ¿nos aseguramos de que la gente conozca los datos brutos de los que disponemos, el contenido depurado y racionalizado que hemos introducido en nuestras plataformas analíticas y, de hecho, los datos que están siendo utilizados por los análisis? Consistencia semántica: aquí podéis ver mi pequeño y simpático diagrama sobre el concepto de ingresos, ganancias, rentabilidad y beneficios.
¿Sabe la gente cuál es la terminología que debería utilizar, o está empleando términos alternativos o sinónimos sin ser consciente de ello? Porque hay casos en los que, en realidad, pueden referirse a otra cosa. Están utilizando términos que creen que son sinónimos o que significan lo mismo, pero que, de hecho, son conceptos totalmente distintos.
Los conceptos de margen y beneficio pueden resultar muy confusos a menos que los hayas explicado claramente en tu empresa, por ejemplo. Y, por último, algo que ya hemos mencionado: la importancia de la alfabetización en datos. Se trata de dotar a las personas de la capacidad de comprender y distinguir los temas y cuestiones de los que se habla sin que suene como un montón de analogías o abreviaturas y cosas de las que nunca han oído hablar.
Así pues, está claro que el reto de la IA radica básicamente en el siguiente nivel de conocimiento y usabilidad de los datos. Dicho esto, gracias por vuestra paciencia con mi breve introducción, y voy a ceder la palabra de nuevo a Andrew. Fantástico.
Muchísimas gracias, Evan. Ha sido una presentación estupenda, y ahora tengo el placer de presentar a nuestra primera ponente invitada de hoy, Emma McGrattan, de Actian. Como directora de tecnología (CTO) de Actian, Emma dirige la estrategia tecnológica y la innovación, contribuyendo a la misión de Actian de simplificar la gestión de datos.
Con casi 30 años de trayectoria en Actian, es una líder reconocida en el sector de las bases de datos, conocida por su experiencia en arquitectura de datos y transformación a la nube. Dicho esto, os invito a dar la bienvenida a Emma, y ahora le cedo la palabra. Genial.
Gracias, Andrew. Bueno, voy a empezar con un poco de pesimismo, ¿vale? Esas cosas que nos quitan el sueño por las noches.
Así que estos temas siguen pareciéndome interesantes porque la IA no es nada nuevo, ¿verdad? Siempre ha existido. Mi primer trabajo en Estados Unidos fue en el Laboratorio de Inteligencia Artificial del MIT allá por 1987.
Llevo ya bastante tiempo trabajando con la IA, pero seguimos viendo cómo las organizaciones tienen dificultades con ella. Estas estadísticas dan bastante que pensar. Si nos fijamos en la primera, que dice que el 95 % de las iniciativas de IA general no generan ningún retorno de la inversión, ¿verdad?
Y este dato procede de un estudio del MIT. Entonces, ¿cómo podemos formar parte de ese 5 % que está obteniendo un retorno de la inversión (ROI) en esas inversiones? Porque en estos momentos se están realizando inversiones masivas y tenemos que demostrar ese retorno de la inversión.
La siguiente estadística que tenemos aquí es que menos del 10 % de las organizaciones han logrado implantar IA agencial. Por «implantarla a nivel organizativo» nos referimos a contar con más de un agente de IA en la organización. Entonces, ¿cómo podemos formar parte de ese 10 % que está implantando con éxito la IA en toda la organización?
Esa estadística procede de McKinsey, y la tercera que aparece aquí procede de Gartner, y según ella se prevé que el 40 % de IA agencial se cancelen a finales del año que viene, es decir, a finales de 2027. Se trata, pues, de un conjunto de estadísticas bastante alarmante y, en mi opinión, cuando presentamos estas cifras a las empresas, suelen estar de acuerdo en que este es un desenlace probable para ellas si no sentaron unas bases sólidas en materia de IA y datos. Veamos, pues, algunos de los retos a los que se enfrentan las empresas en lo que respecta a los datos.
Por lo general, hay que pensar en esto en dos ámbitos, ¿verdad? El primero serían los retos empresariales, y a menudo los usuarios de la empresa nos comentan que tardan demasiado en acceder a los datos que necesitan. E incluso si pueden acceder a ellos, no saben cómo interpretarlos.
Volviendo a lo que decía Evan sobre la alfabetización en datos, ellos no saben si pueden confiar en esos datos, ¿verdad? ¿De dónde proceden? ¿Cuál es su origen?
¿Cuál es el origen de estos datos? Desde el punto de vista empresarial, siguen enfrentándose a esos retos. Y, aunque me resulte sorprendente, seguimos teniendo algunos retos muy fundamentales en materia de datos, así como problemas relacionados con la calidad de los mismos.
Así que los datos pueden estar incompletos. Pueden ser incoherentes. Datos obsoletos, ¿no?
Quizá tengamos canales de datos defectuosos que no actualizan la información con la frecuencia que requiere la empresa. Quizá nos encontremos con datos duplicados y no sepamos en qué versión confiar. Seguimos teniendo, y seguiremos teniendo, silos de datos en toda la organización.
Según Gartner, una empresa típica cuenta con más de 400 fuentes de datos con las que tiene que trabajar. Así que eso sigue siendo un reto, ¿verdad? El mero hecho de averiguar dónde están los datos que necesitas para dar respuesta a las preguntas de la empresa.
El cumplimiento normativo y la gobernanza siguen siendo un problema, y es necesario abordarlos; la única forma de hacer frente a los retos relacionados con los datos es contar con una gobernanza que permita gestionar todos los requisitos que nos imponen normativas como el RGPD, la HIPAA y la Ley de IA de la UE. Y lo que nos gusta plantearnos en Actian es implementar la gobernanza desde el diseño. Así pues, no se trata de algo que se añada a posteriori, una vez finalizado un flujo de datos, sino más bien de que los datos estén gobernados desde su origen, y nos gustaría hacerlo de tal forma que, básicamente, se establezcan unas barreras de seguridad que permitan a los equipos de datos innovar con los datos.
Así pues, que sea algo que quede en segundo plano y no un obstáculo para el trabajo. Y, por último, nos fijamos en el hecho de que muchas organizaciones siguen enfrentándose a retos como la alfabetización en materia de datos e IA, así como en la implantación de la rendición de cuentas y el análisis de incentivos para poder desarrollar la alfabetización en datos en toda la organización. Porque se trata de un cambio cultural y organizativo que debe producirse con la incorporación de este nuevo paradigma de la IA a la empresa. Por eso, en Actian, hablamos de «gobernanza por diseño».
Creemos firmemente en adelantar algunos de los retos a los que nos enfrentamos aquí. Adelantar la calidad de los datos, adelantar la gobernanza de los datos e integrar todo esto desde el momento en que se generan los datos. Y me gusta ilustrarlo con una historia.
Cuando me mudé a Estados Unidos por primera vez, me instalé en California. Fui al DMV para sacarme el carné de conducir. En el DMV me pidieron mi peso, y como en Irlanda usamos kilogramos, y sabía que en Estados Unidos se miden en libras, así que indiqué mi peso en libras.
Y luego me preguntaron mi altura, y supuse que el equivalente a los metros y centímetros iba a ser las pulgadas. Así que, al rellenar la solicitud, puse que medía 63 pulgadas, pero me dieron un carné en el que ponía seis pies y tres pulgadas. Así que, si la persona que me atendía desde el mostrador me hubiera prestado un poco de atención —apenas podía asomarme por encima del mostrador—, se habría dado cuenta de que no medía seis pies y tres pulgadas.
Pero no lo hicieron. Así que no solucionaron ese problema con los datos en cuanto pudieron. Por eso lo consideramos un coste de prevención de 1 dólar.
Si lo hubieran arreglado en ese momento, habría sido muy sencillo. Luego me expidieron un carné en el que ponía que medía seis pies y tres pulgadas, y me pareció de lo más gracioso. Todo un pie más alto de lo que mido en realidad.
Así que no hice nada al respecto. Si hubiera pasado una tarde en la Oficina de Tráfico, podría haber solicitado que me volvieran a expedir el carné con la estatura correcta, y eso nos habría supuesto un coste de corrección de 10 dólares. No lo hice.
En lugar de eso, me fui un fin de semana a Las Vegas y me multaron por exceso de velocidad en pleno desierto. Y cuando me detuvieron y el agente de policía miró mi carné y dijo que era obvio que yo no era la persona que aparecía en él, y dada la diferencia de estatura entre nosotros, el asunto se complicó aún más. Así que, en lugar de poder salir del apuro con buenas palabras, acabé en los tribunales y tuve que contratar a un abogado para que se ocupara de las complicaciones relacionadas con mis problemas con el carné.
Así que, para mí, esto supuso un coste por fallo de 100 dólares; de hecho, más de 100 dólares. Por eso creemos firmemente que, si tienes algún problema relacionado con los datos, debes abordarlo desde el principio. Cuanto antes se aborden, mejor será para todos.
Y, como ya he dicho, en lo que respecta a la gobernanza, hay que integrarla desde el principio. Hay que plantearse la gobernanza desde el diseño. Hay que pensar en los contratos de datos y en los productos de datos, y aplicar esa gobernanza a los datos desde su creación.
Nos facilita mucho la vida y, cuanto antes solucionemos estas cosas, obviamente mejor será para todos. Evan nos ha hablado de la observabilidad de los datos. La observabilidad no es algo que se haga una vez y ya está.
Así pues, la observabilidad es un proceso continuo. Por eso estamos siempre atentos. ¿Se están actualizando los datos?
¿Estamos cumpliendo nuestros objetivos de actualidad en los flujos de datos con los que tenemos que trabajar? ¿Se están gestionando adecuadamente la calidad, la exhaustividad y la actualidad? El volumen es un aspecto interesante.
Tuvimos esa interrupción del servicio de CrowdStrike que dejó fuera de servicio muchos servicios de Internet de los que todos dependemos en nuestra vida cotidiana, y cuando investigamos cuál fue la causa principal de esa interrupción de CrowdStrike, todo se redujo al hecho de que se había introducido un archivo de datos en el servidor que tenía el doble del tamaño que debería haber tenido, y no contaban con un sistema capaz de gestionar ese tamaño de archivo, y eso fue lo que provocó la interrupción del servicio. Así pues, buscar picos o volúmenes de datos que sean insignificantes y que, en realidad, deberían ser mucho mayores que eso, puede darnos alguna indicación de que hay un problema en algún punto del flujo de datos. Los esquemas cambian constantemente.
Se añaden, eliminan y modifican columnas, y los tipos de datos van cambiando con el tiempo. Por eso, hay que asegurarse de que lo entendemos y de que somos conscientes de las consecuencias que ello conlleva. Y luego está el linaje.
Entender de dónde proceden los datos y qué transformaciones se han producido a lo largo del proceso. Por eso creemos que la observabilidad de los datos es clave para el éxito de las implementaciones de IA, ya que es fundamental asegurarse de que se comprenden los datos y de que se recibe una alerta temprana en caso de que surja algún problema con ellos. Y si queremos desarrollar una IA en la que podamos confiar, debemos alimentarla con datos en los que podamos confiar.
Por eso es tan importante que analicemos la procedencia de los datos. Podríamos pensar en la procedencia como la historia del origen de los datos. ¿De dónde proceden?
El historial es, básicamente, la trayectoria de los datos. ¿Qué les ha sucedido a lo largo de su ciclo de vida? ¿De dónde proceden?
¿Qué transformaciones ha sufrido? ¿En qué procesos se ha basado? En definitiva, eso nos indica si podemos confiar en los datos con los que estamos trabajando.
Y luego, la actualidad: asegurarnos de que, a la hora de tomar decisiones y de automatizarlas, lo hagamos basándonos en los datos más recientes. Y, por último, por mi parte, hemos hablado mucho sobre cómo deberíamos gestionar la infraestructura de datos, asegurándonos de que los fundamentos sean los correctos. Pero, en mi opinión, hay tres aspectos que debemos tener en cuenta para tener éxito con la IA.
Lo primero son las personas, y pensar en desarrollar una cultura de los datos y fomentar la alfabetización en materia de datos. Y voy a volver a dar un toque personal a esto. Crecí en Irlanda, como quizá hayáis podido deducir por mi acento.
Y en Irlanda hablamos del tiempo constantemente, lo cual resulta curioso porque llueve todo el tiempo. Pero, por lo general, todas las conversaciones empiezan hablando del tiempo. Y yo creía que entendía muy bien los datos y el tiempo, pero el año pasado descubrí que, cuando decimos que hay un 60 % de probabilidades de lluvia, yo siempre había pensado que era una forma que tenían los meteorólogos de cubrirse las espaldas y decir: «Bueno, es más probable que llueva que lo contrario».
«Un 60 % de probabilidad de lluvia». En realidad, significa que hay un 100 % de probabilidad de lluvia en el 60 % de la zona cubierta por la previsión. Así que un friki de los datos, un aficionado a la meteorología y yo malinterpretamos por completo el significado de un término técnico. Por eso es tan importante que no cometamos esos errores en el ámbito empresarial.
Así pues, si hablamos de algo como los ingresos, ¿entienden el equipo de ventas, el equipo financiero y los equipos de ingeniería que el término «ingresos» tiene el mismo significado para todos? Es importante que aclaremos este punto mediante un programa de alfabetización en datos. También debemos analizar los procesos.
Establecer marcos de gobernanza. Asegurarnos de que contamos con acuerdos de nivel de servicio (SLA) y de que cumplimos con los SLA que nos comprometemos a ofrecer a la empresa. Y, por último, la tecnología.
Desarrollar plataformas de datos que realmente puedan impulsar con éxito la IA en toda la empresa. Centrarnos en la automatización y en el hecho de que ahora todo avanza a la velocidad de las máquinas, por lo que tenemos que desarrollar soluciones basadas en metadatos. Así que, para mí, este es un momento increíblemente emocionante en el ámbito de los datos y la IA.
Y, para mí, es una gran oportunidad para profundizar en esas… las estadísticas que he mencionado antes, las empresas que van a implementar con éxito la IA, las empresas que van a obtener un retorno de las inversiones que están realizando, las empresas que van a ampliar sus IA agencial , y voy a ver cómo crecen en los próximos años. Bueno, eso es todo por mi parte, desde el punto de vista de Actian. Así que te devuelvo la palabra, Andrew.
Muchísimas gracias, Emma.
Ha sido una presentación fantástica. Y ahora tengo el placer de presentar a nuestro siguiente ponente invitado de hoy, Raja Parimal, de Databricks. Raja es director de alianzas tecnológicas en Databricks y se dedica a la gobernanza de datos y a los proveedores independientes de software (ISV) de inteligencia empresarial.
Antes de incorporarse a Databricks, trabajó durante 10 años en consultoría analítica, ayudando a las organizaciones a gestionar grandes volúmenes de datos, antes de pasar a formar parte de Alation y Snowflake. Dicho esto, os invito a dar la bienvenida a Raja, y ahora le cedo la palabra. Hola a todos.
Gracias. Creo que esta conversación ha sido realmente fantástica para ayudarnos a comprender cómo está cambiando la gobernanza en el mundo de IA agencial que pueden actuar en tu nombre. Pero creo que es útil poner en contexto cómo pasamos de donde estamos ahora —donde disponemos de gran cantidad de datos en muchos sitios— al desarrollo IA agencial estas IA agencial , y cómo, a lo largo de ese proceso, las plataformas de datos como Databricks pueden ayudarnos a facilitar el camino hacia la gobernanza.
Así pues, para empezar, veamos por qué hacemos esto. Existen muchísimos casos de uso de la IA en distintos sectores que van más allá de los casos de uso horizontales de los agentes de programación que vemos hoy en día. Muy pronto, los casos de uso concretos que vemos en esta página, clasificados por sectores, serán llevados a cabo por agentes de IA que necesitarán un acceso realmente amplio a los datos de toda la plataforma de tu empresa.
Naturalmente, eso significa que habrá que esforzarse por romper los silos que dificultan la implementación de los agentes de IA en producción. Y la razón por la que existen estos silos es que, aunque contemos con una única pila de datos, esta acaba dividiéndose en varias partes diferentes. Puedes tener una base de datos transaccional, pero esa base de datos transaccional también transfiere datos a tu almacén de datos.
Además, es posible que haya un data mart independiente en tus herramientas de inteligencia empresarial. Los equipos de ciencia de datos y aprendizaje automático podrían disponer de su propio conjunto de herramientas. En todo este panorama, cuentas con capas de orquestación y ETL que lo unen todo, así como aplicaciones SaaS que contienen algunos datos dentro de sus propios análisis o data marts, y que también deben sincronizarse entre tus distintos entornos.
Cada uno de estos almacenes de datos genera un área de dependencia. La dependencia siempre es un problema, pero en la era de la IA agente, en la que los agentes realmente necesitan un amplio acceso a todos tus datos, la dependencia también supone una dificultad añadida a la hora de obtener un retorno de la inversión de tus datos. Además, cada uno de estos entornos de datos tendrá sus propias políticas de seguridad, a menudo necesarias, pero si no se regulan de forma homogénea ni se gestionan con un enfoque empresarial, a menudo pueden surgir políticas contradictorias que impidan el acceso a los datos.
Y una consecuencia natural de esto —de contar con un conjunto múltiple de herramientas con un conjunto diferente de políticas— es que cada herramienta intentará disponer de su propio agente, que puede o no ser compatible con los demás agentes. Y el verdadero problema que esto plantea es que, sin un conjunto común de semántica empresarial, todos tus agentes de IA en tus diferentes herramientas ofrecerán respuestas y decisiones diferentes cuando necesites que realicen su trabajo real. Ahí es donde entra en juego Databricks con nuestro enfoque basado en el «lakehouse» y los entornos basados en el «lake».
Hemos analizado todos los aspectos clave de vuestra pila de IA agencial y nos hemos dado cuenta de que, para que esto funcione realmente para nuestros clientes, debemos asegurarnos de que todos los datos estén disponibles en un formato abierto y sean accesibles desde diversas herramientas. Fuimos pioneros en el formato Delta Lake. Participamos activamente en Iceberg, incluida la reciente versión 3.0, y nuestro entorno basado en «lake» es compatible con una interfaz estándar de Postgres.
Todo ello se gestiona a través de nuestra solución de metadatos técnicos, nuestra capa de gobernanza técnica que abarca todos nuestros distintos casos de uso y que se denomina Unity Catalog. Unity Catalog proporciona un único conjunto de controles de acceso para todos los distintos tipos de objetos de datos. No nos limitamos a las tablas tradicionales.
Nos encargaremos del control de acceso y la gobernanza de los datos no estructurados, como archivos, modelos de IA, servidores MCP e incluso los propios agentes. De este modo, a medida que crezca tu entorno de datos, Databricks podrá ofrecerte cobertura y una capacidad de gobernanza técnica que abarque todos tus diferentes activos de datos. Una vez que tengas todos tus datos en Unity Catalog, podrás aprovechar nuestras capacidades de gobernanza más amplias y de mayor nivel.
Los dos aspectos que voy a destacar aquí son la gobernanza de la IA, que te permite comprender qué hacen tus modelos y qué modelos estás ejecutando realmente. ¿Estás utilizando modelos que se ejecutan dentro de tu entorno de computación de Databricks? ¿Estás enviando datos a una API y, por lo tanto, los estás transfiriendo a Frontier Lab?
Unity Catalog te ayudará a entender esos diferentes tipos de compromisos. Además, contamos con la semántica empresarial, que es realmente importante en este momento, ya que la semana pasada hicimos público el lanzamiento general de las métricas de Unity Catalog, que es nuestra capa de semántica empresarial y permite que todas las herramientas, tanto dentro como fuera de Databricks, utilicen la misma interpretación común de la semántica empresarial. De este modo, tanto nuestro personal como nuestros agentes de IA hablan el mismo idioma cuando realizan acciones.
Y, por último, podemos integrarnos con otras fuentes de datos para garantizar que se aplique la misma capa de gobernanza de datos a tus demás aplicaciones SaaS y bases de datos empresariales. Con este formato de datos gobernado, podrás aprovechar nuestro entorno tradicional de análisis «lakehouse» y nuestras capacidades de almacenamiento de datos. Puedes utilizar Lake Base, que es nuestra solución para que las aplicaciones transaccionales aprovechen esa misma separación entre almacenamiento y computación que ofrece nuestro entorno tradicional «lakehouse».
Pero ahora podemos disponer de un entorno optimizado para la escritura que permite a nuestros clientes crear aplicaciones de IA a las que acceden agentes de IA o que son creadas por los propios agentes de IA. Además, puedes utilizar todos esos mismos datos gracias a nuestras capacidades de «Lakehouse» para ajustar y transformar los datos a medida que pasan por nuestra plataforma de computación. Con esta plataforma de datos central, podrá volver a todas las aplicaciones clave que necesite para crear una IA agencial . Y ahora, en lugar de tener múltiples capacidades de IA diferentes repartidas por todo su entorno, todas ellas están unificadas en una plataforma común.
De acuerdo.
Dicho esto, creo que le voy a ceder la palabra a Andrew. Muchísimas gracias, Raja. Ha sido fantástico, y ahora es el momento de nuestra mesa redonda, así que voy a pedir a Emma y a Evan que vuelvan a unirse a nosotros.
Y, Evan, te devuelvo la palabra para que des inicio al debate, por favor. Bueno, obviamente, Raja y Emma, muchísimas gracias por este magnífico conjunto de materiales de presentación; creo que nos ofrece un buen punto de partida para el coloquio. Hemos preparado algunas preguntas para intentar conocer la opinión de todos.
Para aquellos que nos estáis escuchando, vamos a dejar que cada ponente responda a cada pregunta, y lo haremos por turnos. Así que, para la primera pregunta, Emma, voy a empezar por ti. ¿Cuáles crees que son los temas más candentes en materia de datos relacionados con la IA y la analítica?
Has hablado de un montón de cosas, pero si tuvieras que destacar unas cuantas, ¿cuáles serían las que más te vienen a la mente? Bueno, una de las situaciones en las que se recurre a Actian es cuando los equipos han obtenido muy buenos resultados con la IA en el laboratorio, ¿verdad? Tienen algunos proyectos piloto que están funcionando bastante bien.
Intentan ponerlo en marcha en producción y entonces todo se complica mucho, ¿verdad? Los esquemas cambian, las definiciones son contradictorias, los permisos dificultan la recuperación de datos y, de repente, se encuentran con todo tipo de problemas relacionados con la IA. Por eso, para mí, cuando pienso en el problema más acuciante en estos escenarios, es si la capa de datos está realmente preparada desde el punto de vista operativo para la IA.
Esa es una de las situaciones que vemos una y otra vez: la gente tiene dificultades para poner en marcha la IA en producción. Sí, te refieres precisamente a todo el aspecto de la implementación en producción, en el que ya tengo las cosas funcionando... Sí... pero, ¿puedo pasarle la palabra al público? ¿Tienen los usuarios identificadores y derechos de acceso para ver la información? ¿Estamos cumpliendo con las normas?
Vale. Estupendo. Raja, ¿tienes algo que añadir o cuál es tu opinión sobre los temas más importantes, los más visibles, con los que estás lidiando?
Sí. Quiero sumarme totalmente a lo que ha dicho Emma, y solo quiero decir que creo que, con la IA y la analítica, nos encontramos con el mismo problema que ya nos planteaban incluso los entornos tradicionales de almacenes de datos y de inteligencia empresarial, y es una cuestión de transparencia. Cuando un ejecutivo o un vicepresidente recibe una cifra, o incluso una decisión tomada por una IA autónoma, quiere saber: «Oye, ¿cómo hemos llegado a esta cifra?».
«¿Por qué es correcto? ¿Cómo puedo creerlo?». Y eso nos lleva a todos los retos tradicionales de la gobernanza de datos a los que nos enfrentamos, solo que a una escala mayor, porque estamos hablando de que la IA lo haga a gran escala. Me encantan las respuestas porque lo que ambos estáis diciendo es —y voy a ser un poco puntilloso, no para cuestionarlo, sino porque es fascinante— que las organizaciones tienen la capacidad para desarrollar estas cosas.
Pero donde probablemente tengan dificultades es en las cuestiones que plantea el traspaso: ¿la transparencia, la migración de la producción y/o la puesta en marcha? ¿Estamos preparados para traspasarlo al público en general? No solo se trata de que la aplicación esté disponible desde el punto de vista funcional y de que se pueda acceder a los datos, sino también de todos los demás detalles que ello conlleva.
Así que, para los que estáis escuchando, sé que mucha gente dedica toda esta energía a preguntarse: ¿contamos con los científicos de datos, la experiencia y las habilidades que necesitamos? Y lo que dicen los expertos es que probablemente sí lo tenéis, pero ¿estáis preparados para ponerlo en marcha y traspasarlo, y habéis pensado en institucionalizar la nueva tecnología de IA? Es muy interesante.
Gracias, chicos. Pasemos al siguiente tema. ¿Cuál creéis que es el mayor malentendido sobre los datos en el ámbito de la IA y IA agencial?
Y esta vez, Raja, te dejaremos empezar a ti, y luego, cuando hayas terminado... Sí... Emma.
Pero adelante. Es una pregunta estupenda, porque creo que hay muchos malentendidos en el ámbito de la IA y IA agencial. Y voy a dar dos respuestas que están relacionadas, pero que pueden parecer opuestas.
Creo que las organizaciones empresariales subestiman y, al mismo tiempo, sobreestiman el uso de la IA y IA agencial. Creo que pueden fijarse en algo como ChatGPT o Claude, que está completamente alejado de su contexto empresarial, y simplemente le hacen una pregunta, y puede que les dé una respuesta incorrecta, que «alucine» con algo o que, sencillamente, no resulte muy útil. Sin embargo, si se toman algunas de estas mismas capacidades de IA, estos mismos modelos de vanguardia, y se integran en el contexto empresarial, conectándolos al lago de datos o al almacén de datos y orientándolos hacia datos regulados, de repente el mismo tipo de preguntas que se formulan cobran mucha más relevancia una vez que cuentan con el contexto empresarial y comprenden el funcionamiento de la empresa.
Pues sí. Creo que las empresas, por un lado, no exigen lo suficiente a sus modelos de IA y, por otro, esperan demasiado sin disponer de las herramientas necesarias ni de una comprensión adecuada de lo que la herramienta puede hacer. Lo que realmente estás señalando —y, de nuevo, por favor, ayúdame a completar esta idea— es que no se trata de un problema funcional, sino de que las personas que realizan la solicitud no son realmente conscientes de cuáles son los puntos fuertes y las limitaciones de esa tecnología en concreto.
Simplemente dan por hecho que, con un modelo de lenguaje grande (LLM) como Claude, «bueno, voy a conectarle a Claude a mi almacén de datos. Ahora podrá responder a preguntas mediante consultas en lenguaje natural». Y lo que tú dices es que hay mucho más trabajo detrás para que algo así sea posible. ¿Te estoy entendiendo bien en este punto?
Sí. Así es. La IA aún no ha llegado al punto de que «si la dejas a su aire, se las apañará para resolverlo todo».
Aún tenemos que asegurarnos de que apunte a los conjuntos de datos correctos, con el conjunto adecuado de normas de gobernanza y el conjunto adecuado de cumplimiento normativo o políticas establecidas para garantizar que se utilice correctamente. Pero una vez que lo tengamos, creo que realmente podremos dar rienda suelta a nuestra imaginación sobre lo que podemos lograr con algunas de estas herramientas. Lo que realmente estás diciendo es que no solo necesitas el aspecto de la ingeniería de datos, sino que, si no cuentas con gobernanza de datos, debes implementarla; de lo contrario, los datos podrían ser mal utilizados, malinterpretados o procesados de forma incorrecta.
Exactamente. Emma, por favor, ¿qué más? ¿Qué más puedo añadir?
Lo habéis clavado, ¿verdad? Porque sin semántica ni gobernanza, la IA está muy segura de sí misma, pero se equivoca con total seguridad, ¿no? Así que lo que vemos como un gran malentendido es que la IA vaya a entender el contexto empresarial, ¿verdad?
La gente cree que el sistema de IA puede resolver todo eso por arte de magia por ellos, cuando tenemos personas que trabajan en marketing y finanzas que podrían considerar a los clientes como dos cosas completamente diferentes, ¿no? Esos ingresos que se pueden calcular de cinco o seis formas distintas, conjuntos de datos que podrían estar totalmente obsoletos y seguir siendo accesibles. La IA no puede resolver todo esto, ¿verdad?
Por eso, acertar con la semántica y con la gobernanza es increíblemente importante. No es, como digo, que la IA vaya a dar con total seguridad respuestas erróneas a las preguntas que le plantees. De hecho, has dado en el clavo en un aspecto que ya habías mencionado en tu presentación: toda la cuestión de la alfabetización, y nosotros... Sí...
Tan centrados estamos en el público usuario y en su alfabetización en datos. A veces no nos paramos a pensar: «¿Tiene mi comunidad de desarrolladores el mismo nivel de alfabetización en datos?». Y tú has dado en el clavo no solo con el significado de los términos, sino también con cuáles son los conjuntos de datos adecuados que se deben utilizar y cuáles están desactualizados, porque podría estar utilizando datos erróneos. ¿Y qué medidas hay en marcha para garantizar que todo mi público —no solo los usuarios, sino también los desarrolladores— no solo tenga conocimientos, sino que conozca las normas de gobernanza y ese tipo de cuestiones?
¿Es algo que observas, es decir, que existe la conciencia de que no solo hay que poner al día a los usuarios en estos temas, sino también a los propios desarrolladores? Sí. Lo vemos como una especie de reto organizativo y, de hecho, recomendamos que todos los departamentos de la empresa contraten a personal especializado en datos, ¿no?
Que creemos firmemente en la gobernanza federada. Creemos que hay que incorporar a un experto en la materia en cada área de la empresa y encargarle que colabore con el equipo central de TI en la elaboración de vuestras políticas de gobernanza y en la aplicación de dichas políticas, y lo mismo en lo que respecta a los datos, ¿verdad? Contratad a personas con curiosidad por los datos.
Asegúrate de que, en todas las áreas de la empresa, haya personas que comprendan la importancia de aplicar correctamente la gobernanza, de convertirse en defensores de la alfabetización en datos dentro de la organización, de garantizar que, al plantearnos la implantación de esta gobernanza, la alfabetización en datos y... ¿Cuál es el tercer elemento en el que estoy pensando, Evan? Cultural, como los cambios culturales relacionados con los datos y la IA, de modo que se cubra cada departamento o cada área de la organización. Creo que estás dando en el clavo... Y mejorar aún más a partir de ahí.
Sí. Sí. Creo que estás dando en el clavo con algo que es increíblemente importante, porque en muchas de las organizaciones con las que trabajo existe una especie de código no escrito sobre estilos o rasgos de personalidad, según el cual, bueno, los que se dedican a los datos tienen que conocerlos, pero los que se dedican a las aplicaciones no necesitan conocerlos.
Y lo que estás diciendo es que eso no va a funcionar, y yo lo he visto, y estoy seguro de que todos hemos visto este ejemplo concreto en el que hay un científico de datos o un desarrollador de IA que está desesperado por encontrar un tipo concreto de elemento o contenido, y va a buscarlo a cualquier parte sin saber que, de hecho, está obteniendo datos obsoletos, inutilizables o, sencillamente, poco fiables; todo el tema de la fiabilidad. Así que, para los que estáis escuchando, está claro que no podéis eludir el conocimiento de los datos. Es una necesidad en la era de la IA.
Emma, gracias por los detalles. Pasemos a la siguiente pregunta. Te devuelvo la palabra, Emma.
¿Cuáles son los objetivos razonables que se deberían marcar a la hora de abordar la semántica y la alfabetización? Has mencionado la idea de que todas las organizaciones sean conscientes de ello, pero si tuvieras que elegir un objetivo o simplemente una forma de saber si vas por el buen camino, ¿cuál crees que podría ser? Pues yo me aseguraría de que, en toda la organización, la gente entienda tres cosas clave, ¿no?
De dónde proceden los datos, ¿verdad? Qué significan realmente y dónde se deben y no se deben utilizar, ¿verdad? Y creo que, si difundimos esos conocimientos por toda la organización y logramos comprender mejor cómo funciona realmente esta «magia» en la práctica, eso va a ser de gran ayuda para fomentar la alfabetización en datos en toda la organización.
Como ya he dicho, me encanta animar a las organizaciones a que fomenten y estimulen la curiosidad por los datos. Si consigues encontrar a esos «frikis de los datos» en las distintas áreas de la empresa y les animas proporcionándoles la formación y las herramientas que necesitan para que puedan plantear preguntas sobre esos datos y comprenderlos de verdad, así, cuando necesites a alguien que actúe como el «ser humano en el bucle» junto con la IA, tendrás a una persona cualificada con buen instinto para detectar lo que parece correcto y lo que no en los datos. Creo que ese es un papel increíblemente importante que hay que cubrir.
Y creo que lograrlo incorporando a personas con experiencia en ese ámbito concreto, y luego desarrollar esas habilidades relacionadas con los datos, Emma, creo que puede ser un camino realmente rápido hacia el éxito. Bueno, en realidad lo que estás describiendo es incorporar a los expertos, no para aislarlos en un «silo», sino para situarlos más bien como mentores del resto. La idea de que los desarrolladores conozcan las herramientas, su significado y cómo utilizarlas… Es decir, da igual si soy panadero, desarrollador de software o fontanero: se trata de conocer las herramientas de las que dispones, saber de dónde proceden las piezas y saber qué pueden hacer esas piezas.
No pretendo simplificar el tema. Lo que realmente quieres decir es que debemos considerar los datos como un ingrediente o un componente básico de todo lo que creamos, de modo que se recurre a la experiencia de los expertos para orientar y formar a personas que no son necesariamente conscientes de ello. No se trata de ocultárselos ni de levantar un muro.
Hay que difundir ese conocimiento. A ver, ¿te estoy entendiendo bien? Tienes toda la razón.
El fin de semana le estaba explicando lo que son los datos a un conductor de Uber, intentando explicarle a qué me dedico, ¿no? Y estábamos hablando de metadatos, y se lo describí diciendo: «Piensa en ellos como la etiqueta del contenedor de datos que estás utilizando». ¿Verdad?
Así que los metadatos te indican los ingredientes. ¿No? ¿Qué lleva esto, verdad?
La frescura, ¿no? ¿Para cuándo hay que consumirlo? Si no entiendes lo que pone en la etiqueta, quizá no deberías utilizarlo.
¿Verdad? Pues si no consigues sacarle sentido, quizá tengas que ir más allá. Pero sí, creo que es tremendamente importante que entendamos de verdad los datos que estamos utilizando y que sepamos hasta qué punto están actualizados, ¿no?
Cuándo debe utilizarse, y que seamos prudentes a la hora de implementar la IA, sin precipitarnos, y asegurándonos de que en el proceso haya personas que realmente sepan reconocer lo que es un buen resultado, para que puedan identificar cuándo los sistemas de IA podrían estar «alucinando». Bueno, Raja, no era mi intención interrumpirte, pero Emma acaba de dar en el clavo con algo en lo que quiero que la audiencia reflexione. ¿Qué puedes añadir?
¿Qué opinas sobre cuáles son los objetivos razonables? Porque hay muchas formas de abordar esta cuestión tridimensional o de cinco dimensiones. Sí, y de nuevo, coincido con lo que dice Emma; creo que esa es la forma correcta de planteárselo.
Cuando pienso en objetivos razonables y en cualquier tipo de proceso relacionado con los datos o con la inteligencia artificial, siempre lo planteo por etapas. Por ejemplo, ¿qué hay que hacer para sentar las bases y cómo se puede partir de ahí para seguir avanzando? Y diría que los tres pasos para abordar la semántica o hablar de alfabetización en datos son: documentar, armonizar y, a continuación, formar, lo cual creo que coincide en cierto modo con lo que decía Emma.
En primer lugar, basta con que documentes todas las definiciones de tus métricas y tu semántica tanto como puedas. No hace falta que sea perfecto, pero si consigues documentar los elementos más utilizados y describir cómo los utiliza la gente, eso, sinceramente, te situará un paso por delante de muchas otras organizaciones. Armoniza.
Siempre pongo como ejemplo a un antiguo cliente mío que vendía a Walmart, pero que tenía 14 definiciones diferentes de «Walmart» en su sistema. Así que, una vez que tienes todo documentado, puedes dar el siguiente paso y preguntarte: «¿Cómo podemos armonizar esto para asegurarnos de que entendemos y simplificamos nuestras definiciones?». Y, por último, formar. Una vez que empiezas a impartir esta formación, una vez que empiezas a contar con esta documentación y esta armonización, entonces puedes empezar a intentar cambiar la cultura de tu organización y decir: «Oye, ve a buscar la definición de Walmart antes de crear una decimoquinta definición de Walmart». Así que, si consigues esas tres cosas, vas a ir muy por delante.
Y luego, con la llegada de las herramientas de IA, es de esperar que muchas de estas cosas se puedan agilizar incluso mientras se lleva a cabo el proceso de, por ejemplo, armonizar las diferentes semánticas. Quiero decir, también estás planteando esto como una labor de divulgación. No se trata solo de establecer estándares o prácticas de datos, sino también de comunicárselo a todo el mundo y conseguir que se adopten.
No basta con idear el mejor esquema o las mejores convenciones de nomenclatura y establecer un proceso por el que se revise cada elemento. También hay que asegurarse de que el propio público comprenda el porqué, para que, a su vez, puedan convertirse en los «flautistas de Hamelin» de los datos y la gente entienda que se trata de un cambio en nuestra forma de vida. Espero no estar poniéndote palabras en la boca.
Me parece muy parecido a lo que ha dicho Emma. Estás de acuerdo, pero vas un paso más allá, y dices que tenemos que ser como «misioneros» en este tipo de cosas. Sí.
Exactamente. Se trata de un cambio cultural. El cambio cultural es, a veces, un proceso laborioso que nos exige ser pacientes e ir acompañando a todo el mundo, en lugar de intentar que avancen demasiado rápido.
Sí. Me alegro de que hayas sacado el tema, porque no es... Voy a entrar en detalles, y si quieres, corrígeme. No es que estemos cambiando nada.
Estamos desarrollando algo que, en muchos casos, ni siquiera existe. Quiero decir, no es que nadie esté haciendo nada mal. Es que no nos aseguramos de que la gente entienda los datos.
No estamos aclarando ni aportando conocimientos especializados a un público amplio sobre lo que significan estas cosas y cuál es su importancia. Quiero decir que, aunque me duela decirlo, no es muy diferente de lo que ocurre en el ámbito de los recursos humanos, donde nadie ha discutido nunca que no deba haber acoso en el lugar de trabajo, pero hemos creado cursos que todo el mundo debe realizar para garantizar que exista una concienciación al respecto: «Oye, no está permitido ser violento en el lugar de trabajo». Y en lo que tú y Emma habéis dado en el clavo es que no solo tenemos que abordar esta idea y presentarla, sino asegurarnos de que todo el mundo entienda que esto va a ser una práctica de aquí en adelante.
Nadie lo está haciendo mal. Simplemente no lo hacemos lo suficiente, y si lo entendemos, resulta fácil. Se convierte en algo natural.
Muchísimas gracias por la aclaración. Pasemos a la siguiente pregunta, y Raja, empezaremos por ti. ¿Hay algún riesgo concreto relacionado con los datos que se deba tener en cuenta a la hora de implementar y poner en marcha la IA?
Hemos hablado mucho de la importancia de la transparencia, la alfabetización y la implementación. Pero ahora vamos a hablar de si existen algunos riesgos. Sí, sin duda.
Y esa es una pregunta estupenda cuando se habla de la implantación de la IA, y se puede dividir en dos aspectos, y tengo una opinión sobre ambos. Así pues, el primer riesgo relacionado con los datos es lo que se introduce en los sistemas de IA. Por eso pienso en mi visión de una plataforma de datos unificada con una herramienta de gobernanza unificada antes de emprender el camino hacia la IA.
Porque lo último que querrías hacer es entrenar los sistemas de IA de tu empresa con datos que no cumplan con la normativa sobre información de carácter personal (PII), que simplemente contengan cálculos erróneos o información incorrecta sobre cómo funciona tu negocio y cuáles son las normas que este sigue para su funcionamiento. Y eso, a menudo, puede resultar muy difícil de detectar una vez que has configurado tu sistema de IA si no comprendes del todo cuáles son los datos que se introducen en tu sistema de IA, tu IA agencial . Lo segundo, obviamente, es lo que sale de él.
Hay que asegurarse de contar con evaluaciones precisas para comprender que, sea cual sea el proceso de toma de decisiones o el resultado analítico de tus sistemas de IA, exista una forma de contrastarlo con algún tipo de marco de evaluación, de modo que puedas preguntarte: «¿Funciona esto correctamente? ¿Funciona con la suficiente rapidez? ¿Es lo suficientemente preciso?». Y ambas cosas son, en mi opinión, riesgos relacionados con los datos que, de nuevo, no son demasiado diferentes de la gobernanza tradicional de los datos.
Es que, dada la escala de estos sistemas de IA, se necesitan herramientas adicionales para asegurarse de que se gestionan de forma eficaz. No basta con que un único responsable de la gobernanza de datos se encargue de localizar todos los datos de un sistema de IA, ni los resultados de dicho sistema, porque eso se volvería abrumador en muy poco tiempo. Bueno, la idea general es que solemos utilizar términos como «arquitecto de datos», «diseñador de datos» o algo por el estilo.
Lo que realmente estás planteando es una cuestión de mayor nivel, es decir, desde una perspectiva de gobernanza: ¿qué grado de fiabilidad tienen los datos o qué pruebas se han llevado a cabo para garantizar no solo que el proceso funcionara con precisión, sino también que los resultados de los datos fueran fiables y aceptables? Y ese es un proceso continuo. Para aquellos de vosotros que seáis nuevos en el campo de la IA, este no es un concepto descabellado.
Cualquier banco que realice verificaciones de tarjetas de crédito y/o cuentas lo hace constantemente. Es algo muy, muy habitual. De lo que realmente estamos hablando aquí es de aplicar conceptos operativos al entorno de la IA.
Desde luego, no es lo mismo. Se trata de pruebas y verificaciones más complejas, pero el concepto se entiende bien en muchas organizaciones. Aprovecha algunos de los recursos de los que dispones.
¿Te parece acertada esa afirmación, Raja? No quiero, una vez más, ponerte palabras en la boca, pero a veces pensamos que... No, eso está muy bien dicho. Sí.
Esta actividad no parte de cero. De hecho, es posible que ya haya gente trabajando en ello, dependiendo del tipo de sector, y que estos profesionales cuenten con algunos de esos conocimientos especializados que puedas aplicar al entorno de la IA. Emma, déjame pasarle la palabra a ti.
¿Y cuál es tu opinión sobre otro posible riesgo, o quizá un par de ellos, que aún no hayamos comentado?
Sí, estoy totalmente de acuerdo con Raja. Creo que hemos hecho un buen trabajo a la hora de anticipar lo que el otro podría decir. Pero lo que yo añadiría aquí es pensar en la búsqueda RAG, ¿no?
Así que este es un ámbito que muchas organizaciones están utilizando hoy en día. Es decir, recuperación, información aumentada y generación, ¿verdad? Y cuando hablamos de búsquedas RAG, siempre vamos a buscar el contenido más similar desde el punto de vista semántico, lo cual no siempre va a ser el contenido más correcto, ¿verdad?
Así que, en mi opinión, me preocupa mucho que, si no aplicamos medidas de gobernanza en este ámbito y no eliminamos los documentos más antiguos, exista el riesgo de ofrecer un contenido inadecuado para responder a las preguntas. Y cuando tratamos con sectores regulados, esto se convierte en un riesgo enorme para la empresa. Creo que ese es un aspecto que Raja no había mencionado.
Bueno, en realidad has dado en el clavo con un tema bastante amplio e importante porque, de nuevo, ¿pueden los datos respaldar el tipo de análisis que estamos abordando? ¿Son fiables y dignos de confianza, o presentan sesgos? Hay todo tipo de casos prácticos en los que la gente utilizó datos que consideraba perfectamente aceptables para el propósito en cuestión, solo para descubrir que no entendían necesariamente el contexto en el que se habían recopilado esos datos. O, de hecho, los están utilizando de forma incorrecta para los fines previstos.
Un buen ejemplo que suelo poner es que, una vez, estaba trabajando en un proyecto para el Gobierno de EE. UU. y alguien se acercó a mí diciendo que quería información sobre preferencias alimentarias para viajes. Querían saber los pedidos de comidas halal, y yo les dije: «Eso no se puede hacer. En realidad, eso es discriminación racial».
«Eso va en contra de la ley». Y has dado en el clavo con algo que, una vez más, es precisamente ahí donde esa aportación de conocimientos especializados, el dominio de los datos, resulta tan crucial, porque esta persona estaba intentando salirse del guion, ser creativa e infringir una norma. Y el objetivo aquí es que todo el mundo dé un paso al frente y aprenda cuáles son las normas y directrices, no intentar penalizar ni suponer un obstáculo, porque, en muchos casos, se trata de un ámbito nuevo para todos. Pero me encanta que seas un poco más diplomático que yo en estas cosas.
Pero has planteado una cuestión muy importante, y es: ¿cumple su finalidad? ¿Estamos respetando las normas? Sigamos adelante. Nos quedan unos minutos.
Pasemos ya a la última pregunta, y Emma, te toca ser la primera: si pudieras hacer algo, teniendo en cuenta todo lo que hemos comentado, y, madre mía, tú y Raja habéis abarcado un enorme horizonte de —o mejor dicho— una cornucopia de contenidos e ideas. Pero si pudieras hacer una recomendación al público, a quienes nos están escuchando hablar de esto, ¿cuál sería esa recomendación? Yo diría que, a medida que avanzamos y con la IA, todo ocurre a la velocidad de una máquina.
Así que es poco probable que podamos contar con la intervención humana en todos los ámbitos en los que nos gustaría tenerla, simplemente porque todo avanza con demasiada rapidez. Yo diría que hay que centrarse en hacer que los datos sean comprensibles para las máquinas. Por eso, hay que invertir en aspectos como contar con definiciones semánticas claras, ¿no?
Así que, cuando Raja hable de las 15 definiciones de Walmart, asegurémonos de que tenemos muy claro cómo entendemos las cosas. Asegurémonos de haber identificado y documentado claramente el linaje y la procedencia, con el fin de garantizar que nuestra gobernanza por diseño se aplique automáticamente, sin que se añada a posteriori al final de los flujos de datos, y asegurémonos de que nuestra máquina... perdón, de que nuestros metadatos sean legibles por máquina. Bueno, eso es todo por mi parte.
Definiciones semánticas claras, linaje y procedencia, gobernanza aplicada automáticamente y metadatos legibles por máquina para que estas puedan entender tus datos de la misma forma que lo harían las personas. Excelente. Raja, ¿qué opinas tú?
¿Cuál sería tu única recomendación para el público? Creo que Emma ya se ha llevado, básicamente, todas mis recomendaciones importantes. Así que voy a cambiar de enfoque y voy a proponer algo quizás un poco más ligero.
Yo diría que, en este nuevo mundo en el que nos estamos adentrando, deberías experimentar, pero hacerlo de forma segura. Hay un montón de posibilidades diferentes que puedes aprovechar de verdad. Hay muchas herramientas de IA diferentes e incluso distintos modelos de vanguardia con los que puedes experimentar.
Te recomendaría que lo probases. Ve a comprobar por ti mismo de qué es capaz. Hazlo con precaución.
No lo hagas con datos de producción. No lo hagas en un sistema de producción. Asegúrate de que tus datos de carácter personal estén correctamente etiquetados.
Pero si te preocupan esas cuestiones, creo que estamos entrando en un nuevo mundo que realmente merece la pena explorar y analizar a fondo. Pues genial. Hemos llegado al final de nuestra parte dedicada a la mesa redonda.
Voy a cederle la palabra a Andrew de nuevo para que pasemos a algunas de las preguntas del público. Por supuesto. Os doy las gracias a todos por este magnífico debate.
Tenemos aquí algunas preguntas que nos han llegado durante vuestro debate, y me temo que quizá ya hayáis abordado algunas de ellas, así que os pediré que las tratéis de nuevo si no os importa. Raja, empezaremos por ti y, por supuesto, Emma y Evan, si tenéis algo que añadir, no dudéis en hacerlo. Esta pregunta nos ha llegado hace un rato, Raja.
La pregunta es la siguiente: a medida que las organizaciones amplían sus programas de IA y los implementan en casos de uso de productos, ¿qué importancia tiene la integración y la gobernanza entre la plataforma de datos y el modelo de datos o la capa semántica? Sí. Es una pregunta estupenda.
Creo que, en nuestro entorno heredado, cuando hablamos de datos y herramientas de datos, era muy habitual que las definiciones de la semántica empresarial estuvieran repartidas por múltiples lugares diferentes, ya fuera en una herramienta de BI, en varias herramientas de BI o en el almacén de datos. Incluso se podía recurrir a un proveedor externo de capas semánticas que se encargara de gestionarlas. Y era muy habitual que estos documentos de definición se encontraran en muchos sitios distintos.
Y creo que esto funcionaba en un mundo en el que los silos de datos eran más tolerables, pero, cada vez más, en un IA agencial en el que prima la IA y IA agencial , debemos asegurarnos de que la capa semántica esté sincronizada y sea legible en todo el panorama empresarial. Mi primera recomendación, obvia, es elegir un único lugar que sirva de «maestro» o de «fuente de verdad» para la semántica. Creo que debería ser la plataforma de datos, como Databricks, aunque se pueden plantear diferentes argumentos sobre en qué plataforma debería ubicarse.
La clave es que se disponga de una fuente de referencia en cada una de las demás capas semánticas, y que cualquier otro conjunto de herramientas que utilice la semántica se sincronice con esa fuente de referencia o dependa de ella. Muy bien. Estupendo.
Pasaremos a la siguiente pregunta. Creo que esta será la última a la que tendremos tiempo de responder hoy. Y, Emma, empezaré por ti.
Esta pregunta también nos llegó hace un rato, y dice lo siguiente: A medida que las organizaciones empiezan a implantar IA agencial capaces de tomar decisiones o activar acciones, ¿qué nuevas responsabilidades recaen sobre la plataforma de datos para garantizar que dichos sistemas funcionen de forma segura y fiable? Sí. Es una pregunta estupenda, ¿verdad?
Porque cuando nos ocupamos de preparar datos para el análisis, ¿verdad?, siempre ha habido una persona que interpreta un panel de control, y uno tiene esa intuición sobre lo que está bien y lo que está mal. Cuando tratamos con IA agencial , estos toman decisiones por nosotros y llevan a cabo estas acciones automáticamente, sin que haya un ser humano presente para intervenir en caso de que las cosas salgan mal. Por eso es tan importante que los datos con los que trabajan nuestros sistemas de IA sean de alta calidad, que contemos con una buena observabilidad para poder identificar si hay algún problema con un proceso interrumpido o con un cambio de esquema que deba abordarse, que recibamos una alerta temprana de que es necesario aplicar una corrección y, en última instancia, lleguemos a un punto en el que automatizemos esa corrección.
Así que, sí, la plataforma tiene que ser capaz de proporcionar las señales de confianza legibles por máquina para esa IA agencial. La gobernanza es de vital importancia, ¿verdad? Esa gobernanza no solo está presente en el momento de la ingesta de datos, sino que se mantiene a lo largo de todo el ciclo de vida de los datos, de modo que se aplica en el momento de la consulta.
Y, por último, lo tercero es que los IA agencial van a necesitar contexto semántico. Por lo tanto, las plataformas de datos como Databricks tendrán que ser capaces de proporcionarlo. Así que parece que Raja lo tiene todo bajo control para nosotros.
Y no se puede subestimar la importancia de la observabilidad para garantizar que todo aquello de lo que depende ese sistema de agentes de IA se esté supervisando y que, cuando sea necesario aplicar medidas correctivas, estas se lleven a cabo para que podamos alcanzar el éxito. Muy bien.
Bueno, ha sido fantástico. Y, por desgracia, ya no nos queda tiempo hoy, así que permítanme dar las gracias a nuestros ponentes. Hemos podido escuchar a Evan Levy, de TDWI; a Emma McGrattan, de Actian; y a Raja Parimal, de Databricks.
También nos gustaría dar las gracias una vez más a Actian y Databricks por patrocinar seminario en línea de hoy. Y, por favor, recordad que hemos grabado seminario en línea de hoy y que os enviaremos por correo electrónico un enlace a la versión archivada. Además, si queréis una copia de la presentación de hoy, podéis ir a la ventana de recursos para descargar el PDF.
Y, por último, TDWI no solo ofrece formación de vanguardia para mejorar las competencias de los equipos en inteligencia empresarial (BI), inteligencia artificial (IA), gobernanza de datos, estrategia y mucho más, sino que ahora también ofrece programas de capacitación para desarrollar la capacidad interna a lo largo de todo su proceso de transformación digital. Recibirán más detalles enseminario en línea . Y, en nombre de todo el equipo, permítanme darles las gracias de todo corazón por su asistencia.
Con esto concluye el acto de hoy.