Salir de la «caja negra» de la IA

Las herramientas de análisis basadas en inteligencia artificial hacen que sea más fácil que nunca formular preguntas en un lenguaje coloquial y cotidiano y obtener respuestas al instante. Por ejemplo, si preguntas por qué han disminuido los ingresos, por qué se están perdiendo clientes o qué productos tienen un rendimiento inferior al esperado y por qué, la herramienta generará una respuesta en cuestión de segundos.

Aunque la velocidad de respuesta es impresionante, eso no garantiza la confianza. Cada vez más, las organizaciones se enfrentan a un problema importante con los análisis basados en la inteligencia artificial y las interfaces conversacionales: ofrecen respuestas sin explicar cómo se han obtenido esos datos. A estas respuestas se las conoce como respuestas de IA de «caja negra».

El término puede parecer técnico, pero el problema es sencillo. Las herramientas de análisis basadas en la inteligencia artificial proporcionan un resultado, pero no el razonamiento, el contexto de los datos ni la lógica empresarial que hay detrás. Para las organizaciones que toman decisiones empresariales críticas, la falta de transparencia supone un riesgo, ya que los responsables no pueden confiar plenamente en las respuestas.

El problema de la falta de transparencia en los análisis basados en la inteligencia artificial es cada vez más difícil de ignorar para las organizaciones. Tal y como explica Gartner: «Los sistemas de “caja negra» —modelos de inteligencia artificial cuyos procesos de toma de decisiones son opacos o difíciles de interpretar— pueden fallar, especialmente en sectores de alto riesgo como la sanidad, las finanzas y la seguridad pública. La explicabilidad, el diseño ético y la calidad de los datos se convertirán en requisitos imprescindibles».

¿Qué falta en las respuestas de la IA de «caja negra»?

Una respuesta de IA de «caja negra» es una respuesta generada por la IA que los usuarios no pueden ver ni comprender con claridad:

• ¿Qué datos se utilizaron?
• Cómo se definieron los indicadores.
• ¿Qué reglas de negocio se aplicaron?
• Cómo se calculó la respuesta.
• Si la respuesta se basa en datos fiables y sometidos a control.

En otras palabras, la IA ofrece una respuesta, pero no explica el proceso que hay detrás. Por ejemplo, imagina que un responsable de ingresos pregunta: «¿Por qué se está produciendo la pérdida de clientes en el cuarto trimestre?». La herramienta de análisis de IA responde: «La pérdida de clientes ha aumentado debido a la insatisfacción de los clientes».

A primera vista, la respuesta parece razonable. El problema es que no explica:

• Qué significa realmente el término «churn».
• ¿Qué clientes se analizaron?
• Si la respuesta se debe a la pérdida de ingresos o a la pérdida de clientes.
• ¿Qué periodo de tiempo o conjuntos de datos se utilizaron?
• Si la información procedía de fuentes fiables.
• Cómo se llegó a esa conclusión.

Sin ese contexto, los usuarios se ven obligados a adivinar si la respuesta es correcta, completa o incluso relevante.

El creciente problema de las respuestas generadas por la IA

Las respuestas de tipo «caja negra» se vuelven especialmente problemáticas a medida que las herramientas de análisis conversacional se generalizan. Históricamente, los analistas o los equipos de datos eran los únicos que consultaban directamente los datos de la empresa. Hoy en día, las herramientas de análisis basadas en la inteligencia artificial permiten que prácticamente cualquier persona de la empresa plantee preguntas y reciba respuestas al instante.

Ese cambio modifica considerablemente la magnitud de las respuestas de la caja negra.

Si los datos subyacentes carecen de coherencia, de una gestión adecuada o de definiciones comunes, la IA puede aumentar la confusión en lugar de reducirla. Los distintos usuarios pueden plantear preguntas similares y recibir respuestas diferentes debido a métricas incoherentes, fuentes de datos fragmentadas o una lógica oculta integrada en los paneles de control y las consultas.

Esta es una de las razones por las que muchas organizaciones tienen dificultades para poner en práctica con éxito sus iniciativas de IA. También es la razón por la que la fiabilidad de las herramientas de análisis de IA depende en gran medida de la calidad de los datos y del contexto empresarial en el que se enmarcan.

4 razones por las que las respuestas de la IA de «caja negra» son peligrosas

Basarse en datos que no están validados puede acarrear problemas en toda la empresa:

1. Socava la confianza. Si los usuarios no pueden explicar cómo se ha generado una respuesta, es menos probable que confíen en ella. Esa incertidumbre frena la adopción de la herramienta y genera dudas a la hora de utilizar respuestas basadas en la IA para la toma de decisiones. Los usuarios, los equipos y los responsables empresariales empiezan a cuestionar los resultados en lugar de actuar en consecuencia. Al final, las organizaciones pueden acabar con respuestas rápidas que nadie utiliza. 
2. Genera problemas de rendición de cuentas. Las decisiones empresariales requieren trazabilidad. Los responsables deben comprender de dónde proceden los datos, cómo se han transformado, qué definiciones se han aplicado y si el resultado se ajusta a las políticas de gobernanza. Sin transparencia, las organizaciones no pueden validar los resultados de la IA ni cuestionar las hipótesis. Esto cobra especial importancia en los sectores regulados, donde la auditabilidad y el cumplimiento normativo son fundamentales. 
3. Introduce el riesgo operativo. Las herramientas de análisis basadas en IA suelen generar resultados a partir de fuentes de datos inconexas o incoherentes. Esto significa que las organizaciones pueden, sin saberlo, tomar decisiones basadas en datos obsoletos o poco fiables, métricas empresariales mal definidas o un contexto incompleto, ya que la herramienta no establece relaciones entre los distintos conjuntos de datos. Por ejemplo, dos usuarios pueden plantear preguntas similares sobre los ingresos o la pérdida de clientes y obtener resultados diferentes, ya que la IA extrae la información de sistemas inconexos con definiciones empresariales distintas.
4. Aumenta el riesgo de que se produzcan «alucinaciones» de la IA. Las alucinaciones se producen cuando la IA genera respuestas que parecen precisas, pero que son incorrectas, inventadas o carecen de respaldo en los datos. Sin visibilidad sobre las fuentes de datos, la lógica empresarial o los cálculos que hay detrás de una respuesta, los usuarios no tienen una forma sencilla de reconocer cuándo la IA ha inventado conclusiones o suposiciones. Esto supone un grave riesgo cuando las organizaciones se basan en respuestas generadas por la IA para tomar decisiones empresariales. La explicabilidad y los datos fiables y controlados ayudan a distinguir los conocimientos reales de la desinformación que suena convincente.

Estos problemas dan lugar a situaciones en las que la IA parece inteligente y segura de sí misma, aunque genere resultados poco fiables.

Cómo es una IA explicable y sensible al contexto

La solución no es renunciar a la IA. Consiste en hacer que la IA sea más transparente, contextual y se base en datos regulados.

En lugar de respuestas tipo «caja negra», las organizaciones necesitan experiencias de IA explicables en las que los usuarios puedan ver:

• Métricas empresariales definidas.
• Fuentes de datos fiables.
• Origen de los datos.
• Lógica de negocio y cálculos.
• Contexto en las preguntas y conjuntos de datos relacionados.

Es aquí donde la comprensión contextual cobra una importancia fundamental. Las herramientas de análisis basadas en la inteligencia artificial no deben limitarse a recuperar información. Deben comprender las relaciones entre los conjuntos de datos, los conceptos empresariales y las interacciones previas, al tiempo que basan sus resultados en datos controlados y fiables.

Cuando eso ocurre, las organizaciones pasan de pensar: «Tenemos respuestas, pero no confiamos en ellas», a pensar: «Podemos confiar en estas respuestas y actuar en consecuencia».

Fomentar la confianza en el análisis conversacional

A medida que crezca la adopción del análisis conversacional, las organizaciones distinguirán cada vez más entre las herramientas de análisis basadas en IA que se limitan a generar respuestas y los sistemas de IA que ofrecen información fiable. El futuro del análisis empresarial basado en IA no se reduce únicamente a respuestas más rápidas. Se trata de:

• cohérence
• Explicabilidad
• Gobernanza
• Fiabilidad
• Inteligencia sensible al contexto

Las organizaciones que invierten en bases de datos fiables y preparadas para la IA están mejor posicionadas para implantar la IA con confianza en toda la empresa. Estas organizaciones dispondrán de datos gestionados y contextualizados que garanticen respuestas fiables. 

Convierte las consultas de IA en información empresarial fiable

Actian AI Analyst ayuda a las organizaciones a ir más allá de las respuestas de IA de «caja negra», al ofrecer análisis conversacionales que utilizan datos controlados y listos para su uso empresarial. En lugar de generar resultados inconexos, Actian AI Analyst proporciona información contextual basada en definiciones fiables, datos con trazabilidad y una lógica explicable.

Los usuarios pueden formular preguntas en lenguaje sencillo y, al mismo tiempo, comprender cómo se generan las respuestas y en qué datos se basan. De cara al futuro, las organizaciones que saquen mayor partido a la IA no serán simplemente aquellas que ofrezcan las respuestas más rápidas, sino las que ofrezcan las respuestas más fiables. Prueba ya las respuestas fiables con una prueba gratuita de Actian AI Analyst.

Acerca del autor

Acerca de Actian Corporation

Actian permite a las empresas gestionar y controlar los datos a gran escala con total confianza. Las organizaciones confían en las soluciones de gestión e inteligencia de datos de Actian para optimizar entornos de datos complejos y acelerar la entrega de datos preparados para la IA. Diseñadas para ofrecer flexibilidad, las soluciones de Actian se integran a la perfección y funcionan de forma fiable tanto en entornos locales como en la nube y en entornos híbridos. Obtén más Acerca de Actian, la división Acerca de Actian datos e IA de HCL Software, en actian.com.