Sesgo algorítmico: el lado oscuro de la inteligencia artificial

El crecimiento de las redes sociales y el avance de la tecnología móvil han creado exponencialmente más formas de crear y compartir información. Las herramientas de datos avanzadas, como la IA y la ciencia de datos, se emplean cada vez más como solución para procesar y analizar estos datos. La Inteligencia Artificial (IA) combina la informática con sólidos conjuntos de datos y modelos para facilitar la resolución automatizada de problemas. Los modelos de aprendizaje automático (Machine Learning, ML), un subcampo de la IA que utiliza técnicas estadísticas que permiten a los ordenadores aprender sin programación explícita, utilizan entradas de datos para entrenar acciones y respuestas para los usuarios. Estos datos se están aprovechando para tomar decisiones críticas en torno a la estrategia gubernamental, la elegibilidad para la asistencia pública, la atención médica, el empleo, los seguros y la puntuación crediticia.

Como una de las mayores empresas tecnológicas del mundo, Amazon Web Services (AWS) confía en gran medida en la IA y el ML como la solución que necesitan para almacenar, procesar y analizar datos. Pero, en 2015, incluso con su tamaño y sofisticación técnica, descubrieron un sesgo en su algoritmo de contratación. Estaba sesgado a favor de los hombres porque el conjunto de datos al que hacía referencia se basaba en solicitantes anteriores de los últimos 10 años, que contenían una muestra mucho mayor de hombres que de mujeres.

Se ha detectado un sesgo en un algoritmo COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), utilizado por los sistemas judiciales estadounidenses para predecir la reincidencia de los delincuentes. Los datos utilizados, el modelo elegido y el algoritmo empleado en general mostraron que producía falsos positivos para casi la mitad (45%) de los delincuentes afroamericanos en comparación con los delincuentes caucásico-americanos (23%).

Sin protocolos y normativas que impongan controles y equilibrios para el uso responsable de la IA y el ML, la sociedad se encontrará en una pendiente resbaladiza de problemas relacionados con la parcialidad basada en la clase socioeconómica, el género, la raza e incluso el acceso a la tecnología. Win datos limpios, los algoritmos pueden intrínsecamente crear sesgos, simplemente debido al uso de conjuntos de datos inexactos, incompletos o mal estructurados. Para evitar el sesgo, hay que empezar por evaluar con precisión la calidad del jeu de données, que debe ser:

• Exacto.
• Limpio y coherente.
• Representativa de una muestra de datos equilibrada.
• Claramente estructurada y definida por normas de gouvernance justas y su aplicación.

Definición del sesgo de los datos de IA

El problema que existe con la aplicación de la Inteligencia Artificial para tomar decisiones importantes es la presencia y la oportunidad de que el sesgo cause disparidades significativas en grupos vulnerables y comunidades desatendidas. Una parte del problema es el volumen y los métodos de procesamiento de Big Data, pero también existe la posibilidad de que los datos se utilicen intencionadamente para perpetuar la discriminación, el sesgo y los resultados injustos

"Lo que empieza como un sesgo humano se convierte en un sesgo algorítmico", afirma Gartner. En 2019, el sesgo algorítmico fue definido por investigadores de Harvard como la aplicación de un algoritmo que agrava las desigualdades existentes en el estatus socioeconómico, la raza, el origen étnico, la religión, el género, la discapacidad o la orientación sexual y amplifica las desigualdades en los sistemas de salud. Gartner también explicó cuatro tipos de sesgo algorítmico:

• Sesgo amplificadoSesgo sistémico o involuntario en el procesamiento de los datos utilizados en el entrenamiento de algoritmos de aprendizaje automático.
• Opacidad de los algoritmosLas cajas negras de datos de los usuarios finales, ya sean intrínsecas o intencionadas, suscitan preocupación por los niveles de integridad durante la prise de décision.
• Procesos deshumanizadosLas opiniones sobre la sustitución de la inteligencia humana por el ML y la IA están muy polarizadas, especialmente cuando se utilizan para tomar decisiones críticas que cambian la vida.
• Rendición de cuentas sobre las decisiones: existe una falta de informes y rendición de cuentas suficientes por parte de las organizaciones que utilizan la Ciencia de Datos para desarrollar estrategias que mitiguen el sesgo y la discriminación.

Un estudio de Pew Research concluye que, "a grandes rasgos", el 58% de los estadounidenses cree que los programas informáticos siempre reflejarán algún grado de sesgo humano, aunque el 40% piensa que estos programas pueden diseñarse sin sesgos. Esto puede ser cierto cuando se analizan datos sobre envíos en una cadena de suministro o inventarios que predicen cuándo su coche necesita un cambio de aceite, pero la demografía humana, los comportamientos y las preferencias pueden ser fluidos y estar sujetos a cambios basados en puntos de datos que pueden no estar reflejados en los conjuntos de datos que se analizan.

Los directores de datos y análisis y los responsables de la toma de decisiones deben enfrentarse al reto de integrar la prevención de sesgos en sus algoritmos de procesamiento de datos. Esto puede ser más fácil de decir que de hacer, teniendo en cuenta el volumen de datos que muchas organizaciones procesan para alcanzar sus objetivos de negocio.

El gran coste de la parcialidad

El descubrimiento de disparidades en los datos y la manipulación algorítmica para favorecer a determinados grupos y rechazar a otros tiene graves consecuencias. Debido a la gravedad del impacto del sesgo en Big Data, cada vez más organizaciones dan prioridad a la mitigación del sesgo en sus operaciones. InformationWeek realizó una encuesta sobre el impacto del sesgo de la IA en las empresas que utilizan algoritmos erróneos. Reveló que el sesgo estaba relacionado con el género, la edad, la raza, la orientación sexual y la religión. En términos de daños a las propias empresas, se incluyeron:

• Pérdida de ingresos (62%).
• Pérdida de clientes (61%).
• Empleados perdidos (43%).
• Pagar honorarios de abogados por demandas y acciones legales contra ellos (35%).
• Daño a la reputación de su marca y reacción de los medios de comunicación (6%).

Resolver los sesgos en Big Data

La regulación de la parcialidad y otros problemas creados por el uso de la IA, o por disponer de datos de mala calidad, se encuentra en diferentes fases de desarrollo, dependiendo del lugar del mundo en el que nos encontremos. Por ejemplo, en la UE se está elaborando una Ley de Inteligencia Artificial que identificará, analizará y regulará los sesgos de la IA.

Sin embargo, el verdadero cambio comienza con los líderes empresariales que están dispuestos a hacer el trabajo preliminar de garantizar que la diversidad y el uso y la gouvernance responsables se mantengan a la vanguardia de su uso y políticas de datos. "Los líderes de datos y análisis deben comprender la IA responsable y los elementos medibles de esa jerarquía: detección y mitigación de sesgos, explicabilidad e interpretabilidad". Gartner afirma. La atención a estos elementos respalda un enfoque completo para encontrar, resolver y prevenir problemas relacionados con la parcialidad en el análisis de datos".

La falta de atención a la creación de confianza pública puede ser muy perjudicial para las organizaciones que dependen de los datos. Aplique estas estrategias en toda su organización como base para el uso responsable de las herramientas de Ciencia de Datos:

• Educar a a las partes interesadas, los empleados y los clientes sobre el uso ético de los datos, incluidas las limitaciones, las oportunidades y la IA responsable.
• Establecer un proceso de auditoría continua de sesgos utilizando equipos de revisión interdisciplinarios que descubran posibles sesgos y problemas éticos con el modelo algorítmico.
• Ordenar intervenciones humanas a lo largo de la ruta de prise de décision en el tratamiento de datos críticos.
• Fomentar la colaboración con entidades gubernamentales, privadas y públicas, líderes de opinión y asociaciones relacionadas con el cumplimiento normativo actual y futuro y la planificación y el fomento de la educación en torno a áreas en las que los prejuicios suelen estar presentes.

Minimizar el sesgo en los big data exige dar un paso atrás para descubrir cómo se produce y adoptar medidas y estrategias preventivas que sean eficaces y escalables. Puede que la solución tenga que ser tan grande como el big data para superar con éxito las deficiencias presentes hoy en día y que sin duda aumentarán en el futuro. Estas estrategias son una forma eficaz de mantenerse informado, medir el éxito y conectar con los recursos adecuados para alinearse con la mitigación de sesgos actual y futura basada en algoritmos y análisis.

Recursos adicionales:

• La crisis creada por la IA en la gestion des données sanitarios
• Instituto AI Now
• Asociación sobre IA 
• Grupo de Equidad, Transparencia y Privacidad del Instituto Alan Turing 

Acerca de Actian Corporation

Actian hace que los datos sean fáciles. Nuestra plataforma de datos simplifica el modo en que las personas conectan, gestionan y analizan los datos en entornos en la nube, híbridos y locales. Con décadas de experiencia en gestión de datos y análisis, Actian ofrece soluciones de alto rendimiento que permiten a las empresas tomar decisiones basadas en datos. Actian cuenta con el reconocimiento de los principales analistas y ha recibido premios del sector por su rendimiento e innovación. Nuestros equipos comparten casos de uso probados en conferencias (por ejemplo, Strata Data) y contribuyen a proyectos de código abierto. En el blog de Actian, cubrimos temas que van desde la ingestión de datos en tiempo real hasta el análisis impulsado por IA.