Academia UmamiGobernanza de IA
Casos reales · Aprende del error ajeno

Casos reales: cuando la IA sale mal (y qué nos enseña)

Guía práctica · Academia Umami

La gobernanza de IA no es teoría: nace de errores que costaron caros. Estos casos son reales, están documentados y cada uno deja una lección que hoy recogen la ISO/IEC 42001 y el Reglamento Europeo. Estudiarlos es la mejor forma de no repetirlos.

Amazon y el sesgo en la selección de personal

Amazon desarrolló una herramienta experimental de IA para cribar currículos. El sistema, entrenado con datos históricos de contrataciones dominadas por hombres, aprendió a penalizar a las candidatas mujeres. La empresa acabó descartando el proyecto.

Lección: los datos de entrenamiento arrastran los sesgos del pasado. Por eso el Anexo A de la ISO 42001 exige gobernar la calidad y procedencia de los datos, y el Reglamento clasifica la IA de empleo como alto riesgo.

Clearview AI y el reconocimiento facial

Clearview AI construyó una base de datos de reconocimiento facial extrayendo miles de millones de imágenes de internet sin consentimiento. Varias autoridades europeas de protección de datos (en Italia, Francia, Grecia y Reino Unido) le impusieron sanciones y órdenes de borrado.

Lección: extraer datos biométricos de forma masiva es hoy una práctica prohibida o de alto riesgo. El Reglamento lo recoge expresamente en su artículo 5.

El escándalo de las ayudas en Países Bajos

La Agencia Tributaria neerlandesa usó sistemas de perfilado de riesgo que marcaron injustamente a miles de familias como posibles defraudadoras de ayudas a la infancia. El escándalo (la «toeslagenaffaire») arruinó a familias y acabó provocando la dimisión del gobierno. En paralelo, un tribunal declaró ilegal el sistema de detección de fraude SyRI por violar derechos fundamentales.

Lección: un sistema de IA en servicios públicos esenciales puede destrozar vidas. De ahí la supervisión humana, la evaluación de impacto en los derechos (FRIA) y la transparencia que exige el Reglamento.

COMPAS y la justicia predictiva

En Estados Unidos, el algoritmo COMPAS se usaba para estimar el riesgo de reincidencia de personas acusadas. Una investigación periodística concluyó que producía resultados sesgados por raza. El caso abrió el debate mundial sobre la IA en decisiones judiciales.

Lección: sin trazabilidad ni explicabilidad, una IA puede perpetuar la discriminación en decisiones que afectan a la libertad de las personas. Por eso la justicia es un ámbito de alto riesgo.

El bloqueo temporal de ChatGPT en Italia

En 2023, la autoridad italiana de protección de datos (Garante) bloqueó temporalmente ChatGPT por preocupaciones sobre el tratamiento de datos personales y la protección de menores. El servicio volvió tras introducir cambios de transparencia y control.

Lección: incluso la IA más puntera debe cumplir las reglas de datos y transparencia. Gobernar bien no frena la innovación: la hace sostenible.

El hilo común

Ninguno de estos sistemas falló por ser «mala tecnología». Fallaron por falta de gobernanza: datos sin controlar, cero supervisión humana, ninguna evaluación de impacto y falta de transparencia. Exactamente lo que un sistema de gestión de IA (ISO/IEC 42001) y el Reglamento Europeo obligan a poner en marcha.

Aprender estos casos no es morbo: es la forma más rápida de entender por qué existe cada obligación de la norma.

Aprende a que no te pase

En la Academia Umami estudias la gobernanza de IA que evita estos errores: ISO 42001 y Reglamento Europeo.

Entrar a la plataforma