Discriminación racial en la inteligencia artificial

En pleno auge del movimiento Black lives matter (las vidas de los negros importan) está surgiendo un período de reflexión global sobre la discriminación racial. En este artículo nos preguntamos: ¿cómo influye la Inteligencia Artificial (IA) en este tema?

Los algoritmos de IA afectan cada vez más a nuestras decisiones personales. Además, las empresas y los gobiernos han aumentado su dependencia de los algoritmos para tomar decisiones. Por ejemplo, se utilizan para identificar perfiles potencialmente criminales y para guiar decisiones médicas que afectan a millones de personas.

En este contexto, investigaciones recientes han comenzado a advertir sobre la amplificación de prejuicios sociales en estos algoritmos. Los grupos históricamente desfavorecidos, como las mujeres y las personas negras, sufren más los efectos de los sesgos algorítmicos.

Una palabra marca la diferencia

Varios estudios han mostrado sesgos raciales en los algoritmos con solo modificar una palabra.

Por ejemplo, en un estudio se encontró que si se daba como arranque la frase “el hombre blanco trabaja como…”, la IA la completaba con “un oficial de policía”. En cambio, si el comienzo de la frase era “el hombre negro trabaja como…”, el algoritmo generaba el texto “un proxeneta durante 15 días”.

Otra investigación realizada en Estados Unidos entrenó una IA con textos de internet. Reveló que los nombres asociados con tener ascendencia Europea, como Adam y Katie, tenían más probabilidades de ser vinculados a palabras agradables que nombres asociados con ser afroamericano, como Alonzo y Latisha.

Además, otro trabajo mostró que las búsquedas de nombres populares de personas negras tenían un 25 % más de probabilidades que los de personas blancas de vincular los resultados a registros de arrestos.

A raíz de las protestas por la muerte de George Floyd en Estados Unidos, empresas tecnológicas como Twitter han tomado medidas para apoyar el movimiento antirracista, pero queda aún mucho por recorrer para atajar el problema de los sesgos algorítmicos.

Errores en los algoritmos

Las personas negras se ven más afectadas por los errores y las predicciones inexactas de las inteligencias artificiales.

Google tuvo que disculparse en 2015 porque su algoritmo etiquetó erróneamente la foto de dos personas negras como “gorilas”.

Otro trabajo de investigación halló un sesgo racial en un algoritmo utilizado para evaluar la probabilidad de reincidencia criminal. Los investigadores encontraron que era más probable que los acusados negros fueran incorrectamente considerados por el algoritmo como “de alto riesgo de reincidencia” en comparación con los acusados blancos.

En el campo de la medicina, una investigación publicada en la revista Science mostró que un algoritmo utilizado para guiar la atención médica de aproximadamente 200 millones de estadounidenses cada año estaba sesgado en contra de las personas negras. Se estima que este sesgo redujo el número de pacientes negros identificados para recibir programas de atención médica a más de la mitad.

Falta de diversidad

Se ha subrayado que los grupos dominantes se benefician de mayores índices de precisión por parte de las IA en comparación con los minoritarios. En este sentido, la falta de diversidad en los equipos de investigación es un problema.

Por un lado, los hombres blancos están sobrerrepresentados en los equipos de trabajo de inteligencia artificial, lo que podría hacer que les resultara más difícil detectar los sesgos que desarrollan sus algoritmos contra otros colectivos.

La inclusión de una mayor representación de los sectores vulnerables de la población (por ejemplo, las mujeres y las personas negras) mejoraría la detección de posibles sesgos y podría evitar parte de la discriminación algorítmica.

Por otro lado, tampoco hay diversidad en los usuarios activos. Por ejemplo, según Wikipedia, el editor promedio es blanco, varón, técnico, con educación formal, de habla inglesa, de 15 a 49 años, de un país cristiano y del hemisferio norte. Esto provoca un sesgo en la actividad y el contenido de internet que es aprendido por los algoritmos.

De manera similar, los datos utilizados para la investigación sobre el comportamiento humano y el entrenamiento de las inteligencias artificiales se basan en gran medida en muestras WEIRD, acrónimo de White (blanco), Educated (educado), Industrialized (industrializado), Rich (rico), and Democratic (democrático).

La dependencia de una población tan limitada, agravada por la brecha digital, compromete la eficiencia de estos algoritmos.

La gran escala de la IA

No es sorprendente que los algoritmos muestren prejuicios sociales. La IA no es magia. Los humanos estamos involucrados durante todo su ciclo de vida y somos propensos a una interpretación sesgada de la realidad.

La discriminación puede pasar desapercibida porque la mayoría de la gente tenemos dificultad para reconocer nuestros propios sesgos. Esto se conoce como punto ciego de los sesgos. En la IA, nuestros propios prejuicios individuales se combinan con los de otras personas en una escala masiva y se amplifican. Así, la detección de los sesgos se complica y la discriminación se enmascara.

Un problema importante es que muchos de estos sesgos discriminatorios en los algoritmos se detectan a posteriori. No conocemos cuántas personas ya han sido discriminadas debido al comportamiento sesgado de los algoritmos. Estas investigaciones nos recuerdan hasta qué punto, también cuando hablamos de la IA, las vidas de las personas negras importan.

Naroa Martínez recibe fondos del Departamento de Educación, Universidades e Investigación del Gobierno Vasco.

Helena Matute recibe fondos de la Agencia Estatal de Investigación del Gobierno Español, y del Departamento de Educación, Universidades e Investigación del Gobierno Vasco.