Significado de Sesgo algorítmico
Sustantivo masculino compuesto. De sesgo, del latín saxeus (según una hipótesis), y algorítmico, de algoritmo.
El sesgo algorítmico es la tendencia sistemática de un sistema automatizado a producir resultados que favorecen o perjudican de forma desigual a determinados grupos de personas, sin que ese resultado sea intencionado.
No siempre procede de un error de programación: a menudo surge de los datos con los que se entrenó el sistema, que reflejan desigualdades ya existentes en el mundo real.
Qué es el sesgo algorítmico
Un algoritmo que aprende a partir de datos —por ejemplo, para evaluar solicitudes, clasificar imágenes o hacer recomendaciones— reproduce los patrones presentes en esos datos, incluidos los que reflejan una desigualdad histórica. Si los datos de entrenamiento contienen, por ejemplo, menos casos de un grupo determinado, o casos marcados por decisiones humanas previas ya sesgadas, el sistema puede aprender esa misma distorsión y aplicarla de forma sistemática a nuevas decisiones.
El sesgo algorítmico no requiere que nadie lo haya introducido a propósito: puede surgir de una muestra de datos poco representativa, de una definición del problema que no tiene en cuenta ciertos casos, o de una métrica de éxito que optimiza un resultado a costa de otro. Detectarlo exige auditar los resultados del sistema desagregados por grupo, no solo su precisión media, porque un sistema puede acertar mucho en conjunto y equivocarse de forma desproporcionada en un subgrupo concreto.
Lo estudian la ética de la inteligencia artificial, la ciencia de datos y el derecho antidiscriminatorio, que documentan casos concretos en ámbitos como la selección de personal, la concesión de crédito o el reconocimiento de imágenes.
Origen del término sesgo algorítmico
De sesgo, «torcido, oblicuo», con el sentido figurado de «desviación respecto a lo esperado», y algorítmico, adjetivo formado sobre algoritmo. El término traduce el inglés algorithmic bias.
La noción de sesgo en el tratamiento estadístico de datos es anterior a la informática, pero el término «sesgo algorítmico» se generalizó con la extensión de los sistemas de aprendizaje automático a decisiones que afectan directamente a personas, cuando distintos estudios documentaron diferencias sistemáticas de resultado entre grupos que no se explicaban por el mérito o la situación real de cada caso.
Causas del sesgo algorítmico
| Causa | En qué consiste |
|---|---|
| Datos de entrenamiento poco representativos | Un grupo aparece menos, o de forma distorsionada, en los datos usados para entrenar el sistema. |
| Sesgo histórico en los datos | Los datos reflejan decisiones humanas previas ya desiguales, que el sistema aprende a repetir. |
| Definición del problema | La forma de plantear qué debe predecir el sistema deja fuera casos o matices relevantes. |
| Métrica de éxito incompleta | El sistema se optimiza para un resultado medible que no captura todo lo que importa evaluar. |
Ejemplos de uso de sesgo algorítmico
La auditoría detectó un sesgo algorítmico en el sistema de selección de currículos, que favorecía sistemáticamente un perfil concreto.
El artículo académico analizaba el sesgo algorítmico de los sistemas de reconocimiento de imágenes ante distintos tonos de piel.
Corregir el sesgo algorítmico detectado obligó a revisar los datos de entrenamiento, no solo el código del sistema.
El comité de ética recomendó evaluar el sesgo algorítmico antes de desplegar el sistema de evaluación de crédito.
Explicó en clase cómo un sesgo algorítmico puede surgir sin que nadie lo haya programado a propósito.
Sinónimos y palabras relacionadas
Sinónimos: sesgo de los sistemas automatizados, sesgo en el aprendizaje automático.
Antónimos: imparcialidad algorítmica, equidad algorítmica (como objetivos, más que como estados garantizados).
No es lo mismo que:
- Discriminación: es un concepto más amplio, aplicable a decisiones humanas o automatizadas; el sesgo algorítmico es la forma concreta que ese problema toma cuando lo produce un sistema automatizado. Ver significado de discriminación.
- Algoritmo de recomendación: es un tipo de sistema que puede verse afectado por sesgo algorítmico, pero no todo algoritmo de recomendación lo está necesariamente. Ver significado de algoritmo de recomendación.
- Error estadístico: un error aleatorio se distribuye sin favorecer sistemáticamente a ningún grupo; el sesgo algorítmico, por definición, sigue un patrón sistemático y no aleatorio.
Preguntas frecuentes sobre el sesgo algorítmico
¿El sesgo algorítmico siempre es intencionado?
No. La mayoría de los casos documentados no proceden de una intención deliberada, sino de datos de entrenamiento poco representativos o de una definición del problema que no tiene en cuenta ciertos casos.
¿Cómo se detecta el sesgo algorítmico?
Comparando los resultados del sistema entre distintos grupos, y no solo su precisión media general: un sistema puede acertar mucho en conjunto y, aun así, equivocarse de forma desproporcionada con un subgrupo concreto.
¿Puede eliminarse por completo el sesgo algorítmico?
Es un objetivo difícil de garantizar por completo, porque depende de la calidad y representatividad de los datos disponibles; distintas técnicas buscan reducirlo, pero no existe un consenso único sobre cómo medir o eliminar toda forma de sesgo.