>La creciente dependencia de algoritmos en sectores como salud y justicia para tomar decisiones críticas plantea serias cuestiones éticas. Y ello es porque, frecuentemente, estos algoritmos operan como “cajas negras” generando desconfianza y falta de rendición de cuentas, vulnerando derechos individuales y principios bioéticos.

Otro principio vulnerado es el de justicia, del cual deriva el deber de distribuir equitativamente los recursos, beneficios y riesgos. Los algoritmos opacos a menudo perpetúan sesgos estructurales, reforzando las desigualdades. En 2019, el algoritmo de salud diseñado por Optum y utilizado en Estados Unidos para identificar a pacientes con mayores necesidades de atención médica y predecir sus necesidades, presentaba un sesgo racial discriminando a pacientes afroamericanos. El algoritmo basaba sus decisiones en los costos previos de atención médica, y dado que los pacientes afroamericanos habían recibido comparativamente menor atención, sus costos de salud eran menores. Así, el algoritmo subestimaba las necesidades de los pacientes afroamericanos asignándoles sistemáticamente menor prioridad en condiciones de salud similares a los pacientes blancos, reduciendo la equidad en la atención médica.

Ahora bien, definiendo la transparencia algorítmica como el acceso a información que permite monitorear las decisiones de un sistema algorítmico, esta tiene dos aspectos: la transparencia de los resultados y la del proceso. La transparencia de resultados implica comunicar claramente los efectos de las decisiones algorítmicas, permitiendo a los usuarios comprender cómo afectan sus casos. Para ello, es esencial ofrecer interfaces comprensibles que traduzcan los resultados técnicos en información útil. La transparencia del proceso refiere a explicar cómo se diseña, desarrolla y entrena el sistema, incluyendo la lógica de sus cálculos y el origen de los datos. Esto ayuda a evaluar el cumplimiento de principios éticos, detectando posibles sesgos y facilitando auditorías independientes que regulen el uso de datos. La transparencia de resultados empodera a los usuarios, mientras que la del proceso permite a expertos verificar su adecuación bioética y legal, promoviendo un uso responsable de los algoritmos que respete los derechos vigentes.

Esto se conoce como el criterio de explicabilidad, buscando desarrollar sistemas de IA cuyos resultados sean fácilmente comprensibles e interpretables, evitando graves riesgos y aumentando la confianza del usuario. Esta explicabilidad, debería categorizarse en cuatro áreas de comprensibilidad 1) Analizar la contribución de cada característica en las decisiones del modelo y su influencia en la predicción; 2) Explicar el comportamiento del modelo en conjunto; 3) Explicar cómo el algoritmo usa o aplica conceptos humanos; y 4) Explicar cómo modelos simples se implementan aproximando modelos complejos.