“Robotización” es la palabra de moda para las consultoras estratégicas de todo el mundo. Empresas del sector público y privado están buscando cómo automatizar procesos y robotizar empleos. Además de las implicaciones que pueda tener esto a largo plazo sobre cómo y cuánto vamos a trabajar, ya hay determinados asuntos que preocupan.
Los bancos, por ejemplo, cada vez utilizan más algoritmos a la hora de decidir a quién otorgan un préstamo, o una hipoteca; los juzgados se apoyan en software especializados para decidir a quién conceden
la libertad bajo fianza; los hospitales también se basan en algoritmos para ver si eres o no elegible para determinados tratamientos. Por tanto, según señalan investigadores de University of Massachusetts Amherst, es clave que el software no discrimine a determinados grupos o individuos.
“El creciente papel de los algoritmos y su potencial impacto en la vida de la gente hacen imperativo que el software sea justo. Estos algoritmos deciden qué productos vemos en una búsqueda, qué noticias leemos, nuestras interacciones sociales y en última instancia, las opiniones que nos formamos sobre casi todo”, advierte Alexandra Meliou, de la Escuela de Información y Ciencias de la Computación.
Meliou, junto al profesor Yurily Brun y el estudiante de doctorado Sainya Galhotra, han desarrollado una nueva técnica denominada “Themis” que automáticamente pone a prueba los programas de software en busca de resultados discriminatorios. Su objetivo es llegar a comprender mejor el comportamiento de los algoritmos, detectar si existe un sesgo involuntario y en su caso, posibilitar la mejora del software. “Determinados sesgos en el software pueden perpetuar estereotipos racistas en la sociedad. Por ejemplo, en anteriores estudios se ha comprobado que determinadas búsquedas publicitarias de nombres normalmente asociados con minorías raciales son más propensos a arrojar resultados relacionados con fichas de arrestos policiales. Este tipo de comportamiento en el software puede derivar en consecuencias sociales indeseables”, asegura Brun.
Themis, a diferencia de herramientas de análisis anteriores, se enfoca en la causalidad de la discriminación. Permite formular cambios hipotéticos en los algoritmos para ver si por ejemplo, al cambiar la raza de un individuo, afecta a la concesión de un préstamo. “Nuestro enfoque mide mejor si existe o no sesgo discriminatorio en un algoritmo, bien sea intencionado o causal y además puede aplicarse a softwares que se apoyan en inteligencia artificial en los que el sesgo discriminatorio puede desarrollarse a posteriori de la creación del programa, sin que los desarrolladores lo sepan”, explica.
Otro ejemplo real en el que Themis se ha mostrado útil es un algoritmo basado en árboles de decisión con aprendizaje automático que estaba específicamente diseñado para no discriminar en función del género, y que en realidad estaba discriminando en un 11% de los casos. Es decir, el resultado del software variaba en un 11% de los casos simplemente por alterar el género del peticionario.
También se ha dado el caso de que al diseñar un software para evitar la discriminación sobre un atributo, se aumenta la discriminación respecto a otros. El mismo algoritmo que se cita en el ejemplo anterior, diseñado para no discriminar por cuestiones de género, discriminaba por razones de raza en un 38% de los casos. “Estos sistemas aprenden a discriminar al recibir inputs sesgados. Si no se controla cuidadosamente este sesgo potencial, el software pude magnificarlo aún más”, indica Galhotra.
El hecho es que parece necesario que se introduzcan estas medidas de control para asegurarnos que los errores de las máquinas no perpetúen los fallos humanos.
Referencia: University of Massachusetts at Amherst – «Loans Applications? New techniques to measure social bias in software»; ScienceDaily.
Por Fórmate a Fondo