En tiempos en los que se habla tanto de algoritmos y de automatizar procesos de búsqueda y selección, es importante poner atención en las premisas y atributos de diseño que encierran esos dispositivos, porque no son en absoluto tan objetivos, ni neutrales.

Karen Levy es profesora del departamento de Ciencias de la Información de la Universidad de Cornell y una de las participantes en el último panel de la 2017 Collective Intelligence Conference celebrada en NYC (#CIconf17) que vengo reseñando en varios posts de este blog y del otro de Inteligencia Colectiva. Levy investiga, entre otros temas, cómo los algoritmos de recomendación pueden contener sesgos discriminatorios que refuerzan la desigualdad de oportunidades que sufren grupos marginados o desfavorecidos. Y visto también desde una perspectiva positiva, cómo se pueden introducir ajustes por diseño en esos algoritmos para corregir ciertas tendencias sociales a discriminar.

Ella y su equipo han investigado más de 50 plataformas que conectan a proveedores con usuarios, y asegura que esos sesgos están muy presentes, por ejemplo, en los omnipresentes sistemas de recomendación por Internet. Insistió también en que hay opciones complejas de diseño para mitigar o intentar neutralizar el impacto de esas tendencias discriminatorias, o sea, que existen mecanismos de diseño para evitar la propagación de sesgos que suelen estar inherentemente presentes en estas plataformas.

Un caso interesante es un soberbio estudio hecho por Levy y otros investigadores sobre Uber, una compañía que como se sabe es muy exigente para mantener a un conductor si no cumple un mínimo de evaluación de los usuarios. Ese estudio se suma a abundantes evidencias empíricas de otras investigaciones que demuestran que las calificaciones agregadas de los usuarios suelen estar influenciadas por sesgos contra grupos (raza, origen cultural e incluso, género), de tal manera que las valoraciones que se dan a conductores de estos grupos desfavorecidos tienden a la baja, si se compara con las del resto. Esta tendencia se ha constatado también en otras plataformas mal llamadas de “economía colaborativa”, como Airbnb. Estudios realizados en Airbnb, y también en Craigslist, han demostrado que las personas de raza negra a menudo suelen ser perjudicadas en las evaluaciones. Una investigación encontró, por ejemplo, que las personas con nombres que se perciben como afroamericanos tienen un 16% menos de probabilidades de ser aceptados como invitados en Airbnb que los que tienen nombres que parecen de blancos.

Ya sabemos que sería ilegal que una empresa practique formalmente alguna política de favorecer a una raza, género u origen étnico sobre otras, pero el papel mediador (supuestamente neutral) del sistema de recomendaciones abre la puerta para se produzca la discriminación en el empleo, porque se contratarían unos conductores sobre otros por razones distintas a la verdadera calidad de su servicio. Se podría decir que en este caso tu jefe o jefa es un algoritmo, así que en principio no cabe la posibilidad de quejarse por comportamiento arbitrario. Sin embargo, el mecanismo injusto (o reforzador de la injusticia de base) está embebido en el dispositivo que toma las decisiones. Por eso Karen Levy sugiere que, en casos como estos, se diseñen mecanismos que midan, ajusten y “corrijan” en la medida de lo posible el efecto de estos sesgos en los ratings para así minimizar el impacto de una potencial discriminación laboral. Según ella, y yo estoy de acuerdo, hay muchas “intervenciones desde el diseño” que pueden ser efectivas.

Además del trabajo de Levy, hay muchos otros estudios publicados que inciden en esta idea de que los algoritmos pueden ser discriminatorios o que, como mínimo, refuerzan la discriminación que existe de base. Un artículo de The New York Times aporta más evidencias que sirven para afirmar esa hipótesis. Cuenta, por ejemplo, que si lanzamos una búsqueda de imágenes en Google introduciendo el término “CEO” en Estados Unidos, se obtendría un resultado en el que solo aparecería un 11% de imágenes de mujeres, que es sesgado porque aunque es verdad que hay más hombres que mujeres en ese puesto, datos de investigaciones refieren que el 27% de los directores generales de las empresas estadounidenses son mujeres, lo que indica que el algoritmo disminuye el peso real de las ejecutivas femeninas.

Este caso también nos lleva de nuevo a la vieja, y pertinente discusión, de si se debería exigir por ley a estas compañías que permitan el acceso a los datos agregados que generan sus clientes (para que se investiguen por terceros, y en especial, desde la academia) o que se establezca algún tipo de auditoría de sus algoritmos de recomendación, para asegurarnos que no hay variables discriminatorias. Una vez que existe un sistema (llamado algoritmo) que elige entre clientes o entre empleados, ya hay razones que justifiquen querer examinar y comprobar si son éticos y legalmente responsables. De hecho, Levy y los investigadores que participaron en el estudio de Uber reconocieron explícitamente que resulta complicado identificar con más rigor las posibles fuentes de discriminación laboral que existan en el algoritmo sin poder acceder a datos internos que no comparte, ni cede, la compañía.

Lo que está claro es que el análisis del impacto real que puede tener cualquier sistema que establece preferencias (casi todos lo hacen, de una forma u otra) es un asunto siempre complejo. Karen insistía en lo importante que es saber identificar los posibles “efectos no deseados” de estrategias bien intencionadas y anticiparlas “por default” en el diseño.

Embeber mecanismos correctores de diseño en los trámites administrativos o en las políticas públicas es crítico para anular o mitigar posibles efectos discriminatorios o perversos. Puso como ejemplo la iniciativa “Ban the Box”, que aboga por eliminar la pregunta de si la persona tiene antecedentes penales en los procesos de contratación de personal para facilitar la integración de estas personas. Según estudios realizados por Levy, esa estrategia bien intencionada de ocultar información que puede prejuiciar hacia ciertas personas, ha tenido resultados contraproducentes para grupos desfavorecidos. No reflejar ese dato lo que ha hecho es perjudicar aún más a los candidatos de raza negra porque a estos se les supone estadísticamente mucha más probabilidad de tener esos antecedentes, lo que termina castigando a los que responderían que NO a esa casilla. Que exista la casilla perjudica efectivamente a los que tengan que reconocer que tienen antecedentes penales, o sea, que respondan que SI, pero suprimirla produce el efecto perverso de no permitir que los negros sin antecedentes penales tengan la oportunidad de romper con el prejuicio generalizador que les supone esa condición.

Por cierto, Karen Levy trabaja en investigaciones realmente provocadoras. Busca donde nadie busca. Para mí ha sido un descubrimiento. Aunque es un tema distinto al anterior, no puedo dejar de recomendar la lectura de su paper: “What Customer Data Collection Could Mean for Workers” (aquí tienes un resumen en Harvard Business Review), en el que desarrolla el concepto de “Vigilancia de refracción”, o sea, cómo la recolección de datos sobre un colectivo (los clientes en los negocios minoristas) también puede afectar el control sobre otro totalmente distinto del que está siendo monitorizado (en este caso, los trabajadores de esos establecimientos). O sea, cuando se instrumentan mecanismos que en principio solo buscan la recogida y recopilación de datos del comportamiento de compra de los clientes, al mismo tiempo se están consiguiendo otros efectos (a partir de los datos obtenidos) en la gestión del negocio que afectan directa o indirectamente los derechos y la interacción de los dueños con sus empleados.

Hay mucho que rascar tanto en la consistencia ética y legal de los algoritmos de recomendación, como en este sugerente concepto de “vigilancia de refracción”, porque en un mundo cada vez más colonizado por los datos, la capacidad de discernir entre qué está bien y qué no, o hasta donde queremos que llegue la tecnología, va a decidir en qué tipo de sociedad viviremos.

Nota:  La imagen del post pertenece al álbum de ApolitikNow en Flickr. Si te ha gustado el post, puedes suscribirte para recibir en tu buzón las siguientes entradas de este blog. Para eso solo tienes que introducir tu dirección de correo electrónico en el recuadro de “suscribirse por mail” que aparece en la esquina superior derecha de esta página. También puedes seguirme por Twitter o visitar mi otro blog: Blog de Inteligencia Colectiva.