POST Nº632

En febrero tuve una sesión por Skype con el alumnado del primer año del grado en Business Analytics de la Universidad de Mondragón, que organizó mi compi Julen Iturbe dentro de la asignatura de “Ética de los Datos” que él imparte. Eran tiempos bonitos en los que se podía estar físicamente en el aula, antes del confinamiento, porque recuerdo a la chavalería yendo y viniendo, hablando sin parar y con ese ambiente que suele haber en los talleres cuando juntas a un par de docenas de personas inquietas. Con la que está cayendo y lo largo que se hace esto, contarlo así me suena hasta vintage 🙁

El ejercicio consistió en que leyeran dos artículos míos: “Diez hábitos para cultivar el Pensamiento Crítico” y “Sociedad cuantificada y Darwinismo de Datos”, trabajaran en equipos para discutirlos y me hicieran unas preguntas para contestar online. Escribo este post a partir de las cuestiones que me plantearon en la sesión y así aprovecho los apuntes que tomé entonces. Creo que puede servir como complemento didáctico para los alumnos que participaron en la clase. También para ti si te estás haciendo algunas de estas preguntas. Si no es así, quizás consiga sembrar tu curiosidad hacia un tema que es hoy más relevante que nunca: ¿cómo el pensamiento crítico puede mejorar la ética en la gestión e interpretación de los datos?  

Comparto algunas preguntas y mis respuestas con algunas matizaciones que añado ahora. Antes quiero aclarar que no soy un experto analista de datos, sino un observador con cierta educación estadística al que le inquieta el pensamiento complaciente:

1. ¿Como darnos cuenta de que un algoritmo está sesgado si solo vemos los resultados que produce?

Un algoritmo es una interpretación, una más de las muchas que se pueden hacer, que sintetiza unas determinadas reglas de decisión. Por eso, todos los algoritmos sesgan de alguna manera. El sesgo está embebido de fábrica tanto en las variables independientes que elige para explicar lo que quiere explicar como en las ponderaciones que usa para dar más o menos peso a cada variable. De lo que se trata entonces es de detectar si esos sesgos pueden producir efectos sociales perniciosos, o sea, si tratan de forma injusta a las personas que se someten a sus decisiones.

El modo más natural de “auditar” esos algoritmos es obviamente conocer su formulación matemática. Una persona que entienda de algoritmos y tenga (OJO con esto) una cierta formación humanística, puede darse cuenta de qué patrones o comportamientos la ecuación castiga o premia más. Si esos efectos van en contra de derechos fundamentales o de principios éticos elementales, entonces hay un fallo que corregir. Esos son los efectos embebidos que hay cuestionarse y poner a prueba.

Si, como plantea la pregunta, no es posible ver el algoritmo (lamentablemente es bastante común que eso ocurra), al menos habría que acceder a los datos de entrada y los resultados que genera de salida, para intentar detectar si contiene vicios sistemáticos. No conocemos la caja negra, pero sabemos que a esa caja si le metes unos datos X produce unas decisiones Y, así que tendrás que hacer cientos o miles de pruebas para intuir qué pasa dentro y comprobar que las desviaciones son sistémicas e inaceptables.

2. ¿Qué criterios utilizarías para la elección de las personas encargadas de controlar los algoritmos?

Lo primero, reconocer que los algoritmos que sirven para tomar decisiones delicadas y que pueden prestarse a sesgos socialmente costosos deben ser “auditados” (o, como mínimo, revisados) para evitar discriminación. Esta tarea debe encargarse a personas: 1) independientes, sin conflictos de interés en su uso, 2) entrenadas en la detección de los sesgos más comunes, 3) competentes en la identificación de los valores que embeben las fórmulas matemáticas. Las organizaciones que usan algoritmos para filtrar y clasificar usuarios con algún impacto en sus derechos deben tener personas preparadas para hacer bien esta labor.

3. ¿Como hacer para que el algoritmo no contenga sesgos?

Dijimos antes que todos los algoritmos contienen sesgos así de lo que se trata es de asegurarnos que esos sesgos no sean socialmente inaceptables o, si prefieres usar otro listón, que no generen decisiones ilegales. Si es lo segundo, está claro, la ley es la ley aunque ya sabemos que es interpretable. Si es lo primero, que yo lo prefiero como referencia, entonces tendríamos que definir entre todos qué entendemos por “sesgos socialmente inaceptables”, o sea, cuáles son las líneas rojas que no pueden traspasarse. En decisiones públicas, esa discusión debe hacerse por causes democráticos con luz y taquígrafos. En las empresas, por equipos de expertos que combinen matemáticos, personas de negocio y profesionales con perfil humanista.

Una forma práctica de detectar desviaciones (y en esto voy a insistir mucho pero mucho) es formándose bien en un conjunto de sesgos cognitivos o “atajos mentales” que están generalmente reconocidos por la alta frecuencia con la que caemos en ellos cuando pensamos de prisa y/o mal. Me gusta decir que comprender y familiarizarse con un conjunto básico de esos sesgos es para el pensamiento crítico lo que es el análisis fundamental para las decisiones bursátiles, un punto de partida y filtro esencial para intentar “objetivar” nuestra capacidad de interpretación.

Me parece importante discernir entre dos tipos de sesgos. Los cognitivos están siempre por debajo, como estructuras o moldes subyacentes, en nuestras heurísticas de pensamiento. Son estos los que explican una buena parte de otros sesgos más visibles y superficiales: los culturales, ideológicos o de valores. Por ejemplo, los sesgos de género, que son culturales (y también ideológicos) tienen un trasfondo de sesgo cognitivo, que es donde se origina y se refuerza la interpretación disfuncional. Por ejemplo, detrás de algunas manifestaciones del sesgo de género es habitual que haya sesgos cognitivos como los de confirmación, de anclaje y de efecto halo, entre otros. Por eso no deja de sorprenderme lo descuidada que está la educación en sesgos cognitivos en los currículos universitarios y en la formación en gestión.

Además de entender el mecanismo subyacente de los sesgos cognitivos, también viene bien familiarizarse con los más frecuentes de la capa superior. Así conviene identificar también los sesgos culturales, ideológicos y de otros tipos que se dan con más frecuencia, con el fin de “codificar el sensor mental” para reconocerlos más rápido y mejor. Es parte de la educación humanística que debe recibir siempre un/a buen/a analista de datos y yo diría que cualquier gestor/a que aspire a tomar decisiones socialmente justas.

Hay sesgos del segundo tipo que se justifican. Por ejemplo, cuando hace falta introducir en un modelo de decisión políticas de discriminación positiva para corregir una desviación o injusticia de base. No siempre sesgar un filtro es intrínsecamente malo. Lo importante es ser consciente de que lo estás haciendo y hacer el sesgo transparente porque lo que persigues con ese filtro es justo.

4. ¿Cuál dirías que es un paradigma dominante hoy en día y cómo afecta a los sesgos de los algoritmos?

Los paradigmas dominantes inyectan sesgos en los algoritmos. Subyacen en los sesgos culturales o ideológicos que trasladamos a esos filtros de selección. Un ejemplo sencillo de entender es el de los paradigmas estéticos, de cómo vestir y mostrarse, o qué significa ser una persona “normal” según cómo te vistas o te expreses culturalmente.

5. ¿Cuáles es el límite del pensamiento crítico? ¿No corremos el riesgo de cuestionarlo todo?

El límite está en practicar un escepticismo saludable. Por ejemplo, que ser crítico no te lleve al punto de negar las evidencias, como ocurre mucho entre la gente que desconfía de todo. Por cierto, desconfiar de todo tiene tres grandes inconvenientes: (1) es agotador, (2) es injusto desconfiar de cosas y de personas que merecen confianza, que hay muchas, (3) desconfiar de todo devalúa el modo en que pensamos y el relato que usamos para comunicarnos, porque no sirve para discernir. Me detengo en este último punto porque es interesante. Por ejemplo, si a una persona le gusta todo, entonces genera en los demás menos interés que le guste algo. Lo mismo ocurre al revés. Si duda de todo, entonces sus dudas dejan de ser creíbles. Una persona gana en credibilidad si sabemos que es selectiva.

6. ¿En qué situaciones es mejor utilizar la intuición, el análisis subjetivo, y en cuáles un algoritmo?

Si pensamos en la intuición como heurísticas basadas en el análisis cualitativo, creo que es un recurso potente para tomar decisiones en entornos de gran incertidumbre en los que resulta poco probable que podamos modelizar un patrón matemático para decidir. Siempre digo lo mismo: es mejor reconocer que algo no se puede predecir a partir de X datos, que hacer predicciones poco fiables que después se usen como argumento para tomar decisiones desde una supuesta certeza matemática que no existe. Me gusta hablar de “intuición informada”, o sea, echar mano de los datos siempre que sean relevantes y fiables para explicar un determinado problema y una vez que agoto esa vía y veo que no es suficiente para decidir, confiar el resto a la intuición, o sea, a lo que me dice la experiencia.

7. ¿Qué tipos de errores se cometen más en la recogida y gestión de los datos?

Podríamos listar un extenso inventario de errores. Intentando agruparlos, diría que los fallos más habituales tienen que ver con qué datos decidimos recoger porque creemos que son los más relevantes como variables explicativas del problema que queremos estudiar, cómo recogemos esos datos y, finalmente, cómo se combinan y ponderan dentro del algoritmo. Concretando más, destacaría sobre todo estos tres: (1) errores en el diseño muestral, (2)  proxies equivocadas por obsesionarnos en medir cosas que no se pueden medir bien, (3) correlaciones que se convierten en causalidad sin ninguna evidencia. Estos tres errores explican una buena parte de los disparates estadísticos que publica la prensa o de los fake news que se difunden en las redes sociales.

8. ¿Hay alguna profesión que se ocupe de proteger a grupos minoritarios o discriminados de que un algoritmo les perjudique?

Bueno, la educación en ética (y política del) análisis de datos es ya una herramienta poderosa en manos de cualquiera para contribuir a ese esfuerzo. Es lo que la Universidad de Mondragón trata de inculcar en su alumnado con esta asignatura y el propio grado. Pienso que es una competencia o habilidad que debería incluirse como parte de cualquier formación. A medida que los algoritmos invaden más nuestra vida en modo “Darwinismo de Datos”, más necesitamos de profesionales que sepan interpretar los algoritmos (y sus efectos) con una mirada ética, política y humanista.

9. ¿Cómo saber con certeza que una noticia es sesgada o es fiable?

No hay recetas. Si las tuviéramos, Trump no sería el presidente más idiota que ha tenido Estados Unidos, ni las Fake News serían tan efectivas para propagar mentiras. Pero hay indicios, señales, que deberían alarmarnos. Lo que no deberíamos perder nunca es la capacidad de refutación, de dudar, de buscar evidencias y contrastes. Por otra parte, me gustaría insistir en que es difícil que una información, en su condición de relato, esté libre de sesgos. Hay hechos probados con rigor, así que podemos y debemos creer en ellos. A partir de ahí, las sucesivas lecturas que se hagan después pueden contener sesgos de interpretación. De lo que se trata, como vengo insistiendo, es de identificar y ser conscientes de esos sesgos. Reconocerlos, no esconderlos. Además, como se suele decir en el periodismo moderno, si no hay objetividad, que al menos haya transparencia 🙂

10. ¿Qué otros retos te parecen complejos de solucionar en la gestión de los datos?

Yo veo uno importante, para el que todavía no tengo una respuesta definitiva. Abrir los algoritmos y hacerlos transparentes en algunos casos puede facilitar el “gaming” o manipulación por parte de los agentes que van a ser valorados por ellos. Eso no preocupa si los datos de entrada no son manipulables. Sería el caso de un algoritmo para decidir la asignación de viviendas sociales que dependa de variables que son objetivas y demostrables. Sin embargo, la cosa se complica con, por ejemplo, el algoritmo de búsqueda de Google. A todos nos parecería justo que un mecanismo distribuidor de reputación tan brutal como ese fuera más transparente, pero si supiéramos con precisión cómo decide los rankings, además de descubrir que hay intereses comerciales opacos en sus reglas de decisión, sabríamos cómo optimizar nuestros propios resultados. En un escenario así, aumentan las probabilidades de que sobrevivan los más fuertes. Un segundo reto, complicado de solucionar, es que si se aceptara auditar los algoritmos, ¿quién controla al controlador? ¿cómo podemos asegurarnos que el dictamen de un auditor es fiable e independiente y no está a su vez sesgado?

Lo que me queda claro, en todo caso, es que ningún sistema de toma de decisiones va a ser perfecto así que tendremos que elegir el menos malo. Tengo cosas favorables que decir de los algoritmos si se usan como lo que son: aproximaciones humildes de la realidad que pueden ayudar a prevenir decisiones arbitrarias –por eso de que “los algoritmos no tienen amigos”- pero siempre y cuando se hagan acompañar de una segunda capa de interpretación humana que corrija posibles desviaciones que produzcan injusticias irreparables.

NOTA: Si te ha gustado el post, puedes suscribirte para recibir en tu buzón las siguientes entradas de este blog. Para eso solo tienes que introducir tu dirección de correo electrónico en el recuadro de “suscríbete a este blog” que aparece en la columna derecha de esta página. También puedes seguirme por Twitter o visitar mi otro blog: Blog de Inteligencia Colectiva