¿Por qué preguntar con encuestas no suele funcionar? (post-382)
Cada vez desconfío más de las encuestas como método de recogida de información. Lo peor es que los datos, una vez obtenidos, irradian un halo de rigor objetivo que a menudo no tienen. Después vemos, para más inri, que se toman decisiones importantes basadas en estadísticas obtenidas no se sabe cómo.
Explicaré por qué me tomo las encuestas con tanta prudencia, me pregunto siempre cómo han sido diseñadas antes de concederle crédito, e intento complementarlas con otras fuentes de análisis que me ayuden a corregir sesgos:
- Cuestionarios mal diseñados: Los errores en el diseño de los cuestionarios son pan de cada día. No se hacen bien las preguntas, así que no sirven para demostrar estadísticamente lo que prometen. Seguro que has tenido que rellenar encuestas en las que las preguntas condicionan, las opciones para marcar se solapan entre sí y dan ganas de marcar varias a la vez, se usan términos ambiguos sin estar bien definidos, o faltan opciones que se ajusten a tu situación así que terminas eligiendo “otros”. En fin, ya tenemos el primer sesgo, el del diseñador del cuestionario, que delimita el espacio de posibles respuestas al modelo que él o ella se ha imaginado. Ah, y que conste que saber diseñar cuestionarios fiables es una habilidad escasa. No abundan profesionales que sepan hacerlo bien, y los que hay, suelen ser bastante caros.
- Muestra sesgada: Si el QUÉ preguntas ya es tendencioso, ni te digo el QUIENES son los sujetos de la consulta. Como no es viable preguntar a toda la población bajo estudio, hay que diseñar muestras que sean estadísticamente representativas, y eso (francamente) pocas veces se da con el rigor que nos hacen creer los que presentan los resultados. A más prisa por publicar titulares y menos pasta para financiar la investigación, más atajos que añaden dudas al diseño del experimento. Por ir al grano, la pregunta clave que me hago siempre es esta: ¿Tiene cada elemento de la población bajo estudio la misma posibilidad de formar parte de la muestra? Es decir, cuánto de realmente aleatoria es la selección, o si lo prefieres: ¿en qué medida los investigadores han sido capaces de eliminar o minimizar los llamados “factores de influencia” que (siempre) inducen sesgos en la muestra? Esos factores de distorsión pueden ser de muchos tipos. A veces el tamaño de la muestra es ridículamente pequeño para la población de la que se pretende extraer conclusiones. En otras se incurre en un “sesgo de selección” al adoptarse un método de recogida de datos que ya filtra la muestra a favor de un tipo de resultados (p.ej. si pretendes hacer un estudio de opinión a partir de lo que responden tus seguidores de Twitter, ya sabes que partes de una muestra sesgada tanto porque la limitas a twitteros, con lo que ello significa, como porque la tamizas bajo un segundo filtro que es el de “tus” seguidores). Por eso, siempre me preocupo de preguntar cómo ha sido el procedimiento de recogida de datos antes de conceder validez a un resultado, porque sé que los errores de autoselección son muy frecuentes.
- La gente no dice (siempre) la verdad: Hay muchos motivos para mentir en una encuesta, o sea, para no decir deliberadamente la verdad. Uno de ellos es cuando la pregunta aborda un tema delicado, que genera suspicacias o vergüenza, por reflejar aspectos íntimos o entrañar datos que podrían ser utilizados para otros fines. Un factor de distorsión muy usual, que subestiman los investigadores, es el deseo de “quedar bien” que hace al encuestado dar respuestas más optimistas de lo que realmente piensa. En resumen, la gente que miente, o no dice la verdad de forma consciente, lo hace habitualmente por prudencia, desconfianza o pena.
- Fallos de memoria: A menudo la respuesta es falsa no porque se mienta deliberadamente, sino por otras distorsiones. Eso se agrava porque es bastante común que la gente conteste a las encuestas con cierta prisa. No recuerdo haber respondido un cuestionario de ese tipo en un contexto que invite a la reflexión, la serenidad y el análisis pausado. Un problema clásico es que nos falle la memoria a la hora de elegir opciones, sobre todo cuando hacen preguntas sobre cantidades, frecuencia o temporalidad. Tampoco es fácil acordarse en ese preciso momento en que te preguntan, por ejemplo, del café que más te gusta, del tipo de experiencias turísticas que más te emocionan o del rango de precios que has pagado por determinado servicio (incluso cuando hablen de rangos, y no de promedios, que ya es rizar el rizo).
- La gente se auto-engaña: Seguimos con respuestas que no implican una mentira deliberada pero que también conducen a datos adulterados. Hay preguntas que las personas tienden a responder según lo que les gustaría que fuera, y no lo que es en realidad. A la hora de contestar, cuentan la película del “debe” y no del que “es”, y además, se lo creen. Es natural porque resulta complicado ser objetivos, así de golpe, ante un cuestionario que te ponen sin una preparación previa que te ayude a hacer una introversión razonada. Al final, la gente responde lo más fácil, en piloto automático, incluso con estereotipos, inducida por prejuicios, fobias o filias; pero esa respuesta puede que sea disonante con lo que realmente haría si se viera en la situación expuesta.
Estas desviaciones son bastante más comunes de lo que se cree. Algunas se producen con mala intención, por una manipulación estadística deliberada, pero muchas por simple ignorancia estadística, así que aquí caben motivaciones que van desde lo absurdo hasta lo fraudulento.
¿Estoy diciendo que hay que prescindir de la encuesta como herramienta de recogida de datos? No, ni mucho menos, porque necesitamos métodos cuantitativos para aportar valor estadístico al análisis. En su lugar, lo que estoy diciendo son dos cosas: 1º) No des validez a la primera a los resultados de una encuesta sin preguntar cómo ha sido diseñada y el método seguido para la recogida de los datos, 2º) Usa también otras herramientas para complementar y contrastar el análisis.
Además de los cinco factores de prudencia que cité antes, a mí cada vez me gustan más los métodos cualitativos, sobre todo para estudios cuyo fin es detectar oportunidades de innovación. Y ahí entra el Design Thinking y su énfasis en “capturar historias”, un asunto que expliqué ampliamente en este post: “Antropología de la Innovación”.
He aprendido que la observación, o la simple conversación, pueden funcionar mejor que hacer preguntas directas vía cuestionarios. Pedir a los sujetos bajo estudio que dibujen, fotografíen, graben vídeos o cuenten su experiencia y su contexto, puede abrir al investigador o investigadora un amplio espectro de oportunidades.
La posibilidad de hacer “tracking”, etnografía digital, muestreos de comportamiento en tiempo real y otras técnicas que documentan hechos (lo que hacen, y no lo que dicen que hacen) suponen un avance notable en estudios de este tipo. La construcción de relatos sobre personas y comportamientos humanos (no datos) es un instrumento también muy válido para identificar oportunidades, y descubrir ideas y soluciones.
En fin, que la vida (y su inmensa riqueza) no cabe en una Hoja Excel, aunque tampoco yo esté proponiendo prescindir de ella.
Nota: La imagen del post es del album de danielproulx en Flickr.
Raquel
Como en todo, yo creo que hay buenos profesionales de la investigación que tienen en cuenta todos estos aspectos que identificas como puntos débiles al diseñar cuestionarios, pero sobre todo, y más importante, creo, que son capaces de analizar y asesorar el mejor abordaje en un proyecto de investigación concreto. Evidentemente, las encuestas no sirven para todo. Ni tampoco los cualitativos. Siempre se requiere primero definir que tipo de investigación debe realizarse y escoger la mejor alternativa. Para unas cosas es el etnográfico, para otras los cualitativos más tradicionales (focus, entrevista en profundidad…), para otra, las encuestas. Y coincido con vuestro enfoque, muy a menudo, es recomendable el cualitativo previo al cuantitativo. En mi caso, incluso uso cualitativos post-encuesta que me ayudan a profundizar en los porqués de los resultados numéricos. Todos los métodos de investigación bien usados son buenos.
Iván
Personalmente y en ciertos temas creo que es un modelo desfasado. Sigue siendo algo que molesta y que resulta generalmente unidireccional. Muchas de las preguntas siguen siendo muy malas, poco flexibles con las respuestas, por lo que muchas veces se responde lo menos malo. Coincido en la mirada que dice Juanjo, las preguntas deben ser buena so muy buenas. Como en otros temas creo que debemos estar abiertos al cambio y plantear nuevas formas de hacer las cosas. Buenas reflexiones coo siempre Amalio.
Amalio Rey
Hola, Ivan:
Desde luego que es unidireccional. No hay conversación, y el espacio de respuesta ya está muy condicionado. Se responde, como dices, “lo menos malo”, así que creo que podemos aspirar a algo mejor, ¿no?
Un abrazo
Juanjo Brizuela
¡¡cómo me gusta este debate!!
Mi puntualización: JAMÁS, y hablo desde lo personal-profesional hago un cuantitativo sin hacer antes un cualitativo. JAMÁS. Precisamente porque para mí la clave radica en la PREGUNTA. Si quieres obtener buenas respuestas tienes que hacer muy buenas preguntas. Y eso, efectivamente, no abunda. EL cualitativo (sea del formato que sea, que aquí también hay para debatir y mucho) es la técnica que te permite profundizar en esa historia, en esa razón poderosa que te hace tomar decisiones o no. Lógicamente es la técnica que luego se corrobora cuantitativamente después.
Así que me uno a la reflexión pero en su sentido amplio: creo que se necesita una revisión, un re-thinking, de los métodos estadísticos.
Y cada día más creo en el tracking, en la continuidad, en la escucha permanente. Es lo que te permite, de una manera y no la única, conocer la realidad día tras día.
Amalio Rey
Hola, Juanjo:
Me parece buen enfoque lo de empezar primero con el análisis cualitativo, y solo una vez que se entiende el problema, pasar a métodos cuantitativos.
También hay que tener en cuenta que para ciertos “problemas de investigación”, y según los objetivos que uno se plantee, las técnicas cualitativas pueden ser más efectivas, e incluso suficientes.
El otro día hablamos precisamente del valor de la observación cuando comentábamos sobre ese trabajo que hiciste para un restaurante. Eso tiene un impacto tremendo. Sentarse allí como un usuario más, a observar y tomar apuntes de todo lo que uno ve que hacen los demás, puede tener un impacto tremendo. Esa información puede ayudar mucho más que una colección de datos en una hoja Excel.
Un abrazo 🙂
Pablo Rodríguez
Hola, Amalio. Sin duda que existen todos esos sesgos, y es muy fácil caer en ellos, de manera inconsciente o incluso a propósito (no hay más que ver la “cocina” de las encuestas del CIS acerca de los políticos).
Teóricamente, los resultados de una encuesta deberían ser muy similares la hiciera quien la hiciera, si se diseña bien el cuestionario y se hace un muestreo adecuado, pero no suele ser así, lo cual demuestra que algo falla.
Si además, no se realiza un balanceo adecuado entre lo cuantitativo y lo cualitativo, y se hacen “a salto de mata”, la distorsión está asegurada.
Un abrazo
Pablo Rodríguez
Amalio Rey
Hola, Pablo:
Qué bueno verte por aqui. La “cocina” de las encuestas da para escribir muchos libros 🙁 Buscar una mezcla equilibrada entre métodos cuantitativos y cualitativos debería ser un objetivo en cualquier estudio.
Te debo una todavía, Pablo, porque sigo pendiente de leer tu libro. Lo siento.
un abrazo
José Luis Salvador
En mi opinión querer recopilar datos cualitativos con una encuesta es tan inutil como intentar comer sopa con un tenedor. Y para colmo a la hora de cuantificar los resultados utilizamos la estadistica, que nos permite sacar la conclusión que más se aproxime a nuestros intereses.
Amalio Rey
Hola, Jose Luis:
La manipulación estadística está ahí, siempre flotando en el ambiente. A muchos estudios hay que ponerlos en cuarentena. Las encuestas sirven para recoger datos cuantitativos, que también los necesitamos, pero sólo si se hacen bien 🙂
Juan Sobejano
Muy buena reflexión, Amalio. Yo cada vez tengo más claro que la antropología, en su rama de etnografía, tiene un valor muy claro para las empresas.
En turismo el tema de las encuestas, sobre todo en hoteles, es verdaderamente lamentable. Se gastan importantes cantidades de dinero (aunque cada vez menos) para luego no gestionar directamente las encuestas o directamente no hacerles caso.
Creo que modelos como el Design Thinking, e incluso el Lean Startup, muestran una necesidad de cambiar de enfoque, partiendo de la persona (no del cliente) para trabajar a partir de ahí hacia el producto o servicio. El problema que veo es que en muchos casos estos modelos no son bien entendidos y parten de una visión del ser humano como cliente, con lo que el análisis sale sesgado.
Por eso creo que es fundamental introducir un modelo de reflexión etnográfico desde fases tempranas.
Amalio Rey
Hola, Juan:
El otro día te respondí a este comentario, pero algo pasó que no se publicó.
Ya sabes que soy de tu misma quinta, de los que defendemos el rol de las humanidades para cambiar las organizaciones.
Es cierto, el Turismo es uno de esos sectores que más necesitan mejorar la calidad de los estudios ques se hacen sobre los usuarios. No se aplican buenas encuestas, y cuando se hace bien, no se usan los datos. Echo en falta más estudios cualitativos, que profundicen en las expectativas de los visitantes.
Hay mucho que trabajar sobre los “modelos de reflexión etnográfico” en las dinámicas de innovación empresarial, sí señor.
un abrazo, maestro 🙂