Rompiendo el "telón de acero" de las redes sociales

Cuando, cumpliendo en tiempo y forma uno de mis compromisos, compartí las tablas de resultados de la encuesta sobre prescripción enfermera (lanzada bajo la etiqueta #EnfermeríaOpina), el primer comentario que se dejó en el blog decía lo siguiente:

(...) En segundo lugar así tras un vistazo creo que pese a algunos sesgos evidentes (la mayoritaria aportación de enfermer@s que usamos RRSS y que somos "díscol@s" con el CGE) el resultado de la encuesta "pinta" muy bien...

Este comentario (de @enferevidente) pone claramente el dedo en la llaga de un problema, no solo de las encuestas online lanzadas a través de redes sociales, sino de cualquier encuesta en la que no se realice una preselección de cuotas y puntos de muestreo. Porque, por decirlo de una manera simple, en estas iniciativas no existe plan de muestreo en el sentido convencional. Y se produce, por tanto, un sesgo probabilístico que atenta contra el principio de aleatoriedad: una respuesta favorecida entre quienes tienen mejor acceso a los canales de participación utilizados (nuestros canales, siempre limitados y selectivos, ya que no hay algo así como un canal universal) y dentro de ellos entre quienes son más entusiastas o proclives a participar en este tipo de iniciativas.

A sensu contrario, se produce un efecto de marginación de quienes tienen peor acceso a dichos canales y, siendo menos proclives a participar, no realizan una búsqueda activa de oportunidades (lo que no significa necesariamente que si las encuentran por casualidad o porque alguien del otro lado del muro se la ha hecho llegar a su canal de actividad no las aprovechen).

Por otro lado, como se insiste con frecuencia (especialmente cuando se quieren descalificar integralmente los resultados de una encuesta), no existen controles efectivos que eviten la intrusión de personas ajenas al target establecido (enfermeras/os, pongamos por caso) o la manipulación y fraude interesados.

Tenemos, pues, cuatro grandes problemas:

• Sobre-representación de los cercanos.
• Sub-representación de los ajenos.
• Intrusión de los impropios.
• Manipulación de los interesados.

Diré, en primer lugar, que no se trata de si existen o no existen estos problemas que afectan a la validez de los resultados, ya que siempre están presentes incluso en los sistemas de encuesta más exigentes, sino de hasta qué punto hemos conseguido minimizarlos o controlarlos. Ello es debido básicamente a tres factores:

• Que las personas (encuestados potenciales) tienen propensión a  falsificar la realidad y lo hacen fácilmente si les interesa o simplemente se lo pide el cuerpo.
• Que las encuestas no incorporan un polígrafo que detecte dichas distorsiones (excepto, y solo hasta cierto punto, el sexo del respondiente, si es telefónica; incluso el sexo y más o menos la edad, si es presencial), ni siquiera... si hablamos en realidad con quien creemos estar hablando.
• Que empresas de campo y encuestadores tienen propensión a optimizar sus propias utilidades, entiéndase como se quiera esto último...

Debo decir también, y en esto aporto muchos años de experiencia, que la inmensa mayoría de las personas a las que se les solicita su participación en una encuesta, o bien la rechaza, o si acepta responde lo más honestamente que sabe, sin tratar de manipular ni mentir (conscientemente). Lo cual no obsta para que el investigador social sea por naturaleza un gran escéptico y se guíe por el principio "si dejo que me engañen, alguien lo hará", tratando a todos los encuestados como si pudieran ser ese alguien.

Al respecto, las encuestas online sin enlace de acceso personalizado tienen (sin entrar en consideraciones de costes y de accesibilidad) algunas importantes ventajas al respecto:

• Garantía de anonimato (no se exige disponer de números de teléfono, direcciones de mail, domicilio...), lo que alienta una mayor sinceridad y sensación de impunidad en las respuestas, sobre todo en las más comprometidas.
• Despersonalización del interfaz (no hay contacto personal) que, entre otras cosas, permite una mayor introspección y reflexión en las respuestas eliminando el sentido de urgencia impuesto por la presencia de alguien que espera al otro lado.
• Eliminación completa de los sesgos introducidos por los intermediarios (encuestadores), afecten estos a la validez (selección de unidades muestrales) o a la fiabilidad (sesgos de respuesta inducidos por el encuestador, efecto de respuesta socialmente deseable en el encuestado) de la información recopilada.

Sería mentir si negara que también están presentes algunas desventajas, que especialmente afectan, como dije, a la igualdad de oportunidades y neutralidad en el muestreo y al control de intrusiones. Pero también hay que decir que todos los que nos dedicamos a esto intentamos minimizar, dentro de lo posible, el alcance de este tipo de problemas. Disponemos para ello de un buen arsenal de herramientas, no solo preventivas o de diseño, sino también retrospectivas: detección y depuración de sesgos en las bases de datos recopiladas una vez finalizada la encuesta (todos los criminales dejan pistas o indicios en el lugar del crimen); equilibrado-ponderación de las muestras para reproducir el universo en función de determinadas variables que se suponen independientes, etc.

En el caso de la encuesta concreta a la que me refiero, aparte de las herramientas retrospectivas que acabo de citar, he actuado en dos vías preventivas.

En primer lugar, por lo que se refiere a las intrusiones, es decir, a la garantía de que las personas que respondieran la encuesta fueran efectivamente enfermeras/os, y a los intentos de fraude, actué mediante tres mecanismos:

• Adquiriendo unos compromisos públicos y controlables de ética y transparencia y de no persecución de resultados preconcebidos u objetivos de carácter político-sectario. De esta manera, se trataba de no echar para atrás, por sospechas de que su aportación pudiera ser manipulada, a quienes simplemente no simpatizan con las posiciones públicas del impulsor de la encuesta; y, al tiempo, de neutralizar la propensión de organizaciones, grupos e individuos a tratar de manipular de una forma u otra los resultados para que no les fueran, como podían prever culposamente, desfavorables.

• Dando la opción a personas con otros perfiles que, fuera por curiosidad, por fiscalización u otros motivos, deseaban cumplimentar el cuestionario, de hacerlo, pero de manera que fuera factible a posteriori desechar o tratar separadamente sus respuestas (ello se llevó a cabo mediante una pregunta de filtro cuya imagen he reproducido aquí al lado).
• Mediante un cuestionario cuyo tiempo de cumplimentación inteligente fuera suficientemente elevado (18 minutos de promedio) como para disuadir a médicos, funcionarios, partidos políticos... o torneros-fresadores eventualmente interesados-vaya-usté-a-saber-por-qué en "influir en los resultados"; y al tiempo, disuadiendo a quienes, dentro del perfil, tuvieran la tentación de responder, digamos, 30 veces a la encuesta, en sinergia con lo señalado en el punto primero.

Por lo que se refiere al riesgo de sobre-representación de los "cercanos" (que acepto perfectamente que solo se ha podido minimizar, no neutralizar), enfoqué el problema tratando de superar las barreras del grupo próximo, con un plan de difusión perfectamente planificado, muy persistente en la difusión y refuerzo, y programado en sucesivas ondas de proximidad, de las más cercanas a las más remotas (instituciones, contactos profesionales, redes sociales, foros de debate, asociaciones...), de manera que en conjunto nos permitieran llegar hasta los "ajenos" de la única manera posible: en ondas o círculos concéntricos y mediante lo que ya se conoce como difusión viral.

¿Cómo puedo (podemos) evaluar hasta qué punto ha sido así, si hemos conseguido sobrepasar el telón de acero de las redes sociales? ¿Habrán respondido a la encuesta solo los amiguetes?

La prueba del algodón, en la próxima entrega (7 de enero).