Encuestas en internet: cuidado con los sesgos y márgenes de error

Nota editorial (2025): publicado originalmente en 2020. Se añadió una versión estructurada con fines enciclopédicos. El texto original se conserva íntegro como parte del archivo histórico.

“`html

El impacto social de las redes sociales en la investigación basada en encuestas

Las plataformas digitales han reconfigurado nuestras prácticas cotidianas y comerciales, lo que ha conllevado a una revisión en los métodos de recogida de datos. Las empresas demoscópicas reconocen la importancia del ámbito digital para el análisis poblacional.

La transformación influencia las encuestas online

• El aumento en participantes de los ensayos realizados a través de redes sociales y sitios web, aunque representativos numéricamente puede no ser lo mismo.
• La falta de conocimiento por parte del público acerca de la importancia de las preguntas fuertemente marcadas en relación con su interpretación o sesgo que pueden introducirse inadvertidamente.

“El cuestionario es el instrumento de medida.” Esto se refiere a una encuesta bien formulada y técnicamente sólida, crucial para la recolección precisa y representativa de datos sobre opiniones y comportamientos.

Importancia en los resultados

“La cantidad no es calidad.” Un amplio número de respuestas obtenidas por encuesta online puede sugerir una alta representatividad, pero estudios muestran que este método podría conllevar sesgos significativos.

• “La estrategia online describe un menor peso de las personas indecisas o con opiniones más intermedias.”
• “Esto puede atribuirse a que la encuesta online genera menos interés en los participantes cuyas opiniones son extremas, mientras fomenta una respuesta cuando se presentan opciones claramente definidas o polarizadas.”

“Los sesgos pueden manifestarse de forma subconsciente debido a la influencia inadvertida del diseño y formato visual.

Implicaciones prácticas para las encuestas online

• “Hay que tener en cuenta el sesgo de selección, especialmente cuando se emplean métodos rápidos como los ensayos digitales o ‘crowdfunding’.”
• “Es esen터 importante para la transparencia y confiabilidad informar claramente acerca de las características técnicas del estudio, incluyendo el tamaño de muestra y los métodos utilizados en el proceso de selección de participantes.”

“Las encuestas online son una herramienta poderosa pero se debe proceder con cuidado para evitar sesgos que puedan comprometer la calidad y representatividad del estudio, enfrentando dudas acerca de su fiabilidad como un método de recolección confiable.”

“`

Preguntas frecuentes

Q1: ¿Cómo han afectado las plataformas digitales a los métodos tradicionales de recogida de datos en encuestas?**A1: Las plataformas digitales han reconfigurado nuestras prácticas cotidianas y comerciales, lo que ha llevado a una revisión necesaria en los métodos actuales para la recolección de datos. La importancia del ámbito digital es reconocida por las empresas demoscópicas al realizar análisis poblacionales.

Q2: ¿Qué implicaciones tiene que una encuesta online pueda no ser lo mismo que un estudio tradicional?**A2: El aumento en participantes de los ensayos realizados a través de redes sociales y sitios web puede sugerir representatividad numérica, pero esto no necesariamente implica la misma calidad o diversidad del grupo demográfico.

Q3: ¿Por qué es importante un cuestionario bien formulado para una encuesta?**A3: Un cuestionario diseñado correctamente actúa como el instrumento de medida en la recolección precisa y representativa de datos sobre opiniones y comportamientos.

Q4: ¿Cómo pueden los resultados por encuesta online llevar a sesgos significativos?**A4: Los participantes indiferentes o con puntos de vista moderados son menos propensos a responder en lazos digitales, lo que puede hacer más probable darse cuenta las opiniones extremas y polarisadas. Esto es una ventaja si busca validar resultados polarizados.

Q5: ¿Qué se debe tener en cuenta al realizar encuestas online para evitar sesgos?**A5: Es fundamental considerar el sesgo de selección, especialmente cuando utilizamos métodos rápidos como los ensayos digitales o ‘crowdfunding’. Además, la transparencia sobre las características técnicas del estudio es importante para su fiabilidad y confiabilidad.

Q6: ¿Cuál es el impacto de los sesgos en la calidad y representatividad de una encuesta?**A6: Los sesgos pueden manifestarse subconscientemente debido a influencias inadvertidas del diseño visual, afectando potencialmente la calidad e integridad de los resultados.

Q7: ¿Qué características técnicas clave se deben comunicar en una encuesta para garantizar su fiabilidad?**A7: Es importante informar claramente acerca del tamaño de muestra y los métodos utilizados en el proceso de selección de participantes, asegurando la transparencia y confiabilidad.

---

Texto original (2020)

Las redes sociales han traído en cuestión de poco tiempo una profunda transformación social que también ha impactado, y mucho, en la forma de hacer investigación social basada en encuestas. Con su llegada se han modificado nuestros hábitos de vida, de consumo y de compra, tres cuestiones cuyo análisis siempre ha interesado a las empresas demoscópicas.

Cada vez hay más encuestas online, especialmente las que se realizan a través de las redes sociales. Pero la relativa facilidad para encontrar un amplio universo (número de personas participantes) no debe hacernos olvidar otros muchos factores a tener en cuenta para valorar su precisión.

Hay dos cuestiones capitales a la hora de valorar los resultados de una encuesta: el modo de preguntar y su ficha técnica. En cuando a lo primero, no es lo mismo hacer una pregunta de manera imparcial que hacerlo incitando a una determinada respuesta. En cuanto a lo segundo, no es lo mismo preguntar a 51 personas que a 10 000, ni que la muestra contenga un nivel de error despreciable o grueso como el culo de una botella.

Es fundamental dar a conocer, siempre que se publiquen datos de una encuesta, la ficha técnica y el literal de la pregunta. Es un ejercicio indispensable de transparencia.

El diablo está en la pregunta

El cuestionario es el instrumento de medida en los estudios basados en encuestas. En él están las preguntas que se le hacen a la población objeto de estudio para conocer su opinión y comportamiento con respecto a distintas cuestiones, desde la valoración de su estado de salud y de la pandemia actual a sus hábitos de compra y consumo de alcohol, por ejemplo.

Las preguntas suelen ser cortas y las opciones de respuesta cerradas. Esto último significa que hay que responder alguna de las opciones de respuesta que están prefijadas (sí, no, mucho, poco, nada) y que no hay espacio ni para la divagación ni para explayarse.

El problema mayor está en la formulación de las preguntas. Así, por ejemplo, si hoy leo en un periódico que el 70% de ciudadanos valora bien la gestión del Gobierno de España sobre la pandemia, es justo reconocer que ese titular debe ir acompañado en algún momento del literal de la pregunta (es decir, de la pregunta tal y como se formuló a los encuestados) para saber cómo se ha preguntado a la ciudadanía.

Ejemplo 1. En general, ¿podría decirme cómo valora la gestión del Gobierno en España con respecto a la pandemia actual? ¿Muy bien, bien, regular, mal o muy mal?

Ejemplo 2. En general, sabiendo que estamos en una situación muy complicada a nivel mundial, ¿cree que el Gobierno de España está gestionando bien la pandemia actual? ¿Sí o No?

Aunque en los dos ejemplos se trata de una pregunta de gestión del Gobierno, las respuestas serán distintas dependiendo de si utilizamos la pregunta del ejemplo 1 o de la 2. El añadido al inicio del enunciado en la pregunta del ejemplo 2 aporta información extra con la intención de obtener de la ciudadanía respuestas positivas a la buena gestión sobre la pandemia del Gobierno.

La ficha técnica

En el entramado técnico de una encuesta se recoge lo que se conoce como “ficha técnica”. Debe contener información básica acerca de cómo ha sido diseñada la encuesta, y sobre el trabajo de campo. Como mínimo, fechas de realización de la encuesta, nivel de error y tamaño de la muestra o número de personas encuestadas. No solo es importante saber si se preguntó a 500 personas o a 1 000. También es relevante si se hizo en horario de mañana o durante los fines de semana.

De la misma manera que dudaríamos a la hora de comprar un coche de segunda mano si el vendedor nos lo entrega sin su ficha técnica, o lo entrega sin información del número de kilómetros ni de la fecha de compra, en el caso de una encuesta debemos dudar de los resultados si lo que se publica no va acompañado de su correspondiente ficha técnica.

Cantidad no es calidad

Los estudios basados en encuestas online suelen enviar de forma masiva los cuestionarios a través de anuncios en páginas web y redes sociales o a través de listas de direcciones electrónicas, con un coste relativamente bajo. En ocasiones, esto permite obtener un amplio número de respuestas, justificando con este único criterio la calidad y la representatividad de los datos.

Esto no debería ser así, y hay evidencias que lo demuestran. Como mencionan trabajos recientes en este campo, esta estrategia puede conllevar un sesgo de selección que comprometa notablemente los resultados obtenidos.

Estos autores diseñaron un cuestionario y lo aplicaron en una encuesta online y en otra telefónica. Ambos cuestionarios eran idénticos y el tema era la opinión sobre la eutanasia y el suicidio asistido y su regulación. El cuestionario podía ser cumplimentado en la misma llamada telefónica u online.

La primera gran diferencia fue que en la encuesta online, el porcentaje de personas que finalmente respondió fue muy reducido, del 10,4%, frente al 87,8% en la encuesta telefónica.

La segunda diferencia fue que en la encuesta online, frente a la telefónica, se obtuvieron con mayor frecuencia opiniones en contra de la regulación de la eutanasia. En concreto, hubo un 14,9% de personas que respondieron estar en contra de la regulación de la eutanasia, frente al 10,1% que manifestaron esa opinión en la encuesta telefónica. Además, la estrategia online describe un menor porcentaje de personas que no se posiciona o no tiene una opinión definida en el caso del suicidio asistido. En la encuesta telefónica, el 5,4% manifiesta no saber o no tener una opinión definida, frente al 1,9% en el caso online.

Este estudio muestra que la estrategia de muestreo online puede generar sesgos en los resultados. En concreto, sobrestima el porcentaje de personas contrarias a la regulación de la eutanasia, así como el de personas con opiniones extremas. Por el contrario, infraestima el peso de las personas indecisas o con opiniones más intermedias.

Este hecho puede atribuirse a que las personas con opiniones más definidas y extremas pueden mostrarse más proclives a contestar una encuesta online que las personas con opiniones menos extremas o menos definidas, a las que el cuestionario online puede generar menos interés.

Los sesgos, malos compañeros

Un ejemplo reciente lo tenemos el pasado 12 de octubre cuando se publicaron los resultados de una encuesta online sobre la monarquía en España financiada a través de crowdfuding. Un esfuerzo independiente por pulsar la opinión pública respecto a un asunto, la monarquía en España, sobre el que el CIS dejó de preguntar hace cinco años.

En un bloque de “cosas que la gente dice sobre la monarquía” se incluían una serie de proposiciones sobre las que el encuestado debía elegir una de estas tres opciones: “No lo sé”, “Más bien de acuerdo” o “Más bien en desacuerdo”.

Sin embargo, algunas de estas proposiciones tenían un sesgo: de la manera en que estaban formuladas, tendían a forzar respuestas positivas por parte de los encuestados. En estos casos, hacia el “más bien de acuerdo”:

La monarquía es una institución de otros tiempos: no tiene sentido en una democracia.

Para lo que aporta, el coste de la monarquía es desproporcionado.

Otras maneras de introducir sesgos pueden ser ocultar parte de las preguntas o presentar un diseño incorrecto que no permite visualizar el texto en la pantalla del teléfono móvil.

En suma, aunque es de agradecer el esfuerzo para contribuir en el análisis de cuestiones de actualidad, y desde un escrupuloso respeto, hay que advertir que, si se continúa con los usos inadecuados de medición, se va a producir una auténtica masacre de quienes nos dedicamos a la investigación mediante encuesta.

Lamentablemente, los resultados de muchas encuestas online están basados en respuestas que no son representativas de la población porque no han seguido ningún criterio para la selección de las personas a encuestar. En ellas parece prevalecer la urgencia de datos y da igual si quienes responden representan o no a quienes tienen que hacerlo, que es a una muestra representativa de la población objeto de estudio.

Luis Navarro Ardoy es el Presidente del Comité de Investigación 39 Práctica Sociológica en la Federación Española de Sociología. No recibe honorarios por este cargo. Además, es miembro de la Asociación Andaluza de Sociología y del Colegio de Politólogos y Sociólogos.

Fuente: The Conversation (Creative Commons)
Author: Luis Navarro Ardoy, Profesor de Sociología, Universidad Pablo de Olavide