Encuestas y sondeos

Las encuestas de opinión varían enormemente en estructura, estilo y credibilidad, y son fáciles de malinterpretar o sobreinterpretar. En el mejor de los casos, las encuestas de opinión pueden ofrecer una imagen precisa del sentimiento público general sobre un tema. Sin embargo, incluso las encuestas bien elaboradas no son particularmente buenas para medir los pequeños cambios de opinión a lo largo del tiempo y su capacidad para predecir las elecciones futuras de los votantes es, sin duda, variada. Entre otros factores de confusión para las encuestas electorales, las personas suelen esperar antes de decidirse por un candidato, e incluso entonces suelen cambiar de opinión. El siguiente manual proporciona algunos elementos esenciales para informar con precisión sobre las encuestas y los sondeos.

• Las entrevistas telefónicas en vivo con encuestadores humanos, que llegan tanto a teléfonos celulares como a teléfonos fijos, son caras, pero históricamente han sido las más precisas.
• Las encuestas en línea basadas en probabilidades utilizan direcciones postales elegidas al azar para llegar a una muestra específica de personas y reclutarlas para completar una encuesta en línea. (Cuando el encuestador recluta a las personas para que contribuyan a numerosas encuestas a lo largo del tiempo, se las denomina paneles en línea). Por lo general, estas encuestas también tienen una alta precisión estadística.
• Las encuestas no probabilísticas en línea suelen utilizar a personas que, en respuesta a anuncios u otras iniciativas de divulgación general, se han ofrecido como voluntarias para responder a una encuesta. Estas encuestas son menos costosas que las encuestas en línea basadas en probabilidades, pero no utilizan un muestreo aleatorio de todo el público y, por lo tanto, tienen un alto riesgo de sesgo. Cada vez más, los encuestadores están desarrollando métodos y modelos estadísticos para abordar este problema inherente. Sin embargo, estos métodos son complejos y siguen evolucionando, por lo que la calidad de estas encuestas varía mucho y los periodistas deberían tener en cuenta las salvedades apropiadas.
• Las encuestas automatizadas (también llamadas roboencuestas o llamadas de respuesta de voz interactivas) son relativamente económicas e incluyen solo teléfonos fijos (aunque algunos encuestadores no cumplen con esta restricción legal), lo que socava de un modo grave la representatividad de la muestra. El libro de estilo de Associated Press recomienda que los medios de comunicación no informen sobre las encuestas automatizadas.
• Existe una variedad de métodos de encuesta que se utilizan con menos frecuencia, algunos de los cuales pueden generar resultados estadísticamente precisos, pero otros no son confiables. En caso de duda, consulte con un experto en encuestas.

• ¿El muestreo es representativo? La población muestreada debe incluir individuos de todos o casi todos los subgrupos de la población que pretende representar.
• ¿Qué se preguntó (y cómo se preguntó)? Observe detenidamente las preguntas reales que se formulan y asegúrese de describirlas con precisión. Recuerde que el orden de las preguntas también puede influir en las respuestas de las personas, por lo que puede resultar útil ver el cuestionario completo.
• ¿Quién llevó a cabo la encuesta? Hay varios factores que pueden ayudar a identificar a los encuestadores con reputación de confiabilidad. Una es comprobar si la organización es miembro de la Iniciativa de Transparencia patrocinada por la Asociación Estadounidense para la Investigación de la Opinión Pública o si contribuye al archivo de datos del Centro Roper para la Investigación de la Opinión Pública de la Universidad de Cornell, teniendo en cuenta que esas dos organizaciones se centran en garantizar la divulgación completa de los métodos de encuesta, pero no certifican la rigurosidad de estos métodos, y recordando también que hay encuestadores acreditados que no son miembros de ninguna de las dos organizaciones.
• ¿Quién patrocinó la encuesta? La debida diligencia exige que se aplique un escrutinio especial a las encuestas patrocinadas por entidades políticas o grupos de defensa, en busca de pruebas de parcialidad. Al mismo tiempo, si bien las encuestas patrocinadas por instituciones académicas y grandes organizaciones de medios suelen estar diseñadas para minimizar este sesgo, tampoco tienen un historial perfectamente limpio. En resumen, si no está familiarizado con el patrocinador, infórmese un poco.
• ¿El encuestador ponderó sus resultados? Si es así, ¿cómo? La ponderación es un proceso estadístico mediante el cual un encuestador ajusta los datos de la encuesta para garantizar que representan a la población objetivo en general. Se ajusta sobre la base del hecho de que es imposible encuestar a todos los miembros de una población grande, así como de la realidad de que la fracción de personas encuestadas puede diferir en ciertos aspectos importantes de la población general cuyas opiniones se solicitan.
  • Sin ponderación, las encuestas suelen subrepresentar a los adultos jóvenes, con menos educación y no blancos, ya que es menos probable que respondan a las encuestas que otros grupos.
  • La ponderación es de especial importancia cuando se analizan las encuestas electorales estatales, que a menudo no cuentan con los recursos suficientes para garantizar un tamaño de muestra suficientemente grande y representativo. Muchas de las encuestas estatales que predijeron erróneamente el resultado de las elecciones presidenciales estadounidenses de 2016 fracasaron, en parte, porque muchas personas se decidieron o cambiaron de opinión al final de la campaña, pero también, lo que es más importante, porque estas encuestas estatales no utilizaron la ponderación para corregir el hecho de que los graduados universitarios suelen tener más probabilidades de responder a las encuestas que otros adultos. En estados clave de ese año, la educación formal estuvo fuertemente asociada con el voto, algo que los encuestadores no habían considerado de particular importancia en el pasado.
• ¿Cuántas personas fueron encuestadas? Cuantos menos encuestados haya, mayor será la incertidumbre estadística en los resultados. En términos generales, 100 encuestados es el tamaño mínimo de muestra necesario para obtener un resultado declarable. Sin embargo, tenga en cuenta que el resultado de una encuesta basada en 100 encuestados tendrá un margen de error de al menos +/- 10 puntos porcentuales.
  • Si bien las encuestas acreditadas suelen tener un tamaño de muestra general suficiente y una ponderación adecuada, es posible que algunas preguntas individuales de una encuesta se hayan formulado a (o respondido por) un subgrupo clasificado según subconjuntos demográficos particulares, como la raza o la edad. Por esta razón, es posible que las preguntas individuales de una encuesta más grande tengan muy pocos encuestados para proporcionar resultados válidos o que se ponderen de manera inapropiada.

• El margen de error de muestreo (más comúnmente conocido como margen de error) no es un error en el sentido de ser una equivocación. Se refiere el nivel de incertidumbre o el precio que pagamos con precisión por no entrevistar a todas las personas de nuestra población objetivo.
• El margen de error es solo uno de los muchos tipos de incertidumbre en los resultados de una encuesta. Otras pueden deberse a la forma en que se formula una pregunta o a las preguntas que se presentan antes que otras. Debido a que el margen de error es el más fácil de precisar numéricamente, recibe la mayor atención.
• Es posible que algunas encuestas no informen márgenes de error. Las encuestas no probabilísticas, por ejemplo, utilizan técnicas de muestreo que no son adecuadas para generar márgenes de error convencionales, así que utilice otros enfoques para estimar la incertidumbre de sus resultados. Es posible que algunas informen de un “intervalo de credibilidad”, que da un rango que, según los encuestadores, es probable que contenga el valor real. Si no ve un margen de error o un intervalo de credibilidad o no está seguro de cómo se evaluó la incertidumbre de una encuesta, póngase en contacto con el encuestador o hable con un experto en encuestas.
• Los márgenes de error ayudan a determinar las conclusiones más sólidas posibles que se pueden extraer de los resultados de una encuesta. Sin embargo, muchas personas aplican esta medida de forma incorrecta.
  • Por ejemplo, a mediados de enero de 2020, algunas publicaciones informaron que una “mayoría” o “más de la mitad” de los estadounidenses estaban a favor del juicio político, la condena y la destitución del presidente, y citaron una encuesta que mostró que el 51 % de los adultos estadounidenses encuestados respondió afirmativamente a esa pregunta. Sin embargo, los resultados de la encuesta tenían un margen de error de muestreo de +/− 3.4 puntos porcentuales, lo que significa que los verdaderos resultados para esta población estuvieron plausiblemente dentro de los 3.4 puntos porcentuales a ambos lados de los resultados de la encuesta. Con este nivel de precisión, no podemos concluir que más de la mitad de los adultos estadounidenses compartan esta opinión. Una vez que tenemos en cuenta la incertidumbre inherente que proviene de entrevistar a una muestra de adultos en lugar de a toda la población, debemos concluir que el rango de valores más plausible está entre el 47.6 % y el 54.4 % (es decir, entre 51 menos 3.4 y 51 más 3.4). Dado que es plausible que solo alrededor del 48 % de todos los adultos estadounidenses estén a favor del juicio político, no podemos concluir que la proporción sea “más de la mitad” o una “mayoría”.

1. ¿Es esta encuesta realmente una encuesta? Algunas campañas y grupos de defensa sin escrúpulos realizan “encuestas de presión”, que no son encuestas en absoluto. En lugar de pretender contabilizar las opiniones, buscan activamente cambiar la opinión de la gente sobre temas o personas. Una pista: por lo general, en estos intentos de encuesta no se solicita ninguna información demográfica.
2. ¿Quién patrocinó la encuesta y quién la realizó? Suponiendo que usted no sea un experto, pida a algunos profesionales una evaluación de la reputación del patrocinador. Como mínimo, incluya el nombre del patrocinador en su historia para responsabilizarlo por el trabajo que está respaldando.
3. ¿Cuál era la población objetivo? Esto proporciona un contexto importante para interpretar los resultados. Por ejemplo: un sondeo de posibles votantes o una encuesta de adolescentes en EE. UU. entre 13 y 17 años.
4. ¿De cuántas personas se obtuvieron muestras y dónde? La ubicación es importante para el contexto y el mayor tamaño de las muestras ayuda a asegurar —pero de ningún modo a garantizar— resultados más confiables.
5. ¿Cómo se recopilaron las entrevistas? La metodología puede apuntar a la representatividad de la muestra. Por ejemplo: un sondeo realizado por teléfono fijo y móvil o las entrevistas se realizaron en línea y por teléfono.
6. ¿Cuándo se realizó el sondeo? La fecha es importante para interpretar los resultados, especialmente en política o en otros ámbitos que cambian rápidamente. Por ejemplo: las entrevistas se realizaron del 15 de septiembre al 8 de noviembre de 2019.
7. ¿Cuál fue el margen de error del muestreo? Los resultados de los sondeos no están completos sin información sobre la incertidumbre y el rango de resultados plausibles. Por ejemplo: el sondeo tenía un margen de error de muestreo de +/− 6.0 puntos porcentuales (lo que significa que los verdaderos resultados se encuentran en cualquier punto dentro de un margen de seis puntos porcentuales a uno u otro lado de los resultados dados).
8. ¿Hubo ponderación? Si la respuesta es afirmativa, ¿sobre qué? Por ejemplo: los resultados se ponderaron para garantizar que las respuestas reflejaran con exactitud las características de la población en factores como la edad, el sexo, la raza, el nivel académico y el uso del teléfono.
9. ¿Qué idioma se utilizó? Esto alude al esfuerzo realizado para recopilar una muestra diversa. Por ejemplo: el sondeo se realizó en inglés y español.
10. Considere también recordar a los lectores las razones por las que las encuestas pueden no reflejar perfectamente la realidad. Por ejemplo: hay muchas fuentes potenciales de error en las encuestas, entre ellas el uso de una redacción cargada y el orden en que aparecen las preguntas.

• Cuando publique los resultados de una encuesta, evite usar decimales o décimas de porcentaje, es decir, use 28 % y no 28.4 %. (El margen de error siempre será de al menos 1 punto porcentual, por lo que las décimas de porcentaje carecen de sentido y son engañosas, ya que pueden sugerir que los resultados son más precisos de lo que realmente son).
• No ponga demasiado peso en ninguna encuesta en particular. Es mejor comparar varias encuestas similares.
  • Tampoco debe suponer que un conjunto de encuestas más pequeñas necesariamente aumenta la exactitud o la precisión. Algunos agregadores utilizan métodos más sofisticados que otros y la calidad de sus resultados puede variar considerablemente.
• No olvide que incluso pequeñas diferencias en el orden de las preguntas y la elección de las palabras pueden alterar significativamente los resultados. (Por ejemplo, preguntar a los participantes de la encuesta sobre la “eutanasia” en lugar de la “muerte asistida por un médico”). Para algunos temas, considere citar directamente la pregunta completa para que los lectores puedan ver cómo se formuló.
• Recuerde que todas las estimaciones de las encuestas son intrínsecamente inciertas. Los márgenes de error suelen calcularse con un “nivel de confianza del 95 %”, lo que significa que, en aproximadamente el 5 % de los resultados de las encuestas (es decir, cinco resultados de cada 100), la verdad sobre lo que ocurre en la población quedará fuera de los límites del margen de error.
• No asuma que una encuesta con un tamaño de muestra grande tiene una alta precisión estadística. El aumento de la precisión estadística que se puede lograr con muestras grandes puede verse rebasado por la incertidumbre y el sesgo que pueden introducir factores como el uso de preguntas mal diseñadas en la encuesta, una recopilación de datos defectuosa y un análisis estadístico incorrecto.
  • Esto es especialmente importante cuando se examinan las encuestas en línea, en las que se puede acumular un gran número de encuestados de forma económica. A niveles muy altos —por encima de los 1,000 participantes más o menos— cuántas personas fueron seleccionadas es menos importante que cómo se seleccionaron y se analizaron sus respuestas.
• Tenga en cuenta que términos como “representativo a nivel nacional”, “muestreo orgánico”, “muestreo de próxima generación”, “representativo de todos los adultos estadounidenses” y “muestra aleatoria” pueden definirse de manera diferente según los distintos encuestadores. Lo mejor es preguntar con precisión qué se quiere decir en cada caso. Tenga en cuenta también que, para las votaciones electorales, la distinción entre “votante probable” y “votante registrado” puede ser especialmente importante.
• Incluso las encuestas electorales presidenciales bien diseñadas pueden despistarlo. Una cosa para tener en cuenta: los sondeos de votantes a nivel nacional suelen estar diseñados para captar solo el voto popular, no los resultados del colegio electoral. Y, si bien los agregadores de encuestas suelen incluir la ponderación de los colegios electorales en sus modelos, se basan en los sondeos estatales, que tienden a contar con menos financiación, son más pequeños y en ellos se realiza una ponderación menos precisa que en los sondeos nacionales. Los votantes que toman decisiones a último momento también pueden hacer que las elecciones se alejen significativamente de las predicciones de las encuestas.
• Un último punto importante: las encuestas se realizan sobre una amplia gama de temas distintos de las preferencias electorales. Proporcionan datos esenciales sobre la actividad económica, el estado de salud, el consumo de drogas, el comportamiento del consumidor y un sinnúmero de otras medidas que son fundamentales para la formulación de políticas democráticas y responsables, y la asignación inteligente de los recursos. En muchos de estos ámbitos, las encuestas son bastante buenas para predecir los comportamientos y las necesidades. Cuando informe sobre sondeos y encuestas, ¡trate a cada una con la misma imparcialidad que les exige!