Las encuestas electorales
son una herramienta fundamental para predecir el resultado de una elección y para comprender el apoyo a los diferentes candidatos/as
o fuerzas políticas
. Sin embargo, es importante tener en cuenta que no siempre son precisas y pueden estar sesgadas por una variedad de razones. Algunos sesgos pueden ocurrir debido al diseño o la obtencion de una mala muestra, otros por preguntas formuladas de manera próximas a la tendenciocidad, o una falta de diversidad en las opciones de respuestas. Este artículo se propone examinar los errores en los pronósticos electorales
, evaluando el desempeño de las encuestas en los distintos tramos de la carrera electoral
y el modo en que se expresa para las distintas fuerzas políticas.
Encuestas
Como soporte de este estudio, se ha realizado un trabajo de recopilación, ordenamiento y análisis de 364 encuestas
realizadas por 72 consultoras
, en las que se sondean la intención de voto a 49 candidatos/as
a presidente en la República Argentina, en el período 1989-2021
1.
La tabla dinámica
que sigue a continuación, ofrece la infomación ordenada de modo tal que el lector/a puede desplazarse de manera descendiente, retrocediendo en el tiempo para ir desplegando los datos sobre cada elección
, tramo electoral
, candidatos/as
, prónostico
, resultado
electoral, error
del pronóstico y la distancia en semanas
de la publicación de la encuesta respecto a la fecha de la votación.
Si lees este sitio desde un dispitivo móvil, voltéalo para poder visualizar correctamente los gráficos
La tabla que verá a continuación es interactiva, cuenta con una entrada de búsqueda (Buscar
), donde por ejemplo puede realizar una consulta específica con el nombre de una consultora o fecha. También es importante aclarar que la tabla contiene varias celdas con información, para poder recorrerlas puede usar las barras
de los marcos (derecho e infererior)
Tabla 1
El “multiverso” de las encuestas
Como se puede apreciar, si se presta atención a la columna Error
de la tabla 1
, existe una gran variedad de valores y cambios de signo (+
y -
) en los fallos de pronósticos para cada candidato/a
, en distintos momentos de los sondeos. Es por ello que, para lograr comparar e interpretar las variaciones entre pronósticos de intención de voto en las encuestas de diferentes consultoras, es imprescindible establecer algunos criterios de mensurabilidad.
La primera cuestión que interesa dejar en claro es que nos vamos a centrar en la capacidad de acierto, o dicho de manera inversa, en los errores
de predicción
que se observa en el fenómeno de la consultoría electoral. Para ser precisos en este objetivo, el ordenamiento de los datos se encuentra agrupado en unidades temporales de semanas
(según la fecha de recolección declarada por las consultoras, en sus respectivos informes públicos). Ello con el fin de perseguir una comparación de las mediciones en un mismo segmento de espacio-tiempo
, y así tratar de alejarse lo más posible del famoso “comparar peras con manzanas”.
Respecto de los instrumentos para la comparación, resulta conveniente presentar brevemente dos indicadores
claves para el análisis: el Coeficiente de Variación
(en adelante CV
)2 y la Distancia de Euclides
3 (en adelante DE)
. El primero refleja la acumulación de variabilidad existente entre los errores de pronósticos para cada uno/a de los candidatos/as de las encuestas en cada elección. El segundo, evalúa cada encuesta como un todo y lo compara con el resultado de la elección en cuestión, también como un todo. Es decir que, su cálculo sintetiza, con una sola expresión numérica, la diferencia entre lo pronosticado por una encuesta y los votos obtenidos de todos los candidatos/as en una elección.
En referencia a la interpretación de los valores que arrojan estos indicadores, hay que decir que para el caso de la “DE
”, los mismos van de 0 a infinito (signo positivo), donde 0 es un pronóstico perfecto, mientras que cuanto más crece su valor, mayor resulta la imprecisión de la encuesta. Por su parte, el CV
es una medida estadística de distribución de frecuencias, que evalúa la heterogeneidad de los datos tomando como punto de referencia al promedio de los mismos, calculando desde allí cuán disperso se encuentra el conjunto de sus valores. Este indicador se puede leer en forma de porcentaje (aunque puede superar el 100), e indica que cuanto mayor sea su valor, mayor van a ser las discrepancias entre las mediciones de intención de votos de los candidatos - realizadas por cada consultora - y viceversa.
Hecha la aclaración sobre las funciones del CV
y la DE
, el gráfico a continuación, nos ofrece el balance de los errores de medición en los pronósticos electorales del período 2011-2021
. Donde las barras
representan los niveles que asume el CV
en cada semana de medición, los puntos negros
los valores promedio
de los errores de precisión en los pronósticos para cada candidato/a, y por último, los puntos anaranjados
, respresentan el valor promedio
de las DE
, distancia entre pronósticos y resultados, ya no por candidato/a, sino del error global de cada encuesta.
Gráfico 1
El gráfico 1
devuelve dos dimensiones interesantes. Por un lado, si observamos el comportamiento del CV
(barras) a través de las semanas
, encontramos niveles muy altos en sus valores (75.4% en promedio
), lo cual indica que existieron considerables grados de discrepancia entre los pronósticos electorales que cada consultora proyectó - en esa misma franja de tiempo - para cada uno de las/los candidatos y los votos que efectivamente recibieron en cada elección. Por otro lado, si reparamos en los puntos negros
del gráfico - que expresan el promedio
de los errores en los pronósticos de cada categoría (7.9%
) - se puede observar una tendencia influenciada por la dimensión temporal. Nótese que esta medida resumen (promedio
) se vuelve más precisa cuanto más se aproximan las semanas
a las fechas de las elecciones, ubicándose sus valores muy cercanos a la línea roja
. Esta línea marca el umbral del 3.5%
de error sobre la cual deberían orbitar los valores de este coeficiente. Seleccionamos esa medida como margen de error tolerable4 dentro de los cuales pueden oscilar. Este comportamiento va acompañado (y reafirmado) por el descenso de los promedios de las “Distancias de Euclides
” (puntos naranjas), que también expresan una disminución de los errores de pronósticos, aunque sus valores se muestran más altos, ya que en su composición se expresa el error global de cada encuesta, que a diferencia del promedio de error por categoría, penaliza con un grado mayor las distancias por error de pronóstico de cada una de ellas.
De lo dicho hasta aquí se puede concluir que, existen altos márgenes de variabilidad en los errores de pronósticos entre las encuestas de las distintas consultoras. En otras palabras, distintos instrumentos de medición apuntando a un mismo objetivo obtienen distintos resultados. La realidad y las representaciones “parciales” de esa realidad, aparecen desfasadas. Ahora bien, también cabe destacar que si se consideran las encuestas en conjunto y se evalúan sus resultados en clave de promedios, el error se reduce de un modo interesante. Es decir que la consideración del promedio de los resultados de las encuestas, nos acercan al mejor pronóstico posible, por el contrario la información particular que expresa cada encuesta ofrece menos certidumbres respecto a la justeza del pronóstico que vaticina.
A los datos representados en el gráfico 1
se le puede exigir mayor información respecto del comportamiento de los fallos (errores) en los pronósticos electorales. El gráfico 2
lo complementa con una apertura de los datos por tramo electoral
. Con la información agrupada de esta manera, se puede observar el tipo de comportamiento recientemente descrito, pero particularizando en aquellas encuestas que se realizaron antes de la presentación de listas de candidatas/os 5, es el caso del grupo de pre-candidatos
; los pronósticos para las PASO
; las Generales
y el Ballotage
.
Gráfico 2 -
Variabilidad en el error de pronósticos del conjunto de consultoras, por Tramo Electoral
Para las encuestas de períodos anteriores a la definición de candidatos/as (pre-candidato
), el promedio de error
para aquellos/as que efectivamente sí compitieron en las elecciones, es de 8.63%
, el CV
es de 76.6%
y la Distancia
de 24.2
. En este conjunto de datos, la apertura del intervalo de tiempo es de 59
Semana
( de la 8
a la 67
). Debido a la lejanía respecto a la fecha de las elecciones, es esperable que los errores en los pronósticos sean altos, más aún si se considera la distorsión que puede implicar la presencia de pre-candidatos/as como otra opción de voto dentro de un mismo espacio político. Pero más allá de esas cuestiones, en términos políticos esta situación es altamente relevante, ya que estas informaciones (encuestas
) forman parte de los dispositivos de la comunicación política, y a través de ellos se promueven, instalan, alientan o desalientas candidaturas.
Por el lado de las PASO
, el promedio del error
se vuelve mas preciso y desciende hasta el 3.8%
, mientras que la variabilidad medida por el CV
sube al 99%
en promedio, evidenciando un grado mas alto de divergencia respecto de los resultados entre encuestas, aunque en el balance por encuesta que mide la Distancia de Euclides
el indicador baja al 11.8
, expresando que a pesar de las divergencias entre los pronósticos por categorías (candidatos), las encuestas en general, mejoran su performance.
Pese a la mejora de este último indicador, cabe preguntarse cómo es posible que los niveles de variabilidad que expresa el CV, el promedio el error se armonice. La respuesta la vamos a encontrar en el próximo apartado, donde se examina el tipo de sesgo que se manifiesta al interior de cada categoría de resultados (candidatos
).
Para el conjunto de datos que contempla las elecciones Generales
se observa un comportamiento muy similar al caso anterior, con un leve descenso del CV
al 73.4%
, de igual modo se aprecia un mínimo descenso del error promedio (3.62%
), y lo mismo ocurre con la Distancia
, que baja al 9.51
. Cabe destacar que en esta instancia (elecciones generales
), el margen de incertidumbre respecto a la intención de voto se suele reducir, pues se dispone del antecedente inmediato de las PASO
. Esto permite a quiénes se encargan de estos tipos de estudios prospectivos, recalibrar los muestreos y ajustar ponderaciones, tal como veremos en el próximo apartado.
Por último, para el turno del Ballotage
el error promedio
es de 5.85%
y el CV
es de 52%
. Aquí vale una aclaración respecto a los datos considerados para la estimación de los indicadores desarrollados. En este caso se consideraron algunas encuestas que fueron tomadas en el período pre-candidato
, pero que midieron escenarios “hipotéticos” de ballotaje. Esto se puede corroborar atendiendo al número de semana
correspondiente a cada barra, donde se evidencian dos grupos: los que van de la 1
a la 11
y los que van de la 20
a la 77
. Allí es notable el comportamiento de los promedios (los puntos en el gráfico), que para el segundo conjunto se muestran más altos y fluctuantes.
Errores en colores
Hasta aquí hemos analizado los errores en los pronósticos electorales sin desatender que la dimensión temporal es influyente (y es esperable que así sea), por lo que la evaluación que aplicamos la considera. Pero lo que se quiso resaltar más bien es la divergencia de los resultados entre encuestas de distintas consultoras, en una misma unidad temporal (semanas), reflejada en la variabilidad de los errores de proyección. Se podría decir que el interés en este punto se encuentra en la fiabilidad
de las encuestas como dispositivo capaz de representar las preferencias electorales de la ciudadanía. Pero lo que observamos es que, depende cuál encuesta se mire, puede ser mas o menos acertada que otra y en algunos casos presentando altos niveles de discrepancia.
En el apartado anterior también quedó abierta la cuestión respecto de los dos indicadores de error
que fueron consideraros para el análisis: la variabilidad total
y el promedio
de los errores. Para comprender mejor ese comportamiento, en adelante proponemos explorar el desempeño de los errores de los pronósticos incorporando la dimensión de “fuerza política”. La pregunta que guía a esta sección es: ¿los errores en los pronósticos de intención de voto, afecta en igual proporción y dirección a las/los candidatos de los diferentes espacios/fuerzas políticas?.
Para hacer frente a este interrogante y reducir en algún grado la complejidad del entrecruzamiento de datos y dimensiones, lo que se propone es simplificar las categorías de comparación, agrupando a los y las candidatas según su pertenencia a las dos fuerzas protagónicas más competitivas en términos electorales de la última década, así como también a la tercera fuerza resultante de cada elección en los respectivos turnos eleccionarios. Sobre este punto cabe hacer una última salvedad analítica-metodológica, si bien para las elecciones presidenciales
de 2011
, aún no se había consolidado el espacio que hoy conocemos como “cambiemos
”, contamos con mediciones de intención de voto de dos de sus principales referencias políticas: Mauricio Macri
y Elisa Carrió
. Al disponer de estos datos consideramos de relevancia analítica “etiquetar” a Carrió
como expresión de representatividad en términos electorales de ese espacio (excluyendo a Macri debido a su ausencia en la competición presidencial en aquella ocasión).
Con el objetivo de iniciar la exploración de los comportamientos y tendencias de los pronósticos electorales y su relación con la proyección de representatividad electoral de los candidatos/fuerzas políticas, la tabla 2
resume, para el período 2011-2021
, los valores máximos favorables/desfavorables y promedio de los errores de pronósticos proyectados en cada turno electoral.
Tabla 2
En un repaso rápido por la tabla 2
, lo primero que se evidencia es que los valores más altos de error se encuentran en las encuestas realizadas antes de la definición de las listas de candidatos/as (tal como lo adelantara el gráfico 2
). Pero con la nueva información se puede observar que los valores más altos de error y con signo negativo, le corresponden al espacio etiquetado como kirchnerismo
. Es decir, existe una sub-estimación
de la intención de voto para este espacio y su electorado de hasta un -27.6%
(por su parte el máximo “favorable” es de -1.3%
). Este punto es realmente llamativo, porque lo que la evidencia está demostrando, es que los instrumentos aplicados para capturar la intención de voto en referencia al kirchnerismo
(al menos en esta instancia) son muy imprecisos y subestimadores
del potencial de su representatividad electoral efectiva (-15.7%
en promedio).
Por el contrario, vemos que en el caso de las mediciones para las terceras fuerzas
, el máximo error desfavorable se encuentra el orden del -2.4%
, pero más destacable aún es el máximo error favorable, 16.7%
(su promedio de error es de 5.5%
, también favorable). Para este conjunto se evidencia claramente una `sobre-estimación
en la intención de voto de la tercera fuerza6.
El caso de Cambiemos
en esta instancia resulta ser más ambiguo, al menos para los datos sintéticos que arroja la tabla 2
. Porque los valores extremos favorables y desfavorables de los errores se encuentran en el orden del -16.8%
y 11.3%
, respectivamente. Lo cual indica la existencia de valores altos favorables y desfavorables, con un promedio de -3.8%
.
Pasando a la fase de encuestas posteriores a las presentaciones de listas y previas a las PASO
, observamos que los valores extremos (favorables/desfavorales) y los promedios, se muestran un tanto más moderados. Aunque cabe resaltar que la tendencia de sub-estimación
del voto direccionado al kirchnerismo
persiste (con un valor desfavorable todavía muy alto), al igual que la tendencia de ambiguedad para cambiemos
. La principal diferencia la encontramos en las proyecciones para las terceras fuerzas
, donde se observa que la precedente sobre-estimación
, se reduce ajustándose a los parámetros “tolerables” de error.
En las encuestas de períodos previo a las generales
, el error promedio para las “terceras fuerzas
” es casi idéntico que en el caso de las PASO
. Pero encontramos una “inversión” en la tendencia descrita anteriormente para los casos del kirchnerismo
y cambiemos
(aunque más moderada que la anterior). Si bien ambos espacios presentan máximos valores desfavorables similares, la diferencia radica en los valores máximos favorables, donde el kirchnerismo
presenta una proyección favorable tímidamente mayor, quedando así su promedio de error en 1.1%
de sobre-estimación, pero cambiemos
queda con un valor de -5.7%
(inversamente muy similar a los promedios de las PASO).
El gráfico 3
muestra la distribución de los errores de pronósticos para las fuerzas políticas agrupadas (bajo los criterios descritos anteriormente), separados por turno electoral
. Como en los casos anteriores, este gráfico es interactivo, por lo que al pasar el cursor sobre cada punto
(o tocar con el dedo en pantallas táctiles), se puede visualizar cuál es la semana de medición, el valor exacto del error, la consultora que realizó la encuesta y el año de elección correspondiente.
Como sugerencia para quién navegue por este documento digital, se recomienda usar la botonera
del gráfico para “prender y apagar” los conjuntos de puntos de las correspondientes fuerzas políticas y así apreciar mejor la visualización de las tendencias de error que venimos analizando.
Gráfico 3
Estas nubes de puntos conectan en el tiempo consultoras con pronósticos electorales y fuerzas políticas, ofreciendo una aproximación general de la dinámica de sub-estimación
y sobre-estimación
reflejada en los errores de proyección del voto. Complementa a la tabla 2
con una entrada visual de mayor nivel de desagregación, dado que incluye todos los valores de error y los nombres de las consultoras que realizaron los sondeos. Pero como advertimos en la lectura de la tabla, cada año electoral se circunscribe en una coyuntura específica, en las que las encuestas y las estrategias de medición también son parte. Para ver esto con mayor detalle vamos a presentar los siguientes gráficos.
Error por Fuerza, Año y Tramo Electoral
Ahora bien, hasta aquí analizamos el comportamiento de los errores de las proyecciones electorales y su co-relación con las fuerzas políticas en competición para cada turno electoral. El acento está puesto en cómo juega cada instancia a la hora de evaluar la calidad de las proyecciones electorales, ya que como mencionáramos, cada instancia tiene una relevancia particular en la influencia (potencial o concreta) de la dinámica electoral. Pero no todos los períodos históricos se presentan o configuran de igual manera, por lo que es necesario someter el análisis de estas dinámicas a lo especifico de cada año electoral. Es por eso que en adelante vamos hacer zoom en las tendencias analizadas, interpretando sus efectos concretos en cada coyuntura electoral.
Pero antes algunas aclaraciones sobre qué van a medir y cómo se interpretan, dichos gráficos. En la botonera que se encuentra en el extremo superior del gráfico: se puede seleccionar cada una de las categorías, las cuales proyectan los datos de cada tramo
de cada año electoral
. La forma de agrupamiento (además de lo recién descrito), es interesante porque suma una nueva dimensión al análisis: el volumen
de encuestas (y sus pronósticos) en relación con los sesgos de sub y sobre estimación.
A estos tipos de gráficos se los conoce como boxplot
o gráficos de caja y bigotes
, y lo que nos van a visualizar es el volumen
de casos (proyecciones de cada encuesta) en cuartiles
, es decir, en 4
cajas
que contienen el 25%
de la totalidad de los pronósticos para cada ocasión electoral. En la lectura de los gráficos va a quedar más en claro su valor para el análisis.
Gráfico 4
Gráfico 5
Gráfico 6
Gráfico 7
Gráfico 8
Si observamos el gráfico 4
encontramos representados los volúmenes de los errores en los pronosticos electorales y sus respectivos valores realizados previo a la presentación de listas de candidatas/os, para los años 2011
, 2015
y 2019
(no se disponen datos para 2021), en 4
conjuntos por cada fuerza. Así se puede ver que para el año 2011
, las encuestas proyectaron pronósticos para cambiemos
(Carrió), cuyos valores (contrastados con los resultados en las elecciones PASO
) presentaron errores que van desde 3.98%
(de sobre-estimación) a -0.82%
(de sub-estimación). En este caso se encuentran dentro de los estándares aceptables de margen de error (3.5%
). En cambio en las proyecciones para el kirchnerismo
los errores oscilan entre los extremos de -0.44%
y -23.14%
. Si se presta atención a las etiquetas que aparecen en el gráfico (al pasar el puntero o tocar la pantalla), vemos que “q3
” tiene el valor -2.24%
, “median
” -5.69%
y “q1
” -11.54%
. ¿Qué información nos están aportando?, la etiqueta q1
refiere al cuartil 1
y está señalando que un 25%
de las encuestas (extremo inferior de los datos) proyectaron una intención de votos al kirchnerismo con un error que va desde -11.54%
a -23.14%
(extremo mínimo). Dicho en otras palabras, 25
de cada 100
encuestas sub-estiman la intención de voto al kirchnerismo entre 11
y 23
puntos. La misma lógica aplica para las otras etiquetas, por ejemplo median
refiere al cuartil 2
o lo que es lo mismo, al 50%
(suma de cuartil
1
y 2
), e indica que la mitad de las encuestas - realizadas en este período - sub-estiman esa intención de voto entre 5.69
y 23.14
puntos. Lo mismo para q3, que es el 75%
de las encuestas. Lo destacable de este caso es que la totalidad
de las encuestas arrojaron proyecciones de la intención de voto al kirchnerismo por debajo de lo que efectivamente ocurrió en las PASO (en algunos casos con errores de sub-estimación enormes).
Aclarada la función que realizan estos nuevos indicadores para analizar el comportamiento de las encuestas respecto de los errores de predicción, se invita al lector o lectora a repasar cada uno de los turnos y años electorales. Por motivos de extensión, en adelante vamos a señalar los aspectos más significativos de cada turno y año electoral, para describir las tendencias en cada coyuntura eleccionaria.
De este modo observamos que para las encuestas previas a la definición de candidatos/as, la sub-estimación de la intención de voto al kirchnerismo es una constante y con altos consensos, evidenciando serios problemas de fiabilidad, por parte de buena parte de las encuestadoras, para reflejar las preferencias electorales de un amplio espectro del electorado. Se observa un 100%
de sub-estimación
en los años 2011
, 2015
y 2019
, donde por ejemplo en 2015
la mitad de las encuestas realizadas proyectan el voto al Kirchnerismo
, entre 13.6
y 27.6
puntos abajo y en 2019
entre 16.6
y 26.5
.
Una segunda cuestión que resulta llamativa de ese gráfico, es la sobre-estimación
para las terceras
fuerzas.
Para las elecciones de 2011
la mitad de las encuestas les asigna entre 2
y casi 15
puntos por arriba de lo que realmente obtuvieron en las PASO.
Lo propio para 2015
, con 7.4
y 16.7
, y 2019
con 2.9
y 14.5
. Solo en las elecciones de 2019
las proyecciones sub-estiman a cambiemos
en su intención de votos, con la mitad de las encuestas, arrojando valores de error de entre -4.9
y -14.5
.
Como repasaramos en análisis anteriores, en las PASO los errores se van moderando, pero manteniendo los sesgos anteriores. En este sentido el período mas equilibrado en términos de errores es para el año 2015
y el año con mas distorsión es 2019
, con un alto sesgo negativo para el kirchnerismo
, donde la mitad de las encuestas le asigna entre 9.5
y 12.5
puntos por debajo.
Notas
Las encuestas recolectadas para el análisis de las elecciones de 2021, a diferencia del resto, corresponden a elecciones legislativas, mas precisamente, de la provincia de Buenos Aires.↩︎
El coeficiente de variación es una medida de la dispersión de un conjunto de datos en comparación con su media (promedio). A veces denominado como coeficiente de variación de Pearson, representa una medida estadística que nos informa acerca de la dispersión relativa de un conjunto de datos. Su cálculo se obtiene de dividir la desviación típica entre el valor absoluto de la media del conjunto, se expresa en porcentaje para su mejor comprensión.↩︎
Dentro de las funcionalidades del algoritmo de distancia euclidiana se destaca su utilidad para determinar la similitud entre dos cosas o pares de datos.↩︎
Seleccionamos este valor de referencia de manera arbitraria, pero informada. Es decir, si bien no existen consensos explícito para definir el valor de “error” que debe asumir en el diseño de una muestra, entendemos según las prácticas profesionales del campo, que es poco poblable que se lleven a cabo estudios con valores por encima del 3.5%.↩︎
Estos pronósticos se comparan con los resultados de las elecciones más próximas, es decir las PASO, al resto se lo contrasta con el turno declarado correspondiente.↩︎
La “sobre-estimación” del voto hacia las
terceras fuerzas
, en parte puede estar explicada por la lógica que plantea la noción de “coordinación electoral”. Cuyo planteo es que al momento de las deciciones electorales de parte de las/los votantes existen incentivos de distinta índole, pero que si el marco es de un escenario de “polarización” electoral, es probable que se orienten por alguno de los “polos”. Para un mayor desarrollo se puede consultar: https://ipypp-data.quarto.pub/blog/posts/pre_paso_2021/↩︎