Les sondages font souvent l’objet de critiques, incluant les nôtres. Bien souvent, les gens déplorent que les enquêtes d’opinion n’atteignent pas les bons électeurs ou ne posent pas les bonnes questions. L’un des points de discorde au Canada semble être le recours aux échantillons en ligne. Plusieurs estiment que ces échantillons ne sont pas représentatifs. Néanmoins, l’un des aspects cruciaux des sondages (et des reportages à leur sujet) est souvent négligé: les indécis et leur utilisation. Ceci est particulièrement important, car nous croyons qu’il s’agit d’une source d’erreur majeure dans les sondages qui pourrait avoir pour conséquence de sous-estimer les résultats des conservateurs lors de cette campagne.
Les sondages comptent toujours des indécis parmi leurs échantillons. La définition exacte peut toutefois varier d’un sondeur à l’autre. Certaines firmes proposent des options telles que «je ne sais pas» ou «je ne voterai pas», d’autres non. Certaines posent plusieurs questions. Ainsi, elles peuvent demander aux répondants pour qui ils ont l’intention de voter et puis, s’ils n’expriment aucune préférence, elles leur posent une deuxième question («penchez-vous vers un parti?»). En raison des différences de méthodologie (les questions posées, la collecte des données, etc.), les sondages présentent des nombres très différents d’indécis. Abacus, par exemple, a déjà compté jusqu’à 24 % d’indécis dans son échantillon. D’un autre côté, les sondages Forum ont tendance à avoir un nombre ridiculement bas d’indécis (généralement quelque 5 %). En moyenne, environ 10 % des répondants ne parviennent pas à se faire une idée.
Que font les firmes de sondage avec ces indécis? Habituellement, elles les distribuent proportionnellement. Voici un exemple: imaginez avoir trois partis (A, B et C). Le sondage permet de constater un soutien de 40 % au Parti A, de 30 % au Parti B et de 10 % au Parti C, en plus de 20 % d’indécis (il n’y a pas de petit parti dans le cas qui nous occupe). Cela signifie que parmi les 80 % d’électeurs décidés, le Parti A en obtient 50 % (40 % de 80 %). La plupart des maisons de sondage vont ainsi distribuer 50 % des indécis au Parti A. Faire la même chose avec les deux autres partis nous donne des résultats totalisant 100 %. Le principal problème est qu’il n’est pas logique de distribuer proportionnellement les indécis. En fait, cela équivaut à les ignorer (comme supposer qu’ils ne voteront pas du tout). Sinon, vous pouvez croire que les indécis finiront par voter comme les électeurs ayant fait leur choix. Vous pouvez constater que les deux interprétations ne sont pas vraiment logiques. Cela veut également dire que le parti en tête (parmi les électeurs décidés) se retrouve automatiquement avec une plus grande part des indécis. Dans notre exemple fictif, les résultats finaux (ceux publiés dans les médias) seraient:
Parti A: 50 %
Parti B: 37,5 %
Parti C: 12,5 %
Cela totalise 100 %. Comme vous pouvez le voir, l’avance de 10 points du Parti A parmi les électeurs décidés est passée à une avance de 12,5 % parce que davantage d’indécis ont été attribués à la formation. Est-il logique que le parti qui domine parmi les décidés se retrouve automatiquement avec plus d’indécis? Pas nécessairement. Et quand on se retrouve avec pas moins de 24 pour cent d’indécis, ce que l’on fait avec eux est crucial.
Nous croyons qu’il serait parfois préférable pour les sondeurs de faire état du nombre d’indécis avant de les distribuer (pour être juste, ils le font tous sur leurs sites Web. Nous parlons ici de la façon dont les résultats sont communiqués et publiés par les médias). D’autre part, ne voyez pas le pourcentage d’indécis comme une raison de croire que tout est possible. Dans notre exemple, le Parti B pourrait en effet l’emporter en obtenant le soutien de tous les indécis, mais c’est tellement improbable qu’il est absurde de penser de la sorte. C’est toutefois un autre sujet.
Si nous retournons aux indécis et à ce qu’il faut faire d’eux, il n’y a pas de solution parfaite. Après tout, si vous vous retrouvez avec des gens qui ne se sont pas encore décidés (ou qui refusent de vous le dire), il n’y a pas grand chose que vous puissiez faire. Cela dit, il y a certainement mieux à faire que de les distribuer proportionnellement. Ne serait-ce que parce que la distribution proportionnelle conduit souvent à l’erreur, en particulier une sous-estimation des résultats du titulaire et une surestimation de ceux des plus petits partis.
Au Québec, l’experte en sondage Claire Durand distribue avec succès plus d’indécis aux libéraux et moins au Parti Québécois depuis longtemps. De façon plus générale, si on se penche sur les dernières élections au pays, nous constatons que les sondages ont fortement tendance à sous-estimer le gouvernement sortant. Nous l’avons vu en Alberta en 2012, en Colombie-Britannique en 2013, en Ontario l’an dernier. Au niveau fédéral, les sondages ont sous-estimé les conservateurs par environ trois points lors des deux dernières élections. Jetons un coup d’oeil à 2011. Je suis parvenu à collecter les résultats de la plupart des sondages les plus importants de la fin de la campagne. J’en ai fait une moyenne par province pour les comparer aux résultats actuels. Le tableau ci-dessous vous donne les différences en points de pourcentage. Si c’est positif, cela signifie que les sondages ont surestimé le parti en question, et si c’est négatif, qu’ils l’ont sous-estimé.
Comme vous pouvez le constater, la sous-estimation des conservateurs a été systématique. L’erreur fut particulièrement importante en Ontario. Avant tout, voilà pourquoi les projections de sièges en 2011 ne laissaient pour la plupart pas prévoir une majorité des conservateurs. Lorsque les sondages passent à côté par plus de 5 points dans la province la plus importante, on peut s’attendre à faire des erreurs en les utilisant pour faire des prédictions. Il est à espérer que les sondages feront mieux cette année, même si l’Ontario pourrait ne pas être la clé.
Y a-t-il quelque chose que nous devrions faire? La méthode que nous utilisons consiste à distribuer les indécis différemment, ce que fait Claire Durand depuis un moment. Tout d’abord, nous n’en attribuons aucun aux petits partis (tous ceux autres que les conservateurs, les libéraux et le NPD; lorsque les sondages sont publiés avec des données établies après redistribution, cela veut dire que nous devons enlever les indécis alloués aux plus petits partis). Ensuite, nous attribuons la moitié des indécis au titulaire et divisons les autres de façon égale entre le NPD et les libéraux (sauf au Québec, où le NPD et les libéraux en reçoivent la plus grande partie).
Quelle différence cela fait-il? La présente moyenne non corrigée des sondages nous donnerait les conservateurs à 28,9 %, le NPD à 33,6 % et les libéraux à 27,4 %. En tenant compte des ajustements, nous nous retrouvons avec 30,7, 32,8 et 27,2 %, respectivement. Cela fait donc une petite différence. En clair, cela donne entre Stephen Harper et Thomas Mulcair une course plus serrée que ne le laissent croire les sondages.
Lors des récentes élections en Alberta, cette méthode nous a donné des prévisions presque justes. Vous pourriez penser que les sondages étaient très justes lors de cette campagne, mais ce ne fut pas le cas. S’ils ont bel et bien annoncé une victoire du NPD, ils ont surestimé les néo-démocrates par 2-3 points et sous-estimé les conservateurs par 3-4 points. Lors du scrutin de 2011, une méthode similaire aurait fait passer la sous-estimation des conservateurs de 3,4 à 2 points. Pas parfait, mais plus proche de la réalité.
Il ne s’agit pas là d’une solution magique. Chaque campagne est différente. Il est possible que Harper et son parti soient surestimés et que les personnes souhaitant du changement aient un impact le jour du scrutin. D’un autre côté, Stephen Harper demeure le choix «sûr». Il est le premier ministre sortant, il est au pouvoir depuis maintenant neuf ans. Voter pour lui signifie que vous savez pas mal ce que vous obtiendrez. Pour les gens qui pourraient se décider une fois dans l’isoloir, faire le choix de l’option sûre et connue pourrait s’avérer significatif.
Bryan Breguet a un baccalauréat ès sciences en économie de la politique et une maîtrise ès sciences en économie de l’Université de Montréal. Il a fondé en 2010 TooCloseToCall.ca où il fournit des analyses et projections électorales. Il a collaboré avec le National Post, Le Journal de Montréal et l’Actualité.
Cet article initialement publié sur le Huffington Post Canada a été traduit de l’anglais par Philippe Zeller.
INOLTRE SU HUFFPOST
