Les sondages électoraux : les réponses aux questions que vous vous posez
Qu’est-ce qu’un sondage ?
La loi du 25 avril 2016 sur les règles applicables aux élections définit les sondages ainsi : « un sondage est, quelle que soit sa dénomination, une enquête statistique visant à donner une indication quantitative, à une date déterminée, des opinions, souhaits, attitudes ou comportements d’une population par l’interrogation d’un échantillon ».
Les sondages se définissent donc :
• par leur vocation : connaître et mesurer « l’opinion » sur des sujets donnés, à un moment donné, et permettre notamment aux institutions, aux médias de prendre des décisions informées, d’animer le débat public, etc. ;
• par leur représentativité et leur fiabilité, grâce aux méthodes scientifiques des sciences sociales appliquées. ,
La loi de 2016 de modernisation de diverses règles applicables aux élections prévoit de sanctionner d’une amende de 75 000 € l’utilisation du mot « sondage » pour des enquêtes liées au débat électoral qui ne répondent pas aux critères posés par la définition légale.
Existe-t-il un cadre réglementaire pour les sondages ?
Au-delà de la définition, la loi du 19 juillet 1977 sur certains sondages d’opinion régit en effet « les sondages publiés, diffusés ou rendus publics sur le territoire national, portant sur des sujets liés, de manière directe ou indirecte, au débat électoral. »
La première publication ou diffusion de tout sondage dit « électoral » doit donc répondre à la définition donnée par la loi, et être accompagnée :
- du nom de l’organisme ayant réalisé le sondage ;
- du nom du commanditaire du sondage ;
- du nombre de personnes interrogées ;
- de la ou des dates où les personnes ont été interrogées ;
- du texte intégral de la ou des questions posées ;
- d’une mention précisant que tout sondage est affecté de marges d’erreur et des marges d’erreur des résultats publiés ou diffusés ;
- d’une mention indiquant le droit de chacun à consulter la notice du sondage (cf. ci-après)
La loi confie à la commission des sondages le soin de contrôler le respect de ces règles, mais aussi de proposer des règles pour assurer l’objectivité et la qualité des sondages électoraux. Avant la publication ou la diffusion de tout sondage électoral, l’institut qui l’a réalisé doit ainsi déposer auprès de la commission des sondages une notice comprenant :
- toutes les indications énumérées ci-dessus ;
- l’objet du sondage ;
- la méthode selon laquelle les personnes interrogées ont été choisies, le choix et la composition de l’échantillon ;
- les conditions dans lesquelles il a été procédé aux interrogations ;
- la proportion des personnes n’ayant pas répondu à l’ensemble du sondage et à chacune des questions ;
- s’il y a lieu, la nature et la valeur de la gratification perçue par les personnes interrogées ;
- s’il y a lieu, les critères de redressement (cf. ci-après) des résultats bruts du sondage.
La commission peut ainsi exercer un contrôle de la qualité de l’échantillon, des redressements opérés et des questionnaires ; elle peut convoquer les instituts pour approfondir son contrôle, exiger des mises au point à l’encontre des instituts et des médias qui ont méconnu la loi. En l’absence de mise en conformité, la commission peut demander au parquet d’engager des poursuites pénales.
Existe-t-il des standards de qualité et de transparence pour les sondages ?
Oui, il existe des standards pour garantir la transparence vis-à-vis des clients et vis-à-vis du grand public pour les études publiées :
- la norme ISO 20252:2019,
- les guidelines ESOMAR/GRBN Primary Data,
- les guidelines de la World Association for Public Opinion Research pour les sondages politiques (Wapor)
Peut-on accéder aux méthodes utilisées pour la réalisation d’un sondage ?
Oui, les instituts mettent tous leurs sondages publiés en ligne sur leurs sites internet, accompagnés d’une note méthodologique et de la marge d’erreur.
Tous les sondages politiques et électoraux publiés doivent obligatoirement faire l’objet d’une notice méthodologique déposée auprès de la commission des sondages, consultable en ligne à cette adresse : https://www.commission-des-sondages.fr/notices/. Chacun peut donc s’en saisir.
Comment la représentativité des échantillons est-elle assurée ?
En France, les instituts appliquent majoritairement la méthode des quotas : interroger un échantillon d’individus présentant les mêmes caractéristiques sociodémographiques que l’ensemble de la population étudiée, évaluées sur des critères tels que le sexe, l’âge, la catégorie socioprofessionnelle, le type de commune de résidence et la région, en fonction des dernières données statistiques disponibles (INSEE, etc.).
Cela permet d’extrapoler les résultats d’une enquête à l’ensemble d’une population, à condition d’interroger un échantillon suffisamment fiable en termes d’effectifs pour permettre une lecture d’ensemble et détaillée des résultats.
S’agissant des sondages pré-électoraux, les instituts adaptent leurs méthodes selon le type d’élection visé. Ainsi, pour réaliser un sondage fiable sur des primaires, on procède en partant d’un échantillon national représentatif en demandant à toutes les personnes qui le composent, après leur avoir expliqué de quoi il s’agit, si elles ont l’intention de participer aux primaires.
À titre d’exemple, en 2016 pour la primaire de la droite et du centre, les échelles de participation utilisées aboutissaient à un corps électoral certain d’aller voter de 10% environ. Cela supposait donc de partir d’un échantillon initial d’au moins 5000 personnes pour définir un échantillon de votants à la primaire d’au moins 500 personnes. C’est ce que recommande la commission Etudes de Syntec Conseil.
Inversement, quand le corps électoral est trop réduit ou impossible à appréhender, comme cela a été le cas en 2021 avec la primaire écologiste ou le vote en congrès de LR en décembre, aucun sondage ne peut être réalisé.
La méthode des quotas est-elle dépassée, avec les nouveaux outils d’analyse des réseaux sociaux par exemple ?
La méthode des quotas contribue à garantir, lorsqu’elle est correctement utilisée, la représentativité de l’échantillon. L’analyse des réseaux sociaux poursuit d’autres objectifs et n’a pas cette préoccupation. Aucun contrôle de représentativité ne peut y être opéré.
De plus, l’analyse des réseaux sociaux met en évidence une sur-représentation des interventions négatives, critiques d’une part, et des positions extrêmes d’autre part. Le résultat de cette analyse a son intérêt, mais dit autre chose que le résultat d’un sondage.
Il est d’ailleurs possible de combiner les deux approches dans l’analyse globale d’une campagne, d’une élection, d’un profil. Le code de conduite international ICC/ESOMAR des études de marché, études sociales et d’opinion a été profondément revu en 2016 pour intégrer l’analyse des données déjà existantes sur le web, les réseaux sociaux, le mobile… Les professionnels des études utilisent couramment ces diverses sources de données, qui ont chacune leur intérêt et leurs limites.
Qu’appelle-t-on redressement dans les enquêtes d’intentions de vote et à quoi servent-ils ?
La représentativité de l’échantillon des enquêtes d’intentions de vote peut être affectée par deux phénomènes bien connus et qui concernent tous les modes de recueil : le refus de répondre et la sous-déclaration de certaines opinions. Les sondeurs cherchent donc à corriger les biais qui en découlent en les mesurant. Pour cela, ils assortissent l’enquête d’une ou plusieurs questions dites de reconstitution de vote à des élections antérieures pour lesquelles les résultats sont connus. Pour corriger les distorsions constatées, des coefficients de redressement sont appliqués à l’échantillon pour le rendre représentatif des élections antérieures. L’intention de vote exprimée par cet échantillon devenu représentatif est donc corrigée par ces redressements.
Il serait néanmoins inexact de dire que les biais qui affectent les intentions de vote et la reconstitution de vote sont les mêmes, pour plusieurs raisons : les souvenirs inexacts des électeurs – particulièrement en cas de référence à des élections datées, la dissimulation des choix politiques ou encore le refus de répondre, de participer aux sondages. En outre, l’utilité des redressements varie selon le mode de recueil : la réalisation d’enquêtes par téléphone ou en face-à-face accroit le risque de dissimulation, contrairement aux sondages réalisés par internet.
In fine, le redressement permet toujours d’améliorer la fiabilité des enquêtes d’intentions de vote.
Comment lire les intentions de vote ?
Les enquêtes d’intention de vote n’ont aucune vocation prédictive, malgré les commentaires qui l’affirment souvent à tort.
Les intentions de vote sont la mesure, à certains moments de la période pré-électorale, de la disposition d’esprit d’une population concernée. Elles sont distinctes des cotes de popularité ou des sondages d’opinion portant sur un sujet d’actualité par exemple.
Evolutives par nature, elles sont à la fois une évaluation des rapports de force électoraux à un moment précis et un instrument de mesure des fluctuations des intentions (progressions, reculs…), d’analyse des périodes où elles se cristallisent en fonction du déroulement du débat électoral et de l’évolution de l’offre réelle de candidature.
Autrement dit, les intentions de vote sont à lire comme un film et non comme une photo fixe et définitive. L’influence du contexte social, politique, médiatique, etc., sur le vote des citoyens, au-delà de sa volatilité-même, rend par essence le résultat incertain jusqu’au jour du scrutin.Autrement dit, les intentions de vote sont à lire comme un film et non comme une photo fixe et définitive. L’influence du contexte social, politique, médiatique, etc., sur le vote des citoyens, au-delà de sa volatilité-même, rend par essence le résultat incertain jusqu’au jour du scrutin.
Comment sont faits les sondages sur internet ?
Les sondages en ligne sont réalisés sur la base de panels recrutés à partir de plusieurs sources dont la combinaison contribue à leur qualité : bases de données, recrutement en ligne, notamment via les réseaux sociaux, Google, campagnes displays, etc., par téléphone, etc. La multiplicité des sources est importante afin d’éviter les biais liés à une seule source de recrutement.
Les instituts disposent d’outils pour vérifier les profils des personnes composant les panels et la cohérence de leurs réponses et comportements : répondants très rapides, réponses répétées, doublons, réponses incohérentes…
L’organisation professionnelle internationale des études, ESOMAR, a défini un référentiel permettant de renforcer la transparence dans la constitution d’échantillons issus de panels online : expérience de l’opérateur, compétences et outils mobilisés, méthodes de constitution des panels, méthodes de vérification des profils et des comportements, transparence vis-à-vis des acheteurs des panels, fréquence de mobilisation des profils sur des études, respect de la vie privée et protection des données personnelles, etc.
Recruter des volontaires pour les panels en ligne, donc des personnes intéressées, n’est-ce pas un biais en soi ?
Cette question est aussi ancienne que les sondages : bien avant la constitution de panels online, certaines personnes refusaient de répondre aux sondages (donc ceux-ci portaient sur les personnes acceptant d’être sondées), et d’autre part il existait déjà des panels. Autrement dit, nous avons beaucoup de recul sur la question de la prise en compte des non-répondants, posée depuis… Pierre Bourdieu !
La méthodologie des instituts consiste justement à prendre en compte ces biais possibles et à les corriger en les mesurant, par des questions de contrôle, par recoupement, par comparaison avec le passé ou avec d’autres résultats, d’autres études, etc. A titre d’exemple, pour un sondage d’intentions de vote, ils assortissent l’enquête d’une ou plusieurs questions dites de reconstitution de vote à des élections antérieures pour lesquelles les résultats sont connus. Pour corriger les distorsions constatées, des coefficients de redressement sont appliqués à l’échantillon pour le rendre représentatif des élections antérieures. L’intention de vote exprimée par cet échantillon devenu représentatif est donc corrigée par ces redressements.
La matière humaine étudiée étant par définition mouvante, nos méthodes doivent en tenir compte et s’adapter.
Dédommager financièrement les sondés n’introduit-il pas un biais méthodologique ?
Tout sondage comprend des biais, et le dédommagement des sondages en ligne, qui varie pour les études grand public de quelques centimes à quelques euros, peut en constituer un.
Mais les instituts prennent en compte ces biais possibles et les corrigent en les mesurant (voir réponse précédente), par des questions de contrôle, par recoupement, par comparaison avec le passé ou avec d’autres résultats, d’autres études, etc.
Par ailleurs, les dédommagements sont utiles pour le recrutement de panels en ligne, les personnes interrogées acceptant de donner un peu de leur temps ; mais leurs motivations dépassent généralement cet intérêt matériel, notamment avec le goût de donner son avis ou la possibilité d’utiliser son dédommagement pour des actions caritatives. Les études qualitatives pratiquent elles aussi le dédommagement, en fonction du temps passé par les interrogés.
Enfin les dédommagements sont un facteur de représentativité, notamment pour les sondages d’opinion ; en effet, sans eux, il y aurait une sur-représentation des extrêmes parmi lesquelles on peut retrouver des personnes très motivées pour pousser leurs opinions. Les panelistes peu intéressés par la politique participeraient beaucoup moins. On observe d’ailleurs que les questionnaires en ligne sans dédommagement peuvent générer des biais importants.
Est-il possible de fausser des panels en ligne via de faux profils d’internautes ?
S’il est théoriquement possible de créer des dizaines de profils et de s’inscrire sur plusieurs panels différents, dans la réalité personne ne passe des heures chaque jour à cela ! D’abord parce que les dédommagements financiers sont négligeables et ne permettraient pas d’en vivre, même en y travaillant jour et nuit ; ensuite parce que personne n’a le temps de le faire durablement. En imaginant que cela puisse être le cas de quelques personnes particulièrement motivées, l’impact resterait à peu près nul sur les échantillons.
De plus, les instituts disposent d’outils permettant de détecter et d’éviter la récurrence d’une adresse IP dans plusieurs panels d’un même institut, ou d’identifier des profils suspects comme des répondants très rapides, les réponses répétées, les doublons, les réponses incohérentes. Il est en effet difficile de donner de mauvaises réponses intentionnelles en restant cohérent tout au long du questionnaire : si le risque n’est pas nul, il est très limité et fait l’objet de plusieurs protocoles de validation des répondants. Dans ce cas, les réponses ne sont pas prises en compte ou les profils sont sortis du panel.
Pourquoi les sondages électoraux se trompent-ils parfois ?
Avant tout, rappelons que les sondages d’intentions de vote ne doivent pas être pris pour des oracles : ils n’ont aucune vocation prédictive, a fortiori plusieurs mois à l’avance. Ils mesurent, à certains moments de la période pré-électorale, la disposition d’esprit d’une population concernée. Les campagnes électorales et la liste définitive des candidats font largement varier ces intentions au fil des semaines. Les politologues évoquent le phénomène de cristallisation de l’opinion lorsque les intentions de vote se figent, mais cela peut se traduire plus ou moins tôt dans la campagne, et certains profils peuvent rester indécis jusqu’aux derniers jours.
Dans certains cas, ce qui a pu être perçu comme une erreur tenait simplement au décalage entre la réalisation et la publication des derniers sondages d’une part, et le moment de l’élection d’autre part. En effet, jusqu’en 2002, la loi interdisait la publication de sondages d’intentions de vote dans la semaine précédant le scrutin. Depuis la loi du 19 février 2002, cette interdiction est limitée à la veille et au jour du scrutin (et n’est applicable qu’aux médias diffusés en France). Alors que l’opinion bouge jusqu’au dernier moment en fonction de nombreux éléments exogènes, les sondages n’étaient plus là pour le mesurer, même s’ils avaient pu mesurer la tendance à l’œuvre.
Ensuite, soulignons que les recherches internationales sur l’historique des sondages depuis plusieurs décennies montrent que les écarts entre les intentions de vote de la dernière semaine et les votes réels sont en très grande majorité faibles et compris dans l’intervalle de confiance des enquêtes. Les cas où les écarts sont importants sont rares (une estimation statistique n’est pas infaillible), et leur fréquence n’augmente pas globalement. Cependant, ces cas rares sont, logiquement, davantage commentés et critiqués.
Pour autant, chacun de ces écarts importants a été l’occasion pour les instituts de se remettre en question avec l’aide de chercheurs universitaires, d’en tirer des enseignements et d’adapter leurs méthodes aux nouveaux comportements.
Trois raisons majeures peuvent expliquer ces écarts, outre l’erreur d’échantillonnage ou les biais de formulation du questionnaire, que le professionnalisme des instituts permet très largement d’éviter : l’abstention, l’indécision et la sous-déclaration.
La montée tendancielle de l’abstention fait reposer les résultats officiels sur une partie seulement des électeurs, voire une petite minorité des personnes inscrites sur les listes électorales. L’estimation de l’abstention est donc cruciale dans les enquêtes, et encore plus complexe lorsque les changements par rapport aux précédentes élections se concentrent sur des populations plus difficiles à contacter (certains profils par âge, éducation, classe sociale…).
L’indécision entre les candidats à l’élection a tendance à s’accroître, y compris dans les dernières semaines et jours de l’élection. Là encore, les estimations sont plus complexes si les changements se concentrent sur certains profils insuffisamment couverts dans l’échantillon.
La sous-déclaration de certaines intentions de vote, en général des votes dits « extrêmes », existe depuis longtemps mais peut se réduire ou augmenter selon la période, le type d’élection et les pays.
Les redressements opérés par les instituts ont pour objectif de répondre à ces biais, mais les comportements des citoyens et des électeurs évoluent rapidement. Il peut arriver que les méthodes de redressement n’évaluent pas avec assez de précision ces phénomènes. Qui plus est, la publication des sondages peut exercer une influence sur les stratégies individuelles de vote et de participation : des personnes peuvent finalement s’abstenir si le candidat qu’elles soutiennent par défaut est en tête, et à l’inverse les personnes qui le rejettent peuvent décider de se mobiliser pour exprimer leur désaccord.
Face à ces défis, les professionnels des sondages revoient inlassablement leurs outils et, recherchent la meilleure représentativité possible avec des tailles d’échantillon suffisantes pour détecter les évolutions spécifiques à certains profils , afin d’apporter une information de qualité.
Les sondages exercent-ils une influence sur le vote des électeurs ?
Aucune information n’est totalement neutre. Comme toute information rendue publique et parmi beaucoup d’autres éléments dans une campagne électorale, les sondages peuvent avoir une influence. Au vu des sondages publiés, des personnes peuvent décider de voter « utile », de s’abstenir si les candidats les plus rejetés ne paraissent pas en mesure de gagner, ou au contraire se mobiliser pour exprimer leur désaccord. Pour autant, il est difficile d’attribuer aux sondages comme aux autres éléments (campagne sur les grands médias et les réseaux sociaux, faits divers, fake news…) un effet spécifique.
Les sondages répondent avant tout à un besoin d’information, tant des médias qui y fondent leurs analyses, que des citoyens qui trouvent utile de confronter leur ressenti ou les propos de candidats avec des données objectivées… Il est utile, par exemple, que des sondages identifient les attentes des Français sur une base statistique, en regard des affirmations des candidats sur ces attentes, ou qu’ils mesurent la crédibilité de telle proposition pour l’opinion…
Avec l’intérêt et les limites de la statistique, ils sont le seul outil pour objectiver les phénomènes d’opinion, à l’heure des fake news et des théories du complot. Ils sont un instrument de pluralisme des sources d’information et de connaissance, donc de liberté !
Au-delà des fantasmes, qui peut sérieusement affirmer que les sondages empêchent l’exercice de la libre opinion des citoyens plutôt qu’ils ne l’alimentent ? Qu’ils remplacent l’effet d’une campagne réussie, les décisions d’un candidat, la force collective d’un mouvement politique ? En réalité, aucune étude ne l’a montré, depuis que la question est posée, soit… dès les premiers sondages.
Cette influence potentielle donne aux sondeurs une responsabilité déontologique en matière de qualité et de neutralité des méthodes. C’est précisément cette responsabilité qui a poussé les instituts à construire et optimiser depuis des dizaines d’années les méthodes les plus fiables possibles et un savoir-faire assis sur des standards de qualité, sous le contrôle de la Commission des sondages.
Depuis quelques années, on a l’impression que ce sont les sondages qui déterminent qui peut être candidat… N’est-ce pas une dérive ?
Les faits conduisent à nuancer cette affirmation, ne serait-ce que parce que dans le processus de désignation des candidats des familles politiques pour l’élection de 2022, les sondages, bien que pris en compte, n’ont été qu’un élément parmi d’autres, et parfois n’ont pas été suivis (cas de la primaire LR par exemple).
Les sondages visent à apporter une information à un moment donné et peuvent constituer un outil d’aide à la décision, dans le champ politique ou ailleurs.
Les formations politiques ont toujours à leur disposition plusieurs options pour déterminer leur candidat, qui relèvent de leur seul choix et dépendent du contexte, du nombre de candidats, des rapports de force entre eux au sein du parti, de l’offre électorale déjà connue, etc. Il en est de même des candidats potentiels : d’ailleurs avec un niveau d’intentions de votes équivalent, certains renoncent à se présenter, d’autres pas.
Les sondages ne sont donc pas la cause de ces situations dans lesquelles des personnalités peinent à s’imposer y compris dans leur camp ; ils sont un symptôme parmi d’autres du recul des partis, du morcellement de l’offre politique, etc.
Pourquoi certains « petits » candidats ne sont pas pris en compte dans les sondages électoraux ?
A l’occasion de certaines élections, et notamment de l’élection présidentielle, il peut y avoir des dizaines de candidats déclarés qui ne participent pas à la compétition finale car leur organisation n’est pas en mesure d’assumer les exigences d’une campagne avant même le filtre des 500 signatures. Il revient aux sondeurs et aux médias partenaires d’assumer le choix des candidats testés. C’est aussi un gage de fiabilité et de sérieux des sondages.
La multiplication des sondages ne tue-t-elle pas le débat en l’hystérisant ?
À l’occasion de certaines élections, et notamment de l’élection présidentielle, il peut y avoir des dizaines de candidats déclarés qui ne participent pas à la compétition finale car leur organisation n’est pas en mesure d’assumer les exigences d’une campagne avant même le filtre des 500 signatures. Il revient aux sondeurs et aux médias partenaires d’assumer le choix des candidats testés. C’est aussi un gage de fiabilité et de sérieux des sondages.
Le nombre croissant de sondages est une réalité qui s’explique par plusieurs facteurs :
- d’abord, la fragmentation des médias, plus nombreux à participer à l’information politique, et s’appuyant pour cela sur des sondages d’opinion qu’ils commandent ;
- ensuite, le fait que la mobilité électorale s’est accrue et justifie un suivi plus fréquent ; cela s’explique notamment par le recul des comportements de classe ou de groupe social, la montée des comportements individualistes ; on assiste de plus en plus à des mouvements d’opinion rapides et massifs, notamment dans les périodes pré-électorales ; la multiplication des sondages est aussi une réponse à cette volatilité ;
- enfin, la baisse du coût, avec le développement des sondages en ligne, qui rend les sondages plus accessibles et permet à des petites structures agiles et compétentes de développer une offre.
On peut aussi observer qu’à l’ère de l’information en continu et de la data, les sondages participent à la pluralité des sources et analyses.