Devant ces scores soviétiques, qui paraissent a priori étranges, plusieurs organes chaussent leurs lunettes pour chercher l’erreur. Premiers à dégainer, Vincent Truffy, sur Mediapart, puis Martin Clavey, Nicolas Kayser-Bril et Martin Untersinger, sur Owni, critiquent la rédaction des questions et la méthodologie du sondage (réalisé par questionnaire auto-administré en ligne). Nombreux sont ceux qui leur emboîtent le pas.

Mal leur en prend. Mes camarades d’Owni se font immédiatement taper sur les doigts par Yves-Marie Cann, directeur d’études au département Opinions et Stratégies d’entreprise de l’Ifop, qui leur reproche de «s’en prendre au thermomètre», ou Guillaume Main, ancien salarié d’institut de sondage, qui les met dans le même sac que Bourdieu et autres contempteurs de la mesure d’opinion: de quoi je me mêle, ils n’y connaissent rien, les questions sont les questions, il n’y a pas de biais, le client est roi.

Pan sur le bec, comme on dit au Canard! Il n’aura pas fallu attendre plus d’une semaine pour qu’une nouvelle enquête, cette fois réalisée par CSA pour le compte de Marianne, donne raison à ceux qui doutaient de la crédibilité de l’approbation figaresque. Non seulement 69 % des sondés jugent “inefficace” l’action de Sarkozy sur les questions de sécurité, mais le lien entre insécurité et immigration apparaît minoritaire dans l’opinion.

La comparaison terme à terme de la question portant sur la fameuse déchéance de nationalité pour les immigrés tueurs de flics selon l’IFOP ou l’institut CSA est édifiante.

Version IFOP: «Question. Vous savez que le gouvernement a annoncé différentes mesures pour lutter contre l’insécurité. Pour chacune de ces mesures, vous me direz si vous y êtes très favorable, plutôt favorable, plutôt opposé ou très opposé? (…) 5. Le retrait de la nationalité française pour les délinquants d’origine étrangère en cas d’atteinte à la vie d’un policier ou d’un gendarme: 70% favorables/30% opposés.»

Version CSA: «Question. A propos de la proposition de loi qui consisterait à retirer la nationalité française à une personne d’origine étrangère ayant volontairement porté atteinte à la vie d’un policier, d’un gendarme ou toute autre personne dépositaire de l’autorité publique ou ayant commis d’autres crimes graves, de laquelle des propositions suivantes vous sentez-vous le plus proche?»

«1) Vous êtes plutôt favorable à cette proposition car l’acquisition de la nationalité doit être remise en cause en cas d’acte grave: 46%. 2) Vous êtes plutôt défavorable à cette proposition car tous les Français doivent être égaux devant la loi quelle que soit leur origine: 51% (NSP: 3%).»

46% contre 70% pour une question similaire – il y a de quoi désespérer des sondages d’opinion. Comment expliquer un tel écart? Mettons de côté les erreurs de calculette ou de pondération de l’échantillon, pour partir du principe que les sondeurs ont appliqué avec rigueur les règles élémentaires. On écartera de même les options de méthodologie. Même si le CSA a pris soin de recourir au bon vieux sondage par téléphone et de mentionner les “NSP” (ne se prononcent pas), il semble peu probable qu’une différence aussi importante puisse provenir de facteurs qui ne devraient jouer qu’à la marge.

Reste la formulation des questions. Car contrairement à ce qu’affirment benoîtement Yves-Marie Cann ou Guillaume Main, une question dans un sondage n’est pas un simple énoncé interrogatif neutre devant lequel chacun est libre de se prononcer à sa guise. Plusieurs observateurs ont fait remarquer que dans le cas de l’IFOP, «les réponses étaient dans la question», sur le modèle: «Vaut-il mieux être riche et bien portant que pauvre et malade?». Cette perception est le résultat d’un ensemble de détails que la comparaison permet d’isoler.

Première différence: l’IFOP choisit de présenter comme un “paquet” l’ensemble des propositions répressives, en les ordonnant des plus “consensuelles” («Le contrôle par bracelet électronique des délinquants multirécidivistes pendant plusieurs années après la fin de leurs peines»), pour finir par les plus problématiques («La condamnation à deux ans de prison pour les parents de mineurs délinquants en cas de non respect par ces derniers des injonctions de la justice»; la question sur la déchéance de la nationalité intervient en cinquième position). Un ordre qui a visiblement son importance, puisqu’on constate que le taux de réponses favorables diminue au fur et à mesure (89%, 80%, 80%, 79%, 70%, 67%, 55%).

A l’inverse, le sondage CSA isole la question sur la déchéance de la nationalité. Du coup, pas d’effet “paquet” qui conduit à banaliser les énoncés les plus durs et qui, commençant par les plus acceptables, pousse mécaniquement à approuver les suivants.

La présentation des annonces est très différente. Pour l’IFOP, «le gouvernement a annoncé différentes mesures pour lutter contre l’insécurité». Pas d’hésitation: ces mesures qui émanent du sommet de l’Etat seront forcément mises en place. Leur objectif n’est pas une basse manœuvre politicienne, mais la juste cause de la lutte contre l’insécurité. Cela fait deux critères qui limitent d’emblée la marge d’appréciation, avant même que la question soit posée. Côté CSA, en revanche, on évoque au conditionnel «la proposition de loi qui consisterait…». Pas de label gouvernemental pour légitimer l’annonce, et une simple “proposition”, dont le contenu lui-même est hypothétique. On sent bien qu’ici, l’avis du sondé a plus de valeur, qu’il peut peser dans la balance d’un débat qui n’est pas fermé.

Enfin, alors que l’IFOP ne présente qu’un énoncé sans alternative, à prendre ou à laisser, CSA fournit un choix de réponses commentées, qui apportent des informations précieuses sur l’évaluation de la proposition. Le second commentaire («car tous les Français doivent être égaux devant la loi quelle que soit leur origine») est évidemment une précision qui pèse d’un poids décisif dans la balance, car elle rappelle la règle constitutionnelle fondatrice du contrat républicain, à laquelle une part majeure de la population doit théoriquement être sensible. Dans ces conditions, c’est logiquement la deuxième proposition qui l’emporte.

De 70 à 46%: pour une même question, ces petites différences de formulation sont les facteurs qui conduisent “l’opinion” à prendre deux visages très différents – radicalement xénophobe dans le premier cas, éclairée par la raison dans le second. Comme l’explique Eric Fassin: «Définir les questions, ce n’est pas un simple préalable méthodologique; c’est aussi un enjeu politique. Car les problèmes ne se posent jamais tout seuls; ce sont toujours des acteurs politiques qui les posent, et qui tentent d’en imposer les termes.»

Le deuxième sondage n’est pas moins partial que le premier. Alors que l’IFOP – respectant la demande de son client – épouse sans discussion la vision gouvernementale, qu’il présente comme un choix fermé, l’institut CSA pose un ensemble de questions contextuelles qui amènent le sondé à réfléchir aux fondements de la politique sécuritaire, ce qui modifie son approche des questions. Il y a donc bien deux choix d’influence opposés dans chacune des deux enquêtes. Toute la question est de savoir laquelle est la plus représentative de l’état de l’opinion.

On ne peut répondre à cette interrogation qu’à partir des autres éléments d’information à notre disposition. La France est-elle majoritairement xénophobe et sécuritaire? Si tel était le cas, ce n’aurait pas été Jacques Chirac, mais Jean-Marie le Pen qui aurait été élu en 2002, et le débat sur l’identité nationale aurait dû nécessairement conduire l’UMP à remporter les élections régionales. L’approbation plébiscitaire du sondage du Figaro ne cadre pas avec les autres données connues, comme le caractère désormais secondaire de la question sécuritaire ou encore cet autre sondage réalisé par le CSA pour L’Humanité, qui donne 57% (au lieu de 70%) pour le retrait de la nationalité pour meurtre de policier et 62% (contre 79 %) pour le démantèlement des camps illégaux de Roms.

Des observateurs éclairés ont conclu au caractère délibérément clivant des annonces présidentielles. Selon Marion Desreumaux, de l’institut CSA, «les annonces de Nicolas Sarkozy sur les Roms, les gens du voyage et la déchéance de nationalité ont atteint leur but et marchent auprès de ceux à qui elles étaient destinées». On notera que même la formulation réflexive de Marianne n’empêche pas près de la moitié des sondés d’enfreindre l’égalité postulée par la loi républicaine. Comme l’a observé le CERD, le sentiment xénophobe progresse, attisé par les manipulations gouvernementales. Mais à la question: «Les Français d’origine étrangère sont-ils des Français à part entière?», le CSA enregistre une proportion de 75% de réponses favorables (70% à droite).

En interrogeant ses sondés comme des poissons rouges enfermés dans un bocal, l’IFOP a biaisé les résultats de sa propre enquête. A en juger par les réactions de l’institut, c’est en toute bonne foi. On en a désormais la démonstration: faute d’avoir su construire avec intelligence un appareil de questions adapté, sur un sujet délicat, il n’a pas réussi à produire une image correcte du jugement de l’opinion. Le sondage publié par le Figaro n’est donc vraisemblablement ni truqué, ni bidonné. Simplement, comme une photo ratée, il est bon à jeter.

Références (ordre chronologique)

• Judith Waintraub, “Sécurité: Les annonces de la majorité plébiscitées“, Le Figaro, 05/08/2010 (sondage IFOP: télécharger le pdf).
• Vincent Truffy, “Sondage sécurité: la réponse est dans la question“, Médiapart, 05/08/2010.
• Dominique Paillé, “Sécurité : le sondage Ifop publié par le Figaro apporte un sérieux démenti“, Le Mouvement populaire, 06/08/2010.
• Lina Sankari, “L’ultrasécuritaire clive la France“, L’Humanité, 06/08/2010.
• Martin Clavey, Nicolas Kayser-Bril, Martin Untersinger, “Annonces sécuritaires: Ifop a déconné“, Owni, 06/08/2010.
• Dan Israël, “Sécurité: et un étrange sondage de plus, dans Le Figaro!“, Arrêt sur images, 06/08/2010.
• Yves-Marie Cann, “Pourquoi s’en prendre au thermomètre?”, Owni, 09/08/2010.
• Guillaume Main, “Sondage IFOP/Le Figaro: un point de vue critique sur l’analyse d’Owni“, Owni, 09/08/2010.
• Eric Fassin, “Sécurité: un sondage plébiscité“, Identités politiques/Médiapart, 12/08/2010.
• Maurice Szafran, “Insécurité: 70% des Français lâchent Sarkozy“, Marianne, 13/08/2010 (sondage CSA: télécharger le pdf).

__

Billet originellement publié sur Totem, un blog de Culture Visuelle.

Illustration CC FLickR par dullhunk

[Disclaimer] Culture visuelle est un site développé par 22mars, société éditrice d’OWNI.