Appréhender la qualité : penser à collecter des informations auxiliaires

Les erreurs de sondage se mesurent à l’aide d’indicateurs de variance. Ces derniers peuvent parfois se calculer de manière analytique ou bien, lorsque le plan de sondage est complexe, par des techniques de réplication telles que le jacknife ou le bootstrap. Cette démarche nécessite d’avoir des informations détaillées sur le plan de sondage.

Calcul des taux de réponse

Les taux de non-réponse doivent être calculés en tenant compte des raisons de la non-réponse (non-contact, refus, interview impossible, etc.) et/ou par groupe de population. Leur calcul nécessite de disposer d’informations à la fois pour les répondant-e-s et les non-répondant-e-s, qui proviennent par exemple de la base de sondage ou du processus de collecte (rang du contact, etc.). Il existe des recommandations internationales et à ce sujet (voir le site de l’American Association for Public Opinion Research, AAPOR). 

Cohérence des données et des paradonnées

Pour les erreurs de mesure, plusieurs possibilités existent. Les «retours terrain» des enquêteur-trice-s permettent de porter une appréciation sur la qualité des données: les questions qui «passent» bien auprès des enquêté-e-s, celles qui ont soulevé des difficultés. Dans une optique quantitative, on peut étudier la cohérence interne des données, les comparer avec des données externes, étudier les «effets enquêteur-trice» en croisant les caractéristiques de ces derniers avec les données collectées, etc. Il est donc très utile de collecter des informations de contexte ou paradonnées (rang de contact, heure et jour de visite etc.)

Quand cela est possible, on peut tirer parti des outils technologiques à disposition. Par exemple, une collecte par ordinateur (CAPI) peut permettre de saisir le temps mis pour répondre à certaines questions difficiles: ce sont par la suite des variables permettant d’analyser la qualité des réponses fournies.

Influence des enquêteur-trice-s

Enfin, pour l’étude des effets enquêteur-trice, il est indispensable de recueillir des informations les concernant, a minima leur sexe, leur âge, leur niveau de formation et d’expérience en matière d’enquête. L’identifiant de l’enquêteur-trice (anonymisé) ayant réalisé chaque interview doit aussi être enregistré. Les effets enquêteur-trice sont inévitables mais de trop grandes variations ou les cas atypiques sont généralement indésirables. Ces données peuvent ainsi être utilisées pour repérer des interviews particulières, les corriger ou les éliminer, ou bien étudiées pour formuler des recommandations pour les enquêtes futures.

La qualité d’une enquête

La qualité d’une enquête se détermine donc à chaque étape de sa conception et de sa réalisation, voire jusqu’à sa phase d’analyse. Il n’existe pas de critères absolument définis pour en juger. Une enquête peut être de qualité sur certains aspects méthodologiques, thématiques de questionnement (jusqu’à leur analyse et interprétation) et pécher par d’autres. Mais la documentation transparente des différentes étapes doit permettre de s’en faire une opinion la plus juste possible.

Le terme «représentative» est souvent utilisé pour qualifier les enquêtes. Habituellement, la représentativité désigne la propriété que possèderait un échantillon s’il était une «bonne» photographie de la population qu’il est censé reproduire en miniature. Cela veut dire que l’on peut avec confiance extrapoler les résultats observés à la totalité de la population dont est issu l’échantillon (éventuellement après redressement des données). Là encore, la prudence s’impose et les critères de représentativité, nécessaires, ne sont souvent pas suffisants et il est abusif d’affirmer qu’un échantillon est absolument représentatif.