Modélisation de la réponse au hasard dans les questionnaires à choix multiples : une approche par modèles de réponses aux items polytomiques

Lorsque l’on doit évaluer les résultats d’un test à l’aide de questions à choix multiples (QCM), le traitement des réponses au hasard (« guessing ») est un enjeu crucial pour une évaluation fiable et non biaisée de la compétence testée. Divers mécanismes (comme l’application d’une correction pour le guessing) ont été proposées mais ne sont pas exemptes de problèmes méthodologiques. Une approche par modèles de réponses aux items (MRI) est aussi souvent considérée, mais revient à résumer les réponses des QCM en « vrai/faux » et appliquer des modèles dichotomiques (comme le modèle logistique à trois paramètres). Le but de cette présentation est double : (a) mettre en évidence les faiblesses d’une telle approche dichotomique, et (b) présenter une modification d’un modèle de réponses aux items polytomiques qui prend en compte le possible « guessing » des participants. Cette approche a l’avantage de modéliser chaque réponse possible (y compris les distracteurs) tout en autorisant une réponse au hasard pour les participants de compétence plus faibles. Une comparaison des approches dichotomique et polytomique est réalisée au moyen de données simulées selon un modèle de réponse au hasard plausible. Les avantages et inconvénients de l’approche polytomique, tant du point de vue technique que pédagogique, sont discutés.