References of "Raîche, Gilles"
     in
Bookmark and Share    
Full Text
Peer Reviewed
See detailA didactic presentation of Snijders’ lz* index of person fit with emphasis on response model selection and ability estimation
Magis, David ULg; Raîche, Gilles; Béland, Sébastien

in Journal of Educational & Behavioral Statistics (2012), 37

This paper focuses on two likelihood-based indices of person fit, the index lz (Drasgow, Levine & Williams, 1985) and the Snijders’ modified index lz* (Snijders, 2001). The first one is commonly used in ... [more ▼]

This paper focuses on two likelihood-based indices of person fit, the index lz (Drasgow, Levine & Williams, 1985) and the Snijders’ modified index lz* (Snijders, 2001). The first one is commonly used in practical assessment of person fit, although its asymptotic standard normal distribution is not valid when true abilities are replaced by sample ability estimates. The lz* index is a generalization of lz which corrects for this sampling variability. Surprisingly, it is not yet popular in the psychometric and educational assessment community. Moreover, there is some ambiguity about which type of item response model and ability estimation method can be used to compute the lz* index. The purpose of this paper is to present the index lz* in a simple and didactic approach. Starting from the relationship between lz and lz*, we develop the framework according to the type of logistic IRT model and the likelihood-based estimators of ability. The practical calculation of lz* is illustrated by analyzing a real data set about language skill assessment. [less ▲]

Detailed reference viewed: 55 (6 ULg)
Full Text
Peer Reviewed
See detailOn the relationships between Jeffreys modal and weighted likelihood estimation of ability under logistic IRT models
Magis, David ULg; Raîche, Gilles

in Psychometrika (2012), 77

This paper focuses on two estimators of ability with logistic item response theory models: the Bayesian modal (BM) estimator and the weighted likelihood (WL) estimator. For the BM estimator, Jeffreys’ ... [more ▼]

This paper focuses on two estimators of ability with logistic item response theory models: the Bayesian modal (BM) estimator and the weighted likelihood (WL) estimator. For the BM estimator, Jeffreys’ prior distribution is considered, and the corresponding estimator is referred to as the Jeffreys modal (JM) estimator. It is established that under the three-parameter logistic model, the JM estimator returns larger estimates than the WL estimator. Several implications of this result are outlined. [less ▲]

Detailed reference viewed: 32 (4 ULg)
Full Text
See detailA modified item response model to detect and correct for cheating
Magis, David ULg; Raîche, Gilles

Conference (2011, October 13)

This talk focuses on the identification of respondents with cheating behaviour to educational or psychometric tests. Cheating behaviour is often observed when some examinee with low ability level, tries ... [more ▼]

This talk focuses on the identification of respondents with cheating behaviour to educational or psychometric tests. Cheating behaviour is often observed when some examinee with low ability level, tries to get correct responses (in some way or another) to get higher grades. This results usually in a response pattern that does not fit the underlying item response theory (IRT) model and severely affects the estimation of ability level. Until now, several indices of misfit have been proposed, and they seem accurate for detecting cheating (as well as other misfitting behaviours). Unfortunately, none of these indexes permit: (a) to determine which type of behaviour is encountered, and (b) to propose a corrected estimation of the examinee’s ability level. The purpose of this talk is to present Raîche’s multidimensional model as an extension of the usual IRT models but incorporating additional person parameters to characterize misfitting behaviour. Emphasis is put on a simple model with personal pseudo-guessing variation to detect trends in cheating. Results from a simulation study indicate that, in the absence of cheating, the multidimensional model returns similar estimates than the traditional IRT models, while in the presence of cheating, the person pseudo-guessing parameter is an accurate index of misfit and the person ability estimates are less biased than its traditional counterpart. [less ▲]

Detailed reference viewed: 81 (2 ULg)
Full Text
See detailA Bayesian person fit evaluation for polytomous response data
Béland, Sébastien; Hoijtink, Herbert; Raîche, Gilles et al

Conference (2011, July 19)

Studies about Person-fit are generally produced under a frequentist approach. For example, Meijer & Sijtsma (2001) discussed many parametric and non-parametric indexes in their review on this topic ... [more ▼]

Studies about Person-fit are generally produced under a frequentist approach. For example, Meijer & Sijtsma (2001) discussed many parametric and non-parametric indexes in their review on this topic. However, it exists also few papers about the investigation of person-fit in a Bayesian context (e.g. Glas & Meijer, 2003; Van Der Linden & Guo, 2008). In this talk, we present a new method based on the evaluation of informative hypotheses using the Bayes factor. This approach is non-parametric in nature and can be applied to a large variety of situations and many types of data. Here, we focus on the use of Bayesian person-fit methods that can be used with polytomous response data. This presentation is divided in two sections. First, we present the technical aspects of this approach by discussing some hypotheses of interest, the nature of the prior and the nature of the posterior. Second, we present results from a real data matrix. The first analysis shows that Bayesian person-fit evaluation is efficient and can be easily applied to small data matrices. [less ▲]

Detailed reference viewed: 34 (2 ULg)
See detailApplication de l’indice Lz pour l’élimination de données de recherche en langues
Pichette, François; Béland, Sébastien; Raîche, Gilles et al

Conference (2011, May 10)

L’indice de détection de patrons de réponses inappropriés Lz (Drasgow, Levine et Williams, 1985) a été appliqué à un test d’habileté en lecture en langue seconde de 64 items (Pichette, 2008) mené auprès ... [more ▼]

L’indice de détection de patrons de réponses inappropriés Lz (Drasgow, Levine et Williams, 1985) a été appliqué à un test d’habileté en lecture en langue seconde de 64 items (Pichette, 2008) mené auprès de 171 étudiants universitaires. L’objectif principal de cette recherche est d’exclure les participants au profil de réponses aberrant. Des coefficients de validité et de fiabilité sont comparés entre les données éliminées sur la base de l’intuition des chercheurs et les éliminations suggérées par l’indice Lz. Cette approche permet de détecter des participants additionnels dont le patron de réponses est non représentatif de l’habileté qu’on désire mesurer. [less ▲]

Detailed reference viewed: 13 (1 ULg)
See detailEtude comparative de l'indice Lz dans le cadre de données dichotomique et de données polytomique
Béland, Sébastien; Raîche, Gilles; Magis, David ULg et al

Conference (2011, May 10)

L’indice de détection de patrons de réponses inappropriés Lz (Drasgow, Levine et Williams, 1985) est fort probablement l’indice le plus connu et le plus utilisé par les patriciens et les chercheurs en ... [more ▼]

L’indice de détection de patrons de réponses inappropriés Lz (Drasgow, Levine et Williams, 1985) est fort probablement l’indice le plus connu et le plus utilisé par les patriciens et les chercheurs en mesure. Ainsi, on a surtout étudié le comportement de Lz lorsqu’il est utilisé avec des données dichotomique mais il est aussi possible de l’analyser avec des données polytomique. Dans le cadre de cette recherche, nous proposons de comparer les résultats des indices Lz dichotomique et Lz polytomique. Pour ce faire, (i) nous utiliserons l’indice Kappa de Cohen pour comparer si les patrons de réponses détectés entre les deux versions de l’indice sont les mêmes et (ii) nous étudierons leur distribution respectives. [less ▲]

Detailed reference viewed: 13 (1 ULg)
Full Text
See detailRecent R packages in psychometrics
Béland, Sébastien; Raîche, Gilles; Magis, David ULg

Scientific conference (2011, April 06)

Detailed reference viewed: 10 (2 ULg)
Full Text
Peer Reviewed
See detailPrincipes méthodologiques et techniques des enquêtes internationales
Lafontaine, Dominique ULg; Raîche, Gilles

in Mesure et Evaluation en Education [=MEE] (2011), 34(2), 25-55

Detailed reference viewed: 69 (9 ULg)
See detailUne solution numérique au test de Cattell pour déterminer le nombre de composantes principales à retenir
Raîche, Gilles; Magis, David ULg; Walls, Theodore et al

in Raîche, Gilles; Paquette-Côté, Karine; Magis, David (Eds.) Des mécanismes pour assurer la validité de l’interprétation de la mesure en éducation. Tome 1 : la mesure. (2011)

Detailed reference viewed: 29 (3 ULg)
Full Text
Peer Reviewed
See detailA generalized logistic regression procedure to detect differential item functioning among multiple groups
Magis, David ULg; Raîche, Gilles; Béland, Sébastien et al

in International Journal of Testing (2011), 11

We present an extension of the logistic regression procedure to identify dichotomous differential item functioning (DIF) in the presence of more than two groups of respondents. Starting from the usual ... [more ▼]

We present an extension of the logistic regression procedure to identify dichotomous differential item functioning (DIF) in the presence of more than two groups of respondents. Starting from the usual framework of a single focal group, we propose a general approach to estimate the item response functions in each group and to test for the presence of uniform DIF, non uniform DIF, or both. This generalized procedure is compared to other existing DIF methods for multiple groups with a real data set on language skill assessment. Emphasis is put on the flexibility, completeness and computational easiness of the generalized method. [less ▲]

Detailed reference viewed: 37 (2 ULg)
Full Text
Peer Reviewed
See detailcatR: an R package for computerized adaptive testing
Magis, David ULg; Raîche, Gilles

in Applied Psychological Measurement (2011), 35

Computerized adaptive testing (CAT) is an active current research field in psychometrics and educational measurement. However, there is very little software available to handle such adaptive tasks. The R ... [more ▼]

Computerized adaptive testing (CAT) is an active current research field in psychometrics and educational measurement. However, there is very little software available to handle such adaptive tasks. The R package catR was developed to perform adaptive testing with as much flexibility as possible, in an attempt to provide a developmental and testing platform to the interested user. Several item-selection rules and ability estimators are implemented. The item bank can be provided by the user or randomly generated from parent distributions of item parameters. Three stopping rules are available. The output can be graphically displayed. [less ▲]

Detailed reference viewed: 46 (8 ULg)
See detailDes mécanismes pour assurer la validité de l’interprétation de la mesure en éducation. Tome 2: l'évaluation.
Raîche, Gilles; Paquette-Côté, Karine; Magis, David ULg

Book published by Presses de l'Université du Québec (2011)

Detailed reference viewed: 16 (4 ULg)
See detailDes mécanismes pour assurer la validité de l’interprétation de la mesure en éducation. Tome 1 : la mesure.
Raîche, Gilles; Paquette-Côté, Karine; Magis, David ULg

Book published by Presses de l'Université du Québec (2011)

Detailed reference viewed: 14 (3 ULg)
See detailComparaison empirique des méthodes classiques de détection du fonctionnement différentiel d’items en psychométrie
Magis, David ULg; De Boeck, Paul; Raîche, Gilles

in Raîche, Gilles; Paquette-Côté, Karine; Magis, David (Eds.) Des mécanismes pour assurer la validité de l’interprétation de la mesure en éducation. Tome 1 : la mesure. (2011)

Detailed reference viewed: 29 (15 ULg)
See detailPour assurer la validité de l'interprétation de la mesure en éducation: aspects pratiques
Magis, David ULg; Raîche, Gilles; Paquette-Côté, Karine

in Raîche, Gilles; Paquette-Côté, Karine; Magis, David (Eds.) Des mécanismes pour assurer la validité de l'interprétation de la mesure en éducation. Tome 2: l'évaluation. (2011)

Detailed reference viewed: 21 (11 ULg)
See detailÉtude du fonctionnement différentiel d'item dans le cadre du test de classement en anglais-langue seconde (TCALS-II)
Béland, Sébastien; Magis, David ULg; Raîche, Gilles

in Blais, Jean-Guy; Gilles, Jean-Luc (Eds.) Evaluation des apprentissages et technologies de l'information et de la communication : Le futur est à notre porte (2011)

Detailed reference viewed: 22 (0 ULg)
See detailConditions d'efficacité de la détection des patrons de réponses inappropriés lors de l'administration d'épreuves adaptatives
Raîche, Gilles; Magis, David ULg; Béland, Sébastien et al

in Blais, Jean-Guy; Gilles, Jean-Luc (Eds.) Evaluation des apprentissages et technologies de l'information et de la communication : Le futur est à notre porte (2011)

Detailed reference viewed: 6 (0 ULg)
Full Text
Peer Reviewed
See detailA test-length correction to the estimation of extreme proficiency levels
Magis, David ULg; Béland, Sébastien; Raîche, Gilles

in Applied Psychological Measurement (2011), 35

In this paper, the estimation of extremely large or extremely small proficiency levels, given the item parameters of a logistic item response model, is investigated. On the one hand, the estimation of ... [more ▼]

In this paper, the estimation of extremely large or extremely small proficiency levels, given the item parameters of a logistic item response model, is investigated. On the one hand, the estimation of proficiency levels by maximum likelihood (ML), despite being asymptotically unbiased, may yield infinite estimates. On the other hand, with an appropriate prior distribution, the Bayesian approach of maximum a posteriori (MAP) yields finite estimates, but it suffers from severe estimation bias at the extremes of the proficiency scale. In a first step, we propose a simple correction to the MAP estimator in order to reduce this estimation bias. The correction factor is determined through a simulation study and depends only on the length of the test. In a second step, some additional simulations highlight that the corrected estimator behaves like the ML estimator and outperforms the standard MAP method for extremely small or extremely large abilities. Although based on the Rasch model, the method could be adapted to other logistic item response models. [less ▲]

Detailed reference viewed: 17 (4 ULg)
See detailLa correction d'indices de détection de patrons de réponses inappropriés paramétriques: une étude de type Monte Carlo
Béland, Sébastien; Raîche, Gilles; Magis, David ULg

Conference (2010, November)

L’une des conditions à respecter afin d’interpréter adéquatement les scores obtenus à un test est de s'assurer que les sujets ont répondu selon leur habileté réelle. Or, il se peut que certains individus ... [more ▼]

L’une des conditions à respecter afin d’interpréter adéquatement les scores obtenus à un test est de s'assurer que les sujets ont répondu selon leur habileté réelle. Or, il se peut que certains individus tentent de se surclasser en trichant ou de se sous-classer intentionnellement. Par chance, de nombreuses méthodes ont été développées pour détecter les individus qui adoptent de telles stratégies. Dans le cadre de cette présentation, nous nous intéresserons plus particulièrement aux indices de détection de patrons de réponses inappropriés. L’utilisation des indices de détection paramétriques comporte de nombreuses limites (Meijer et Sijtsma, 2001). Par exemple, nous savons que plusieurs indices ne peuvent pas être interprétés à partir des quantiles d’une loi de distribution connue. De plus, il est connu que l’utilisation d’une estimation de l’habileté peut grandement affecter la distribution connue de certains indices. Afin de dépasser les problèmes précédents, Snijders (2001) a développé une approche permettant de corriger les indices de détection de patrons de réponses inappropriés lorsqu'une estimation de l’habileté est considérée. Les indices ainsi corrigés suivent asymptotiquement une loi normale standard, ce qui permet la définition de seuils de détection de patrons inappropriés. Nous présenterons comment cette correction permet d'améliorer l'identification des patrons de réponses problématiques, notamment grâce à une diminution de l'écart entre l’erreur de type I empirique et le niveau de signification nominal. Une approche par simulation de données de type Monte Carlo sera présentée, et différents estimateurs de l'habileté (maximum de vraisemblance, maximum de vraisemblance a posteriori, maximum de vraisemblance pondérée) seront utilisés. [less ▲]

Detailed reference viewed: 23 (1 ULg)
See detailDes modèles psychométriques pour corriger les résultats dans des enquêtes malgré les tentatives de fraude
Raîche, Gilles; Béland, Sébastien; Magis, David ULg

Conference (2010, November)

Dans le contextes des enquêtes, il arrive fréquemment que les répondants ne fournissent pas nécessairement des réponses appropriées. C'est le cas notamment en ce qui a trait aux cas de fraudes dans les ... [more ▼]

Dans le contextes des enquêtes, il arrive fréquemment que les répondants ne fournissent pas nécessairement des réponses appropriées. C'est le cas notamment en ce qui a trait aux cas de fraudes dans les épreuves d'évaluation des habiletés disciplinaires. À cette fin, des modèles psychométriques ont été proposés pour corriger le résultat d'un étudiant malgré ses tentatives de fraudes. Ces modèles reposent toutefois uniquement sur des réponses de type dichotomique ou seulement une bonne ou une mauvaise réponse est considérée. Ces comportements de fraude sont également présents à l'intérieur des enquêtes d'opinion qui s'intéressent aux perceptions des répondants. La plupart du temps les réponses à ces enquêtes présentent plus d'un choix de réponses et sont alors dits polytomiques. Récemment, de nouvelles modélisations appropriées pour ce type de réponses ont été proposées. Elles seront présentées et accompagnées d'exemples d'application. [less ▲]

Detailed reference viewed: 15 (2 ULg)