A note on weighted likelihood and Jeffreys modal estimation of proficiency levels in polytomous item response models

in Psychometrika (in press)

Warm (1989) established the equivalence between the so-called Jeffreys modal and the weighted likelihood estimators of proficiency level with some dichotomous item response models. The purpose of this ... [more ▼]

Warm (1989) established the equivalence between the so-called Jeffreys modal and the weighted likelihood estimators of proficiency level with some dichotomous item response models. The purpose of this note is to extend this result to polytomous item response models. First, a general condition is derived to ensure the perfect equivalence between these two estimators. Second, it is shown that this condition is fulfilled by two broad classes of polytomous models including, among others, the partial credit, rating scale, graded response and nominal response models. [less ▲]

The effect of melody and technique on the singing voice accuracy of trained singers

in Logopedics, Phoniatrics, Vocology (in press)

A previous study highlighted the effect of vocal technique on the singing voice accuracy of trained singers (1). The intervals' precision between the notes of the tune was altered when the singers used ... [more ▼]

A previous study highlighted the effect of vocal technique on the singing voice accuracy of trained singers (1). The intervals' precision between the notes of the tune was altered when the singers used Western operatic singing technique. In order to better understand these results, we have recorded two different melodies sung with two different vocal techniques. A large panel of trained singers (N = 50) participated in the study. The analytical method described in the reference paper (1) has been applied. The results confirm the effect of vocal technique on the vocal accuracy of trained singers. In addition, these results provide an answer about the melodic effect and guide future work on the perception process of operatic voices. [less ▲]

Estimation des paramètres d’item et de sujet à partir du modèle de Rasch : une étude comparative des logiciels BILOG-MG, ICL et R

in Mesure et Evaluation en Education [=MEE] (in press)

La théorie de la réponse aux items (TRI) est une classe de modèles de mesure très utilisée en éducation. À ce jour, de nombreux logiciels, tel BILOG-MG, sont disponibles afin de procéder à l'estimation ... [more ▼]

La théorie de la réponse aux items (TRI) est une classe de modèles de mesure très utilisée en éducation. À ce jour, de nombreux logiciels, tel BILOG-MG, sont disponibles afin de procéder à l'estimation des paramètres d'item et de sujet. Parmi ces logiciels, il ne faut pas négliger ICL et R, qui sont gratuits et qui peuvent permettre de produire des analyses diversifiées. Cette étude a pour objectif de comparer la qualité d’estimation des paramètres selon une des modélisations issues de la TRI : le modèle de Rasch. Pour ce faire, nous comparons les estimateurs du paramètre de difficulté et de sujet selon trois logiciels : BILOG-MG, ICL et la librairie ltm disponible dans le logiciel R. Nous procédons à une analyse par simulation informatique et, dans un second temps, nous analysons un test de classement en anglais, langue seconde. Les résultats démontrent que les logiciels étudiés permettent d’obtenir des estimateurs des paramètres similaires, la différence principale entre ces logiciels étant leur temps d’exécution des procédures d’estimation. [less ▲]

A small overview of available computer software to support computerized adaptive testing

Conference (2013, August 27)

Computerized adaptive testing (CAT) is becoming a central tool for testing and assessment. It offers many advantages over fixed (“paper-and-pencil”) methods, such as individualized assessment, reduction ... [more ▼]

Computerized adaptive testing (CAT) is becoming a central tool for testing and assessment. It offers many advantages over fixed (“paper-and-pencil”) methods, such as individualized assessment, reduction of fraud, and straightforward estimation of proficiency levels. CAT has been studied for decades and remains an up-to-date research field in psychometrics and educational science. Practical CAT administration, however, is less frequently considered in such studies. Assigning CAT to respondents requires both the sufficient availability of computer machines, and the use of a powerful and easy-to-use CAT software. With the fast increase of computer resources at moderate cost, the availability of computer machines is becoming a less central, yet important, issue in the practical assessment of CAT tests. The choice of an accurate CAT software, on the other hand, should be guided by its flexibility, its underlying statistical modeling, and its user-friendly potential. According to the type of research or data analysis, some CAT software might be preferred to another. It is therefore important for the researcher or the clinician to know about the current availability of such software, in line with current research and practice in the CAT framework. Moreover, these software should allow enough flexibility to incorporate updates and new theoretical developments, such as e.g., new rules for next item selection. This talk proposes a simple and user-oriented presentation of several CAT software that are currently available. The software to be presented are: the Firestar software (Choi, 2009), the R package catR (Magis & Raîche, 2012), the R package catIrt (Nydick, 2012) and the CAT web-platform Concerto (Kosinski & Rust, 2011). The first three are non-commercial software, while Concerto is a web interface between end users (willing to develop computerized assessment tests) and catR (as underlying routine software). Both R packages are written to be most useful for researchers, without end-user interface, and are therefore less appealing for applied researchers who are not familiar with R. Yet, they offer flexible solutions by means of many options to optimize the design of the test and generate many response patterns for further analyses. Also, they can be easily integrated as sub-routines for more sophisticated CAT software. Firestar provides a user interface and makes all necessary computations with underlying R code. This talk aims at focusing on freely available CAT software. For this reason, only the four aforementioned programs will be presented, although it exists other, commercial CAT software such as e.g., the CATSim software (Assessment Systems Corporation, 2012). The different CAT software are briefly presented and their advantages and drawbacks, flexibility and usefulness are compared, mostly from the point of view of the applied researcher and clinician. The following criteria were retained for objective comparison: (a) their main goal of application; (b) the type of data and IRT modeling they can deal with; (c) the type of users they are focusing on; (d) their operating options; (e) their availability and flexibility for further improvements. A small demonstration of the R package catR will be proposed optionally, depending on time limitation. References Assessment Systems Corporation (2012). CATSim: Comprehensive simulation of computerized adaptive testing. St. Paul, MN. URL: http://www.assess.com/. Choi , S. W. (2009). Firestar: Computerized adaptive testing simulation program for polytomous item response theory models. Applied Psychological Measurement, 33, 644-645. Kosinski, M., & Rust, J. (2011). The development of Concerto: An open source online adaptive testing platform. Paper presented at the International Association for Computerized and Adaptive Testing (IACAT), Pacific Grove, CA. Magis, D., & Raîche, G. (2012). Random generation of response patterns under computerized adaptive testing with the R package catR. Journal of Statistical Software, 48, 1-31. Nydick, S. W. (2012). catIrt: An R package for simulating IRT-based computerized adaptive tests. R package version 0.3-0. [less ▲]

Proposition de nouveaux indices de détection de patrons de réponses inappropriés dans le contexte des enquêtes et des épreuves d’évaluation des apprentissages

Conference (2013, June 07)

Il n’est pas rare de voir des étudiants répondre de façon inappropriée à une épreuve d’évaluation comportant des items à réponses choisies. Par exemple, certains individus peuvent tricher alors que ... [more ▼]

Il n’est pas rare de voir des étudiants répondre de façon inappropriée à une épreuve d’évaluation comportant des items à réponses choisies. Par exemple, certains individus peuvent tricher alors que d’autres peuvent tenter de se sous-classer intentionnellement à un examen. Plusieurs approches ont été développées pour faire la détection de ce type d’étudiants. À ce jour, l’approche la plus prometteuse est l’utilisation d’indice de détection de type person‐fit (Meijer et Sijtsma, 2001). L’indice de détection lz (Drasgow, Levine et Williams, 1985) est fort probablement le plus utilisé et le plus connu d’entre tous. Malheureusement, cet indice est fortement affecté par le fait que l’habileté des étudiants est estimée et non pas réelle ; ce qui peut biaiser son calcul (Molenaar et Hoijtink, 1990). Pour pallier ce problème, Snijders (2001) a proposé une correction qui permet de diminuer considérablement le biais associé à la moyenne et à la variance de l’indice lz. Dans le cadre de notre projet doctoral, nous nous inspirerons de la suggestion de Snijders (2001) pour corriger deux autres indices de détection de patrons de réponses inappropriés : l’infit mean square (u) et l’outfit mean square (w). À cette fin, nous utiliserons une approche monte carliste afin d’investiguer plus en détails l’erreur de type 1 et la puissance de ces autres indices. Nos résultats préliminaires, que nous présenterons lors de cette communication, montrent que ces autres indices corrigés semblent eux aussi plus efficaces que leur version traditionnelle sans correction. [less ▲]

Modèles polytomiques issus de la théorie de la réponse à l’item

Conference (2013, May 06)

Les items qui composent les échelles de mesure en éducation et en sciences humaines sont fréquemment associées à plus de deux choix de réponses. Il s'agit alors d'items à réponses polytomiques. Plusieurs ... [more ▼]

Les items qui composent les échelles de mesure en éducation et en sciences humaines sont fréquemment associées à plus de deux choix de réponses. Il s'agit alors d'items à réponses polytomiques. Plusieurs modélisations issues de la théorie de la réponse à l'item ont été proposées pour calibrer de telles échelles de mesures. Lorsque les choix de réponses ne sont pas ordonnés, les modèles à réponses nominales peuvent être utilisés. Lorsque ces choix sont ordonnés, les modèles gradués, à crédit partiel ou à appréciation peuvent être appliqués. Cette communication a pour objectif de présenter ces différentes modélisations et d'identifier des solutions logicielles pour effectuer la calibration. La présentation sera effectuée à l'aide d'un exemple auquel les différentes modélisations seront appliquées. Il sera ainsi possible de comparer les paramètres d'items et de personnes obtenus à l'aide de chacune des modélisations retenues. [less ▲]

Random generation of dichotomous CAT response patterns with the R package catR

Conference (2013, February 14)

The purpose of this talk is to briefly introduce the R package catR that permits random generation of response patterns under a computerized adaptive testing (CAT) framework. First, an outline of the CAT ... [more ▼]

The purpose of this talk is to briefly introduce the R package catR that permits random generation of response patterns under a computerized adaptive testing (CAT) framework. First, an outline of the CAT is proposed, with emphasis on the main concepts (item bank, ability estimation, next item selection, stopping rule, item exposure and content balancing). Then, the performance of the catR package is described by making connections between the general CAT framework and the functionalities of the R functions within catR. An example will be displayed, either as a “live” demonstration of catR or as part of the talk. Potential extensions of catR will also be discussed. The catR package was jointly developed by Gilles Raîche (Université du Québec à Montréal, Canada). [less ▲]

On the asymptotic standard error of a class of robust estimators of ability in dichotomous item response models

Report (2013)

In item response theory, the classical estimators of ability are highly sensitive to response disturbances and can return strongly biased estimates of the true underlying ability level. Robust methods ... [more ▼]

In item response theory, the classical estimators of ability are highly sensitive to response disturbances and can return strongly biased estimates of the true underlying ability level. Robust methods were introduced to lessen the impact of such aberrant responses onto the estimation process. The computation of asymptotic (i.e., large sample) standard errors (ASE) for these robust estimators, however, has not been fully considered yet. This paper focuses on a broad class of robust ability estimators, defined by an appropriate selection of the weight function and the residual measure, for which the ASE is derived from the theory of estimating equations. The maximum likelihood (ML) and the robust estimators, together with their estimated ASE, are then compared through a simulation study. It is concluded that both the estimators and their ASE perform similarly in absence of response disturbances, while the robust estimator and its estimated ASE are less biased and outperform their ML counterparts in presence of response disturbances with large impact on the item response process. [less ▲]

Évaluation d’un test de lecture en anglais par deux méthodes de détection du fonctionnement différentiel d’items

in Revue des Sciences de l'Education (2013), 37

Cette étude vise à examiner la présence de fonctionnement différentiel d’items selon le sexe des répondants dans un test de compréhension en lecture en anglais administré à 171 universitaires francophones ... [more ▼]

Cette étude vise à examiner la présence de fonctionnement différentiel d’items selon le sexe des répondants dans un test de compréhension en lecture en anglais administré à 171 universitaires francophones. Deux méthodes non paramétriques sont utilisées: le test Mantel-Haenszel et le modèle de régression logistique. Sur un total de 64 items, deux présentent un fonctionnement différentiel selon le test Mantel-Haenszel, alors que cinq items supplémentaires ressortent par la régression logistique. Ce faible nombre d’items suggère une bonne équité du test, mais les différences observées soulignent la nécessité d’analyses additionnelles pour clarifier le statut de ces items. [less ▲]

Non-graphical solutions to Cattell's scree test

in Methodology: European Journal of Research Methods for the Behavioral and Social Sciences (2013), 9

Most of the strategies that have been proposed to determine the number of components that account for the most variation in a principal components analysis of a correlation matrix rely on the analysis of ... [more ▼]

Most of the strategies that have been proposed to determine the number of components that account for the most variation in a principal components analysis of a correlation matrix rely on the analysis of the eigenvalues and on numerical solutions. The Cattell’s scree test is a graphical strategy with a nonnumerical solution to determine the number of components to retain. Like Kaiser’s rule, this test is one of the most frequently used strategies for determining the number of components to retain. However, the graphical nature of the scree test does not definitively establish the number of components to retain. To circumvent this issue, some numerical solutions are proposed, one in the spirit of Cattell’s work and dealing with the scree part of the eigenvalues plot, and one focusing on the elbow part of this plot. A simulation study compares the efficiency of these solutions to those of other previously proposed methods. Extensions to factor analysis are possible and may be particularly useful with many low-dimensional components. [less ▲]