The Effect of the Correction of Self-Assessment-Based Chance Success on Psychometric Characteristics of The Test

Abstract

This study examines the effect of self-assessment-based chance success on psychometric characteristics of the test. First, the data was cleared of chance success by means of correction-for-guessing formula and self-assessment, and then statistical analyses were conducted. Item discriminations showed an increase when the correction-for-guessing formula was used; and when self-assessment was used, they showed variability. Test validity increased when correction formula was used; and when self-assessment was used, a slight decrease was observed. Besides, this study examined the effect of correction for chance success upon corrected self-assessment based on IRT guessing parameter. It was observed that the data that were not corrected in accordance with chance scores had higher guessing parameters than those corrected in accordance with self-assessment. In addition, it was evident that the difference between the guessing parameters of the uncorrected data and the data cleared of chance scores by means of self-assessment was significant. It was also revealed that the correction of self-assessment-based chance success have an advantage over classical correction for guessing formula on psychometric characteristics of the test.

Bu çalışmada öz değerlendirmeye dayalı şans başarısı düzeltmenin testin psikometrik özelliklerine etkisi incelenmiştir. Veriler öncelikle, düzeltme formülü ve öz değerlendirmeden yararlanarak şans başarısından arındırılmış ve bazı istatistikler incelenmiştir. Madde ayırıcılık gücü indeksleri şans başarısından arıtmada düzeltme formülü kullanıldığında artış göstermiş, öz değerlendirmeden yararlanıldığında ise değişkenlik göstermiştir. Testin geçerliği şans başarısından arıtmada düzeltme formülü kullanıldığında artış göstermiş, öz değerlendirmeden yararlanıldığında ise düşmüştür. Çalışmada ayrıca öz değerlendirmeye dayalı şans başarısı düzeltmenin MTK’ya dayalı tahminparametresine etkisi incelenmiştir. Hem Türkçe hem Matematik testleri için şans başarısına göre düzeltilmeyen verilerin, öz değerlendirmeye göre düzeltilen verilerden daha yüksek tahmin parametrelerine sahip olduğu gözlenmiştir. Ayrıca düzeltme yapılmayanverilere ait tahmin parametreleri ile öz değerlendirmeye dayalı olarak şans başarısından arıtılan verilere ait tahmin parametreleri arasındaki farkın anlamlı olduğu sonucuna ulaşılmıştır. Çalışmada öz değerlendirmeye göre şans başarısı düzeltmenin, geleneksel yönteme göre testin bazı psikometrik özellikleri üzerinde daha avantajlı olduğu gözlenmiştir.