美國:出題100萬,測量學100萬
一、題目難度與區分度估計
1.1題目質量評價概述
@題目質量中的問題:
*計分方式在設計上有問題(0、3,或0123)
*選擇題選項分布
*題目賦分或加權方式不當
*分數合成方式不當
*題目貢獻度太小(要么都會、要么都不會)
*題目難度的分布有缺陷
*數據有缺陷
1.2題目作答反應分析
1.2.1 客觀題的CTT分析:隨不通能力學生段,選項選擇的分布變化。
中等水平的學生(平均分)正答率要高于50%,TOP10%學生正答率最高——好題。
高水平正答率高,低水平正答率低
圖片發自簡書App
好題目的選項分布特點(選項分布分析):
1.2.2 主觀題的CTT分析
0-5,信度0、0.5、1、1.5...
1.3題目參數估計方法
1.3.1經典測量理論
——題目區分度
CTT:
IRT
——題目難度()
1.3.2 客觀題的IRT分析
題目反應理論模型
a斜率:區分度,b:難度,c:猜測度
考試目的不同,選擇題目不同
圖片發自簡書App
二、信度估計與效度證據收集
2.1信度效度的概念
圖片發自簡書App
①信度一致,效度不好(偏離-系統誤差造成)
④信度和效度都好
控制好系統誤差和隨機誤差
案例:重大考試的測量信度調查——張厚粲、鄭日昌《教育研究》1985
試卷題目作答反應分析——好試卷的題目反應類型(天花板定多高,地板定多低)
2.2測量信度的估計(0.8以上)
計算(spss錯,有前提條件)
2.2.1信度估計案例:alpha系數
2.2.2 信度估計案例:重測信度(前測、后測)
2.3效度證據的收集
————結構效度的因素分析證據案例(要考哪些知識,是否真的有這些東西)
eg.實證效度舉例:WISC-IV(GT/MR)
2.4保障質量的組卷建議
1.能力呈正態分布,題目不能正態分布(均勻分布)
2.題目難度呈均勻分布
三、分數表達與使用的恰當性
3.1原始分數解讀
3.1.1 原始分數的局限
*總分排序是不正確的
3.1.2 原始分總分不合理
(高考排序,數學!!!)
3.2 常模參照分數
3.2.2 量表分數的轉換前提
3.2.3量表分的應用——曾經的標準分制度
3.2.4 區分度太低導致的麻煩
3.內容參照分數
小結與建議
【小結】測量學三要求
【建議】