題目難度指數(ltem Difficulty lndex)
題目的難度與測驗的效率(effectiveness)有關,難度分析的主要目的在於確定每一個題目的難易程度,題目難度適當是構成優良測驗的必要條件。題目的難易程度通常以全體受試者答對或通過該題的百分比(percentage passing)表示。這個百分比即稱為難度指數,其計算公式為:P=R/N。上式中,P代表題目的難度指數,R為答對該試題的人數,N為全體受試者的人數。如在200名預試的學生中,答對某一題目者有52人,則其難度為:52/200=.26(或26%)。 另一種題目難度的求法,係先將受試者依照測驗總分的高低次序排列,然後把得分最高與得分最低的,各取全體總人數的27%,定為高分組和低分組,再分別求出此兩組在某一題目上通過人數的百分比,以兩組百分比的平均數作為該試題的難度。其計算公式如下: P=(PH+PL)/2。 上式中P代表題目的難度指數,PH為高分組通過該題人數的百分比,PL為低分組通過該題人數的百分比。如某題高分組有74%答對,低分組有22%答對,則該題的難度指數為:(.74+.22)/2=.48(或48%)。 以P表示題目的難度指數,P值越大,難度越低;P值越小,難度越高。如一測驗中,第一題、第二題、第三題通過人數的百分比(P)依次為20%、30%、40%,則第一題的難度最高,第二題的難度次之,第三題的難度最低。不過P值是一種順序量尺(ordinal scale),差距單位並不相等,因而只能表示題目難易的相對位置,無法指出各難度之間差異的大小。上例中的第一題與第二題在難度指數上的差別量,並不等於第二題與第三題在難度指數上的差別量。針對此點,美國教育測驗服務社(Educational Testing Service, ETS)另創一類具有等距量尺(interval scale)的難度指數,以△(delta)表示。是一種以13為平均數、4為標準差、下限為1、上限為25的標準分數。△值越小,難度越低;越大難度越高。不但可以表示題目難度的相對位置,而且可以指出不同難度之間的差異數值。這種難度指數條基於題目所測量的特質,呈常態分配的假設,認為題目的難度可在常態分配曲線的橫軸上某一點以離差分數(deviation score)表示。其算法係根據答對某一題的人數百分比與答錯該題的人數(包括未作答者)百分比,使前者在右,後者在左,找出兩者在常態分配曲線橫軸上的分界點,此點的相對位置以標準差為單位表示,即為x再按下列公式計出△值:△=13+4x。
鑑別度定義
所謂鑑別度是指試題能區別受試者能力高低的程度,採內部一致性的方式,將受試者依總分高低排列序,取極端的25% 為高低分組,然後求出高分組與低分組在每一個試題的答對率,以PH及PL表示,以「D=(PH-PL)」表示試題的鑑別度指數( item discrimination index ) 。D值介於-1.00到+1.00之間,D值愈大,表示鑑別度愈大;D值愈小,表示鑑別度愈小;D值為0,表示沒有鑑別度,可能是因為試題太容易或太艱難,使得所有人均答對或均答錯,或是題目不清;若D值為負的,表示低分組學生答對百分比高於高分組,具有反向作用,該試題應淘汰。其原因可能是因為能力低的學生胡亂猜測,結果碰巧猜對;能力高的學生看不懂題目、會錯意、粗心大意。一般而言,鑑別度以0.25以上為標準,高於0.4為優良試題。如表2中,該試題鑑別度為0.5,顯示該試題為優良試題。常用的評鑑原則是先選出鑑別度較高的試題,然後,再從中選出難度指數較適中的題目。
難易度=(高分組答對率+低分組答對率)÷2 (0≦難易度≦1)
鑑別度=高分組答對率-低分組答對率 (-1≦鑑別度≦1 ,鑑別度0.4 以上才是優質的試題)
* 高、低分組:整個測驗中得高分的前27%的人數、得低分的後27%的人數。
例題:
如果有75人接受數學測驗,高、低分組分別有18人、12人答對某一個題目。
(1)試問該題目的「難易度」是多少?
(2)試問該題目的「鑑別度」是多少?
解答:
(1)75×*27%≒20(人)因此前20名是高分群,末20名是低分群。
高分群答對率 18÷20=0.9
低分群答對率 12÷20=0.6
難易度 (0.9+0.6)÷2=0.75
(2)鑑別度 0.9-0.6=0.3
注:為何取 27% 高、低分組為標準呢?這是因為當受試者總測驗分數的分配是常態時,取上下各 27% 的受試者會產生最好的 P 估計值。通常我們可取上下各 10% 到 33% 之間的受試者來計算 P 值。