| 
  • If you are citizen of an European Union member nation, you may not use this service unless you are at least 16 years old.

  • Want to get organized in 2022? Let Dokkio put your cloud files (Drive, Dropbox, and Slack and Gmail attachments) and documents (Google Docs, Sheets, and Notion) in order. Try Dokkio (from the makers of PBworks) for free. Available on the web, Mac, and Windows.

View
 

試題難易度指標與變異量

Page history last edited by PBworks 14 years, 4 months ago

在預試之後,心理計量學家會將考生在題目上的反應逐題做分析,由於這部份涉及較深的心理計量學理論及統計軟體的應用,一般教師很少去機會用到它,本節只做概念之介紹,若想更深入研究計算方法,請看測驗編製的專書。

 

 

a. 難易度指數

試題難易度指數(index of difficulty)是指學生答對該題的機率如何?在二元(對錯)計分法中,如是非題、選擇題,是以該題答對人數和預試總人數的比值(答對率)來表示;而在多元計分法中,如問答題、申論題,則是以該題平均分數和可能最高分的比值來表示。

 

若資料來自沒有時間限制的預試,則應該用公式 5-1,公式中 P 代表答對率,R 代表答對人數,N 代表受測總人數。

 

  (公式 5-1

 

若資料來自有時間限制的預試,則應該用公式 5-2,此公式中Nu代表沒有機會做答的人數(Unreach),因此分母實際上包括答對、答錯、及已經讀過試題而放棄作答的人數(No Answer)。

 

  (公式 5-2

 

難易度指數除了試題內容外,很容易受到兩個因素的影響,一個是「受測樣本的能力」,一個是試題題型所產生的「盲目猜對率」。前者是因為參加預試的考生只是從母群體抽出的部份樣本,有時抽到能力較高的群體,算出來的答對率就偏高,反之則偏低。這種抽樣誤差使得答對率經常隨著樣本而變動。至於試題的盲目猜對率則是指在選擇反應的題型中,考生盲目猜答時的答對率,例如,在是非題是50%,四選一的選擇題是25%,因此難易度指數的比較只適用於相同的題型之間,若要比較不同題型的難易度是不合理的。

 

難易度指數可以用來檢驗試題偏差(item bias)。研究者可以就不同種族、性別、母語的考生群分別計算各題的難易度指數,若有哪一考生群的答對機率特別高,該題目即是偏袒該群體。

 

難易度指數可以用來找出鑑別力較高的試題。一般而言,難易適中的題目其對整體考生的鑑別力較高;所以常模參照測驗在選題時,應該多取難易適中題目才對。但若是編製錄取率很低的篩選性測驗,則應該多選較難的題目才能發揮鑑別作用。當在編製多水準(multiple level)的測驗時,應該就每一年級(或年齡)求算難易度指數,研究該指數隨著年齡變動的情形,進而找出最適合各年級的試題。

 

 

b. 鑑別度指數

試題鑑別度指數(index of discrimination)是指該試題是否有助於區辨不同考生在所測能力上的差異。為了證明該試題有拉開分數差距的功能,心理計量學家常以全體樣本在該題得分上的變異量,或是高、低分組學生在該題答對率上的差距( D = PH­ - PL­ )來表示。

 

為了進一步顯示該試題的分數確實是隨著實際要測的能力而變動的,計量學家就以該題答對與否(或得分)與效標的相關係數來表示。

 

所謂效標是指能夠代表所要測量能力的一個完美指標,但實際上幾乎不存在。所以試題分析時常以預試測驗的總分當作內在效標,或是而以教師評定、學期成績、其他同類知名測驗分數當作外在效標,進而求其相關係數。

 

 

c. 試題特徵曲線

試題特徵曲線(item characteristic curves)圖是在縱軸(Y軸)上以0.00到1.00代表答對人數百分比,在橫軸(X軸)以標準分數-4.0到+4.0代表學生能力的高低。為了便於比較,我們將試題A到B三個試題都畫在圖5-1上。

文字方塊: 答對人數百分比文字方塊: 答對人數百分比 

 

 

 

 

 

 

 

 

 

 


5-1  三題試題的試題特徵曲線

 

A題與B題是難度參數相同,而鑑別參數不同的例子。雖然A題與B題在答對機率為.50時所對應的學生能力量尺是一樣的,但是B題曲線並不像A題那麼陡,即斜率沒有那麼大,換句話說,B題在拉開學生分數差距的功能上是不如A題。

 

B題顯然是個選擇題,因為該曲線顯示即使能力最低者都有.25的答對機率。一般而言,選擇反應題型(是非、選擇、配合)都需要有猜測參數來說明盲目猜對的機率。

 

A題與C題是鑑別參數相同,而難度參數不同的例子。雖然A題與C題的曲線幾乎平行,但A題比較簡單,適於鑑別低能力學生(-3.0到 0.0)而不適於鑑別中等以上的學生,因為中等以上學生的答對機率幾乎已達到1.00;至於C題則較困難,適合用來鑑別中上能力學生(+1.0到 +4.0),而無法鑑別中等以下學生,因為中等以下者的答對機率幾乎等於0.00。

 

d. 誘答分析

誘答分析是依據預試資料對每一選擇題的每一個選項的被選頻率做比較。編製者對誘答做深入分析是基於下列三個理由:

(1)誘答是試題的一部分,若誘答不能夠引誘一知半解的受測者去選它,則對於提高試題鑑別力沒有幫助,應該替換掉。

(2)當每一誘答都代表著一種迷思概念(misconceptions)的時候,計算每一誘答的選答比例可以讓教師瞭解班上學生迷思概念的分佈情形,進而發揮診斷與補救教學的效用。

(3)選擇題傳統上都採用二元計分(dichotomous scoring)法,這使得正答與誘答之間有區分功能,但不同誘答彼此之間並無區分功能(都得零分)。但我們若把每一誘答視同正確答案,也求其與總分的二列相關,則由每一誘答和測驗總分的二系列相關中,可以比較每個誘答與學生能力的關連性,進而看出不同誘答所代表的不同理解程度,這些資料有助於決定各個選項應有的加權量,進而對選擇題採用多元計分(polychotomous scoring)法,亦即選了不同的誘答則給予不同的部份分數。

Comments (0)

You don't have permission to comment on this page.