Item Exposure Control and Ability Estimation in Computerized Adaptive Testing

摘要

[[abstract]]試題曝光率和測驗重複率的控制是電腦適性測驗不可缺少的環節。所謂試題曝光率是指試題被重複使用的頻率，而測驗重複率是指兩個或兩個以上的試題同時出現的次數。有效地控制試題被重複選取的機會，可以避免試題因為過度“曝光”而影響到測驗的保密性及安全性，進而達到確保測驗公平的要求。目前已知有數種方法證明能夠將試題曝光率控制在預設值之下，並且同時產生最低的測驗重覆率，例如：the Sympson and Hetter procedure，the Davey and Parshall method，以及 the Stocking and Lewis conditional multinomial procedure 等。然而在另一方面，應用試題曝光率之時也會增加考生能力估計值的誤差，這是因為選題受到曝光率限制，無法選到“最佳”試題所必須付出的代價。本研究主要是計畫在實施試題曝光率控制的前提下，配合Fisher information的選題方式，討論WLE和OWEN + MLE兩種方法在電腦適性測驗（CAT）估計能力的表現。研究中考慮三個不同試題特性的題庫，分別觀察二者估計受試者能力的情形，並且以偏誤(bias)的平均值和RMSE來評估二者的表現。根據模擬研究的結果顯示：在三種形式的題庫中，OWEN + MLE產生的偏誤之平均值幾乎都比WLE所產生的更接近0；在RMSE方面，OWEN + MLE也比WLE稍微小，但是二者差距是否達到統計顯著尚待進一步檢驗。另一方面，對於每位受試者固定施測30題的過程中，OWEN + MLE 總是比較快速地得到穩定的能力估計值，可見OWEN+MLE在能力估計方面確實比WLE更有效率。綜合這些模擬研究的結果，就試題曝光控制下的CAT而言，使用OWEN + MLE進行能力估計比使用WLE更有效率，準確度也高，所以較符合電腦適性測驗所欲達成的目標，也就是在兼顧測驗安全及公平的原則之下，也能夠提高估計考生能力的精確度。