
39
個 案
03 衍生優質試題 提升評量效能
效度的極佳資訊,考選部已完成「電腦化試題品質分析系統」建置,可在放
榜後,極短的時間內得到應試科目整體測驗結果與個別試題難度、鑑別度的
資訊,若善用此項資料衍生試題,除可擴展試題數量外,至少有幾項預期效
益出現,包含提升試題品質、避免雷同題出現、可用試題比率提高以及節省
命審題經費,茲將原由說明如後:
(一)提升試題品質
依據命題規則第5條所示,測驗式試題之擬定,與試題內容有關者至少
有第2項「試題之難易及份量,應顧及考試等別、應考者之教育程度及應試
時間」;第3項「試題之擬定,應注重知識、理解、應用、分析、綜合、評
鑑等能力之測量」;第5項「考試科目名稱相同,而等別不同,應配合各該
等應考人之教育程度及考試時間命題」;第6項「各科目考試內容,已訂有
命題比例者,應依比例命題;未訂命題比例者,應就各該科目之範圍,預為
分配各單元之題數」;第11項「試題應避免照書本逐字抄錄,必須重新組織
文句,用字除解題所需要件外,宜要求簡要,並避免模稜兩可之文字」;第
12項「各科目試題之難易程度,分難、中、易三等,須於命題卡上註明,其
比例以25%、50%、25%為原則」。即使命題規則已提示命擬測驗題各項注
意事項,但命題委員很難兼顧所有訊息,從「認知心理學」的角度解構命題
歷程,一位被賦予命題任務的臨時命題委員或題庫委員,從編輯測驗邏輯順
序觀之,依各單元之重要性與命題比例分配各單元之命題數量。其次,選擇
命題之核心概念設計每一題之題幹與誘答選項,在命題過程中很可能就同時
考慮該題難易度的定位,至於認知層次究竟落在那一階層,可能需完成命題
後才能判定,若事前設定認知層次將使題型與難易度更為明確,但並不易達
成難、中、易之比例為25%、50%、25%的目標,且此目標與比例也是主觀
認定,需視應考人程度、常模或標準參照測驗、以往的測驗結果決定。
命擬新試題若無預試及測驗使用結果與試題分析資料輔助,希望確保試
題信度與效度之目標難以達成,因信度指的是測驗的穩定度與一致性,若難
易度與鑑別度因年度命題委員差異過大,信度無法維持在一定的程度;或是
測驗內容的選擇無法反映該工作之核心職能與專業知識的測量,更難以預測
測驗結果與工作表現的高相關,此份測驗的評量效果則相當低落。衍生試題