善用試題分析提升國考評量效能

pdf
3.57 MB
16 頁
侵權投訴
加載中. ..
PDF
31
03 衍生優質試題 提升評量效能
個 案
03 衍生優質試題 提升評量效能
—善用試題品質分析資料,
衍生大量具有鑑別效能之優質試題
壹、個案目標
國家考試試題品質之良窳,決定甄拔人才之公平性與正確性,考選
部每年舉辦之考試類科繁多,含括公務人員考試與專門職業及技術人員考
試,應試科目超過2,500科,使用之申論題超過7,000題,測驗題超過37,000
題。現行有兩項措施對國家考試測驗工具評量穩定度與評量效能影響甚
鉅,一為考畢試題公布;一為比對試題雷同度,兩項措施環環相扣,若未
能妥善處理,國家考試命題工作將受到干擾,同時降低各應試科目評量工
具之信、效度。
具有鑑別應考人專業知識與核心職能之試題命擬不易,原試題的評量
層次可能是「應用」或「分析」,如原封不動再次使用該試題,其評量層次
可能就降為「記憶」。且各應試科目專業領域重要之核心概念,不同命題委
員在認知上有其重疊性,採公布試題政策後,以往在闈場作業時,當年度試
題需避免與該科目3年內的試題雷同,命題範圍較廣之應試科目並無太大問
題,然100年公務人員高等考試、調查人員特種考試出現申論題完全雷同之
情況,雖為命題與便宜行事所致,以致於造成應考人及輿論之批評。為因應
雷同試題不斷出現,考選部則加強試題比對系統之升級,擴展至5年內不同
考試類科應試科目試題之比對,當可減少試題重複之現象,惟此種作法,對
於測驗式試題而言,在闈內決定試題與組卷將增加困難度。
考試院曾於994月通過考選部報送之「優質試題發展方案」,建置量
大質優之題庫為方案之目標,目前最大的挑戰即在於考畢公布試題之作法,
使優質試題無法累積,具有鑑別應考人專業知識與核心職能之試題在短期
題庫管理處
32
內無法重複使用,每道試題僅有一次性效益,甚為可惜。優質試題發展方案
中,曾提出「衍生試題」之策略,似乎是在目前各種限制條件下,擴增試題
可用數量的另類方法,本個案將深入討論其可行性與操作方法。
貳、個案背景
一、推動緣起與現況
依據題庫建立及運用辦法第5條「各科目題庫試題之數量,申論式試
題應不低於每次考試需用題數之10倍;測驗式試題應不低於每次考試需用
題數之5倍。」大多數申論式試題多採臨時命題,會產生試題雷同之情況有
二:一是命題委員經常命擬該應試科目,在試題內容選材上出現心理學上
所謂的「心向作用」,亦即命題有其特殊偏好與偏向;一是應試科目的設
計本身就有其盲點,可供命題之範圍過於狹窄,即使是不同委員命題,重
複可能性也相當高。測驗式試題使用題庫的比率超過七成五,僅有少部分
因題庫數量不足或新辦考試類科命題委員稀少,採臨時命題方式辦理。
但無論是採臨時命題或題庫試題,在現行的試題比對系統與作業方式
下,申論題設50%相似率,測驗題設定90%的相似率,比對的年度由3
擴增為5年,比對的類科不限,只要科目名稱相同或相近,若等級考試類別
不同也納入比對範圍,雷同試題之比率將大幅提高,測驗題因使用題數較
多,試題雷同之情況遠高於申論題。為避免此一現象不斷擴散,命題委員
只好選擇較少命擬之專業知識,排除經常出現之核心概念,試題將趨於偏
狹艱澀,對國家考試長久發展而言,均是不可避免之傷害,考選部也僅能
擴增備用試題數量,不但耗費資源,在命題數量壓力下,品質堪慮。
依據題庫建立及運用辦法第9條「題庫試題經拆封或使用後,應登記拆
封或使用紀錄及有關分析資料。前項經拆封後而未使用之試題,應再經審
查方得使用。各類經使用後之測驗式試題,考選部得遴聘學者專家就其使
用紀錄及有關分析資料,專案審議後擇優納入題庫」。第11條則闡明試題
增補之時機及原則,「題庫試題以3年更新1次為原則,但遇有考試科目內
容更易或試題存量不足時,應隨時整編增補之」。就目前試題增補或整編
試題現況觀之,若試題數量不足,題庫管理處各科擬定該應試科目之題庫
33
03 衍生優質試題 提升評量效能
建置計畫,召開題庫工作會議,同時提供過去幾年考畢試題分析資料,辦
理命題技術研習,凝聚對於新建題庫命題方向之共識,確定每位委員命題
之分配範圍與題數,接著展開命題與審題工作。命擬新題前提供試題品質
分析資料,主要目的係使委員了解測驗的結果,以及個別試題所反映之難
易度、鑑別度或對於專業知能的迷思概念,對於掌握新試題核心概念與設
計題幹、誘答選項更能得心應手,目前無論是臨時命題與增補題庫新題,
已提供試題品質分析資料。
雖建立題庫過程中,法規賦予考選部可將使用後之測驗式試題,遴聘學
者專家就使用狀況及試題品質分析資料,專案審議後擇優納入題庫,但目前
社會大眾高度關注雷同試題的後續處理狀況,無論是電腦化測驗或是紙本試
題已不可能未做任何處理直接倒入原題庫,「整編」似為一可行方法,以往
整編的進行分為兩個層次,一為「檢視」,另一則為「內容的實際修改」,
整編的時機通常在題庫增補新題時,檢視舊試題內容的合宜性,或是法規性
科目,即使數量足夠,使用前也請常設題庫小組委員確認因法規變動,加以
修改試題。若試題內容已不合用,仍有修改的可能性,則請委員進行未用題
庫試題內容實質修改,較少進行考畢試題的整編。
優良試題使用後一次即廢棄,甚為可惜,又每一應試科目有共通性重點
命題領域,若委員文字敘述與題型多元性不足,極容易造成類似題,為擴增
試題來源,以考畢試題品質分析資料為基礎,推動衍生試題計畫,應是可行
之道。
二、複本試題之概念與衍生試題之設計
(一)複本試題之概念
大型題庫建置,為使可用試題增多,通常會以複本測驗方式產生試題,
以提升試題可選擇率,且無須經常啟動增補新題程序。爰此,複本測驗係指
試題不同但內容相似,兩份測驗在內容、型式、題數、難度、指導說明、時
間限制與例題等方面,必須類似或相等。通常是根據相同設計說明表分別
獨立編製而成,國家考試題庫建置後將試題予以配套,即是依循複本測驗概
念予以執行。不同複本測驗中的試題即為複本試題,只要未曾曝光,其評量
效果依然存在,但因題庫內之複本試題若未具備量尺化的參數,則不易確認
34
同樣的評量結果;再者,若一開始就以複本方式設計相同核心概念之不同試
題,有極大機會產生雷同試題,未來在闈內很可能被比對出來。只有在命擬
相同核心概念試題時,題型、語句表達、情境或實例都需改變,如此一來,
則可兼顧重要核心概念之評量與避免類似題出現。若要為「衍生試題」下一
個操作型定義,意指命題委員以考畢試題的測驗分析資料作基礎,加以重新
修改與設計原試題,所欲評量的關鍵詞或核心概念仍然保留,也可聯合其他
概念創造新題,且試題內容至少有50%以上的不同,但仍然保有試題評量的
目的與功能。
(二)衍生試題之方法
試題品質分析結果因未對外公布,應可善用各類科試題的統計特徵,衍
生大量的優質試題,以提高國家考試的選才效度,對於各種不同統計特徵試
題,修改與衍生的具體作法如下:
1. 鑑別度低的試題:鑑別度低的試題通常試題偏難與偏易,藉由調
整題幹敘述,重新調整或新增誘答選項,將有利提升其鑑別度。
2. 鑑別度高的試題:鑑別度高的試題代表試題有效區辨能力高與能
力低的應考人,可將此類試題改寫或設計為其它的相似情境案
例,命擬出更多的試題。
3. 難度低的試題:難度低的試題若確定為重要的評量概念,仍然有
修改的可能性,作法包括在題幹中加入其他的元素,或是去除沒
有誘答力的選項,以較有誘答力的選項取代。
4. 難度高的試題:難度高的試題特徵通常可能是概念冷僻或是概念
本身對於應考人來說確實難以理解,如果此類試題鑑別度低,造
成能力高與能力低的應考人都亂猜,即須檢討修正題幹的明確
性;若是該試題同時具有高鑑別度與高難度,此類試題可混合其
他概念改寫,放回題庫成為新試題,未來被抽到再進行評量時,
鑑別效果仍大。
5. 迷思概念的試題:此類試題通常有兩種特徵,即誘答選項中有兩
個選項無論是高分組或是低分組,答對率相當接近或是公布正確
答案是C,但無論是高分組或低分組卻答A;此時命題委員可依據
35
03 衍生優質試題 提升評量效能
統計特徵進行專家檢視,確定正確答案或是應考人選項選擇非正
確答案的原因,因此類試題的難度與鑑別度通常均低,但確實是
應考人的迷思概念,此類試題若加以改寫衍生,未來的試題也會
具有鑑別度。
(三)衍生優質試題範例
茲以諮商心理師「心理測驗與評量」科目作為衍生範例。
1. 鑑別度低的試題
原試題:荷蘭(J. L. Holland)曾經提出幾角形興趣模式?
正確答案:B
(A)五角形 (B)六角形 (C)七角形 (D)八角形
衍生試題:荷蘭碼(Holland code)的應用,下列敘述何者錯誤?
(A)在六角形的模式中,通常可作出兩碼的適配程度
(B)認為人格類型與適合從事的工作有關
(C)對於個人選擇職業具有參考的效果
(D)荷蘭碼的應用通常採自陳量表方式確認
2. 鑑別度高的試題
選項
組別 A B C D 各組答
對率 難度 鑑別度
高分組 0 56 0 0 100.0%
0.97 0.05
低分組 2 53 0 1 94.6%
選項
組別 A B C D 各組答
對率 難度 鑑別度
高分組 5 0 2 49 87.5%
0.72 0.30
低分組 14 0 10 32 57.1%
原試題:那一種測驗可以測量個人潛在的心理需求?
正確答案:D
(A)興趣測驗 (B)智力測驗 (C)性向測驗 (D)人格測驗
36
衍生試題:下列那一種測驗對於甄選工作領域人才的功能最大
(A)興趣測驗 (B)成就測驗 (C)性向測驗 (D)人格測驗
衍生試題:下列對於人格測驗的描述何者正確?
(A)人格的測驗的信度通常比成就測驗高
(B)人格測驗對於預測錄取者未來工作的績效相當準確
(C)可以測量個人潛在的心理需求
(D)投射測驗為人格測驗中最常使用的方法
3. 難度低的試題
原試題:認知心理學對於測驗那項特徵之研究關係最密切?
正確答案:A
(A)構念效度 (B)鑑別度 (C)信度 (D)難度
衍生試題:對於構念效度的描述,下列何者錯誤?
(A)心理學的構念是創造出來的
(B)構念效度可以透過統計方式計算得到
(C)「憂鬱」是一種心理學的構念
(D)構念效度與信度有高相關
衍生試題:下列那一項並非獲得構念效度證據的方法?
(A)內部一致性分析 (B)因素分析 (C)調查研究 (D)實驗研究
4. 難度稍高試題
選項
組別 A B C D 各組答
對率 難度 鑑別度
高分組 48 3 2 3 85.7%
0.85 0.02
低分組 47 6 2 1 83.9%
選項
組別 A B C D 各組答
對率 難度 鑑別度
高分組 36 3 9 8 64.3%
0.45 0.39
低分組 14 10 14 18 25.0%
37
03 衍生優質試題 提升評量效能
原試題:如果一個測驗的α係數達到.90,下列有關該測驗的描
述,那一項最適切?
正確答案:A
(A)題目間的同質性是高的
(B)評分者之間的差異不大
(C)結果解釋是可靠的
(D)所評量特質是穩定的
衍生試題:α係數對於觀察一份測驗使用後產生的效益,下列那
一項正確?
(A)α係數高代表試題難度適中
(B)若該測驗內含分測驗,其分測驗的α係數更可信
(C)代表各類試題的內容分部相當均勻
(D)可了解應考人的程度
5. 迷思概念的試題
選項
組別 A B C D 各組答
對率 難度 鑑別度
高分組 0 32 0 24 42.9%
0.4 0.05
低分組 1 33 1 21 37.5%
原試題:欲深入了解個案某種行為的原因,較適合使用何種衡鑑
方法?
正確答案:D
(A)紙筆測驗 (B)自陳法 (C)同儕互評法 (D)軼事記錄法
衍生試題:欲深入了解個案某種行為的原因,最適當的探究方法
為何?
(A)調查法 (B)自陳法 (C)觀察法 (D)實驗法
三、推動初期可能遭遇之困難
以往進行題庫整編時,雖進行試題內容之檢視與修改,但多以尚未使用
之試題為主,很少針對考畢試題修改,多數委員以往的反應,認為修改考畢
38
試題,較命擬新題更為困難,因委員認為要進入其他原命題委員的試題設計
思維中並不容易,深怕誤解其試題原意,造成更多的試題疑義。但此種論點
似是而非,題庫建置流程中,審題階段必須針對其他命題委員命擬試題審查
其內容正確性,文字敘述流暢性以及調整誘答選項。爰此,修改試題之能力
是命、審題委員必備的能力,除非是申論題型較為複雜,可能會將原意完全
改變。否則只要題幹與誘答選項敘述明確,委員應該很容易從試題文字陳述
中洞悉原命題委員在其所屬專業領域中所欲評量的核心概念。當然若衍生試
題之程序與配套措施操作不當,很可能衍生所得之試題又成為類似題,即使
擴增試題數量,可用率仍然不高。
為全面推動「衍生優質試題計畫」,但又不影響原題庫建置增補新題之
各項年度計畫,9910月題庫管理處先進行執行策略之研商會議,初步決
100年度選擇一科目試辦。試辦初期選擇牙醫師國家考試類科,並於99
11月先行辦理97年至99年牙醫師電腦化測驗試題品質分析。並於9912
下旬舉行專技人員牙醫師類科考試常設題庫小組召集人會議,以凝聚各召集
人對於牙醫師科目推展衍生試題之具體共識。有關牙醫師考試衍生試題之具
體作法,於該項考試常設題庫小組召集人會議中,已向與會各科目召集人進
行實例說明並取得共識,且於舉行命題技術研習會暨題庫小組工作會議時,
分別由教育測驗專家及各科目召集人從命題技巧及分組實作方式,向與會命
題委員解說其實際作法,俾確保順利推展衍生試題之計畫。命題委員在增補
與衍生試題的實際經驗中提供相關建議,作為建立各項標準化作業程序與配
套措施之參考,希望有更完善之規劃後,能於其他題庫建置類科,全面推動
「衍生優質試題」計畫。
四、推動衍生試題之預期效益
國家考試的命、審題作業進行,是基於委員專業知識與教學經驗作為
判斷依據,即使整編試題或修改試題也是依專業判斷決定。在無電腦工具或
試題品質分析資料予以輔助之情況下,目前國家考試測驗工具的編製,尚難
達到標準化測驗的各項步驟,例如:難度等化及預試。爰此,可能會出現前
後年度試題難易度與命題方向大相逕庭之情況,此種情形就要靠建置題庫避
免,在無預試的制度設計下,考畢試題的各項測驗訊息就是穩定試題信度與
39
03 衍生優質試題 提升評量效能
效度的極佳資訊,考選部已完成「電腦化試題品質分析系統」建置,可在放
榜後,極短的時間內得到應試科目整體測驗結果與個別試題難度、鑑別度的
資訊,若善用此項資料衍生試題,除可擴展試題數量外,至少有幾項預期效
益出現,包含提升試題品質、避免雷同題出現、可用試題比率提高以及節省
命審題經費,茲將原由說明如後:
(一)提升試題品質
依據命題規則第5條所示,測驗式試題之擬定,與試題內容有關者至少
有第2項「試題之難易及份量,應顧及考試等別、應考者之教育程度及應試
時間」;第3項「試題之擬定,應注重知識、理解、應用、分析、綜合、評
鑑等能力之測量」;第5項「考試科目名稱相同,而等別不同,應配合各該
等應考人之教育程度及考試時間命題」;第6項「各科目考試內容,已訂有
命題比例者,應依比例命題;未訂命題比例者,應就各該科目之範圍,預為
分配各單元之題數」;第11項「試題應避免照書本逐字抄錄,必須重新組織
文句,用字除解題所需要件外,宜要求簡要,並避免模稜兩可之文字」;第
12項「各科目試題之難易程度,分難、中、易三等,須於命題卡上註明,其
比例以25%50%25%為原則」。即使命題規則已提示命擬測驗題各項注
意事項,但命題委員很難兼顧所有訊息,從「認知心理學」的角度解構命題
歷程,一位被賦予命題任務的臨時命題委員或題庫委員,從編輯測驗邏輯順
序觀之,依各單元之重要性與命題比例分配各單元之命題數量。其次,選擇
命題之核心概念設計每一題之題幹與誘答選項,在命題過程中很可能就同時
考慮該題難易度的定位,至於認知層次究竟落在那一階層,可能需完成命題
後才能判定,若事前設定認知層次將使題型與難易度更為明確,但並不易達
成難、中、易之比例為25%50%25%的目標,且此目標與比例也是主觀
認定,需視應考人程度、常模或標準參照測驗、以往的測驗結果決定。
命擬新試題若無預試及測驗使用結果與試題分析資料輔助,希望確保試
題信度與效度之目標難以達成,因信度指的是測驗的穩定度與一致性,若難
易度與鑑別度因年度命題委員差異過大,信度無法維持在一定的程度;或是
測驗內容的選擇無法反映該工作之核心職能與專業知識的測量,更難以預測
測驗結果與工作表現的高相關,此份測驗的評量效果則相當低落。衍生試題
40
必須依據試題品質分析資料的統計特徵為依據,在一般情況下(應考人數達
100人以上),該題的各項數據可充分提供應考人對該核心觀念之專業知
識熟悉的程度,修改內容幅度大小可依據命題者之認知與原試題提供訊息多
寡,甚至可聯合其他試題的測驗訊息,重新命擬成為全新試題。
(二)避免雷同題出現
在未推動衍生試題計畫前,即使是命擬新題,在闈內校對過程中仍會發
現雷同試題,姑且不論公布試題產生的影響,即使是不同命題委員,重要的
核心概念,仍有很高的共識,若為測驗題型,專業科目的試卷少則2040
題,多則80100題,未來擴大比對範圍的情況下,試題雷同率只會提高不
會降低,尤其行政類科、法規類科經常產生此種情形,命題委員唯有加強題
型的多元性與多變性,意指即使評量同一概念,重命新題時應以某一考畢試
題為基礎,再以不同文字敘述、問句或修改誘答選項,只要相似文字不超過
90%,反而比新題更能避開試題雷同的困擾。衍生新試題時,詳細記錄新試
題改寫前原試題之使用紀錄與試題統計特徵,並追蹤新試題使用後的分析資
料,將可避免雷同題出現。
(三)提高可用試題比率
目前命題委員寄回之新題,無論是電腦化測驗或紙筆測驗因系統功能之
故,尚難與歷年考畢試題比對,審題階段僅就內容審查適當與否,也無法察
覺是否與以往的試題相似,需至闈內完成組卷後,才可請打字人員進行文字
內容比對。採取衍生試題的方法產生新試題,操作得當可提高試題可用率,
衍生試題可基於原試題的測量概念加以改寫題幹或選項,未來通過審題或抽
題程序後也可確保其可用率;更有甚者,從原試題的測驗訊息,命題委員可
聯想到不同的衍生概念,重新設計試題內容,改變「題型狀態」,成為全新
的試題,同樣具有評量效能。
(四)節省命、審題經費
「考選部各項考試工作酬勞費用支給要點」自1001118日採用新的
給付標準後,一般測驗式試題命題費由新臺幣180元大幅提高為新臺幣300
元;情境式(圖例、實例)測驗題則由新臺幣250元大幅提高為450元;實
質內容審題也由新臺幣45元,提高至新臺幣60元及80元。以往無論經審查
41
03 衍生優質試題 提升評量效能
後可用題或廢題給付費用並無差異,類似題即使不用,仍然須付費。若命題
委員熟悉衍生試題的方法,產生之試題可用率提高,將可節省命、審題費
用;反之,雷同試題過多,同樣給付費用,每一可用試題的成本將隨之提
高。衍生試題的內容變動程度可從50%90%50%的變動代表題幹與選項
的變動,基本題型仍然保留,可以測量對於原核心概念其他專業知識;90%
代表僅保留原評量之核心概念,但題型已完全改變,同時因原試題提供測驗
訊息,聯想及創發出新試題內容。
參、問題討論
一、如何強化命題委員對衍生試題的接受性?
二、如何掌握衍生試題的時機、方法與評量效能?
三、如何建構衍生試題的標準化作業流程?
肆、個案解析
一、利用各種機會宣導說明增加命題委員接受度
國家考試試題來源分為「題庫試題」與「臨時命題」,測驗式試題採
1006月考選部知識社群試題改進發展小組第3次會議
42
題庫建置方式者居多,約占七成五,申論題因需考量新近性與反應社會變
動等因素,多採臨時命題。無論是題庫試題或臨時命題,即使提供以往3
年試題作為參考,希望避開類似題,但實務上並不容易,題庫試題因備用
題較多,闈內換題尚不成問題,臨時命題因備用試題少,換題不易,囿於
考畢試題公布政策與比對範圍擴大之影響,命題委員目前並無自我檢查類
似題工具,應正視類似題比對造成換題與國家考試試題是否趨於冷僻的情
形。
衍生試題並非單為迴避類似題效應所發展,乃鑑於具有評鑑效能之試題
僅使用一次甚為可惜,參考試題特徵予以改寫或創造新題,繼續保有試題的
評鑑效果,應是題庫建置或是臨時命題均可採用之命題策略。過去使用考畢
試題衍生新題,對於命題委員而言是較少的經驗,或者有部分委員命擬新題
時,已採取此方法,但未利用試題品質分析資料,只憑個人主觀經驗進行。
為提升大量衍生優質試題計畫的成效,獲得命題委員認同,熟悉操作方法,
增加誘因,應是重要的關鍵。以現行作業方式觀之,題庫工作會議、命題技
術會議、臨時命題委員命題注意事項說明,均應以範例宣導說明,增加命題
委員對於衍生試題的接受度與配合度。
二、掌握衍生試題辦理時機、增加誘因與操作程序
(一)辦理時機
辦理衍生試題可分為經常性辦理及專案性辦理,並同時搭配臨時命題或
題庫建置方式進行:
1. 經常性臨時命題:衍生試題應用於經常性臨時命題時,應提供命
題委員衍生試題之範例與操作方法,並在題卡上註明原題出處,
為鼓勵衍生新題,只要衍生試題與原題超過50%的差異,均給付新
題費用,但衍生試題之比例應以25%為限。
2. 專案性臨時命題:測驗題臨時命題因備用試題僅占二成五(例
如:需用50題,備用題僅有13題),扣除效度不佳試題,若類
似題太多,完成組卷可能有困難,因測驗題臨時命題之科目占少
數,除可將過去未用之餘題簽請專案辦理整編外,也可辦理專案
性衍生試題方案,成為該類科的小型備用題庫,作為未來闈內決
43
03 衍生優質試題 提升評量效能
定試題的備選試題,使組卷更為彈性。
3. 經常性題庫建置:題庫需啟動大規模增補試題時,可區分為研發
新題與以舊題衍生新題,訂定比例,例如:分配研發新題題數的
25%,但與原題差異比率也需達50%以上。
4. 特殊專案性題庫建置:若非大規模的題庫建置,僅為部分科目或
子科目需增補試題,增補新題的同時,也可請委員就考畢試題衍
生新試題,但數量及比例需由題庫管理處視實際狀況訂定。
(二)增加誘因:付費標準若修改原試題達50%以上,則給新題費用;若非
類似題的未曝光備用餘題審查,若僅作少部分文字修改則僅給付審查
80元。
(三)操作程序:在前述衍生試題範例中曾示範諮商心理師「心理測驗與評
量」該科衍生之新題,不同統計特徵的原試題均可適度修改或結合其
他觀念研發新題。在操作程序上,可分為兩種作業方法,一是由題庫
管理處承辦科選擇鑑別度屬「極佳」或「佳」的試題,請委員進行衍
生新題作業;另一則可先請委員先以「內容效度」的觀點挑出適合的
試題,並由題庫管理處提供此類試題的統計特徵與分析資料,作為命
題委員調整試題內容或研發新題的依據。
三、建構衍生優質試題之標準化程序
衍生優質具有評量效能之試題對於未來國家考試試題的產出與供應具有
深遠影響。爰此,建構一套衍生優質試題的標準化程序顯得更為重要,茲分
為衍生前與衍生後說明該標準化程序需含括的各項作法。
(一)衍生前
1. 調整題卡格式:新題卡格式需註明原題使用之紀錄與出處、試題
品質分析資料,作為後續使用之依據。
2. 各科目建立標準範例:遴聘具有熱忱且命題技術佳之委員就該科
目建立衍生試題範例,作為推展此計畫之宣導教材。
3. 利用各種適當場合說明衍生試題各項措施:把握題庫工作會議、
命題技術會議、寄送臨時命題委員命題注意事項說明之時機,以
44
範例宣導說明,增加命題委員對於衍生試題的接受度與配合度。
4. 進行預定衍生試題科目之試題品質分析:以往命、審題委員常以
主觀經驗與專業知識整編或修改試題,為使衍生之試題提高試題
評量效能,未來命題委員衍生新試題應習慣使用試題品質分析資
料,充分解讀每一試題考試過後所釋放出的測驗訊息,所產生之
新題才可能具有評量效能。
(二)衍生後
1. 比對是否成為類似題:衍生之試題應先以現行之比對工具,確定
是否為類似題。
2. 依據衍生試題與原試題差異度付費:現行測驗式試題與歷屆試題
視為雷同之比率訂為90%,理論上修改程度低於50%,應不付給費
用(電腦化測驗衍生試題可付給審查費),介於50%90%之間,
則可給付新題費用300元。
3. 追蹤衍生試題之評量效能:衍生之新題若已使用過,則需登錄其
使用紀錄與試題品質分析資料。
4. 使用過之衍生試題後續管理應用:若衍生之新題評鑑之效能屬
「極佳」與「佳」之等級,仍可專案登錄封存管理,但需超過3
後此題可視為原試題,重新辦理試題衍生作業,若評量效能不佳
則予以廢棄。
伍、結論
國家考試長久以來建立的公平形象,近年來遭受到極大的挑戰,「試題
雷同」即為原因之一,雖為申論題臨時命題委員便宜行事所致,但已對考選
部造成傷害。測驗式試題雖每一題之占分比例不高,但每一次考試所需數量
頗大,闈內經常面臨無題可換之窘境,亟需研議建立穩定的供題管道並檢討
「公布試題政策」,尤其是考畢測驗式試題類似題的使用與限制,應有更深
入的討論。
曝光後之國家考試試題,外界取得相當容易,補習班更是有系統的蒐
集分析成為教材,避免與歷年試題完全相同有其必要性。要維持供給大量優
45
03 衍生優質試題 提升評量效能
質試題,維持國家考試信、效度,大幅降低類似題出現率,將過去具有評量
效能之試題加值應用,衍生出量大質優之新試題,應為考選部未來努力的方
向,但衍生試題的技巧需要練習及交換經驗,題型的變化與核心概念的掌握
與擴展更是衍生優質試題成功的關鍵,目前國家考試對於考畢試題的品質與
測驗結果分析,已可經由電腦化處理快速取得,對於推動「衍生優質試題
計畫」,是一大助力。陌生的事物,一般人常常有恐懼感,然而「知難行
易」,從現在開始做就對了!
◎個案教師:劉玉惠
◎個案彙編:黃立賢
◎個案學習成員:
宋秀麗、林 絨、李和敏、張志萍
蔡仁棟、張愷玲、王雅鈴、崔麗章
◎個案學習日期:101.1.13101.1.16
46
收藏 ⬇️ 下載