2018/10/22
1
陳柏熹
國立臺灣師範大學教育心理與輔導學系
試題設計基本概念與命題原則
壹、試題設計基本概念
⚫
一直都要牢記你要測量哪一項學習表現?
⚫
學生答對該題,是否就表示具備該項素養?
⚫
學生答錯該題,是否就表示不具備該項素養?
2018/10/22
2
依據教學過程中的使用情形來分類
評量
類型
目的
評量內容
題目難易度
結果呈現
方式
準備度
評量
了解學生是否具備
先備能力
該課程的先備知
識能力
較簡單
標準參照
安置性
評量
作為分班或分組的
依據
課程相關能力
難易都有
常模參照
形成性
評量
了解各階段的學習
成果
各階段的學習內
容
不一定,視
教學內容
標準參照
診斷性
評量
了解學習困難處,
作為補救教學依據
易犯錯的概念與
學習內容
較簡單
題目參照
總結式
評量
瞭解整體的學習成
效
該課程所有的學
習內容
難易都有
標準參照或
常模參照
評量的類型
測驗編製流程
決定測驗目標
建立題庫
試題分析
預試
修改(審查)題目
編製題目
選擇適當題型
建立測驗藍圖
組合題本
2018/10/22
3
認知領域的目標[Anderson、Krathwohl、Airasian、
Cruikshank、Mayer、Pintrich、Raths與Wittrock
(2001)]
知識向度
事實知識、概念知識、程序知識、後設認知知識
認知歷程向度
記憶(Remember)、理解(Understand)、
應用(Apply)、分析(Analyze)、
評鑑(Evaluate)、創造(Create)
一、決定測驗目標
教學目標
教學方法
教學評量
認知領域的目標[Anderson、Krathwohl、Airasian、
Cruikshank、Mayer、Pintrich、Raths與Wittrock(2001)]
認知歷程向度
記憶(Remember):再認與回憶
理解(Understand):轉譯、解釋、摘要、舉例、分類、
推論
應用(Apply):具體執行、用於新情境中
分析(Analyze):成分間關係、組織方式
評鑑(Evaluate):根據規則或標準來檢核與評判事物
創造(Create):結合不同能力以創造出更佳、更具協
調性的整體
一、決定測驗目標
2018/10/22
4
第六節 基礎層次認知能力的題目設計
測量
能力
範例
知識
[事實]
1.誤食甲醇對人體最主要之傷害為下列何者?
(A)中樞神經及視神經 (B)皮膚與血液(C)骨骼與肌肉
(D)淋巴與周邊神經
知識
[術語]
2.「扭傷」最適當的定義為何?
(A)關節處一塊或多塊骨骼的移位 (B)肌肉、肌腱系統因過份用力或過份使用發生傷害
(C)骨骼受直接或間接暴力而折斷或斷裂
(D)關節周圍的韌帶、肌腱和血管等柔軟組織因外力作用而受傷的現象
知識
[概念]
3.佛洛依德的人格結構理論中,將人格分成哪三個成分?
(A)自我、本我、超我
(B)意識、潛意識、前意識
(C)內外向、開放性、神經質(D)認知、情感、技能
知識
[概念]
4.有關佛洛依德的人格理論,下列敘述何者有誤?
(A)將人格結構分成自我、本我與超我
(B)將人格運作的環境分成意識與潛意識
(C)人格運作的動力是不同人格成分會互相調整、制衡,以達到穩定狀態
(D)當本我太強勢,自我與超我太弱勢時,很可能會形成精神疾病
知識
[程序]
5.燙傷時的處理步驟有五項,請依其先後次序來排列?
(A)沖、泡、蓋、送、脫
(B)沖、脫、泡、蓋、送
(C)脫、泡、沖、蓋、送
(D)脫、沖、蓋、送、泡
第六節 基礎層次認知能力的題目設計
測量能力
範例
理解
[轉譯]
6.下圖為林秀才從外城回家的路線,他途中所經之地正確順序是什麼?(轉譯) [國
中基測國文科]
(A)市→坊→寓 (B)坊→市→寓
(C)坊→寓→市 (D)寓→坊→市
理解
[解釋]
7.若要在室內中建立一個具有水草、小蝦與孔雀魚的水族箱,經常需要定期給予長時
間燈照,其主要原因為何?
(A)提供水草光合作用的能量(B)保持水溫,避免魚受凍
(C)能清楚看見魚活動情形 (D)蝦子在白天活動性較高
理解
[推論]
8.下列何者可使腎臟分泌腎素(renin)的速率增加?
(A)腎臟交感神經之活性增加
(B)循環血量增加
(C)腎小管內液體流速增加
(D)腎小球過濾率(GFR)增加
應用
9.如圖,有一樓梯每一階的長度寬度與增加的高度都相等,有一工人在此樓梯的一側
貼上大小相同的正方型磁磚,第一階貼了4塊磁磚、第二階貼了
8塊磁磚….以此規則貼了112塊磁磚後,剛好貼完此樓梯的一側。
請問此樓梯總共有多少階?[國中基測數學科]
(A)5 (B)6 (C)7 (D)8
2018/10/22
5
二、建立測驗藍圖
[雙向細目表
(TEST SPECIFICATION)]
測驗目的:
「火災與逃生」課程評量
(表中數值為百分比重)
教學目標
認知領域
技能領域
情意
知識
理解
知覺
自動化
反應
內容
火災成因與致命性
10
10
0
0
0
火災類型
10
10
0
0
0
滅火原理與設備
5
5
5
5
5
預防對策與逃生
5
5
10
10
5
三、選擇適當題型
選擇反應題型
建構反應題型
適用能力
較適合記憶、理解、應用等
認知能力。
較適合應用、分析、評鑑、
創作等認知能力。
受測者
認知歷程
再認(recognition)
回憶(recall)
內容取樣
單次測驗中可有較多試題,
內容取樣較廣。
單次測驗中只能有少數試
題,內容取樣受限。
計分
客觀、快速。
評分受主觀影響、費時。
試題設計
需設計選項,較費事。
比選擇題型容易些。
影響測驗
結果因素
猜測、閱讀理解能力、計分
正確性。
字體美醜、吹噓能力、評
分者偏誤。
2018/10/22
6
題目設計流程
能力指標四要素:行為者(actor)、行為
(behavior)、情境(condition)、程度(degree)
四、編製題目與修(審)題目
某人想知道台北101大樓有多高。他從101大樓底部往前走200公
尺後,回頭測得101大樓頂端的仰角為60度。如下圖所示。請問101
大樓高度約為多少公尺?
60°
200m
題目設計的原則
盡可能多列出與欲測量特質有關的具體行為
盡可能選擇不同題材(情境)來呈現具體行為
設計題目時應考慮施測對象,並調整題目的程
度值
反覆檢查題目與欲測量的潛在特質是否有關
四、編製題目與修(審)題目
2018/10/22
7
壹、命題原則
⚫
題目表達是否夠清楚,是否會有不同的解讀嗎?
⚫
條件是否夠充分?足以用來判斷答案,毫無爭議?
⚫
每個選項都經過思考
,正確選項可以吸引概念正確的
人去選答,而錯誤選項可以吸引概念不正確的人去選答。
是非題的特性與類型
題型
範例
簡單型
是非題
( )中華民國的國父是孫中山先生。
改錯式
是非題
( )_______花蓮縣位於台灣的北部區域。
叢集式
是非題
下列節肢動物中,屬於昆蟲的請填,否則請填。
( )蜘蛛( )螞蟻( )蜜蜂( )獨角仙( )蜈蚣
一、是非題的設計
2018/10/22
8
是非題的命題原則
1. 文字應簡潔,避免出現與答題無關的敘述
2. 避免雙重否定的敘述
一、是非題的設計
( )溶液的PH值很難精確測量,不過還是有些方法可以簡單
的測量。例如:將石蕊試紙放入溶液中,若呈現紅色,表示該
溶液為酸性。
( )B型肝炎
不是
一種
不會
傳染的疾病。
( )電器著火時,用水來撲滅
不是
一種
錯誤
的滅火方式。
是非題的命題原則
3. 題目只包含一種概念,避免同時評量兩種以上概念
4. 語句陳述要明確,避免出現太絕對或太籠統的敘述
一、是非題的設計
( )中國最大的湖泊是洞庭湖,它位於江蘇省,屬於長江流域。
( )
所有
細菌都是有害的。
( )分散學習的效果
可能
會優於集中學習。
2018/10/22
9
選擇題的特性與類型
二、選擇題的設計
題型
範例
單選題
( )下列哪一種作法會使單擺的擺動週期變快?
(A)綁重一點 (B)把線變長
(C)把線變短 (D)推用力一點
複選題
( )跌倒受傷時,下列何者是最恰當的處理方式?
(A)以生理食鹽水洗傷口* (B)以碘酒擦拭傷口*
(C)以自來水清洗傷口
(D)以唾液擦拭傷口
重組型
選擇題
( )顯微鏡操作步驟有四項,正確的順序應為下列何者?
1.標本放在玻片上,
2.使用低倍鏡、調整粗調節輪至看清楚標本,
3.調整反光鏡的光線,
4.使用高倍鏡、調整細調節輪至看清楚標本。
(A)1→2→3→4 (B)1→2→4→3
(C)1→3→4→2
(D)1→4→2→3
重組型選擇題的誤用
二、選擇題的設計
( )下列哪些現象是造成地球溫室效應的相關因素?
太陽距地球愈來愈近
大氣層內二氧化碳愈來愈多
天空臭氧層破洞漸漸增大
雨林與綠樹被砍伐得愈來愈多
(A) (B)
(C) (D)
2018/10/22
10
選擇題的命題原則(題幹設計)
1. 題幹的表達方式要能切合該題的評量目標
二、選擇題的設計
不佳例題1
下列敘述何者為誤﹖
(A)正常Costal angle應小於90˚
(B)Pulmonary edema的痰液呈泡沫血絲狀
(C)開放性肺結核是指會經由飛沫傳染的肺結核病
(D)成年人胸廓前後徑與左右徑的比例正常為7:5
改良例題1
下列關於人類胸部結構的相關敘述,何者有誤﹖
(A)正常Costal angle應小於90˚
(B)正常人肺葉為左邊兩大葉、右邊三大葉
(C)正常人的右支氣管較左支氣管短、寬且直
(D)成年人胸廓前後徑與左右徑的比例正常為7:5
選擇題的命題原則(題幹設計)
1. 題幹的表達方式要能切合該題的評量目標
二、選擇題的設計
不佳例題2(評量目標:瞭解重要科學名詞的意義。)
小文與家人到動物園參觀,看見台灣彌猴區的標示牌上寫著Macaca cyclopis。
請問其中的Macaca是:
(A)俗名 (B)種名 (C)學名 (D)屬名
改良例題2(評量目標:瞭解重要科學名詞的意義。)
大文看見四種生物,學名為:「Arnica cordifola」「Dryas bipetala」「Dryas
octopetala」「Kandelia octopetala」。哪兩種在分類學上的關係最接近?
(A)Arnica cordifola和Dryas bipetala
(B)Dryas octopetala和Dryas bipetala
(C)Dryas octopetala和Kandelia octopetala
(D)Kandelia octopetala和Arnica cordifola
2018/10/22
11
選擇題的命題原則(題幹設計)
2. 題幹要有明確的評量目標,並清楚地表達出題意與問題
二、選擇題的設計
不佳例題1
國外對天然洞穴開放參觀一直抱持謹慎態度,經常限制參觀人數,
主要是避免何種氣體?
(A)氧氣 (B)氨氣 (C)一氧化碳 (D)二氧化碳
改良例題1
國外對天然洞穴開放參觀一直抱持謹慎態度,主要是避免過多遊
客同處於洞穴中產生過多的何種氣體,而破壞原有洞穴中之氣體
平衡,影響自然景觀的維護?
(A)氧氣 (B)氨氣 (C)一氧化碳 (D)二氧化碳
選擇題的命題原則(題幹設計)
3. 題幹中只問一個主要概念,避免同時包含太多概念
二、選擇題的設計
不佳例題
關於下列「」中字的說明,何者正確?
甲、「牢」騷滿腹
乙、「勞」軍活動
丙、「勞」苦功高
丁、身陷「牢」籠
(A)甲、乙讀音不同,意義相同 (B)甲、丁讀音相同,意義不同
(C)乙、丙讀音相同,意義不同 (D)丙、丁讀音不同,意義相同
改良例題
「牢」騷滿腹中的「牢」字,與下列何者「」中的字讀音不同?
(A)身陷「牢」籠(B)「勞」軍活動(C)「勞」苦功高(D)結構「牢」固
身陷「牢」籠中的「牢」字,與下列何者「」中的字意相同?
(A)「牢」騷滿腹(B)「勞」軍活動(C)「勞」苦功高(D)結構「牢」固
2018/10/22
12
選擇題的命題原則(題幹設計)
4. 題幹的陳述應簡潔、明白,避免出現跟答題無關的內容
二、選擇題的設計
不佳例題
台灣地狹人稠,垃圾問題日趨嚴重。根據統計,平均每人每天約生產
0.8公斤的垃圾。為了解決垃圾問題,請問下列哪一項措施可以有效減
少垃圾量?
(A)將只用過單面的紙回收再用 (B)垃圾要打包好才拿去丟掉
(C)盡量少用洗碗精來洗碗
(D)盡量多用免洗餐具
改良例題
台灣的垃圾問題日漸嚴重,為了解決垃圾的問題,請問下列哪一項措
施最能有效減少垃圾量?
(A)將只用過單面的紙回收再用 (B)垃圾要打包好才拿去丟掉
(C)盡量少用洗碗精來洗碗
(D)盡量多用免洗餐具
選擇題的命題原則(題幹設計)
5. 題目應避免直接抄自教材,要能與受測者生活經驗相結合
二、選擇題的設計
不佳例題
請問符合下列三個條件的整數解組合有幾種?
x > 2; y > 1; 15x + 8y < 60
(A) 4種
(B) 5種
(C) 6種
(D) 7種
改良例題
小智帶了60元去買原子筆與作業簿。福利社中的原子筆每枝8元,
作業簿每本15元,如果他最少需要買兩本作業簿,一枝原子筆,請
問有幾種不同的買法?
(A) 4種
(B) 5種
(C) 6種
(D) 7種
2018/10/22
13
選擇題的命題原則(題幹設計)
6. 題幹應儘量用正向詞;若使用反向詞,下方應加註底線
二、選擇題的設計
不佳例題
牛頓第一運動定律無法用來解釋下列哪一種現象?
(A)行進中的火車突然煞車時,乘客的身體會向前傾
(B)施加於物體上的力量愈大,物體的加速度就愈大
(C)用力抽離上方壓有重物的紙張時,重物會留在原來的位置
(D)汽車乘客若未繫安全帶,出車禍時很容易被拋出車外
改良例題
牛頓第一運動定律無法用來解釋下列哪一種現象?
(A)行進中的火車突然煞車時,乘客的身體會向前傾
(B)施加於物體上的力量愈大,物體的加速度就愈大
(C)用力抽離上方壓有重物的紙張時,重物會留在原來的位置
(D)汽車乘客若未繫安全帶,出車禍時很容易被拋出車外
選擇題的命題原則(題幹設計)
7. 題幹的敘述應保持完整,避免被選項分割成兩個部份
二、選擇題的設計
不佳例題
Mr. Wang
(A) is speaking
(B) is talking to
(C) speaks
(D) talk to
a little girl.
改良例題
Mr. Wang ____ a little girl.
(A) is speaking (B) is talking to (C) speaks (D) talk to
2018/10/22
14
選擇題的命題原則(題幹設計)
8. 題幹中應避出現免歧視性別或特定群體的敘述
二、選擇題的設計
不佳例題
某次智力測驗結果中,男生班平均數105分、標準差15分;女生班平均數115分、標準差
16分。若兩班人數均為50人,則男生班智商是否顯著地低於女生班?為什麼?(假設
α=.05)
(A)是,因為女生班平均數高於男生班平均數
(B)是,因為女生班與男生班的平均數差異值t檢定<1.98
(C)否,因為女生班與男生班的平均數差異值t檢定>1.98
(D)否,因為女生班與男生班平均數的差異值低於16分
改良例題
某次智力測驗結果中,A班學生平均數105分、標準差15分;B班學生平均數115分、標準
差16分。若兩班人數均為50人,則A班智商是否顯著地低於B班?為什麼?(假設α=.05)
(A)是,因為B班平均數高於A班平均數
(B)是,因為B班與A班的平均數差異值t檢定<1.98
(C)否,因為B班與A班的平均數差異值t檢定>1.98
(D)否,因為B班與A班平均數的差異值低於16分
選擇題的命題原則(題幹設計)
9. 題目的情境不應該是某些群體(性別、地區)所特別熟悉
二、選擇題的設計
不佳例題
就地理氣候的劃分來說,北回歸線以南為熱帶地區。請問北回歸線
經過下列哪一個縣(市)?
(A)台中縣 (B)台南縣 (C)屏東縣 (D)嘉義縣
改良例題
就地理氣候的劃分來說,北回歸線以南為熱帶地區。若北回歸線經
過嘉義縣,則下列哪一個縣(市)屬於熱帶地區?
(A)台中縣 (B)苗栗縣 (C)屏東縣 (D)宜蘭縣
2018/10/22
15
選擇題的命題原則(選項設計)
1. 選項與題幹問題的文法要一致,邏輯上要能連貫
二、選擇題的設計
不佳例題
與填空題相比,是非題有哪些缺點?
(A)僅能評量到記憶性的知識 (B)不必費心思設計選項
(C)計分比較客觀
(D)比較容易被猜對
改良例題
與填空題相比,是非題有哪些缺點?
(A)僅能評量到記憶性的知識 (B)作答時間較長
(C)計分比較不客觀
(D)比較容易被猜對
選擇題的命題原則(選項設計)
2. 選項與題幹中應避免出現可能會暗示正確答案的線索
二、選擇題的設計
不佳例題
下列哪一種測驗是屬於興趣測驗?
(A)學習興趣量表
(B)魏氏智力測驗
(C)國中基本學力測驗 (D)多因素性向測驗
改良例題
下列哪一種測驗是屬於興趣測驗?
(A)生涯探索量表
(B)魏氏智力測驗
(C)國中基本學力測驗 (D)明尼蘇達人格測驗
2018/10/22
16
選擇題的命題原則(選項設計)
3. 選項應盡量使用相似的敘述方式,以使選項具備誘答力
二、選擇題的設計
不佳例題1a
日本的首都是那個城市?
(A)東京 (B)洛杉磯(C)高雄(D)阿姆斯特丹
不佳例題1b
日本的首都是那個城市?
(A)東京 (B)西京(C)南京(D)北京
改良例題1
日本的首都是那個城市?
(A)東京 (B)大阪(C)神戶(D)名古屋
選擇題的命題原則(選項設計)
3. 選項應盡量使用相似的敘述方式,以使選項具備誘答力
二、選擇題的設計
不佳例題2
參加生態旅遊時,下列何種行為是不適合的?
(A)殘殺稀有動物*
(B)尊重當地區民之風俗文化
(C)推行環境生態保育觀念 (D)重視地球的不可回復性
改良例題2
參加生態旅遊時,下列何種行為是不適合的?
(A)收集當地天然礦石與植物*
(B)尊重當地區民之風俗文化
(C)推行環境生態保育觀念
(D)重視地球的不可回復性
2018/10/22
17
選擇題的命題原則(選項設計)
4. 避免使用「以上皆是」或「以上皆非」的選項
二、選擇題的設計
不佳例題1
我國推行全民健康保險制度之目的為何?
(A)增進全體國民健康 (B)提供醫療保健服務
(C)全民分攤醫療負擔 (D)以上皆是
改良例題1
我國推行全民健康保險制度之目的不包括下列哪一項?
(A)增進全體國民健康 (B)提供醫療保健服務
(C)全民分攤醫療負擔 (D)增加醫療院所收入
選擇題的命題原則(選項設計)
5. 選項避免與其它選項範圍互相重疊,或包含於其它選項中
二、選擇題的設計
不佳例題
小儀說他的身高是五呎兩吋。由此可知,小儀的身高:
(A)高於150cm
(B)高於170cm
(C)低於150cm
(D)低於140cm
改良例題
小蓉說他的身高是五呎兩吋。由此可知,小蓉的身高最接近:
(A)150cm
(B)160cm
(C)170cm
(D)180cm
2018/10/22
18
選擇題的命題原則(選項設計)
6. 選項應避免使用絕對詞或籠統詞、避免使用雙重否
定敘述,或與題幹形成雙重否定
二、選擇題的設計
不佳例題1
下列有關試題分析的功能敘述,何者正確?
(A)試題分析指標有時可以協助了解題目設計上的瑕疵*
(B)試題分析指標可以找出所有的試題設計瑕疵
(C)若題目的鑑別度很低,表示該題目的設計一定有問題
(D)若題目的鑑別度很高,表示該題目的設計絕對沒有問題
不佳例題2
下列何種情形較不會引起查核人員對財務報表存有重大錯誤的懷疑?
(A)函證回函之金額與帳載金額不符
(B)交易缺乏適當支持文件
(C)總帳與相關主檔之間不符
(D)由電腦產生會計分錄不平衡的錯誤清單*
配合題的類型
三、配合題的設計
題型
範例
概念型
配合題
請在右方選出下列物品的發明者,並將之填入左方空格中。
( )電話
(A)愛迪生
( )燈泡
(B)貝爾
( )蒸氣機
(C)瓦特
( )電報機
(D)諾貝爾
( )留聲機
圖表式
配合題
請在右圖中選出下列器官的正常位置,並填入左方空格中。
( )心臟
( )肝臟
( )胃
( )盲腸
A
C
D
E
B
2018/10/22
19
配合題的命題原則
1. 問題項或反應項的性質應該要相同
三、配合題的設計
不佳例題
請在右方選出符合下列敘述的概念,並將之填入左方空格中。
( )台灣最高的山脈
(A)墾丁國家公園
( )台灣地震最頻繁的地區 (B)玉山山脈
( )台灣島最南端的國家公園 (C)花蓮縣
( )台灣西海岸的主要地形 (D)沙岸地形
改良例題
請在右方選出符合下列特徵的山脈,並將之填入左方空格中。
( )台灣分佈最廣的山脈
(A)玉山山脈
( )台灣最靠東邊的山脈
(B)中央山脈
( )台灣最高的山脈
(C)雪山山脈
( )台灣緯度最高的山脈
(D)海岸山脈
配合題的命題原則
2. 問題項與反應項的數量不要相等,且反應項可重複
被選取
3. 反應項的數目不宜過多,並應盡量按邏輯順序排列
4. 同一題配合題應安排在同頁,並清楚說明作答方式
三、配合題的設計
2018/10/22
20
題組的特性與類型
四、題組的設計
題型
範例
閱讀測
驗題組
Please separate your garbage and _1_ it in the appropriate containers.
_2_ is not as difficult as you think. Using less _3_ is also a way to save the
environment.
1.___ (A) putting (B) puts (C) put (D) to put
2.___ (A) Circulation (B) Recirculation(C) Cycle (D) Recycle
3.___ (A) Package (B) Garbage (C) Market (D) Cabbage
自然科
學測驗
題組
右圖為颱風位於台灣東北海域上的衛星雲圖,
請依此回答下列問題:
1.受此颱風影響,此時台北市上空
最可能的風向為何?
(A)北風
(B)南風 (C)東風
(D)東南風
2. 若氣象局預報颱風前進方向為正西方,則下列何地風力可
能會最大?
(A)桃園
(B)台南 (C)高雄
(D)花蓮
題組的命題原則
1. 子題數量應配合問題情境的訊息量,以3~5題為原則
2. 問題情境中的必須包含回答各子題時所會用到的資訊
3. 子題的答案應互相獨立
4.子題應該要能評量到綜合能力,而非只是知識的記憶
四、題組的設計