- 159 -
105 學年度統測模擬考數學 (C) 試題分析之研究
黃必祥 / 美國德州大學奧斯汀分校數學博士 / 現任國立高雄師範數學系教授
呂一帆 / 國立高雄師範大學數學系數學教學碩士 / 現任高雄高工數學科教師
105 學年度統測模擬考數學(C)試題分析之研究-
以北中南都會區各一所高職學生為例
黃 必 祥 博 士 呂 一 帆
摘要
本研究旨在根據古典測驗理論、試題反應理論及相關統計檢定方法,藉由「105
學年度統測模擬考數學(C)試題」
,對試題進行信效度、難度、鑑別度等質性與量化之
分析,並對於北中南都會區各一所高職學生之答題情形作分析研究。期盼能藉由此研
究加以精進研究者編製測驗的能力、找出受試學生的學習盲點及學習困難,提高學生
學習成就;並提出教師教學建議,以便教師日後進行教學,及相關研究人員未來進行
試題分析研究時提供參考。
進行「105 學年度統測模擬考數學(C)試題」施測,係以在北中南都會區各一所
高職學生,共 1537 人為受試樣本。將作答反應資料登錄電腦後,以 Microsoft Office Excel
2010、SPSS、TestGraf98 及 Minitab 等軟體來計算相關指標,繪製圖形以了解選擇題選
項之好壞,並對學生之答題情形進行綜合分析。茲將研究結果摘述如下:
一、 由試題檢核表、雙向細目表來看,本測驗具有不錯的內容效度。
二、 由內部一致性方法求出之內部一致性係數(
KR
20
係數)為 0.827,
得知本測驗具有不錯的信度。
三、 以古典測驗理論分析,試題的難度平均值為 0.587,顯示多數試題
之難度等級屬於難易適中。
四、 以古典測驗理論分析,求出試題的鑑別度平均值為 0.505,顯示多
數試題之鑑別度等級屬於非常優良。
五、 由 TestGraf98 之正答選項特徵曲線可知,絕大多數試題之正確選項
具有良好的鑑別力。
六、 由 TestGraf98 之誘答選項特徵曲線可知,絕大多數試題之選項具有
良好的誘答力。
七、 利用單因子變異數分析來觀察北中南三所學校考生成績分布差異狀況,發現北
區與南區之間是有差異的。
八、 利用關聯表卡方檢定檢定北中南三所學校考生在各題答對情形的差異,發現不
同區域考生在偏重概念理解的題型表現是有差異的。
九、 利用單因子變異數分析來觀察北中南三所學校考生在不同數學概念的表現差
異狀況,發現南區學生在數系與幾何方面與其他兩區有顯著的差異,值得讓研
究者及其他教師日後進行教學作為參考。
關鍵詞:試題分析、試題反應理論、統測模擬考
-1-
雄工學報第十三輯
- 160 -
第一章
緒論
本章內容主要是敘述本研究的研究背景與研究動機、根據研究目的進行研究問題
與假設,並針對研究中專有名詞加以解釋,討論所研究的範圍與過程中所面對的限制
問題。
第一節 研究背景與研究動機
研究者身為一個教師已經十多年,雖然是在高職任教數學科,但是由於學校地理
位置在都會區,學生高職畢業後自身的目標以及家長的期待多為繼續升學就讀四技二
專,所以如何讓學生在數學學習更有效率並獲得成就感,是研究者一直念茲在茲的。
教學當中會伴隨著各種測驗,每次在批改考卷時常會想到,老師在台上這麼努力地講
授,講授的成果到底有沒有效,學生吸收的情況又是如何,應該用哪些方法來進行評
量?是不是可以設計出一份良好的試卷?這是研究者想要進行此研究的動機之一。
教學評量在教師教學中扮演著相當重要的角色,不僅可以測試學生對於教師所教
授之教學內容瞭解的程度,教師亦可經由評量測驗來評估教學是否已達預期的教學目
標。雖然教學評量的方式日趨多元化,教師可採取筆試、口試、板演、實作、作業、
報告、資料蒐集、晤談等適當方式進行,並得視實際需要,參酌學生自評、同儕互評。
但是,目前在學校所辦理的定期測驗及各項入學資格測驗等仍以紙筆測驗方式實施居
多。
紙筆測驗的教學評量方式,因具公平、評分標準客觀、施測方便,且分數較少誤
差等優點,乃廣被採用。然而在升學競爭的壓力之下,人人競逐高分,教學未能正常
化,考試逐漸淪為競賽的工具,學生成為考試的機器,導致考試領導教學之風盛行,
紙筆測驗的命題內容、目標及形式等趨勢,引導了教師教學與學生學習,而這就成為
紙筆測驗為一般大眾所詬病之處。因此,為了避免學生在入學考試中存在一試定終身
的缺憾,近年來教育部提倡多元入學管道,鼓勵各技專校院辦理甄選入學、技優保送
及技優甄審等多元入學方式,然而不論何種入學管道,紙筆測驗的考試方式仍佔有相
當重的份量。在目前尚無發展更適合之替代方案前,入學考試仍是較公平、公正的方
式。那麼在公平、公正之原則下,如何改進命題技術以提升測驗的品質,是目前最值
得重視的問題。
-2-
- 161 -
105 學年度統測模擬考數學 (C) 試題分析之研究
第一章
緒論
本章內容主要是敘述本研究的研究背景與研究動機、根據研究目的進行研究問題
與假設,並針對研究中專有名詞加以解釋,討論所研究的範圍與過程中所面對的限制
問題。
第一節 研究背景與研究動機
研究者身為一個教師已經十多年,雖然是在高職任教數學科,但是由於學校地理
位置在都會區,學生高職畢業後自身的目標以及家長的期待多為繼續升學就讀四技二
專,所以如何讓學生在數學學習更有效率並獲得成就感,是研究者一直念茲在茲的。
教學當中會伴隨著各種測驗,每次在批改考卷時常會想到,老師在台上這麼努力地講
授,講授的成果到底有沒有效,學生吸收的情況又是如何,應該用哪些方法來進行評
量?是不是可以設計出一份良好的試卷?這是研究者想要進行此研究的動機之一。
教學評量在教師教學中扮演著相當重要的角色,不僅可以測試學生對於教師所教
授之教學內容瞭解的程度,教師亦可經由評量測驗來評估教學是否已達預期的教學目
標。雖然教學評量的方式日趨多元化,教師可採取筆試、口試、板演、實作、作業、
報告、資料蒐集、晤談等適當方式進行,並得視實際需要,參酌學生自評、同儕互評。
但是,目前在學校所辦理的定期測驗及各項入學資格測驗等仍以紙筆測驗方式實施居
多。
紙筆測驗的教學評量方式,因具公平、評分標準客觀、施測方便,且分數較少誤
差等優點,乃廣被採用。然而在升學競爭的壓力之下,人人競逐高分,教學未能正常
化,考試逐漸淪為競賽的工具,學生成為考試的機器,導致考試領導教學之風盛行,
紙筆測驗的命題內容、目標及形式等趨勢,引導了教師教學與學生學習,而這就成為
紙筆測驗為一般大眾所詬病之處。因此,為了避免學生在入學考試中存在一試定終身
的缺憾,近年來教育部提倡多元入學管道,鼓勵各技專校院辦理甄選入學、技優保送
及技優甄審等多元入學方式,然而不論何種入學管道,紙筆測驗的考試方式仍佔有相
當重的份量。在目前尚無發展更適合之替代方案前,入學考試仍是較公平、公正的方
式。那麼在公平、公正之原則下,如何改進命題技術以提升測驗的品質,是目前最值
得重視的問題。
全國大多數高職學校都會在三年級的時候參加各文化事業有限公司辦理的全國
統測模擬考,學生藉由在全國的排名,做為準備統測的成果驗收,各文化事業有限公
司則會在每次模擬考挑選不同老師命題,並且委託一些有經驗的老師試作及審題,力
求整份試題對學生有幫助,否則如果命題老師沒有注意到學生程度、考試範圍、試題
難易度,往往造成測驗成果不佳,無法測出學生真正的程度,甚至使學生有習得無助
感,四技二專統一入學測驗考試的數學科題型為25題單選題,研究者恰有機會參與105
學年度第5次統測全國模擬考數學(C)試題的命題,因此想藉由此研究來進行試題分
析,期盼能了解學生錯誤的觀念,真正測出學生學習成果,藉由整個研究的過程與結
果,給予教師教學上的建議,以便作為未來學校教師命題及相關研究者進行研究之參
考,精進老師編製測驗的能力。
一份良好的測驗不僅能提供教師作為改進教學的參考,更有助於學生在學習上的
困難自覺及動機激發(蔡元忠,2010)。因為研究者平常多以坊間出版社提供之試卷
給學生測驗,如果能根據出版社、歷屆試題、亦或是其他前輩自製題庫等這些資源,
針對學生的程度進行自編測驗試卷,應該能為學生帶來一份新的契機。
林玟秀(2011)認為教師與學生在教育過程是持續互動的關係,課程和教材是互
動的內容,然而教師想知道學生學習狀況、是否接收有誤等,最具體直接瞭解的方式
就是教學評量。既然教學評量在教學過程中對於師生互動佔了如此重要的部分─訊息
回饋,無論教學目標能否完成、學生是否具有學習前的前備知識、以及教師日後如何
改善教學活動,都仰賴教學評量所回饋的訊息,以期達到良好的教學效果。
良好教學評量工具必須具備效度以檢視評量結果的正確性、信度以用來評估評量
結果的可靠性、難度以理解評量工具的困難度、鑑別度以用來檢核評量工具是否能區
分高低能力程度(簡茂發,1991)。如果藉由一些測驗理論及電腦分析的過程來收集
一些內容適切、難易度適中且具有良好信度、效度及鑑別度的試題並建立題庫,那麼
教師只需從題庫裡選取適當題目並加以修改增刪,便可以輕易地組成一份品質優良的
試卷(余民寧,2002)。
試題分析的功能經過質的分析,對試題內容進行檢驗後,再透過客觀的量的分
析。可以分析出每一個試題的統計特徵為何?提供一些資訊給從事測驗命題的相關人
員,作為受試者加強其學習盲點的參考、教師實施補救教學的依據、課程編製者修改
-3-
雄工學報第十三輯
- 162 -
課程內容的參考、增進命題者編製試題的經驗及增進測驗題庫運用的效能等,作出一
份符合現行課程標準又能鑑別出學生程度的試題,是值得所有在職的教師與施測者深
思與努力。
因此,研究者藉著105學年度第5次統測模擬考數學(C)試題的命題的機會,將
此份測驗作為研究討論的範圍,透過北中南都會區各一所高職考生對於此份測驗成績
和答題情形的探討,藉由試題分析探討學生能力、試題難度與鑑別度,找出真正適合
學生的試題,幫助學生克服學習數學的障礙,增加學生對數學的學習自信,並提供一
套有效可行之試題分析方法,作為學校教師或命題專家學者從事改良命題之參考。
第二節 研究目的與研究問題
綜合上述研究動機,本研究的目的與研究問題如下:
一、研究目的
本研究之主要目的是編製一份試題難度適中、鑑別度高且具備良好信度與效度的
「105學年度統測模擬考數學(C)試題」,藉由質與量的試題分析,探討試卷與試題
特性,並藉由不同地區學生的答題結果,了解學生對數學成績的差異情形,以提供必
要的輔導,作為日後教師教學、命題與學生學習之參考。並進一步提供相關建議,讓
往後研究者對命題能更加周延。
二、研究問題
(一)「105學年度統測模擬考數學(C)試題」在質與量的試題分
析中,其結果為何?
(二)「105學年度統測模擬考數學(C)試題」學生答題情形分析,
選擇題方面其選項特徵曲線對高、中、低成就學生呈現為何?
(三)「105學年度統測模擬考數學(C)試題」學生答題情形分析,
在北、中、南都會區各一所高職學生數學學習成果呈現為何?
-4-
- 163 -
105 學年度統測模擬考數學 (C) 試題分析之研究
課程內容的參考、增進命題者編製試題的經驗及增進測驗題庫運用的效能等,作出一
份符合現行課程標準又能鑑別出學生程度的試題,是值得所有在職的教師與施測者深
思與努力。
因此,研究者藉著105學年度第5次統測模擬考數學(C)試題的命題的機會,將
此份測驗作為研究討論的範圍,透過北中南都會區各一所高職考生對於此份測驗成績
和答題情形的探討,藉由試題分析探討學生能力、試題難度與鑑別度,找出真正適合
學生的試題,幫助學生克服學習數學的障礙,增加學生對數學的學習自信,並提供一
套有效可行之試題分析方法,作為學校教師或命題專家學者從事改良命題之參考。
第二節 研究目的與研究問題
綜合上述研究動機,本研究的目的與研究問題如下:
一、研究目的
本研究之主要目的是編製一份試題難度適中、鑑別度高且具備良好信度與效度的
「105學年度統測模擬考數學(C)試題」,藉由質與量的試題分析,探討試卷與試題
特性,並藉由不同地區學生的答題結果,了解學生對數學成績的差異情形,以提供必
要的輔導,作為日後教師教學、命題與學生學習之參考。並進一步提供相關建議,讓
往後研究者對命題能更加周延。
二、研究問題
(一)「105學年度統測模擬考數學(C)試題」在質與量的試題分
析中,其結果為何?
(二)「105學年度統測模擬考數學(C)試題」學生答題情形分析,
選擇題方面其選項特徵曲線對高、中、低成就學生呈現為何?
(三)「105學年度統測模擬考數學(C)試題」學生答題情形分析,
在北、中、南都會區各一所高職學生數學學習成果呈現為何?
第三節 研究範圍與限制
本研究旨在探討「105學年度統測模擬考數學(C)試題」,茲將本研究之研究限
制說明如下:
一、研究範圍
本研究之對象為某文化事業股份有限公司隨機抽取北、中、南都會區各一所高職
參加105學年度第5次統測模擬考數學(C)試題的學生,共1537名學生,採用高職數
學(C)第一冊到第四冊為命題範圍。
二、研究限制
(一)研究對象方面
本研究將針對「105學年度統測模擬考數學(C)試題」考生的作答
資料來作相關統計分析,進而瞭解105學年度職業學校工業類高三學生
數學學習情形,因受試者為數眾多,為避免進行統計分析時,電腦無
法負荷,以及考量研究時間的限制,在抽樣方面採叢集隨機抽樣,只
抽取北、中、南地區各一所都會區學校之高三學生來作分析,共 1537
. 人,因此研究資料的代表性與客觀性均有其限制,無法廣泛推論,須
謹慎小心引用解釋結果與推論。
(二)研究方法方面
本研究結果之推廣上,只能提供相似程度之學校作為製作試題評量
或提供教師進行試題分析時之參考資料。
-5-
雄工學報第十三輯
- 164 -
第二章
文獻探討
本章針對測驗理論的探討來說明:
第一節
測驗理論的探討
一、古典測驗理論
古典測驗理論的內涵,主要是以真實分數模式(亦即實得分數
x
為真實分數
t
與誤差
分數
e
之和)為理論架構,依據弱勢假設而來。
所謂的真實分數模式,即是指一種直線關係的數學模式(liner model),用來表示任
何可以觀察到、測量到的實得分數(亦稱觀察值或測量值)皆由下列兩個部份所構成的
一種數學函數關係。這兩個部份分別是:一為觀察不到,但代表研究者真正想要去測
量的潛在特質(latent trait)部份,叫做「真實分數」;另一為觀察不到,且不代表潛在
特質,卻是研究者想要極力去避免或設法降低的部分,叫做「誤差分數」(error score)。
這兩個部份合併構成任何一個真實的測量值(即實得分數),且彼此之間具有並延伸出
多種基本假設,能符合這些基本假設的測量問題,即為真實分數模式所探討的範疇
(Gulliksen, 1950/1987; Lord & Novick, 1968)。
(一)古典理論的基本假設
真實分數模式雖然是一種簡單的線性模式,在應用時仍必須滿足一些基本假設,
這些基本假設便是真實分數理論所賴以建立的基礎。真實分數理論的基本假設,可以
歸納成下列七項(Gulliken, 1987; Load & Novick, 1968; 余民寧,2002):
1.
x
=
t
+
e
(即實得分數等於真實分數與誤差分數之和)
2.
E(x)
=
t
(即實得分數的期望值等於真實分數)
3.
te
=0(即真實分數與誤差分數之間呈現零相關)
4.
1 2
e e
=0(即不同測驗的誤差分數間呈現零相關)
5.
1 2
e t
=0(即不同測驗的誤差分數與真實分數之間呈現零相關)
6. 假設有兩個測驗,其實得分數分別為
x
及
x'
,並且滿足上述 1 至
5 的五個假定,而且對每一群體考生而言,亦滿足
t
=
t'
和
2
2
e
e
等
條件,則這兩個測驗便稱作「複本測驗」(parallel tests)。
7. 假設有兩個測驗,其實得分數分別為
x
1
及
x
2
,並且滿足上述 1
至 5 的五個假定,而且對每一群體考生而言,亦滿足
t
1
=
t
2
+
c
12
,
(其中
c
12
為一常數),則這兩個測驗稱作「本質上 τ 等值測驗」
(essentially τ-equivalent tests)。
二、試題反應理論
為了改進古典測驗理論的缺失,才有當代測驗理論的誕生。當代測驗理論一般
是指包含試題反應理論(item response theory,簡稱IRT),潛在特質理論(latent trait
-6-
- 165 -
105 學年度統測模擬考數學 (C) 試題分析之研究
第二章
文獻探討
本章針對測驗理論的探討來說明:
第一節
測驗理論的探討
一、古典測驗理論
古典測驗理論的內涵,主要是以真實分數模式(亦即實得分數
x
為真實分數
t
與誤差
分數
e
之和)為理論架構,依據弱勢假設而來。
所謂的真實分數模式,即是指一種直線關係的數學模式(liner model),用來表示任
何可以觀察到、測量到的實得分數(亦稱觀察值或測量值)皆由下列兩個部份所構成的
一種數學函數關係。這兩個部份分別是:一為觀察不到,但代表研究者真正想要去測
量的潛在特質(latent trait)部份,叫做「真實分數」;另一為觀察不到,且不代表潛在
特質,卻是研究者想要極力去避免或設法降低的部分,叫做「誤差分數」(error score)。
這兩個部份合併構成任何一個真實的測量值(即實得分數),且彼此之間具有並延伸出
多種基本假設,能符合這些基本假設的測量問題,即為真實分數模式所探討的範疇
(Gulliksen, 1950/1987; Lord & Novick, 1968)。
(一)古典理論的基本假設
真實分數模式雖然是一種簡單的線性模式,在應用時仍必須滿足一些基本假設,
這些基本假設便是真實分數理論所賴以建立的基礎。真實分數理論的基本假設,可以
歸納成下列七項(Gulliken, 1987; Load & Novick, 1968; 余民寧,2002):
1.
x
=
t
+
e
(即實得分數等於真實分數與誤差分數之和)
2.
E(x)
=
t
(即實得分數的期望值等於真實分數)
3.
te
=0(即真實分數與誤差分數之間呈現零相關)
4.
1 2
e e
=0(即不同測驗的誤差分數間呈現零相關)
5.
1 2
e t
=0(即不同測驗的誤差分數與真實分數之間呈現零相關)
6. 假設有兩個測驗,其實得分數分別為
x
及
x'
,並且滿足上述 1 至
5 的五個假定,而且對每一群體考生而言,亦滿足
t
=
t'
和
2
2
e
e
等
條件,則這兩個測驗便稱作「複本測驗」(parallel tests)。
7. 假設有兩個測驗,其實得分數分別為
x
1
及
x
2
,並且滿足上述 1
至 5 的五個假定,而且對每一群體考生而言,亦滿足
t
1
=
t
2
+
c
12
,
(其中
c
12
為一常數),則這兩個測驗稱作「本質上 τ 等值測驗」
(essentially τ-equivalent tests)。
二、試題反應理論
為了改進古典測驗理論的缺失,才有當代測驗理論的誕生。當代測驗理論一般
是指包含試題反應理論(item response theory,簡稱IRT),潛在特質理論(latent trait
theory,簡稱LTT),或是試題特徵曲線理論(item characteristic curve theory)等相關名詞的
統稱。而當代測驗理論的內涵,主要是以試題反應理論為理論架構,依據強勢假設而
來。
試題反應理論主要是以個別試題的觀點,來解釋測驗分數的涵義。它認為學生在
某一試題上的表現情形,與其背後的某種潛在特質(或能力)之間具有某種關係存在,
該關係可以透過一條連續性遞增的數學函數來加以表示和詮釋,這個數學函數便稱作
「試題特徵曲線」;換句話說,將能力不同的考生得分點連接起來所構成的曲線,便
是能力不同的考生在某一測驗試題上的試題特徵曲線,若將各試題特徵曲線加總起
來,便構成「測驗特徵曲線」(test characteristic curve,簡稱TCC)。
(一) 正答選項特徵曲線
正答選項特徵曲線可以看出正確答題者的分佈情形,可以藉以找出
命題者期望的正答類型,藉以掌控試題的命題品質。
本研究根據正答選項特徵曲線形狀,歸納為六種類型(A、B、C、D、
E、F)
,以下茲就各類型特徵曲線輔以本研究之曲線進行說明:
1.
A型選項特徵曲線:呈現近似嚴格遞增凹向下之曲線:
此種類型對能力值低的考生,較具鑑別度(「試題特徵曲線」在
此區域的斜率較大),而對能力值約在前二分之一的考生,則幾乎
無鑑別度可言(「試題特徵曲線」在此區域幾乎成水平),如圖2-1-1
所示為A型正答選項特徵曲線。
圖
2-1-1 A 型正答選項特徵曲線
-7-
雄工學報第十三輯
- 166 -
2.
B型選項特徵曲線:呈現嚴格遞增凹向上之曲線:
此種類型曲線正好與A型曲線相反。對能力高的考生較具鑑別度,而
對能力值在後二分之一的考生,則幾乎無鑑別度可言,如圖2-1-2 所
示為B型正答選項特徵曲線。
圖
2-1-2 B 型正答選項特徵曲線
3.
C型選項特徵曲線:呈現無水平嚴格遞增直線趨向
此種類型曲線主要的特徵是大部分能力範圍內之斜率變動不大(幾乎維持定
值),也就是該曲線的走向大都是呈現斜率為45
。
的直線,表示受試者能力與答對率呈
現1:1正比的趨勢,即是該試題對受試者有極高的鑑別度,屬於鑑別度較優良的試題。
如圖2-1-3 所示為C型正答選項特徵曲線。
圖
2-1-3 C 型正答選項特徵曲線
-8-
- 167 -
105 學年度統測模擬考數學 (C) 試題分析之研究
2.
B型選項特徵曲線:呈現嚴格遞增凹向上之曲線:
此種類型曲線正好與A型曲線相反。對能力高的考生較具鑑別度,而
對能力值在後二分之一的考生,則幾乎無鑑別度可言,如圖2-1-2 所
示為B型正答選項特徵曲線。
圖
2-1-2 B 型正答選項特徵曲線
3.
C型選項特徵曲線:呈現無水平嚴格遞增直線趨向
此種類型曲線主要的特徵是大部分能力範圍內之斜率變動不大(幾乎維持定
值),也就是該曲線的走向大都是呈現斜率為45
。
的直線,表示受試者能力與答對率呈
現1:1正比的趨勢,即是該試題對受試者有極高的鑑別度,屬於鑑別度較優良的試題。
如圖2-1-3 所示為C型正答選項特徵曲線。
圖
2-1-3 C 型正答選項特徵曲線
4.
D型選項特徵曲線:呈現嚴格遞增S型曲線
此種類型曲線其主要的特性為對中間區段的能力值範圍的考生,其鑑別度特
別高;但如果離開此一範圍,則其鑑別度明顯下降甚至趨近於零,如圖2-1-4
所示為D型正答選項特徵曲線。
圖
2-1-4 D 型正答選項特徵曲線
5.
E型選項特徵曲線:呈現嚴格遞增反S型曲線(即先呈現凹向下後,再呈現凹
向上,且有水平反曲點之曲線)
此種類型曲線恰好與D型曲線意義相反,亦即對中間某一段能力值的考生幾乎不
具鑑別度(曲線呈水平);而對兩端的考生,則有相當的鑑別度,如圖2-1-5 所示為E
型正答選項特徵曲線。
圖2-1-5 E 型正答選項特徵曲線
-9-
雄工學報第十三輯
- 168 -
6.
F型選項特徵曲線:曲線並未呈現嚴格遞增狀態
此類型為有局部曲線為遞減趨向,由於TestGraf的原始程式中,是以答對題數多
寡作為排序受試者之依據,答對題數相同之受試者以一極小之隨機亂數值決定其先後
次序關係,因為次序不是由答題反應訊息決定,實不合理(吳慧怋,2001)
。如圖2-6 所
示為F型正答選項特徵曲線,由圖2-1-6可知在排序0%-2.5%、75%-85%左右的曲線為
遞減狀態不過,由於大部分還是屬於凹向下的趨向,因此對於排序2.5%-50%的受試
者仍有不錯的鑑別力,仍能歸類為對於中低能力有鑑別力的試題,本類型的其他試題
也會依照大致的曲線趨向,判讀鑑別力的程度及範圍。
圖
2-1-6 F 型正答選項特徵曲線
(二) 誘答選項特徵曲線
良好的誘答選項特徵曲線會隨著能力值的增加而遞減至0,也就是說能力值低的
受試者選答該誘答選項的機率高,而能力值高的受試者選答的機率低。誘答選項特徵
曲線依照其形狀變化,可歸納為三種類型(a、b、c),根據本研究之圖形,將選項特徵
曲線依其誘答特性整理,茲分述如下:
1.
a型:有一個誘答選項特徵曲線和正答選項特徵曲線呈現對稱此種
類型曲線主要的特徵是顯示此誘答選項具有高誘答力,是屬於誘答力較優良
的誘答選項,如圖2-1-7所示為a型誘答選項特徵曲線,圖中的錯誤選項B與正
確選項D的曲線在排序35%以上的部分呈現對稱。
-10-
- 169 -
105 學年度統測模擬考數學 (C) 試題分析之研究
6.
F型選項特徵曲線:曲線並未呈現嚴格遞增狀態
此類型為有局部曲線為遞減趨向,由於TestGraf的原始程式中,是以答對題數多
寡作為排序受試者之依據,答對題數相同之受試者以一極小之隨機亂數值決定其先後
次序關係,因為次序不是由答題反應訊息決定,實不合理(吳慧怋,2001)
。如圖2-6 所
示為F型正答選項特徵曲線,由圖2-1-6可知在排序0%-2.5%、75%-85%左右的曲線為
遞減狀態不過,由於大部分還是屬於凹向下的趨向,因此對於排序2.5%-50%的受試
者仍有不錯的鑑別力,仍能歸類為對於中低能力有鑑別力的試題,本類型的其他試題
也會依照大致的曲線趨向,判讀鑑別力的程度及範圍。
圖
2-1-6 F 型正答選項特徵曲線
(二) 誘答選項特徵曲線
良好的誘答選項特徵曲線會隨著能力值的增加而遞減至0,也就是說能力值低的
受試者選答該誘答選項的機率高,而能力值高的受試者選答的機率低。誘答選項特徵
曲線依照其形狀變化,可歸納為三種類型(a、b、c),根據本研究之圖形,將選項特徵
曲線依其誘答特性整理,茲分述如下:
1.
a型:有一個誘答選項特徵曲線和正答選項特徵曲線呈現對稱此種
類型曲線主要的特徵是顯示此誘答選項具有高誘答力,是屬於誘答力較優良
的誘答選項,如圖2-1-7所示為a型誘答選項特徵曲線,圖中的錯誤選項B與正
確選項D的曲線在排序35%以上的部分呈現對稱。
圖
2-1-7 a 型誘答選項特徵曲線
2.
b 型:有二個誘答選項之選項特徵曲線近似
此種類型曲線主要的特徵是顯示此題有二個誘答選項具有良好之誘答力,是屬於
誘答力較優良的誘答選項,但有一個誘答選項不具誘答力,是屬於誘答力較劣的誘答
選項,如圖2-1-8 所示為b型誘答選項特徵曲線,圖中的C、D選項曲線在排序50%以
上部分趨向近似。
圖
2-1-8 b 型誘答選項特徵曲線
3.
c 型:有三個誘答選項之選線特徵曲線近似且互相纏繞
此種類型曲線主要的特徵是顯示此題之誘答選項均具有良好之誘答力,是屬於誘
-11-
雄工學報第十三輯
- 170 -
答力較優良的誘答選項,如圖2-1-9 所示為c型誘答選項特徵曲線,圖中的A、B、D三
選項的特徵曲線相互纏繞,而在排序5%以上有近似的趨向。
圖
2-1-9 c 型誘答選項特徵曲線
綜上所述,相較於古典測驗理論與試題反應理論,選項特徵曲線以圖形化的方式
所傳達的訊息,不僅包含試題本身的難度與鑑別度,還包括正確選項的鑑別度與錯誤
選項的誘答力,兩者的大小可分別由其選項特徵曲線的斜率來判讀。
對正確選項而言,其選項特徵曲線的斜率應大於 0;斜率愈大,選項特徵曲線愈
陡,代表其鑑別度愈佳;反之,斜率愈小,選項特徵曲線愈平緩,代表其鑑別度愈差;
此時,若選項特徵曲線偏低,則代表該試題偏難;若選項特徵曲線偏高,則代表該試
題太容易。
對錯誤選項而言,其選項特徵曲線的斜率應小於 0;斜率愈小,選項特徵曲線愈
陡,代表該選項對於能力愈低的學生,其誘答力愈強;反之,斜率愈大,選項特徵曲
線愈平緩,代表其誘答力愈弱。若正確選項與錯誤選項的選項特徵曲線相似,即位置
與斜率相仿,則兩選項必須作適當的修改,才有可能提高試題的鑑別度。
總之,選項特徵曲線對於試題的診斷能提供有效的幫助,它能決定是否重新命題
以消除曖昧不明的試題選項,或是提供較合理的誘答選項。
三、結語
綜合上述,無論是古典測驗理論或是當代測驗理論都各有優缺點,而本研究將採
用古典測驗理論為基礎,再利用TestGraf98之繪圖功能,繪製選項特徵曲線,以診斷
試題及其選項的特徵,藉此進行「105學年度統測模擬考數學(C)」試題分析,了解測
驗品質好壞。
-12-
- 171 -
105 學年度統測模擬考數學 (C) 試題分析之研究
答力較優良的誘答選項,如圖2-1-9 所示為c型誘答選項特徵曲線,圖中的A、B、D三
選項的特徵曲線相互纏繞,而在排序5%以上有近似的趨向。
圖
2-1-9 c 型誘答選項特徵曲線
綜上所述,相較於古典測驗理論與試題反應理論,選項特徵曲線以圖形化的方式
所傳達的訊息,不僅包含試題本身的難度與鑑別度,還包括正確選項的鑑別度與錯誤
選項的誘答力,兩者的大小可分別由其選項特徵曲線的斜率來判讀。
對正確選項而言,其選項特徵曲線的斜率應大於 0;斜率愈大,選項特徵曲線愈
陡,代表其鑑別度愈佳;反之,斜率愈小,選項特徵曲線愈平緩,代表其鑑別度愈差;
此時,若選項特徵曲線偏低,則代表該試題偏難;若選項特徵曲線偏高,則代表該試
題太容易。
對錯誤選項而言,其選項特徵曲線的斜率應小於 0;斜率愈小,選項特徵曲線愈
陡,代表該選項對於能力愈低的學生,其誘答力愈強;反之,斜率愈大,選項特徵曲
線愈平緩,代表其誘答力愈弱。若正確選項與錯誤選項的選項特徵曲線相似,即位置
與斜率相仿,則兩選項必須作適當的修改,才有可能提高試題的鑑別度。
總之,選項特徵曲線對於試題的診斷能提供有效的幫助,它能決定是否重新命題
以消除曖昧不明的試題選項,或是提供較合理的誘答選項。
三、結語
綜合上述,無論是古典測驗理論或是當代測驗理論都各有優缺點,而本研究將採
用古典測驗理論為基礎,再利用TestGraf98之繪圖功能,繪製選項特徵曲線,以診斷
試題及其選項的特徵,藉此進行「105學年度統測模擬考數學(C)」試題分析,了解測
驗品質好壞。
第三章
研究設計與實施
本章根據前兩章,提出本研究之研究設計與實施。
第一節 研究架構
依據本研究的研究動機、研究目的與待答問題,設計研究架構,再依循研究架構,
對「105年統測模擬考數學(C)試題-北中南都會區各一所高職學生」做各項分析,如圖
3-1-1所示。
圖
3-1-1 研究架構圖
綜合分析
105 學年度統測模擬考數學(C)試題
試題分析
1.古典測驗理論:
答對率、難度、鑑別度、
選項誘答率
2.試題反應理論:
正確選項特徵曲線、誘答
選項特徵曲線
測驗分析
1.雙向細目表
2.試題檢核表
3.信度分析:
內部一致性
20
KR
答題分析
1.高低分組選答情
形分析
2.不同地區考生答
題情形分析
-13-
雄工學報第十三輯
- 172 -
第二節 研究對象
本研究將針對「105學年度統測模擬考數學(C)試題」考生的作答資料來作相關統
計分析,進而瞭解105學年度職業學校工業類高三學生數學學習情形,因受試者為數
眾多,為避免進行統計分析時,電腦無法負荷,以及考量研究時間的限制,在抽樣方
面採叢集隨機抽樣,只抽取北、中、南地區各一所都會區學校之高三學生來作分析,
其中北區305人、中區454人、南區778人,共1537人。此外,參加這次模擬考試的學校
並未涵蓋全國各職業學校,因此無法真正反映出其他學校學生的數學基本能力,故研
究結果並無法廣泛推論,在解釋結果與推論上須相當謹慎小心。
第三節 研究工具
本研究的研究工具是採用「105學年度第5次統測模擬考數學(C)試題」(如附錄
一),此份試題是由某文化事業有限公司委託本人命題,經過多次審題後確定最後版
本進行全國模擬考,再隨機抽出北、中、南各一所都會區高職考生的作答資料供做研
究,在質的分析方面使用試題檢核表、雙向細目表等工具來檢測試題;量的分析方面
則分別利用了古典測驗及試題反應理論來分析試題及測驗的相關指標,包括難易度、
鑑別度、試題的選項分析、測驗的內部一致性信度及刪題後信度,還有輔以無參數-
Testgraf98試題分析軟體,藉由圖形以瞭解試題選項的正答力及誘答力之好壞,另外再
利用Minitab軟體當中的卡方關聯表以及單因子變異數分析判斷北、中、南這三校考生
答題狀態是否有差異。
以下就此份模擬試題編製過程、關聯表卡方檢定及單因子變異數檢定作介紹:
(一) 模擬試題編製過程
1.選擇題測驗題數:四技二專統測數學(C)的測驗時間為80 分鐘,共
25題單選題,因此,模擬考試題也採用和統測相同的25 題選擇題
作為考題數量。
2.編擬測驗試題:每次統測模擬考數學(C)試題的命題均是委由曾任
教或現正擔任工業類數學科的教師進行命題,教師命題前均已瞭解
該次命題的試題數量、命題範圍與測驗綱要。因此研究者在命題前
便以前一年度四技二專統一入學測驗之試題為命題的參考依據,並
依照該次測驗所規範之範圍進行試題編擬。試題編擬完成後再回報
給「某文化事業有限公司」進行打字與繪圖。
3.審查與修訂測驗試題:試題電子檔完成後,將打字稿回寄給命題教
師進行校稿,並委由其他具相關專長的教師進行試題試作,並針對
試題內容、選項安排與測驗目標進行效度與難度審查,以確保試題
-14-
- 173 -
105 學年度統測模擬考數學 (C) 試題分析之研究
第二節 研究對象
本研究將針對「105學年度統測模擬考數學(C)試題」考生的作答資料來作相關統
計分析,進而瞭解105學年度職業學校工業類高三學生數學學習情形,因受試者為數
眾多,為避免進行統計分析時,電腦無法負荷,以及考量研究時間的限制,在抽樣方
面採叢集隨機抽樣,只抽取北、中、南地區各一所都會區學校之高三學生來作分析,
其中北區305人、中區454人、南區778人,共1537人。此外,參加這次模擬考試的學校
並未涵蓋全國各職業學校,因此無法真正反映出其他學校學生的數學基本能力,故研
究結果並無法廣泛推論,在解釋結果與推論上須相當謹慎小心。
第三節 研究工具
本研究的研究工具是採用「105學年度第5次統測模擬考數學(C)試題」(如附錄
一),此份試題是由某文化事業有限公司委託本人命題,經過多次審題後確定最後版
本進行全國模擬考,再隨機抽出北、中、南各一所都會區高職考生的作答資料供做研
究,在質的分析方面使用試題檢核表、雙向細目表等工具來檢測試題;量的分析方面
則分別利用了古典測驗及試題反應理論來分析試題及測驗的相關指標,包括難易度、
鑑別度、試題的選項分析、測驗的內部一致性信度及刪題後信度,還有輔以無參數-
Testgraf98試題分析軟體,藉由圖形以瞭解試題選項的正答力及誘答力之好壞,另外再
利用Minitab軟體當中的卡方關聯表以及單因子變異數分析判斷北、中、南這三校考生
答題狀態是否有差異。
以下就此份模擬試題編製過程、關聯表卡方檢定及單因子變異數檢定作介紹:
(一) 模擬試題編製過程
1.選擇題測驗題數:四技二專統測數學(C)的測驗時間為80 分鐘,共
25題單選題,因此,模擬考試題也採用和統測相同的25 題選擇題
作為考題數量。
2.編擬測驗試題:每次統測模擬考數學(C)試題的命題均是委由曾任
教或現正擔任工業類數學科的教師進行命題,教師命題前均已瞭解
該次命題的試題數量、命題範圍與測驗綱要。因此研究者在命題前
便以前一年度四技二專統一入學測驗之試題為命題的參考依據,並
依照該次測驗所規範之範圍進行試題編擬。試題編擬完成後再回報
給「某文化事業有限公司」進行打字與繪圖。
3.審查與修訂測驗試題:試題電子檔完成後,將打字稿回寄給命題教
師進行校稿,並委由其他具相關專長的教師進行試題試作,並針對
試題內容、選項安排與測驗目標進行效度與難度審查,以確保試題
2
(o
)
ij
ij
i
j
ij
e
Q
e
的有效性與品質。
4.試題修正與編排:試題初稿如有不當,則依視試題情況進行試題修
正或重新命題;若試題經試作與審查後沒有發現問題,即將試題依
序編排並加入完整的指導語,完成試題編輯。試題的編排通常依簡
單類試題排列在前,困難試題排列在後的順序。
(二)關聯表卡方檢定
進行卡方檢定時,所收集到的資料可以設計為
i
個橫列和
j
個緃行的表格,使用卡
方檢定進行百分比同質性檢定(test for homogeneity)的目的,在於檢定受試的第
i
組在
j
個反應中選擇某一選項的百分比是否有顯著差異。其假設檢定為:H
0
:資料分配與母
體比例分配無差異;H
1
:資料分配與母體比例分配有差異,卡方值Q公式如下
卡方值:
其中
o
ij
及
e
i
分別表示第
i
組在第
j
個反應的觀察次數及期望次數。
可利用查表或是利用統計軟體求出的P-value判斷是否有差異。
(三)單因子變異數分析
單因子變異數分析是在檢定組跟組之間的資料對於平均數是否有差異,假設有N
個資料,有a個實驗變數 (treatments),首先要分別先算出總變異數SS
T
及SS
E
,
其假設
檢定為:H
0
:這a個平均數之間無差異;H
1
:這a個平均數之間有差異,最後,計算F
*
值,再判斷有無差異,而F
*
值計算方式如下。
其中
第四章
研究結果分析與討論
本章將根據前三章的研究動機、研究目的、待答問題及研究架構來進行一系列的
研究活動,對於試題進行質化與量化之分析。
*
1,
1 ~
T
a
N a
E
SS
a
F
F
SS
N a
2
..
(
) ,
T
ij
i
j
SS
Y Y
2
.
(
)
E
ij
i
i
j
SS
Y Y
-15-
雄工學報第十三輯
- 174 -
第一節 測驗分析
本節針對整份題本進行質與量的分析。在質的分析方面,主要根據試題檢核表
與雙向細目表,對整份題本進行分析與討論,從中了解本次測驗之效度係數。在量的
分析方面,則採用內部一致性之方法來計算內部一致性信度及刪題後信度。
一、試題檢核表
本研究之模擬考試題在命題完成後,研究者及審題老師針對下表 4-1-1,對試題
進行了試題檢核,測驗的試題涵蓋所有的能力層次和學習內容,整份測驗的出題風
格、編排、也都具備合理性。
表
4-1-1 試題檢核表
次項
審 查 內 容
完成
1
本份試卷是否符合 99 課綱 (測驗目標)
V
2
是否超出此次考試範圍
V
3
於每題題目前,標示該題之難易度 (注意是否偏難或偏易) V
4
是否偏重某一版本教科書
V
5
單元取材是否平均
V
6
是否掌握章節重點
V
7
試題是否具有鑑別度
V
8
核對解答有無錯誤
V
9
題目是否敘述完整、條件是否充足
V
10
解答是否與解析符合
V
11
是否有錯別字
V
12
同一題試題中,是否有相同的選項
V
-16-
- 175 -
105 學年度統測模擬考數學 (C) 試題分析之研究
第一節 測驗分析
本節針對整份題本進行質與量的分析。在質的分析方面,主要根據試題檢核表
與雙向細目表,對整份題本進行分析與討論,從中了解本次測驗之效度係數。在量的
分析方面,則採用內部一致性之方法來計算內部一致性信度及刪題後信度。
一、試題檢核表
本研究之模擬考試題在命題完成後,研究者及審題老師針對下表 4-1-1,對試題
進行了試題檢核,測驗的試題涵蓋所有的能力層次和學習內容,整份測驗的出題風
格、編排、也都具備合理性。
表
4-1-1 試題檢核表
次項
審 查 內 容
完成
1
本份試卷是否符合 99 課綱 (測驗目標)
V
2
是否超出此次考試範圍
V
3
於每題題目前,標示該題之難易度 (注意是否偏難或偏易) V
4
是否偏重某一版本教科書
V
5
單元取材是否平均
V
6
是否掌握章節重點
V
7
試題是否具有鑑別度
V
8
核對解答有無錯誤
V
9
題目是否敘述完整、條件是否充足
V
10
解答是否與解析符合
V
11
是否有錯別字
V
12
同一題試題中,是否有相同的選項
V
13
有無爭議題目
(例如:此題答案在甲版本答案是(A),乙版本是(B)選
項……等等。)
V
二、雙向細目表
本研究中的雙向細目表分成三個能力層次,依據研究者的分析結果,在能力層
次方面,整份測驗在概念理解層次有8題,佔32%;在程序執行層次有8題,佔32%;
在解題與思考層次有9題,佔36%;整份測驗中解題與思考層次之試題所佔比例較為
多數,顯示該測驗之難度設計為中等偏難。
在學習內容方面,整份測驗都有涵蓋教育部所頒訂高職數學(C)之課程標準及
教材內容,也依照各單元學習節數安排等比例的題數,是一份能測驗到所有內容的題
本,就整體而言,屬於不錯的試題分配比重。結果如表4-1-2所示。
表
4-1-2
105學年度統測模擬考數學(C)試題雙向細目表
能力層次
學習內容
概念理解
程序執行
解題與思考
合計題數
(%)
題數
(%)
題數
(%)
題數
(%)
直線方程式
1(4%)
1(4%)
2(8%)
角函數及其
應用
1(4%)
2(8%)
3(12%)
向量
1(4%)
1(4%)
式的運算
2(8%)
2(8%)
方程式
1(4%)
1(4%)
-17-
雄工學報第十三輯
- 176 -
複數
1(4%)
1(4%)
不等式及其
應用
1(4%)
1(4%)
2(8%)
數列與級數
1(4%)
1(4%)
指數與對數
及其運算
1(4%)
1(4%)
2(8%)
排列組合
1(4%)
1(4%)
機率與統計
3(8%)
3(12%)
二次曲線
1(4%)
1(4%)
2(8%)
微積分及其
應用
2(8%)
2(8%)
4(16%)
合計題數
(%)
8(32%)
8(32%)
9(36%)
25(100%)
由試題檢核表與雙向細目表針對本測驗試題作分析後,可以得知「105學年度統
測模擬考數學(C)試題」是具有不錯的內容效度的試題。
三、信度
本測驗之信度採用內部一致性信度,以α 係數、內部一致性係數(KR
20
)法進行
分析、比較,分別說明如下:
(一) α 係數
研究者將試題題本採用SPSS進行統計分析後,從表4-1-3試題題本的信度分析表
中得知此測驗的Cronbach α係數是 0.827>0.8。按表2-3-1之信度參考指標顯示,屬於
不錯之試題題本(Carmines & Zeller, 1979)。
-18-
- 177 -
105 學年度統測模擬考數學 (C) 試題分析之研究
複數
1(4%)
1(4%)
不等式及其
應用
1(4%)
1(4%)
2(8%)
數列與級數
1(4%)
1(4%)
指數與對數
及其運算
1(4%)
1(4%)
2(8%)
排列組合
1(4%)
1(4%)
機率與統計
3(8%)
3(12%)
二次曲線
1(4%)
1(4%)
2(8%)
微積分及其
應用
2(8%)
2(8%)
4(16%)
合計題數
(%)
8(32%)
8(32%)
9(36%)
25(100%)
由試題檢核表與雙向細目表針對本測驗試題作分析後,可以得知「105學年度統
測模擬考數學(C)試題」是具有不錯的內容效度的試題。
三、信度
本測驗之信度採用內部一致性信度,以α 係數、內部一致性係數(KR
20
)法進行
分析、比較,分別說明如下:
(一) α 係數
研究者將試題題本採用SPSS進行統計分析後,從表4-1-3試題題本的信度分析表
中得知此測驗的Cronbach α係數是 0.827>0.8。按表2-3-1之信度參考指標顯示,屬於
不錯之試題題本(Carmines & Zeller, 1979)。
表
4-1-3 試題題本信度分析表
名
稱
Cronbach α係數
試題題本
0.827
(二)
內部一致性係數(
KR
20
)法
內部一致性係數法,得知刪題後信度其結果如表4-1-4。
表
4-1-4 測驗信度係數及各試題刪題後信度係數表
題號
答對人數
刪題後信度
1
1265
.821
2
997
.816
3
766
.820
4
1316
.818
5
715
.826
6
973
.821
7
1153
.818
8
731
.822
9
1063
.821
10
1034
.816
11
1063
.819
12
1206
.820
13
811
.821
14
1140
.818
15
1182
.819
16
1244
.816
17
652
.820
-19-
雄工學報第十三輯
- 178 -
18
876
.818
19
1021
.815
20
416
.831
21
693
.825
22
486
.820
23
1027
.816
24
629
.828
25
572
.830
由上表顯示,第20題、第24題、第25題之刪題後信度皆高於整份測驗的內部一致
性係數,若將上述試題刪除,將可提高整份試題的信度。
四、難度分析
本研究是以105學年度統測第5次模擬考數學(C)試題的應考學校中隨機抽取北中
南都會區各一所高職考生為分析對象,首先將受試者分數依高低排序,從最高分數向
下取全體受試人數的27%為高分組,再從最低分數向上取27%為低分組,然後分別求
出高分組及低分組在每個試題的答對率(以P
H
及P
L
表示)
。本研究中所探討的難易度
指數(P)
,以P=(P
H
+P
L
)÷2來表示,而適當的難易度指數是構成優良測驗的條件之
一。
由表4-1-5試題的難易度指數分析表中得知,試題難易度指數值在0.6~0.8的試題
佔全部試題的52%,0.4~0.6的試題佔全部試題的36%,0.2~0.4的試題佔全部試題的
12%,整份試題平均難易度為0.59,對於研究對象而言,是份屬於中間偏易的試題。
根據Chase (1978)所提出的試題挑選標準,挑選選擇題難易度值的適當範圍為0.4~
0.8,而本研究介於此範圍的試題共22題,佔了全部試題的88%,表示有88%的試題是
符合Chase的理論,但平均而言,整份測驗的平均難易度值還是以接近0.5為佳。
表
4-1-5 統測模擬考數學(
C)試題的難易度指數分析表(27%高低分組受試者)
難易度值
0.0~0.2 0.2~0.4 0.4~0.6 0.6~0.8 0.8~1.0
等級標準
極困難
困難
難易適中
容易
極容易
題數
0
3
9
13
0
百分比
0%
12%
36%
52%
0%
-20-
- 179 -
105 學年度統測模擬考數學 (C) 試題分析之研究
18
876
.818
19
1021
.815
20
416
.831
21
693
.825
22
486
.820
23
1027
.816
24
629
.828
25
572
.830
由上表顯示,第20題、第24題、第25題之刪題後信度皆高於整份測驗的內部一致
性係數,若將上述試題刪除,將可提高整份試題的信度。
四、難度分析
本研究是以105學年度統測第5次模擬考數學(C)試題的應考學校中隨機抽取北中
南都會區各一所高職考生為分析對象,首先將受試者分數依高低排序,從最高分數向
下取全體受試人數的27%為高分組,再從最低分數向上取27%為低分組,然後分別求
出高分組及低分組在每個試題的答對率(以P
H
及P
L
表示)
。本研究中所探討的難易度
指數(P)
,以P=(P
H
+P
L
)÷2來表示,而適當的難易度指數是構成優良測驗的條件之
一。
由表4-1-5試題的難易度指數分析表中得知,試題難易度指數值在0.6~0.8的試題
佔全部試題的52%,0.4~0.6的試題佔全部試題的36%,0.2~0.4的試題佔全部試題的
12%,整份試題平均難易度為0.59,對於研究對象而言,是份屬於中間偏易的試題。
根據Chase (1978)所提出的試題挑選標準,挑選選擇題難易度值的適當範圍為0.4~
0.8,而本研究介於此範圍的試題共22題,佔了全部試題的88%,表示有88%的試題是
符合Chase的理論,但平均而言,整份測驗的平均難易度值還是以接近0.5為佳。
表
4-1-5 統測模擬考數學(
C)試題的難易度指數分析表(27%高低分組受試者)
難易度值
0.0~0.2 0.2~0.4 0.4~0.6 0.6~0.8 0.8~1.0
等級標準
極困難
困難
難易適中
容易
極容易
題數
0
3
9
13
0
百分比
0%
12%
36%
52%
0%
五、鑑別度
本研究是以105學年度統測第5次模擬考數學(C)試題的應考學校中隨機抽取北中
南都會區各一所高職考生為分析對象,如同難易度指數
計算方式,將受試者分數依高低排序,取出前後各27%為高分組和低分組,然後分別
求出高分組及低分組在每個試題的答對率(以P
H
及P
L
表示)
,本研究鑑別度公式為D=P
H
-P
L
,試題之鑑別度統計整理如下表。
一般而言鑑別度指數是越高越好,由美國學者Ebel及Fisbie(1991)提出一套鑑別
度的判斷標準,認為一般可接受的最低標準至少要0.2以上,由表4-1-6試題的鑑別度
指數分析表顯示約有84%的試題是屬於鑑別度0.4以上非常優良的範圍,約有4%的試
題是屬於鑑別度0.2以下較差的範圍,需要大幅度修改或刪除。並經由計算得知此測
驗的試題鑑別度指數平均值為0.51,表示此測驗是屬於鑑別度非常優良的試題。
表
4-1-6 統測模擬考數學(
C)試題的鑑別度指數分析表(27%高低分組受試者)
鑑別度值
0.2 以下
0.2~0.3
0.3~0.4
0.4 以上
等級標準
不佳
尚可
優良
非常優良
題數
1
1
2
21
所佔百分比
4%
4%
8%
84%
第二節 試題分析
本節的主要重點是針對105學年度北中南三都會區各一所高職高三學生在面臨
四技二專統一入學測驗之前,工業類數學學習情形之分析。一方面,搭配「105學年
度統測模擬考數學(C)試題雙向細目表」
(如附錄二)的使用,依照課程綱要分成十三
個單元,接著將試卷中各試題作上述分類,並配合能力層次,再由學生的作答情形,
-21-
雄工學報第十三輯
- 180 -
利用SPSS統計軟體,得知各題的答對率及總平均答對率(詳見表4-2-1 ,其中能力層次
代號
A:概念理解 B:程序執行 C:解題與思考 );另一方面,藉由古典測驗理論選項
分析以及試題選項特徵曲線來分析各試題選項特性,以進一步瞭解受試者的學習情
形。
此份試題研究者命題本意是以由易到難的題目順序排列,將概念理解為主的題型
放在前面,認為考生可以比較順利答對概念偏重的題目,可是根據表中各題答對率發
現,學生到了統測前一個月,對於一些數學概念卻似乎不是很清楚,像是第3、5、8
題的答對率都在50%以下,與研究者預期的結果有差距;另外,第1、4、16題等這3
題答對率達到80%以上,表示學生對直線方程式、指數函數及部分分式的觀念和計算
有不錯的表現,但是第20和22題答對率只有35%以下,表示學生對於對數不等式和微
積分的綜合應用不夠熟練,不過詳細的原因還要搭配其他項目的觀察會更清楚,不過
我們可以由此表的結果提供教師日後教學需要加強概念講解的部分;整體而言,平均
答對率為60%,表示這是一份難度中間偏易的試題。
表4-2-1 各試題能力層次、答對率及全部試題總平均之答對率一覽表
學習內容
題號
能力層次
答對率(%) 答對率平均
直線方程式
1
A
82%
60%
10
C
67%
三角函數及
其應用
6
A
65%
15
C
77%
24
C
41%
向量
12
B
79%
式的運算
2
B
65%
16
B
81%
方程式
19
C
66%
複數
25
C
37%
不等式及其
應用
5
A
47%
9
B
69%
數列與級數
3
A
50%
指數與對數
及其運算
4
A
86%
20
B
27%
-22-
- 181 -
105 學年度統測模擬考數學 (C) 試題分析之研究
利用SPSS統計軟體,得知各題的答對率及總平均答對率(詳見表4-2-1 ,其中能力層次
代號
A:概念理解 B:程序執行 C:解題與思考 );另一方面,藉由古典測驗理論選項
分析以及試題選項特徵曲線來分析各試題選項特性,以進一步瞭解受試者的學習情
形。
此份試題研究者命題本意是以由易到難的題目順序排列,將概念理解為主的題型
放在前面,認為考生可以比較順利答對概念偏重的題目,可是根據表中各題答對率發
現,學生到了統測前一個月,對於一些數學概念卻似乎不是很清楚,像是第3、5、8
題的答對率都在50%以下,與研究者預期的結果有差距;另外,第1、4、16題等這3
題答對率達到80%以上,表示學生對直線方程式、指數函數及部分分式的觀念和計算
有不錯的表現,但是第20和22題答對率只有35%以下,表示學生對於對數不等式和微
積分的綜合應用不夠熟練,不過詳細的原因還要搭配其他項目的觀察會更清楚,不過
我們可以由此表的結果提供教師日後教學需要加強概念講解的部分;整體而言,平均
答對率為60%,表示這是一份難度中間偏易的試題。
表4-2-1 各試題能力層次、答對率及全部試題總平均之答對率一覽表
學習內容
題號
能力層次
答對率(%) 答對率平均
直線方程式
1
A
82%
60%
10
C
67%
三角函數及
其應用
6
A
65%
15
C
77%
24
C
41%
向量
12
B
79%
式的運算
2
B
65%
16
B
81%
方程式
19
C
66%
複數
25
C
37%
不等式及其
應用
5
A
47%
9
B
69%
數列與級數
3
A
50%
指數與對數
及其運算
4
A
86%
20
B
27%
排列組合
18
C
57%
機率與統計
13
B
53%
14
B
74%
17
B
42%
二次曲線
11
A
69%
23
C
68%
微積分及其
應用
7
A
75%
8
A
48%
21
C
45%
22
C
32%
由上表也可另外計算出屬於概念理解能力層次的8題,平均答對率大約為65%,
程序執行能力層次的8題,平均答對率大約為61%、解題與思考能力層次的9題,平均
答對率為55%左右,由此可知,各能力層次平均答對率有接近研究者安排之難易程度。
若再依課程綱要之一至四冊來算平均答對率,第一冊平均答對率為68.2%、第二
冊平均答對率為60.9%、第三冊平均答對率為55.6%、第四冊平均答對率為56.1%,由
此可推測學生對於第一冊比較熟練,原因大概是因為每一次模擬考都由第一冊開始
考,所以第一冊已經複習一整年的時間,而三、四冊是寒假過後才有列入模擬考範圍,
因此可能熟練度較弱,這些分析資料也可以提供研究者及其他教師日後教學參考。
-23-
雄工學報第十三輯
- 182 -
以下就舉例六個試題之分析說明如下:
試題一
本題就古典測驗理論分析,難度為 0.76,答對率為 82.303%、鑑別度 0.36,根據
Ebel 與 Frisbie(1991)的難度與鑑別度等級評定表,本題難度等級為「容易」
,鑑別度為
「優良」
。本題錯誤選項 B、C、D 均有低分組的受試者選答,且低分組的選項率高
於高分組;因此,所有錯誤選項均具誘答力。本題綜合分析結果,如下表 4-2-2。
表 4-2-2 第 1 題試題綜合分析表
題目
1.已知直線
5
12
1
:
L
x
y
,若
(4 , )
A
a 、 ( 20 , )
B
b 都在
L
上,則
a b ?(A) 10
(B) 13
2
(C) 13
2
(D) 10
答案
A
能力層次
概念理解
古典測驗
理論
( CTT )
選項分析
組別
選項
A*
B
C
D
全部
(1537 人)
選答人數
選答比例
1265
.82
97
.07
124
.08
51
.03
高分組
(415 人)
選答人數
選答比例
391
.94
3
.01
16
.04
5
.01
低分組
(415 人)
選答人數
選答比例
240
.58
66
.16
73
.18
36
.08
答對率(%)
82.303
難度
0.76
鑑別度
0.36
註:*即為正答選項
就試題反應理論分析,本題正確選項是A,如圖4-2-1所示,此題正確選項曲線大
多呈現遞增凹向下,對於排序2.5%-50%的受試者較具有鑑別度。而圖形中排序0%~2.5
%的部分呈現遞減狀態,應該是由於TestGraf的原始程式中,是以答對題數多寡作為
排序受試者之依據,答對題數相同之受試者以一極小之隨機亂數值決定其先後次序關
係,因為次序不是由答題反應訊息決定,所以可能出現雖然排序低但是此題是答對
的。而如圖4-2-2所示,錯誤選項C與正確選項A的曲線呈現對稱狀態,表示此選項具
有高度誘答力。整體而言,這個試題是鑑別度與誘答力兼具的優良試題。
研究者認為,學生學完直線方程式的斜率後,此題可利用直線的斜率不同求法來
求得,若未能看出由斜率求解,也可由因為點在直線上,所以點座標代入直線方程式
會符合,不過由低分組有 34%選擇錯誤選項 B、C 可得知,計算能力不佳是數學學習
-24-
- 183 -
105 學年度統測模擬考數學 (C) 試題分析之研究
以下就舉例六個試題之分析說明如下:
試題一
本題就古典測驗理論分析,難度為 0.76,答對率為 82.303%、鑑別度 0.36,根據
Ebel 與 Frisbie(1991)的難度與鑑別度等級評定表,本題難度等級為「容易」
,鑑別度為
「優良」
。本題錯誤選項 B、C、D 均有低分組的受試者選答,且低分組的選項率高
於高分組;因此,所有錯誤選項均具誘答力。本題綜合分析結果,如下表 4-2-2。
表 4-2-2 第 1 題試題綜合分析表
題目
1.已知直線
5
12
1
:
L
x
y
,若
(4 , )
A
a 、 ( 20 , )
B
b 都在
L
上,則
a b ?(A) 10
(B) 13
2
(C) 13
2
(D) 10
答案
A
能力層次
概念理解
古典測驗
理論
( CTT )
選項分析
組別
選項
A*
B
C
D
全部
(1537 人)
選答人數
選答比例
1265
.82
97
.07
124
.08
51
.03
高分組
(415 人)
選答人數
選答比例
391
.94
3
.01
16
.04
5
.01
低分組
(415 人)
選答人數
選答比例
240
.58
66
.16
73
.18
36
.08
答對率(%)
82.303
難度
0.76
鑑別度
0.36
註:*即為正答選項
就試題反應理論分析,本題正確選項是A,如圖4-2-1所示,此題正確選項曲線大
多呈現遞增凹向下,對於排序2.5%-50%的受試者較具有鑑別度。而圖形中排序0%~2.5
%的部分呈現遞減狀態,應該是由於TestGraf的原始程式中,是以答對題數多寡作為
排序受試者之依據,答對題數相同之受試者以一極小之隨機亂數值決定其先後次序關
係,因為次序不是由答題反應訊息決定,所以可能出現雖然排序低但是此題是答對
的。而如圖4-2-2所示,錯誤選項C與正確選項A的曲線呈現對稱狀態,表示此選項具
有高度誘答力。整體而言,這個試題是鑑別度與誘答力兼具的優良試題。
研究者認為,學生學完直線方程式的斜率後,此題可利用直線的斜率不同求法來
求得,若未能看出由斜率求解,也可由因為點在直線上,所以點座標代入直線方程式
會符合,不過由低分組有 34%選擇錯誤選項 B、C 可得知,計算能力不佳是數學學習
成就低落關鍵因素之一。
圖
4-2-1 第 1 題正答選項特徵曲線圖
圖
4-2-2 第 1 題誘答選項特徵曲線圖
試題四
本題就古典測驗理論分析,難度為 0.79、答對率 85.621%,鑑別度 0.41,根據 Ebel
與 Frisbie(1991)的難度與鑑別度等級評定表,難度等級為「容易」
,鑑別度為「非常優
良」
。錯誤選項 B、C、D 均有低分組的受試者選答,且低分組的選項率高於高分組;
因此,所有錯誤選項均具誘答力。本題綜合分析結果,如下表 4-2-5。
-25-
雄工學報第十三輯
- 184 -
表 4-2-5 第 4 題試題綜合分析表
題目
4. 若
4
0.2
a
、
3
25
b
、
2
5
c
、
4%
d
,則下列敘述何者正確?
(A)
b d a (B)
1
b
(C)
c d
(D)
a c
答案
A
能力層次
概念理解
古典測驗
理論
( CTT )
選項分析
組別
選項
A*
B
C
D
全部
(1537 人)
選答人數
選答比例
1316
.86
100
.06
74
.05
47
.03
高分組
(415 人)
選答人數
選答比例
411
.99
2
.01
1
.00
1
.00
低分組
(415 人)
選答人數
選答比例
242
.58
74
.18
62
.15
37
.09
答對率(%)
85.621
難度
0.79
鑑別度
0.41
註:*即為正答選項
就試題反應理論分析,本題正確選項是 A,能力愈高的受試者答對率愈高,能力
愈低的受試者答對率則愈低,顯示正確選項具有良好的鑑別度,如圖 4-2-7 所示此題
正確選項曲線呈現嚴格遞增凹向下,表示對於能力較低受試者(0%~50%)具有鑑別
度。而如圖 4-2-8 所示,三個錯誤選項曲線相似,表示這些選項都具有優良的誘答力。
整體而言,這個試題是鑑別度與誘答力兼具的優良試題。
研究者認為,此題為指數函數的範圍,學生須能夠將各數約略判斷近似值,並且
化成同底數來比較大小,是本測驗答對率最高的題目,也許是因為題目中的數字比較
容易算出其值,因此可以比出大小。
-26-
- 185 -
105 學年度統測模擬考數學 (C) 試題分析之研究
表 4-2-5 第 4 題試題綜合分析表
題目
4. 若
4
0.2
a
、
3
25
b
、
2
5
c
、
4%
d
,則下列敘述何者正確?
(A)
b d a (B)
1
b
(C)
c d
(D)
a c
答案
A
能力層次
概念理解
古典測驗
理論
( CTT )
選項分析
組別
選項
A*
B
C
D
全部
(1537 人)
選答人數
選答比例
1316
.86
100
.06
74
.05
47
.03
高分組
(415 人)
選答人數
選答比例
411
.99
2
.01
1
.00
1
.00
低分組
(415 人)
選答人數
選答比例
242
.58
74
.18
62
.15
37
.09
答對率(%)
85.621
難度
0.79
鑑別度
0.41
註:*即為正答選項
就試題反應理論分析,本題正確選項是 A,能力愈高的受試者答對率愈高,能力
愈低的受試者答對率則愈低,顯示正確選項具有良好的鑑別度,如圖 4-2-7 所示此題
正確選項曲線呈現嚴格遞增凹向下,表示對於能力較低受試者(0%~50%)具有鑑別
度。而如圖 4-2-8 所示,三個錯誤選項曲線相似,表示這些選項都具有優良的誘答力。
整體而言,這個試題是鑑別度與誘答力兼具的優良試題。
研究者認為,此題為指數函數的範圍,學生須能夠將各數約略判斷近似值,並且
化成同底數來比較大小,是本測驗答對率最高的題目,也許是因為題目中的數字比較
容易算出其值,因此可以比出大小。
圖 4-2-7 第 4 題正答選項特徵曲線圖
圖 4-2-8 第 4 題誘答選項特徵曲線圖
試題八
本題就古典測驗理論分析,難度為 0.53、答對率 47.560%、鑑別度 0.53,根據 Ebel
與 Frisbie(1991)的難度與鑑別度等級評定表,難度等級為「適中」
,鑑別度為「非常優
良」
。錯誤選項 A、B、C 均有低分組的受試者選答,且低分組的選項率高於高分組;
因此,所有錯誤選項均具誘答力。本題綜合分析結果,如下表 4-2-9。
-27-
雄工學報第十三輯
- 186 -
表 4-2-9 第 8 題試題綜合分析表
題目
8. 試回答下列各無窮等比級數有幾組可以求出總和?
(甲)
4 16 64
1
3 9 27
(乙) 5
3 9
1
3
5 25
(丙)
2
3
sin90 sin 90 sin 90
(丁)
2
3
cos45 cos 45 cos 45
(戊)
1.1 1.21 1.331
(A) 5 (B) 4 (C) 3 (D) 2
答案
D
能力層次
概念理解
古典測驗
理論
( CTT )
選項分析
組別
選項
A
B
C
D*
全部
(1537 人)
選答人數
選答比例
93
.06
224
.14
488
.32
731
48.
高分組
(415 人)
選答人數
選答比例
1
.00
23
.06
62
.15
329
.79
低分組
(415 人)
選答人數
選答比例
42
.10
96
.23
169
.41
108
.26
答對率(%)
47.560
難度
0.53
鑑別度
0.53
註:*即為正答選項
就試題反應理論分析,正確選項是 D,如圖 4-2-15 所示,此題正確選項曲線呈現
近似遞增 S 型,對於中間程度受試者(排序 25%~95%)有高鑑別度。而如圖 4-2-16 所
示,錯誤選項 C 與正確選項 D 的曲線呈現對稱狀態,表示此選項具有高度誘答力。
整體而言,這個試題是鑑別度與誘答力兼具的優良試題。
由此題答對率偏低發現,學生習得無窮等比級數後,常常會忽略收斂級數公比的
範圍,由此可見工科學生往往只想學會怎麼算,卻不願意多去熟記概念,宜多加強。
-28-
- 187 -
105 學年度統測模擬考數學 (C) 試題分析之研究
表 4-2-9 第 8 題試題綜合分析表
題目
8. 試回答下列各無窮等比級數有幾組可以求出總和?
(甲)
4 16 64
1
3 9 27
(乙) 5
3 9
1
3
5 25
(丙)
2
3
sin90 sin 90 sin 90
(丁)
2
3
cos45 cos 45 cos 45
(戊)
1.1 1.21 1.331
(A) 5 (B) 4 (C) 3 (D) 2
答案
D
能力層次
概念理解
古典測驗
理論
( CTT )
選項分析
組別
選項
A
B
C
D*
全部
(1537 人)
選答人數
選答比例
93
.06
224
.14
488
.32
731
48.
高分組
(415 人)
選答人數
選答比例
1
.00
23
.06
62
.15
329
.79
低分組
(415 人)
選答人數
選答比例
42
.10
96
.23
169
.41
108
.26
答對率(%)
47.560
難度
0.53
鑑別度
0.53
註:*即為正答選項
就試題反應理論分析,正確選項是 D,如圖 4-2-15 所示,此題正確選項曲線呈現
近似遞增 S 型,對於中間程度受試者(排序 25%~95%)有高鑑別度。而如圖 4-2-16 所
示,錯誤選項 C 與正確選項 D 的曲線呈現對稱狀態,表示此選項具有高度誘答力。
整體而言,這個試題是鑑別度與誘答力兼具的優良試題。
由此題答對率偏低發現,學生習得無窮等比級數後,常常會忽略收斂級數公比的
範圍,由此可見工科學生往往只想學會怎麼算,卻不願意多去熟記概念,宜多加強。
圖 4-2-15 第 8 題正答選項特徵曲線圖
圖 4-2-16 第 8 題誘答選項特徵曲線圖
試題十三
本題就古典測驗理論分析,難度為 0.56、答對率 52.765%、鑑別度 0.56,根據 Ebel
與 Frisbie(1991)的難度與鑑別度等級評定表,難度等級為「難易適中」
,鑑別度為「非
常優良」
。錯誤選項 B、C、D 均有低分組的受試者選答,且低分組的選項率高於高
分組;因此,所有錯誤選項均具誘答力。本題綜合分析結果,如下表 4-2-14。
表 4-2-14 第 13 題試題綜合分析表
題目
13. 已知袋中有三個黃球、四個紅球及一個白球,今小智自袋中一次任
取三球,試問取得紅球個數之期望值為多少?
(A) 3
2
個 (B) 10
7
個 (C) 9
8
個 (D) 5
7
個
答案
A
能力層次
程序執行
-29-
雄工學報第十三輯
- 188 -
古典測驗
理論
( CTT )
選項分析
組別
選項
A*
B
C
D
全部
(1537 人)
選答人數
選答比例
811
.53
214
.14
255
.16
256
.17
高分組
(415 人)
選答人數
選答比例
347
.84
23
.06
26
.06
19
.04
低分組
(415 人)
選答人數
選答比例
115
.28
84
.20
113
.27
102
.25
答對率(%)
52.765
難度
0.56
鑑別度
0.56
註:*即為正答選項
就試題反應理論分析,正確選項是 A,如圖 4-2-25 所示,此題正確選項曲線呈現
近似遞增無水平直線趨向,對於所有程度受試者有高鑑別度,尤其圖形在排序 50%
~75%的區段斜率較大,表示此段鑑別度較高。而如圖 4-2-26 所示,三個錯誤選項曲
線相似,表示這些選項都具有優良的誘答力。整體而言,這個試題是鑑別度與誘答力
兼具的優良試題。
研究者認為,學生習得數學期望值概念後,由於還要搭配機率的運算,因此對於
能力較低的學生會有困難,如果此題運用平均值的概念計算較為方便,而且歷屆試題
出現過多次,從高低分組選答率可以得知,學生演練的熟悉程度有所差別。
圖 4-2-25 第 13 題正答選項特徵曲線圖
-30-