編 印
新
北
市
教
育
局
學
生
能
力
檢
測
技
術
報
告
編
印
新北市教育局
學生能力檢測技術報告
GPN:1010200450
ISBN 9789860362541
789860
9
362541
定價:
270元
國家教育研究院與新北市教育局聯合出版
新北市教育局
學生能力檢測技術報告
國家教育研究院 編印
謝進昌、蔡明學合著
I
目錄
壹、前言
1
一、歷史背景
1
二、目的
1
三、人員組織架構
1
四、本報告章節之組成
2
貳、測驗設計
4
一、認知評量試題發展的標準化流程
4
二、命題及修審題團隊
4
三、評量架構及題型
5
參、學生施測樣本
8
一、正式施測樣本
8
二、學生預試樣本
9
肆、學生作答反應之資料處理與參數估計
10
一、資料處理
10
二、參數估計模式
10
伍、測驗信度及試題參數
12
一、測驗信度
12
二、試題參數
12
陸、標準設定
18
一、水平數及命名
18
二、通過標準、標準設定技術
18
柒、不同年度通過標準之等化程序
28
一、等化程序
28
二、等化結果評估
29
捌、教師問卷
37
一、教師問卷架構、內容及形成
38
II
二、教師樣本
39
三、教師問卷評量信度及構念效度
41
玖、結語
45
拾、參考文獻
46
拾壹、附錄
49
附錄一:新北市教育局學生能力檢測標準化流程圖
49
附錄二:新北市政府教育局九大區名稱調整對照表
50
附錄三:資料清理之SPSS程式:英語文範例
51
附錄四:本研究ConQuest分析程式範例
53
附錄五:各學科試題通過率及二系列相關係數
55
附錄六:各學科量尺分數與原始總題數之轉換
59
附錄七:新北市政府教育局學生能力檢測(教師問卷)
65
III
表目次
表2-1近兩年曾參與新北市學生能力檢測之學科團隊成員
5
表2-2新北市學生能力檢測國小五年級國語文評量架構
6
表2-3新北市學生能力檢測國小四年級英語評量架構
6
表2-4新北市學生能力檢測國小五年級數學評量架構
7
表3-199學年度新北市教育局國小四、五年級各學科施測樣本分佈一覽表
8
表3-2100學年度新北市教育局國小四、五年級各學科施測樣本分佈一覽表
9
表3-3100學年新北市學生能力檢測預試樣本數
9
表5-1新北市各學科學生能力檢測之測驗信度係數(EAP)
12
表5-2兩年度各學科試題通過率及二系列相關係數摘要表
12
表5-3兩年度新北市國小五年級國語文試題難度參數及適配指標
14
表5-4兩年度新北市國小四年級英語試題難度參數及適配指標
15
表5-5兩年度新北市國小五年級數學試題難度參數及適配指標
16
表6-199學年度新北市教育局國小四、五年級各科通過標準
20
表6-2國小五年級國語文表現標準描述
21
表6-3國小四年級英語表現標準描述
24
表6-4國小五年級數學表現標準描述
26
表7-1預試卷組成概念圖-國小四年級英語文為例
29
表7-299學年度新北市教育局國小四、五年級各科於各水平之通過量尺分數
29
表7-3兩年度國小五年級國語文正式及預試試題通過率比較表
30
表7-4兩年度國小四年級英語正式及預試試題通過率比較表
32
表7-5兩年度國小五年級數學正式及預試試題通過率比較表
33
表7-6兩年度國小五年級國語文逆反等化結果比較
35
表7-7兩年度國小四年級英語逆反等化結果比較
35
表7-8兩年度國小五年級數學逆反等化結果比較
36
表8-1100學年度新北市教育局五年級教師問卷施測樣本分佈一覽表
40
表8-2教師樣本背景一覽表
40
表8-3教學專業活動、學校組織效能之內部作答一致性
42
表8-4教師問卷-教學專業活動評價各題項標準化因素負荷量
43
表8-5教師問卷-學校組織效能各題項標準化因素負荷量
44
表8-6教師問卷潛在變項之零階相關摘要表
44
IV
圖目次
圖1-1新北市教育局學生能力檢測人員組織架構圖
2
圖7-1不同年度學生學力聯結概念圖
28
圖8-1教師問卷架構
39
V
序
近幾年,隨著國內外大型評量的興起,各縣市教育局(處)也紛紛建
置起自身的學力或能力檢測,其目的多在於了解各縣市學生學科學習表現是
否達成教學目標,以期引領教師精進教學知能,提升教學品質。根據過往的
調查,國內
22 個縣市中,至少有一半以上縣市曾執行過類似的檢測。本技
術報告出版目的則在詳實陳述新北市學生能力檢測的來龍去脈、理論依據及
信、效度品質等,希冀以一份客觀的文件或資料,有助於建立本大型評量建
置過程及其品質提昇。
藉由國家教育研究院與新北市教育局合作之整合型計畫「建構新北教
育城教育革新實驗方案
- 以學校組織效能、教師專業發展、學生學習品質為
主軸」,本院研究人員才得以參與新北市學生能力檢測,從中協助評量技術
提昇、發展與經驗累積,因此,本院期盼能透過與新北市教育局聯合出版本
專書,以提昇本院及新北市教育局於評量檢測技術品質。
本報告章節大致包含有新北市教育局學生能力檢測之歷史背景、目的、
組織架構、測驗設計、施測樣本、能力估計、測驗信度、試題參數、標準設
定及其等化程序、教師問卷編擬過程及信、效度品質等面向,不僅架構完
整,各章節內容亦多能呼應及精準詮釋主題內涵,是已完整具備一項大型評
量應陳述之元素。
最後要特別感謝新北市教育局局長及其團隊對於本計畫的支持,此外,
要感謝主持群對於計畫推動的投入、作者對於報告撰寫的付出、編輯團隊不
辭辛勞的校閱,更要感謝兩位外審委員的專業評閱、指教,才得以使本報告
以最佳的品質呈現。
國家教育研究院代理院長
VI
壹 前言
1
壹、前言
一、歷史背景
國民中小學九年一貫課程自民國九十年開始實施,將學科課程整合成
為語文、數學、自然與生活科技、藝術與人文、社會、健康與體育和綜合活
動七大學習領域課程,另外加入彈性課程,期望各個國民中小學能結合學生
性向、社區需求以及生活環境,規劃學校本位課程,讓學生習得十大基本能
力,將知識和生活作緊密的結合(教育部,
2003)。
新北市自民國
88 年試辦九年一貫課程到全面開始實施,在此變遷中,
教科書除由原來的部編版,轉變為開放民間編輯、經教育部審定後出版之
外,也經由多方面的參與、不同角度的思考作為課程安排與教科書內容的闡
述,以期豐富學生學習的教材內容,增加學生學習的成效,培養出能適應多
元環境的國民。本市教育局感受到大時代環境變遷與教育政策快速變動的情
形,深覺了解學生的學習狀況、掌握教科書的內容架構、發現學習落差與銜
接問題是教師責無旁貸的責任與當務之急。
為了減少教師、家長、社會大眾對於版本間差異的疑惑及擔憂,並協助
教師及家長們能深入瞭解學生的學習狀況,新北市政府教育局從民國
92 年
起對國小一年級注音符號、高年級英數進行檢測,在「工具學科學習成就」
檢測方面,
95 年度則持續對國小一年級進行注音符號檢測,另有國語文
(三年級)、英語(四、六年級)、數學(五、六、七年級)、資訊教育(四、
六、七年級)檢測,時至
100 學年度,為因應十二年國教的可能變革,檢測
內容則改以國小一年級注音符號及國語文(五年級)、英語(四年級)及數
學(五年級)。
二、目的
新北市教育局學生能力檢測目的在於了解本市國民小學學生之國語文、
英語與數學學習表現,是否達成教學目標,進而探討學生學習與教師教學的
關係,以引領教師精進教學知能,提升教學品質。
三、人員組織架構
新北市教育局學生能力檢測之人員組織架構,如下圖
1-1 所示,其上主
新北市教育局學生能力檢測技術報告
2
要是由新北市教育局局長針對檢測目的、方針進行確立,再交由教育研究發
展科科長實地推動,接續,執行面向大致可分為三大層面,一是學科試題、
二是評量及測驗分析、三則是行政施測事務,其中,各學科題目交由各命題
團隊執行命題、修審題、組卷、回饋報告撰寫等任務,而測驗分析技術則是
委由國家教育研究院測驗及評量研究中心支援,最後,行政施測任務則是由
金龍國小行政團隊負責,以便順利推動全市能力檢測。
圖
1-1 新北市教育局學生能力檢測人員組織架構圖
四、本報告章節之組成
新北市教育局所舉辦之學生能力檢測,其著重於檢視學生是否具備學習
下階段課程內容之基本學科學習能力,以期發揮即早發現、即早進行回饋、
補救之效,其中,在有限人力及資源下,自
100 學年度起,新北市教育局決
定僅針對國小五年級國語文、數學及國小四年級的英語文,進行學生能力
檢測,同時,為配合自
100 學年度才開始執行之等化程序,因此,本測驗分
析技術報告主要就國語文(五年級)、英語(四年級)及數學(五年級)於
99、100 學年度之測驗設計、施測樣本、資料處理與參數估計模式、測驗信
度及試題參數、標準設定、等化程序及教師問卷等進行陳述。
(一)
測驗設計:本章節內容為陳述整個能力檢測的設計過程及其主要架構,
包含有認知評量試題發展的標準化流程、命題及修審題團隊、評量架
構及題型等面向;
新北市教育局局長
林騰蛟
教育研究發展科科長
王瑞邦
國家教育研究院測驗
及評量研究中心
國語文命題團隊
英語命題團隊
數學命題團隊
施測行政團隊金龍國小
測驗分析技術支援
壹 前言
3
(二)
學生施測樣本:本章節為說明近兩年能力檢測有效之正式施測及預試
樣本,以確立檢測結果之母群代表性;
(三)
作答反應資料處理與參數估計模式:本章節主要說明學生於學科作答
反應資料的分析過程,包含讀卡、資料清理、參數估計模式選擇及分
析軟體等;
(四)
測驗信度及試題參數:本章節為說明各學科能力檢測之信度及認知評
量試題參數品質;
(五)
標準設定:本章節為說明能力檢測所設立之通過標準,包含有水平個
數、命名、標準設定技術、過程及結果;
(六)
不同年度通過標準之等化程序:本章節為說明兩年度能力檢測通過標
準之等化程序、方式及結果評估;
(七)
教師問卷:除了評估學生學科能力外,教育局端另針對學校行政支援、
教師專業、教學等多個面向進行調查,因此,本章節在於說明教師問
卷架構、形成及其信、效度。
4
新北市教育局學生能力檢測技術報告
貳、測驗設計
在本章,茲就新北市教育局學生能力檢測設計的重要架構進行說明,包
含認知評量試題發展的標準化流程、命題及修審題團隊及各學科評量架構、
題型等。
一、認知評量試題發展的標準化流程
新北市教育局學生能力檢測的發展,其標準化流程如附錄一所示,自
評量目的確立、各學科評量架構的形成、命題、預試及修審題、施測、分析
與回饋等順序執行,首先,在評量目的上,主要以檢視學生基本學力表現是
否達成教學目標,進而,依此方針建立各學科評量架構,是以九年一貫第二
階段能力指標為命題指引,而第一階段能力指標為輔的模式,後續,才是由
各命題團隊經過一系列命題、預試、修審、再預試、修審等步驟,將具一定
品質的試題納入題庫中,經組卷以作為正式施測之用,而經施測完畢,學生
作答反應會由專人進行讀卡,再交由評量專家進行資料整理、分析及學科教
師針對結果進行報告撰寫,最後,新北市教育局再統一舉行五場檢測結果回
饋說明,以便學校、教師掌握教學現況。
二、命題及修審題團隊
近兩年,新北市教育局學生能力檢測學科主要可分為國語文、英語及
數學等三大科目,委由市內輔導團員或學校組成命題及修審題團隊,除每年
均召募新血,經訓練以協助命題外,團隊主要任務在於修審題及組卷,以確
保正式施測試題品質及穩定性,而各學科團隊名單及專長大致如下表
2-1 所
示,曾參與近兩年國語文命題、修審題及組卷的核心成員,約總計有
6 名,
分別是由具語文教育專長的教授及資深國語文輔導員組成;英語則是由
1 名
測驗評量專家、
1 名市外英語認證測驗專家及 8 名年資至少 7 年以上之英語
教師或輔導團員組成;最後,數學則是由
2 名分別具有數學教育及測驗評量
專長教授及
6 位校長、教師組成。整體而言,各團隊是具有一定程度的學科
知識及評量、教學經驗。
5
貳 測驗設計
表
2-1 近兩年曾參與新北市學生能力檢測之學科團隊成員
學科
團隊成員
專長或資歷說明
國語文
黃
--
教授、語文教育專長
吳
--
本市國語文輔導團輔導員、教學年資
27 年
劉
--
本市國語文輔導團輔導員、教學年資
29 年
翁
--
本市國語文輔導團輔導員、教學年資
13 年
潘
--
本市國語文輔導團輔導員、教學年資
19 年
謝
--
本市國語文輔導團輔導員、教學年資
9 年
英語
周
--
教授、測驗與評量專長
王
--
劍橋英語認證測驗臺灣區經理
李
--
本市英語輔導團員、教學年資
10 年
陳
--
本市英語輔導團員、教學年資
11 年
吳
--
本市英語輔導團員、教學年資
17 年
甯
--
本市英語輔導團員、教學年資
10 年
陳
--
英語教師、教學年資
10 年
孫
--
英語教師、教學年資
11 年
張
--
英語教師、教學年資
11 年
邱
--
英語教師、教學年資
7 年
數學
張
--
教授、數學教育專長
吳
--
教授、測驗與評量專長
吳
--
校長、本市數學輔導團員、教學年資
20 年
李
--
校長、本市國小數學輔導團召集人
溫
--
教師、教學年資
18 年
陳
--
教師、教學年資
11 年
葉
--
教師、教學年資
18 年
王
-
教師、教學年資
28 年
註:為維護未來命題的保密性,本表是以匿名呈現。
三、評量架構及題型
以下茲就新北市教育局學生能力檢測之國語文、英語及數學評量架構、
題型,說明如下:
(一)國語文
以下說明有關國小五年級國語文能力檢測的評量架構,雖然,近
兩年度(
99 與 100 學年度)的比重是有些微差異,但大致可整理如
表
2-2 所示,其內容向度包含注音符號、識字與寫字、閱讀與寫作等,
而認知向度是橫跨記憶、理解、分析、應用或評鑑層次,整體而言,
評量比重大致是以閱讀為首、其次,則著重寫作及識字、注音符號應
用等。另一方面,國語文題型是同時包含有
4 選 1 之選擇題及由數篇
6
新北市教育局學生能力檢測技術報告
短文或長文閱讀所組成的題組題(
testlet),總題數分別是 36 題( 99
學年)、
40 題( 100 學年),而實際施測題目可於新北市國民中小學能
力檢測網頁下載(網址:
http://edutest.ntpc.edu.tw/default.asp)。最後,
99 與 100 學年度各試題所對應之九年一貫能力指標、亦或是詳細評量
結果,請見新北市政府教育局(
2012a, 2011a)國語文能力檢測回饋報
告。
表
2-2 新北市學生能力檢測國小五年級國語文評量架構
認知向度
總合
記憶
理解
分析
應用
評鑑
注音符號應用
7.5%
7.5%
---
---
---
15%
識字與寫字
7.5%
7.5%
---
---
---
15%
閱讀
---
30%
10%
---
---
40%
寫作
---
---
7.5%
15%
7.5%
30%
總合
15%
45%
17.5%
15%
7.5%
100%
(二)英語
有關國小四年級英語能力檢測之評量架構,大致可整理為下表
2-3 所示,其內容向度包含有聽及讀,而認知向度為記憶與理解,整
體而言,評量比重大致是以聽為首、其次為讀。英語題型主要為
3 選
1 的選擇題,其題目大致如:學生聽到某個英文字母、詞彙或句子,
再就試卷提供之選項進行選答、學生閱讀到某一段英文句子,再就試
卷提供之選項進行選答等,而近兩年(
99、100 學年)之題數,皆為
50 題,實際施測題目同樣可於新北市國民中小學能力檢測網頁下載
(網址:
http://edutest.ntpc.edu.tw/default.asp)。最後,99 與 100 學年度
各試題所對應之九年一貫能力指標、亦或是詳細評量結果,請見新北
市政府教育局(
2012b, 2011b)英語能力檢測回饋報告。
表
2-3 新北市學生能力檢測國小四年級英語評量架構
認知向度
總合
記憶
理解
聽
30%
30%
60%
讀
20%
20%
40%
總合
50%
50%
100%
7
貳 測驗設計
(三)數學
有關國小五年級數學能力檢測的評量架構,大致可整理如下表
2-4 所示,其內容向度包含有數與計算、量與實測、幾何、代數、統
計與機率等,而認知向度是橫跨理解、分析及應用範疇,整體而言,
兩年度比率雖有些微差異,但多是以數與計算、幾何為首,其次則重
視量與實測、代數、統計與機率等。另一方面,數學題型均為
4 選 1
之選擇題,兩年度總題數均為
34 題,實際施測題目則可於新北市國
民中小學能力檢測網頁下載(網址:
http://edutest.ntpc.edu.tw/default.
asp)。最後,99 與 100 學年度各試題所對應之九年一貫能力指標、亦
或是詳細評量結果,請見新北市政府教育局(
2012c, 2011c)數學能力
檢測回饋報告。
表
2-4 新北市學生能力檢測國小五年級數學評量架構
認知向度
總合
理解
分析
應用
數與計算
6%
12%
14.5%
32%
量與實測
3%
---
9%
12%
幾何
9%
14.5%
14.5%
38%
代數
3%
6%
---
9%
統計與機率
3%
6%
---
9%
總合
24%
38%
38%
100%
註:因四捨五入的關係,致使會超過
100%,本表已經過修正。
8
新北市教育局學生能力檢測技術報告
參、學生施測樣本
以下茲依正式施測及預試樣本,進行說明如下:
一、正式施測樣本
有關新北市學生能力檢測,教育局是以該年段全面普測方式進行,而實
際所得有效樣本是如下表
3-1、3-2 所示,根據 99 及 100 學年度國小四、五
年級的施測結果,整體缺考率約是控制在
3% 以內,以 99 學年度五年級的
國語文為例,母群計有
46,326 名學生,而實際應考之有效樣本是為 45,550
名,計有效作答比率為
98.32%,若進一步檢視新北市九大行政分區之到考
率,可發現缺考現象是均衡分散於各區域,並未產生過度集中的情況,而
同樣的結果也可見於國小五年級數學、國小四年級英語及
100 學年度分析結
果,因此,兩年度的檢測結果確是能適度推論及反應新北市小四、五學生的
國語文、數學及英語文的基本學力表現。
表
3-1 99 學年度新北市教育局國小四、五年級各學科施測樣本分佈一覽表
區域
五年級
母群數
五年級有效樣本
四年級
母群數
四年級有效樣本
國語文 百分比
數學
百分比
英語文 百分比
雙和分區
6871
6744
98.15
6768
98.50
6442
6406
99.44
新莊分區
9186
9032
98.32
9033
98.33
8744
8660
99.04
文山分區
3499
3430
98.03
3454
98.71
3265
3227
98.84
板橋分區
9503
9350
98.39
9354
98.43
8988
8930
99.35
三鶯分區
5137
5054
98.38
5059
98.48
4901
4860
99.16
七星分區
2390
2341
97.95
2356
98.58
2375
2366
99.62
淡水分區
2035
2007
98.62
1997
98.13
1974
1961
99.34
三重分區
7069
6965
98.53
6962
98.49
6942
6891
99.27
瑞芳分區
636
627
98.58
629
98.90
655
653
99.69
全部樣本
46326
45550
98.32
45612
98.46
44286
43954
99.25
註
1:百分比係指該年級有效樣本占母群之百分比率;
2:自改制為直轄市後,九大區名稱略有所調整,其下包含的鄉鎮市細目如附錄二所示。
參 學生施測樣本
9
表
3-2 100 學年度新北市教育局國小四、五年級各學科施測樣本分佈一覽表
區域
五年級
母群數
五年級有效樣本
四年級
母群數
四年級有效樣本
國語文 百分比
數學
百分比
英語文 百分比
雙和分區
6481
6337
97.78
6344
97.89
5839
5718
97.93
新莊分區
8842
8675
98.11
8687
98.25
7772
7646
98.38
文山分區
3266
3218
98.53
3202
98.04
3044
2962
97.31
板橋分區
9103
8965
98.48
8974
98.58
7861
7730
98.33
三鶯分區
4954
4822
97.34
4860
98.10
4333
4231
97.65
七星分區
2344
2288
97.61
2298
98.04
2150
2104
97.86
淡水分區
2041
1995
97.75
1998
97.89
1761
1734
98.47
三重分區
6965
6842
98.23
6837
98.16
6032
5917
98.09
瑞芳分區
657
642
97.72
651
99.09
571
564
98.77
全部樣本
44653
43784
98.05
43851
98.20
39363
38606
98.08
註
1:百分比係指該年級有效樣本占母群之百分比率。
2:自改制為直轄市後,九大區名稱略有所調整,其下包含的鄉鎮市細目如附錄二所示。
二、學生預試樣本
有關新北市學生能力檢測之預試樣本,其目的除作為評估及篩選正式施
測試題品質參考外,更用於聯結兩年度(
99-100 年)測驗難度之用(詳如
等化一節),而每一學科於預試前,各命題團隊會撰寫出三個複本卷,以進
行預試,其中,在考量每一複本卷皆會鑲嵌入前一年度之共同題(
common
items),在為避免練習效應下,因此,其預試樣本來源是以外縣市學生且排
除傳統學科表現可能被視為較佳或偏弱的學校,而實際抽樣結果,是如下表
3-3 所示,國小五年級國語文共計抽取 979 名學生,得實際有效樣本為 962
名,有效樣本百分比為
98.26%,是均衡來自於 A 卷( 323 名)、B 卷( 312
名)及
C 卷( 327 名);此外,國小五年級數學及國小四年級英語文之有效
樣本,亦是均衡分佈於三卷,且每卷有效樣本數皆至少在
300 名以上,整體
而言,本檢測是具有相當程度的預試樣本數進行試題估計與等化。
表
3-3 100 學年新北市學生能力檢測預試樣本數
國小五年級國語文
國小五年級數學
國小四年級英語文
總樣本 有效樣本 百分比 總樣本 有效樣本 百分比 總樣本 有效樣本 百分比
A卷
328
323
98.48
422
409
96.92
455
433
95.16
B卷
317
312
98.42
386
378
97.93
454
428
94.27
C卷
334
327
97.90
378
365
96.56
434
396
91.24
總合
979
962
98.26
1186
1152
97.13 1343
1257
93.60
10
新北市教育局學生能力檢測技術報告
肆、學生作答反應之資料處理與參數估計
在本章節,茲針對學生作答反應資料的讀卡、清理、參數估計模式及
分析軟體選擇進行說明如下:
一、資料處理
(一)讀卡
有關新北市學生能力檢測的作答反應,由於各學科作答反應平均
高達四萬多筆,因此,為避免自行讀卡可能發生的錯誤,教育局是委
由第三單位:政高有限公司,進行讀卡,依續將學生於各選項作答表
現編碼為
1、2、3、4;接續,經對照正確答案,轉換為 1(正確)、0
(錯誤)反應,而缺答反應則編碼為
9,最後,經輸出全部學生作答反
應為
Excel 檔;此外,經讀卡後資料,教育局端皆會派專人再次抽測
及檢視讀卡結果,以確保資料的正確性。
(二)資料清理
在進行學生能力及試題參數估計前,研究者是預先進行資料清理
(
data clean)動作,以排除某些異常作答結果,而判斷準則主要有以下
幾點(
SPSS 語法範例詳如附錄三):
1. 第一步驟為刪除未參與檢測者,其作答反應為 9999…99;
2. 第二步驟為刪除學生全部作答反應缺失值超過 10 個者;
3. 第三步驟為檢視學生作答情況,若發生單一反應連續出現 5 次者,
則視為可能刪除的候選人,接續,研究者會再進一步檢視其作答組
型,是否出現異常(例如:
1111122222),再決定是否刪除。
二、參數估計模式
新北市教育局的學生能力檢測,皆屬於二元計分範疇,而研究者在考
量未來施測結果是必須結合標準設定層面且施測結果之閱讀群眾是為一般
基層教師或校長,為避免通過分數的抉擇會因原始分數或 θ 能力值的差
異而不同,徒增誤解,因此,研究者是採用
Rasch 模式(Rasch, 1960)進
行學生能力估計,而在此模式下,答對題數是為 θ 能力值的充分統計量
(
sufficient statistics),屬一對一關係,是能有效化解前述難題。此外,研究
肆 學生作答反應之資料處理與參數估計
11
者是採用
ConQuest2.0(Wu, Adams, & Wilson, 2007),作為學生能力及試
題參數估計軟體,亦即實際估算時,是以
Adams, Wilson 與 Wang( 1997)
等人所提出來的多向度隨機係數多項洛基模式(
multidimensional random
coefficients multinomial logit model, MRCML)執行,其公式為:
(公式
4-1)
其中, 定義為受試者的反應型態(
response pattern), 為第 試題的
計分類別數(如選擇題即為對與錯
2 種計分類別)。其中 第 題在第 個反
應類別上的計分向量(如選擇題中答對給
1,答錯給 0 分);θ 代表著受試
者能力向量; 為第 題中第 個反應類別的設計向量
design matrix); 為
試參數向量如單參數試題反應模式則僅含有難度參數。此外,此試題反應模
式是一條件模式(
conditional model),是假設在某潛在能力 θ 值下,所產
生 的 試 題 反 應, 而
Wu、Adams 與 Wilson( 2007) 是 假 設 其 母 群 模 式
(
population model)是來自平均數 、變異數 的常態母體。實際估計時,
對於試題參數,本檢測是以
Monte Carlo 法及 EM 演算法進行估計,而對於
學 生 能 力 值 的 估 計, 則 是 採 用 軟 體 所 估 計 的
EAP 能 力 值(expected
a-posterior, EAP)(Wu, Adams, & Wilson, p.138) 來 表 徵, 實 際 執 行 之
ConQuest 程式範例,如附錄四所示。最後,為便於說明及結果詮釋,研究
者是將
99 學年度的學生表現,統則為一轉換為平均數 250、標準差 50 之量
尺,而未來年度,不論是進行學生表現趨勢探討、亦或是跨年度比較,研究
者會以此為基準點,進行學生表現聯結的程序。
12
新北市教育局學生能力檢測技術報告
伍、測驗信度及試題參數
以下茲就學生能力檢測各學科測驗信度及其試題品質,進行說明如下:
一、測驗信度
有關各學科的測驗信度,研究者經以
ConQuest 軟體所得之 EAP 能力
值,計算其測驗信度係數時,分析結果如下表
5-1 所示,可發現兩年度小五
學生於國語文作答一致性信度,大致能維持
0.83 水準,而數學則界於 0.86-
0.87 間,最後,國小四年級學生於英語作答一致性信度為 0.84,整體而言,
學生於兩年度能力檢測之作答穩定性,是具有相當程度的水平。
表
5-1 新北市各學科學生能力檢測之測驗信度係數(EAP)
五年級國語文
五年級數學
四年級英語
99學年度
0.836
0.87
0.848
100學年度
0.833
0.864
0.84
二、試題參數
有關各學科的試題通過率、二系列相關係數等,詳細數據是如附錄五
所示,而其簡要分析結果是如下表
5-2 所示,國小五年級國語文的平均通過
率為
77.5%( 99 學年)及 80.71%( 100 學年),而國小四年級英語的平均通
過率分別為
86.84%( 99 學年)及 87.07%( 100 學年),大致是屬偏易水平,
但國小五年級數學則是相對偏難,其平均通過率為
68.17%( 99 學年)及
63.1%( 100 學年);其次,在判斷整體試題鑑別度時,各學科的平均二系列
相關係數均有
0.5 以上的水準,同時,並未出現負的二系列係數,最小數值
是出現在
100 學年國小四年級英語文的 0.15,整體而言,就量化分析結果,
各學科試題品質堪稱良好。
表
5-2 兩年度各學科試題通過率及二系列相關係數摘要表
年度
項目
國小五年級
國語文
國小五年級
數學
國小四年級
英語
99學年度
平均通過率(
%)
77.50
68.17
86.84
100學年度
44.6 ~ 94.6
32.8 ~ 89.8
60.6 ~ 97.8
平均二系列相關
0.58
0.56
0.76
二系列相關
最小值
-最大值
0.277 ~ 0.9
0.282 ~ 0.755
0.385 ~ 1.036
伍 測驗信度與試題參數
13
年度
項目
國小五年級
國語文
國小五年級
數學
國小四年級
英語
100學年度
平均通過率(
%)
80.71
63.10
87.07
通過率(
%)
最小值
-最大值
63.9 ~ 95.1
16.5 ~ 94.2
58.5 ~ 97
平均二系列相關
0.59
0.54
0.73
二系列相關
最小值
-最大值
0.232 ~ 0.994
0.239 ~ 0.712
0.15 ~ 0.983
另 一 方 面, 研 究 者 在 檢 定 資 料 與
Rasch 模式的適 配 度(data-model
fit)時,其指標是採用 Wu( 1997)延伸 Wright 與 Stone( 1979)、Wright
與
Masters( 1982) 等 人 研 究, 所 發 展 之 未 加 權(unweighted) 與 加 權
(
weighted)後之適配指標 MNSQ(mean squares)值,意即模式期望值與實
際觀察值相減後之標準化殘差平方和之平均值,再經
Wu 推演證明後,此
指標是遵循卡方分配形式,並可藉由
Wilson-Hilferty 轉換為近似常態化 t
分配值,以利檢視其顯著性。此外,對於資料
- 模式適配與否的判斷上,
Linacre( 2006)認為當 MNSQ 值是可接受時,則可忽略 t 值,而其建議是
認為當
MNSQ 大於 2 時,表示該試題將會扭曲或破壞測量系統;MNSQ 介
於
1.5 ∼ 2 之間時,表示該試題雖對測量的建構不具生產性,但也不具破壞
性;
MNSQ 在 0.5 ∼ 1.5 之間時,為該試題對測量具生產性;MNSQ 小於
0.5 時,表示該試題對測量有較少生產性。概括而言,以 MNSQ 介於 0.5 與
2 範圍內時,為可接受的適配現況。據此,兩年度各學科試題之適配結果,
是依續如下表
5-3、5-4 及 5-5 所示,可發現國小五年級國語文及數學的試題
適配度,是具有不錯的表現,僅有幾個試題之
MNSQ 值出現扭曲(如 100
學年國小五年級數學第
25 題)或不具貢獻力(如 100 學年國小五年級國語
文第
22 題)的情形,而對於國小四年級英語文,則出現較多不適配情況,
尤其是
100 學年度試題,其未加權 MNSQ 值超出 2 者,計有 3 題,其未加
權
MNSQ 值低於 0.5 者,計有 9 題,兩者共 12 題(占 24%)。整體而言,
新北市能力檢測資料與
Rasch 模式,是具有某程度適配結果。
14
新北市教育局學生能力檢測技術報告
表
5-3 兩年度新北市國小五年級國語文試題難度參數及適配指標
99 學年
100 學年
題
號
難度 Unweighted fit Weighted fit
題
號
難度 Unweighted fit Weighted fit
MNSQ t 值 MNSQ t 值
MNSQ t 值 MNSQ t 值
1
-3.171
1
0.6
0.97
-2.3
1
-2.66
0.83 -26.7
0.81 -16.4
2
-0.943
1.1
14
1.06 12.2
2 -2.108
1.17
24
1.04
3.7
3
-1.959
0.96
-6.5
0.99
-1.3
3 -2.111
0.67 -55.6
0.78 -24.8
4
-3.023
0.69 -51.8
0.87
-9.6
4
-1.96
0.74 -43.2
0.82 -21.6
5
-1.592
1.17
24.7
1.1 13.1
5 -2.597
0.52 -86.6
0.65 -32.1
6
-2.048
1.29
39.5
1.1 11.1
6 -2.591
0.53 -84.5
0.7 -27.7
7
-0.754
1.08
12.2
1.06 11.4
7 -1.154
1.55
69.5
1.33 50.5
8
-0.034
1.27
37.1
1.16 38.7
8 -2.034
0.69 -50.8
0.77 -26.7
9
-2.393
0.74 -42.5
0.91
-8.8
9 -2.284
1.51
65.7
1.4 33.7
10 -3.258
0.53 -85.7
0.84 -10.5 10 -1.852
0.96
-6.3
0.92
-9.7
11 -3.375
0.8 -32.8
0.88
-7 11 -2.831
1.15
21.8
0.89
-8.5
12 -1.894
0.78 -36.8
0.89 -14.2 12 -1.284
1.62
77.7
1.39 54.7
13 -2.045
0.8 -32.3
0.91
-10 13 -2.842
1
0.2
0.97
-2.2
14 -2.006
0.86 -22.2
0.94
-7.5 14 -1.864
0.94
-8.4
0.96
-5
15 -2.884
0.89
-18
0.93
-5 15 -1.272
1.26
35.1
1.17 25.8
16 -0.418
1.15
21.9
1.1 21.9 16 -2.967
0.54 -82.6
0.63 -28.7
17 -1.375
1.08
11.3
1.04
6.7 17 -1.896
1.08
11.8
1.03
2.9
18 -1.498
1.1
14.1
1.05
7.6 18 -0.814
1.3
41
1.21 38.4
19 -2.856
0.65 -60.9
0.85 -11.9 19 -0.631
1.01
1.6
1
0.7
20 -2.102
0.83 -26.8
0.91 -10.3 20 -0.513
0.89 -16.4
0.91 -20.6
21 -0.281
1.06
8.7
1.03
6.8 21 -1.498
1.43
56.5
1.24 31.6
22 -3.074
0.56 -79.9
0.86 -10.1 22 -2.332
0.4
-117
0.61 -42.2
23 -0.622
1.1
14.2
1.05 11.5 23 -1.751
0.69 -50.9
0.79 -27.9
24 -1.463
1.12
17.4
1.05
6.7 24
-1.73
1.07
10.3
1.07
9
25 -2.409
0.82 -28.3
0.94
-5.7 25 -1.526
0.66 -57.9
0.74 -39.4
26 -2.166
0.91 -14.6
0.97
-3.2 26 -2.293
0.55
-81
0.69 -33.1
27 -0.391
1.15
21.1
1.08
19 27 -1.121
1.11
15.3
1.08 13.3
28
0.299
1.25
34.6
1.11 27.8 28 -2.083
0.89 -16.5
0.91
-9.4
29 -1.535
0.93 -10.6
0.97
-3.9 29 -1.104
0.86 -21.9
0.89 -19.2
30 -0.979
1.02
3.7
1.02
3.6 30 -0.897
0.86 -21.3
0.9 -18.8
31 -1.597
1.02
3.2
1.02
3.1 31 -0.928
1.18
24.6
1.1 18.6
32 -1.391
0.89
-17
0.95
-8 32 -1.545
0.84
-25
0.87 -18.1
33 -1.921
0.8 -32.1
0.91 -11.5 33 -1.478
1.02
3.2
1.01
2
34 -2.243
0.71 -48.1
0.88 -12.5 34 -2.164
0.92 -12.6
1.09
8.9
35 -0.686
1
-0.2
0.98
-4.2 35 -2.034
1.2
27.9
1.3 29.9
36 -0.391
1.02
2.5
1
0.2 36 -0.712
0.99
-0.8
0.98
-3.8
---
37 -1.816
1.15
21.2
1.17 19.4
38 -2.123
0.81 -29.9
0.97
-3
39 -1.929
0.76 -38.9
0.85 -17.7
40 -0.861
1.15
21
1.1 18.8
伍 測驗信度與試題參數
15
表
5-4 兩年度新北市國小四年級英語試題難度參數及適配指標
99 學年
100 學年
題
號
難度 Unweighted fit Weighted fit
題
號
難度 Unweighted fit Weighted fit
MNSQ t 值 MNSQ t 值
MNSQ t 值 MNSQ t 值
1
-4.008
1.19
26.2
0.94
-3.4
1 -1.737
2.14 119.9
1.62 79.3
2
-2.935
1.38
50.2
1.04
3.9
2 -3.617
1.69
79.2
1.03
1.7
3
-2.971
2.25 138.1
1.24 20.9
3 -4.274
1.14
18.1
1.07
3.5
4
-3.466
2.03 118.6
1.07
5
4 -2.189
0.51
-84.4
0.67 -47.8
5
-4.242
1.91 106.7
1
0.2
5
-4.77
1.96 104.6
1.66 20.6
6
-3.173
1.25
34.5
0.95
-4.5
6 -3.476
0.34
-127
0.53 -41.5
7
-2.395
1.24
33
1.03
3.7
7
-3.08
0.51
-83.3
0.67
-33
8
-2.533
1.49
63.1
1.09 10.3
8 -2.742
0.63
-60.2
0.68 -36.3
9
-2.76
1.1
15
0.99
-0.7
9 -3.449
1.76
86
1.52 32.8
10 -4.322
0.69 -51.4
0.87
-6.5 10 -3.186
1.19
24.6
1.13 10.5
11
-2.39
0.96
-5.7
1.05
5.3 11 -3.476
0.4 -110.7
0.54 -39.8
12 -2.456
0.88 -18.5
0.98
-2.2 12 -3.305
1.01
1
1.41 28.4
13 -3.163
0.63
-63
0.88 -10.7 13 -3.057
0.28 -142.7
0.49 -55.5
14 -2.655
1.03
4.7
1.03
2.9 14
-2.34
0.9
-13.7
1.01
1.5
15
-2.5
0.85 -23.2
1
0 15 -2.597
0.87
-19.6
0.89 -12.1
16 -3.077
0.86 -22.6
1
0.2 16 -2.878
1.04
4.8
1.05
4.4
17 -2.095
1.31
41.7
1.18 22.5 17 -2.471
1
0.5
1
-0.2
18 -1.878
1.15
21.1
1.1 13.6 18 -3.088
0.56
-72.6
0.81 -17.7
19 -3.095
1.73
88.7
1.12
9.9 19 -2.397
0.98
-2.1
0.97
-3.2
20 -2.814
1.3
40.4
1.09
8.8 20 -2.725
0.91
-12.7
1.11 10.6
21 -4.599
0.82 -27.9
0.93
-3 21 -2.705
0.66
-54
0.87 -14.5
22 -3.586
0.65 -58.6
0.91
-6.5 22 -3.668
2.69 162.7
2.58 73.1
23
-3.111
0.74 -41.6
0.96
-3.7 23 -3.798
0.86
-20.9
1.01
0.8
24 -3.801
0.84 -25.4
0.92
-4.8 24
-3.76
0.77
-35.1
0.92
-5.5
25 -2.644
0.81 -29.5
0.95
-5.6 25 -3.004
0.71
-44.1
0.93
-6.7
26 -3.604
1.06
8.8
0.97
-2.2 26 -3.654
0.45
-98.5
0.77 -16.6
27 -2.353
0.85 -23.1
0.98
-2.1 27 -3.482
1.91 100.1
1.99 55.7
28
-3.15
1.03
4.3
1.02
1.9 28 -3.221
0.7
-46.4
0.98
-1.2
29 -2.034
1.62
77.7
1.17 21.9 29 -2.515
1.27
34.2
1.31 31.6
30 -2.826
0.7 -50.4
0.94
-5.8 30 -3.513
1.78
88.6
1.27 17.7
31 -4.976
1.03
4
0.89
-4.1 31 -4.015
0.52
-82.3
0.57 -27.9
32 -4.647
0.96
-5.9
0.91
-4 32
-3.89
0.36 -121.2
0.5 -36.7
33 -4.054
0.99
-1.2
0.96
-2.4 33 -2.795
0.52
-81.5
0.65 -39.8
34 -3.558
0.97
-4.1
0.99
-0.8 34 -3.849
0.45
-97.5
0.57 -30.3
35 -4.474
0.74 -43.2
0.88
-5.6 35
-4.24
0.37 -116.4
0.62 -21.5
36 -3.128
0.61 -67.6
0.9
-9 36 -2.821
0.32
-131
0.53 -55.7
37 -2.697
0.65 -59.8
0.92
-8.7 37 -2.995
0.7
-46.7
1.01
1.3
38 -4.208
0.66 -57.3
0.86
-7.5 38 -3.523
0.7
-47.5
0.97
-2.5
39 -2.204
1.09
13.1
1.08
10 39 -1.937
0.94
-9.2
1.01
2
16
新北市教育局學生能力檢測技術報告
99 學年
100 學年
題
號
難度 Unweighted fit Weighted fit
題
號
難度 Unweighted fit Weighted fit
MNSQ t 值 MNSQ t 值
MNSQ t 值 MNSQ t 值
40 -1.542
1.12
16.7
1.09 13.9 40 -3.474
1.45
55
1.51 32.2
41 -2.204
0.93 -10.2
1.01
1.7 41 -2.393
0.52
-80.8
0.68 -43.1
42 -1.949
1
0.7
1.06
8 42 -2.622
0.46
-94.3
0.66 -41.2
43 -3.046
0.57 -76.5
0.87 -12.3 43 -4.015
0.59
-67.3
0.79 -12.5
44
-2.44
0.61 -67.2
0.89 -13.6 44 -2.358
0.79
-31.2
0.85 -19.4
45 -1.861
0.71 -47.3
0.94
-8.7 45 -2.348
2.95 181.2
2.12
103
46 -2.499
0.64 -61.8
0.88 -14.8 46 -2.314
0.83
-24.4
0.94
-7.7
47
-2.02
0.7 -49.6
0.95
-7.5 47
-1.53
0.88
-18
0.95
-8
48 -1.847
0.92 -12.1
0.99
-2.1 48 -2.358
1.05
6.6
1.22 24.7
49 -1.639
0.8 -31.8
0.94
-9.3 49 -1.792
1.21
27.6
1.11 16.1
50 -0.676
1.15
20.9
1.08 13.5 50 -1.808
1.07
9.9
1.06
8.2
表
5-5 兩年度新北市國小五年級數學試題難度參數及適配指標
99 學年
100 學年
題
號
難度 Unweighted fit Weighted fit
題
號
難度 Unweighted fit Weighted fit
MNSQ t 值 MNSQ t 值
MNSQ t 值 MNSQ t 值
1
-0.758
1.00
0.2 1.01 1.1
1
-2.84
0.93
-9.9
1.04 3.3
2
-1.105
1.03
3.9 1.02 2.9
2 -2.587
0.95
-7.1
0.99 -0.9
3
-2.477
0.72 -46.2 0.88 -12.4
3 -2.757
0.83 -26.0
0.86 -13.0
4
0.197
1.33 45.6 1.21 47.0
4 -2.089
0.39 -119.1
0.51 -79.9
5
-0.44
1.05
7.7 1.04 7.9
5 -2.029
1.34 44.9
1.20 25.4
6
-2.141
1.32 44.5
1.11 12.1
6 -2.162
1.14 19.2
1.07 9.1
7
-0.7
1.26 36.3 1.15 29.6
7
-2.23
0.63 -63.3
0.77 -30.8
8
-0.755
0.90 -15.3 0.93 -15.6
8 -2.394
0.78 -34.9
0.97 -3.2
9
-1.438
1.08 11.7 1.01 1.2
9 -1.852
0.70 -50.2
0.76 -39.3
10 -1.845
1.03
5.0 1.02 2.2 10 -1.703
0.91 -14.5
0.98 -3.6
11 -1.082
1.28 38.9
1.11 20.4 11 -1.447
0.68 -54.0
0.78 -44.3
12
-0.63
0.87 -21.1 0.91 -20.7 12 -1.432
0.82 -28.6
0.88 -23.2
13 -1.424
0.90 -15.5 0.94 -10.5 13 -1.255
1.05
6.9
1.02 4.8
14 -0.987
0.89 -17.2 0.92 -14.9 14 -1.508
0.86 -21.7
0.91 -16.9
15
-1.84
1.03
4.9 0.98 -2.9 15 -1.256
0.84 -24.8
0.88 -24.2
16 -1.481
0.79 -34.8 0.87 -21.7 16 -0.972
0.84 -24.4
0.90 -23.8
17 -1.917
0.73 -46.0 0.88 -16.5 17 -0.705
0.94
-9.5
0.96 -9.7
18 -1.381
0.99
-1.9 0.97 -5.8 18 -0.945
0.79 -33.8
0.86 -33.1
19 -1.132
0.95
-7.9 0.97 -6.4 19 -0.767
1.06
8.1
1.05 10.5
20 -1.747
0.85 -23.3 0.92 -11.7 20 -1.056
1.10 14.0
1.07 14.9
21
-1.15
0.89 -17.2 0.93 -13.8 21 -0.638
1.07 10.2
1.05 11.5
22
0.015
1.11 15.7 1.06 13.1 22 -0.881
0.90 -14.5
0.93 -16.5
23 -1.393
0.98
-3.1 0.98 -3.7 23 -0.761
0.95
-7.7
0.97 -8.0
伍 測驗信度與試題參數
17
99 學年
100 學年
題
號
難度 Unweighted fit Weighted fit
題
號
難度 Unweighted fit Weighted fit
MNSQ t 值 MNSQ t 值
MNSQ t 值 MNSQ t 值
24 -2.186
0.74 -42.4 0.88 -14.5 24
-0.51
1.04
5.2
1.03 6.2
25
0.327
1.06
9.2 1.02 4.0 25 2.376
3.10 203.7
1.63 45.1
26 -1.064
0.96
-5.6 0.98 -4.4 26 -0.802
1.14 19.5
1.11 24.7
27 -2.668
0.90 -16.0 0.96 -3.2 27 -0.503
1.19 26.1
1.13 29.3
28 -0.837
0.94
-9.2 0.97 -5.5 28 -0.262
1.16 22.5
1.11 24.9
29
0.91
1.09 12.7 0.96 -9.0 29 -0.142
1.26 35.8
1.18 39.7
30
0.273
1.09 13.5 1.03 5.8 30 0.459
1.12 17.2
1.03 6.5
31 -1.386
0.91 -13.3 0.97 -5.3 31 0.474
0.99
-1.2
0.94 -13.5
32
0.358
1.25 35.6 1.16 34.3 32 0.663
1.38 50.4
1.22 40.1
33 -1.215
1.01
2.2 1.02 3.2 33 0.809
1.40 53.0
1.21 36.0
34 -0.579
1.07
9.9 1.04 8.8 34 -0.619
0.99
-0.8
1.00 -0.8
在資料
- 模式適配檢定之外,由於國小五年級國語文能力檢測,某
部 分 是 由 題 組(
testlet)試題組成,而為檢測是否存在局部依賴(local
dependence)現象,研究者是以殘差間相關進一步檢視此假定,以了解本測
驗被
Rasch 模式解釋後,試題間是否仍有相關存在,若有則代表可能違背局
部獨立性的假設(
Wright, 1996),經分析,顯示 99 學年度中,36 題國語文
測驗之兩試題殘差間相關係數,是界於
-0.089 至 0.137 間,而係數超過 0.1
者,只有
1 對;100 學年度中,40 題國語文測驗之兩試題殘差間相關係數,
則是界於
-0.0918 至 0.1137 間,而係數超過 0.1 者,只有 2 對。整體而言,
雖然國語文能力檢測是具有作答之共同文本,但學生於各題目之反應,是維
持相當程度的獨立性。
18
新北市教育局學生能力檢測技術報告
陸、標準設定
在回歸學生能力檢測目的下,其功能多為瞭解個別學生具備哪些知識、
能力,或者哪些學生尚未具備基本學力等,並不強調學生的比較、競爭,因
此,新北市教育局學力檢測結果,是規劃以標準參照(
standard referenced)
方式進行解讀,而此則涉及標準設定(
standard setting)程序,以下是從設
定的水平數、命名、標準設定技術及其結果等面向進行陳述:
一、水平數及命名
有關水平數及其命名(
label)的界定,新北市教育局是經由局內主管、
測驗專家及命題教師的會議討論後,在考量評測範圍、目的、試題數量等因
素後,決定設立
2 個通過標準,將學生區分為 3 個類群,分別命名為「待關
心
/ 通過 / 精熟」(註 1),其中,待關心者指的是「學生尚未具備該年級學
習之基本學力,是為需要進行補救教學者」,而通過者,是指「學生具備該
年級學習之基本學力達部分精熟程度」;精熟者是為「學生具備該年級學習
之基本學力達精熟程度,能展現學科相關能力,包含該學科知識、該知識應
用於真實情境能力及適當分析該學科知識的能力」。
二、通過標準、標準設定技術
根據過往的各大型學習成就評量的標準設定經驗,其設立方式大致
可分為兩個主軸,一是採用專家判定方式,例如:美國的全國教育成果評
量(
National Assessment of Educational Progress, NAEP)、臺灣學生學習成
就評量(
Taiwan Assessment of Student Achievement, TASA)、另一則是依學
生實際表現進行設立,例如:國際數學與科學教育成就趨勢調查(
Trend in
International Mathematics and Science Study, TIMSS)、國際學生成就評比計畫
(
Programme for International Student Assessment, PISA)等(謝進昌,2010),
而新北市教育局在考量時間成本及初次(
99 學年度)執行標準設定之故,
是決定依循國際
TIMSS 及 PISA 等大型評量(Mullis, Erberber, & Preuschoff,
2008; OECD, 2009, P.288),採用量尺定錨技術(scale anchoring)(Beaton, &
Allen, 1992; Kelly, 1999)以進行標準設定,而其程序大致是為決定通過標
準、召集試題檢視小組以撰寫表現標準描述等,以下則分別就
99 學年度設
定程序及結果,陳述如下:
陸 標準設定
19
(一)通過標準
新北市教育局對於國小五年級國語文、數學及國小四年級英語
文通過標準之設訂,
99 學年度的結果是如下表 6-1 所示,以國小五年
級國語文為例,個別學生只要答對全部測驗內容
80%(含以上),即
是具備精熟能力、若答對全部測驗內容的
60%-79%,則是具備通過
能力,反之,
59% 以下者,就是為待關心的學生,舉例來說,若以
國小五年級國語文總試題數
36 題而言,精熟水平者必須答對約 29 題
(
36*80%=28.8)、通過水平者必須答對約 22 題( 36*60%=21.6),而此
標準的制訂是經由局內主管、測驗專家與命題教師,共同討論並考量
下列原則所得:
1. 採用 60% 的標準以區分待關心/通過水平時,多能符合教師及家
長對於一般傳統及格標準之認知,因此,對於首次以標準參照模式
來詮釋新北市學力檢測結果的教育局而言,不僅在溝通評量結果及
標準設立時,較容易被接受,更能確保此決策不致對社會層面造成
太大衝擊,而影響標準設定的效度(
Kane, 1994, 1998)。
2. 對於通過 / 精熟水平標準的設立原則,研究者是以全市的平均通過
率做為參考要點,以顯示學生只要達到全市平均水準,就具備基本
學力達精熟的水平,以
99 學年度國小五年級國語文、數學及國小
四年級英語文之平均通過率而言,是分別為
77.5%、68% 及 86.8%
等,因此,研究團隊是依此為參考準則,再經命題教師對於本次測
驗內容難易程度判斷,進行調整,以訂立出
80%、75% 及 85% 的
精熟水平通過標準。
註
1:不設立進階水平原因在於進階一詞通常隱含學生具有超越基本學力之才能,但此範疇可以是學
科、亦可以是批判思考、創意等高層次能力,因此,為配合現行教育局基本學力檢測目的、題型及避免
過度強調學力而妨礙學生於其它面向能力的多元發展,因此,不特別設立進階水平。
20
新北市教育局學生能力檢測技術報告
表
6-1 99 學年度新北市教育局國小四、五年級各科通過標準
水平
通過標準
國小五年級國語文
(
36 題)
國小五年級數學
(
34 題)
國小四年級英語文
(
50 題)
待關心
59%以下
59%以下
59%以下
通過
60%~79%
60%~74%
60%~84%
精熟
80%以上
75%以上
85%以上
(二)表現標準描述之撰寫
表現標準描述(
performance level description, PLD)代表的是以文
字描述各水平學生所共同具備之知識、能力或技巧(
Cizek, & Bunch,
2007),通常是於施測前,由學科專家預先撰寫,以作為組題、命題、
甚至是標準設定之據,但由於時間成本及行政實務之考量,研究團隊
是仿照
TIMSS 及 PISA 模式,以事後回溯方式進行撰寫,而實際執
行,研究者是以量尺定錨技術預先篩選出適合各水平之試題,進而,
再由新北市各學科命題小組成員所組成之試題檢視小組(
item review
committee),進行 PLD 撰寫,其中,試題篩選方針是包含兩項,一是
依「待關心者答對該題比率為
50% 以下、通過者答對該題比率為至少
65% 以上」及「通過者答對該題比率為 50% 以下、精熟者答對該題比
率為至少
65% 以上」等量化準則;另一則是由小組成員逐一檢視可能
界於前述臨界準則之試題,依內容適切程度進行專業判斷,以考量是
否納入
PLD 的撰寫。
經分析後,各學科表現標準描述及範例試題分別如下表
6-2、6-3
及
6-4 所示,國小五年級學生若屬通過水平,其國語文能力大致已具
備該年段基本的知識與概念,而若屬精熟水平,則不僅具有較完整知
識、概念外,對於注音符號應用、識字、文章閱讀意涵及寫作等,更
能正確掌握;此外,對於國小四年級學生而言,若屬通過水平,是能
大致聽懂、讀懂一些習得的字詞、句子等,若屬精熟水平,則能進一
步辨識、讀懂或聽懂中年段所習得的英語句子及用語;最後,對於國
小五年級學生數學表現而言,若屬通過水平,應能部份掌握五大領域
內容的數學概念與過程,能進行小數、分數等估算,若屬精熟水平,
陸 標準設定
21
則能統整過程知識及理解概念,並將其應用於解決五大領域內容之實
際問題。
表
6-2 國小五年級國語文表現標準描述
水平
表現標準描述
通過
通過水平能力的學生,在國語文能力四向度的表現,已具備此年段基本的知識與概
念,分項說明如下:
1. 注音符號的應用
學生具備對同音字、音近字及一字多音的辨識能力,並能利用注音符號,理解字詞
音義,提升閱讀效能。
2. 識字與寫字
學生能概略了解筆畫、偏旁變化及結構原理。
3. 閱讀
學生能理解語詞的不同涵義,熟習字句型並且掌握文章要點。在閱讀理解部分,具
備直接提取資訊的能力並做簡單直接的推論;能摘取文章主題與重點,對於明顯差
異資訊能夠分辨其正確性。
4. 寫作
學生具備語文表達的能力,能掌握語詞相關知識,寫出語意完整的句子,還能恰當
的使用標點符號,並從內容、詞句、標點方面,修改自己的作品。
範例
1(一字多音):
(②)下列選項「
」中的字,哪一組讀音完全相同?
①
對於名「勝」古蹟的導覽工作,他「勝」任愉快。
②
他是個「樂」善好施的人,時時以幫助別人為「樂」。
③
公園旁即將「興」建大型的體育館,真令人高「興」。
④
這片「薄」薄的「薄」荷口香糖,有提神醒腦的功效。
(選自
99 學年度五年級能力檢測試卷第 3 題)
範例
2(辨認字形):
(④)參加辯「論」賽時,要「輪」流發言,不可隨意插嘴。
「」中依序應該填入哪兩個字?
①倫
/ 輪
②輪
/ 論
③論
/ 倫
④論
/ 輪
(選自
100 學年度五年級能力檢測試卷第 8 題)