兒童華語文能力測驗技術報告—2023 (3)
國家華語測騎推動工作委員會
聽力測驗、閱讀測驗信效度
2
目錄
壹、
前言 .................................................................................................................. 4
貳、
測驗介紹 .......................................................................................................... 5
一、
測驗說明 .......................................................................................................... 5
(一)
能力描述 ................................................................................................ 5
(二)
測驗題型 ................................................................................................ 6
(三)
通過門檻 ................................................................................................ 7
二、
等級對照 .......................................................................................................... 8
三、
測驗標準化流程 .............................................................................................. 9
參、
測驗效能分析 ................................................................................................ 10
一、
信度分析 ........................................................................................................ 10
(一)
內部一致性信度 .................................................................................. 10
(二)
測驗訊息量 .......................................................................................... 11
二、
建構效度分析 ................................................................................................ 13
肆、
結論 ................................................................................................................ 16
伍、
文獻 ................................................................................................................ 17
陸、
附件 ................................................................................................................ 18
附件 1 兒童測驗正式考試測驗訊息量及測量誤差 ...................................................... 18
附件 2 兒童測驗正式考試驗證性因素分析結果 .......................................................... 23
3
表目錄
表 1 兒童測驗基本能力描述 ............................................................................................................ 5
表 2 兒童聽力測驗題型.................................................................................................................... 7
表 3 兒童閱讀測驗題型.................................................................................................................... 7
表 4 兒童測驗通過分數.................................................................................................................... 8
表 5 測驗標準化流程說明 ............................................................................................................... 9
表 6 兒童測驗各等級聽力、閱讀庫李信度係數 ............................................................................ 11
表 7 兒童測驗各等級門檻測驗訊息量、測量誤差及信度 ............................................................ 12
表 8 兒童測驗試題適配分布 .......................................................................................................... 13
表 9 兒童測驗整體模式適配度指標摘要表 .................................................................................. 16
圖目錄
圖 1
聽力測驗等級對照圖 ................................................................................................................ 8
圖 2
閱讀測驗等級對照圖 ................................................................................................................ 8
圖 3 測驗標準化流程 ....................................................................................................................... 9
圖 4 成長級兒童聽力測驗測驗訊息量 ........................................................................................... 12
圖 5 成長級兒童聽力測驗測量誤差 ............................................................................................... 12
圖 6 萌芽級聽力測驗單因素模式 .................................................................................................. 14
圖 7 萌芽級閱讀測驗單因素模式 .................................................................................................. 15
4
壹、前言
「華語文能力測驗」為一套專為母語非華語者所研發的標準化語言能力測驗,
旨在測知華語學習者在實際日常生活中的語言使用能力,故不以任何特定教材為
命題依據。華語文能力測驗的測驗類別包括華語文聽力測驗、華語文閱讀測驗、
華語文口語測驗、華語文寫作測驗以及兒童華語文能力測驗,測驗內容主要針對
各種日常生活情境所設計,題材真實多元,提供語言學習者能夠衡量其語言能力
的國際評量工具。
「兒童華語文能力測驗」
(Children’s Chinese Competency Certification) (以下簡稱
兒童測驗
)是一套專為七至十二歲母語非華語之兒童學習者所設計的標準化語言能
力測驗,由「國家華語測驗推動工作委員會」
(以下稱為本會)專責研發。兒童測驗旨
在幫助兒童學習者了解自己的華語程度、激勵他們學習的熱忱,故不以任何特定教
材為命題依據,測驗題材取自真實的生活情境,豐富有變化,測驗內容涵蓋所有與
兒童經驗相關之主題,如日常生活與休閒活動、交通運輸、人物特徵、身體與健康、
學校用語、時間與空間概念以及氣候與季節等。測驗實施方式為紙筆測驗,聽力測
驗與閱讀測驗合併施測
。
本報告首先簡介兒童華語文能力測驗之各項測驗能力指標與測驗內容,再針
對
112 年兒童測驗各等級通過門檻、製卷、與成績公布之標準化流程進行概述。
最後分別闡述本年度正式考試之信度及效度分析結果,使用資料為
112 年 1 月至
8 月之測驗結果。
6
宣佈及說明時,能理解其中的要
點,例如自我介紹、電話留言、
課堂上的宣佈或天氣預報等。
日期、時間、價錢、地點等。
茁壯級
能理解有關居家生活、興趣嗜
好、旅遊、休閒活動、同儕間的
互動等主題的談話。
在聆聽簡短、簡單、發音清晰的
說明或錄製片段時,能掌握主旨
及重要資訊,例如:介紹、宣佈、
廣播、新聞等。
能理解主題具體、與個人生活經
驗相關的簡單敘事短文
。
能辨識日常生活中不同書寫材
料的功能,且能從書寫材料,例
如留言、便條、信件、學校公告、
廣告或海報中,讀出重要的訊
息,例如:活動時間、地點、辦
法、適用對象、注意事項等。
(二)測驗題型
兒童測驗目標受測者為七至十二歲的兒童,研發題型時,首先考量兒童受測
者的認知能力及語言能力尚在發展中,在一次測驗中需藉由多元的作答方式與題
型的轉換,提升兒童的注意力,因此測驗中包含多種題型,題型設計也採用兒童
熟悉且較直觀的測驗形式,以降低作答時的焦慮情緒,以期能客觀評估受測者真
實的語言能力。其次,兒童測驗三等級所希望測得的聽力及閱讀能力,都始於初
級語言使用者的範疇中,而初級使用者理解文本的同時往往需要視覺輔助,因此
無論是聽力測驗或是閱讀測驗都採用了多種圖文相輔的題型。同時,由於兒童生
活經驗與成人相比,較為有限,故測驗內容所包含的主題、情境、任務皆與兒童
生活經驗相關,避免兒童因為缺乏充足的背景知識而影響其作答。
兒童測驗採聽力測驗與閱讀測驗合併施測,萌芽級為聽力測驗
20 題、閱讀
測驗
20 題,測驗時間約 40 分鐘,成長級與茁壯級皆為聽力測驗 25 題,閱讀測
驗
25 題,成長級測驗時間約為 50 分鐘,茁壯級約為 60 分鐘。測驗方式分為三
選項之單選題、連連看形式呈現的配合題以及是非題三大類,聽力測驗與閱讀測
驗各等級的題型請見表
2 與表 3:
7
表
2 兒童聽力測驗題型
測驗等級/題型
聽力選圖
(單選題)
看圖回答
(單選題)
聽力
連連看
會話理解
(單選題)
段落理解
(單選題)
萌芽級
--
--
成長級
--
茁壯級
--
--
表
3 兒童閱讀測驗題型
測驗等級/
題型
閱讀選圖
(單選題)
看圖辨義
(是非題)
看圖回答
(單選題)
圖文
連連看
閱讀材料
(單選題)
短文理解
(是非題)
短文理解
(單選題)
萌芽級
--
--
--
成長級
--
--
--
--
茁壯級
--
--
--
--
(三)通過門檻
兒童測驗三等級中,成長級與茁壯級欲測得的考生能力與成人聽力測驗和閱
讀測驗的入門級、基礎級門檻相當,皆依據
CEFR之A1級與A2級發展而來;唯測驗
目標對象不同,前者針對兒童設計,而後者則是成人。因此,兒童測驗經過一系列
等化研究與標準設定程序後,除了兒童測驗三等級試題難度皆能在同一量尺上相互
比較外,也將兒童測驗試題難度參數連結至
TOCFL難度參數的量尺上(國家華語
測驗推動工作委員會
2014)。也因此,研發人員依據等化研究結果及TOCFL入門
基礎級標準設定的結果制定了兒童測驗成長級與茁壯級之通過門檻(國家華語測驗
推動工作委員會
2015a;國家華語測驗推動工作委員會 2015b),同時也根據
TOCFL準備級之標準設定結果制定了兒童測驗萌芽級的通過門檻(國家華語測驗
推動工作委員會
2017)。兒童測驗之聽力測驗與閱讀測驗的量尺分數範圍皆為0-
100分,聽讀合計後,量尺分數滿分均為200分。兒童測驗採取聽力測驗與閱讀測驗
合併施測的方式,且兒童測驗對考生採鼓勵態度,因此聽力測驗與閱讀測驗不分開
設定通過門檻,而以考生兩項測驗的加總量尺分數為通過分數,萌芽、成長與茁壯
級測驗通過分數如表
4所示:
10
參、測驗效能分析
兒童測驗組卷方式是依據試題反應理論(
Item Response Theory;以下簡稱
IRT)而來的,IRT 之一重要假設為單向度假設(uni-dimensionality);亦即測驗
中所有題目皆測量相同潛在特質(或能力)
,當考生並非靠所欲測知的單一特質
(或能力)作答時,單向度
IRT 分析所獲得的試題參數及考生能力估計值將是偏
誤的。上述測驗藉由
Winsteps
2
行單向度
IRT 分析測驗相關資料,分析結果可區
分為信度分析與效度分析。
一、 信度分析
以下從內部一致性及測驗訊息量(
test information;TI(θ))兩個面向評估兒
童聽力測驗與兒童閱讀測驗的信度。
(一)
內部一致性信度
測驗的信度是指測驗結果的一致性和穩定性,亦即測驗題目是否一致測量到
相同的潛在特質。內部一致性信度是常見的測驗信度評估指標之一,它是指同一
份測驗中所有試題的相關程度有多高。如果所有試題皆測量到相同的目標特質,
那麼每道試題測量結果的相關性應該很高(陳柏熹,
2011),因此,內部一致性
指標可以顯示內容取樣及內容異質性的誤差,以反映內容取樣對於測驗分數的影
響。各級測驗之內部一致性信度將以庫李
20 號公式(Kuder-Richardson)為指標。
由表
6 顯示,除了萌芽級聽力測驗外,其餘聽力與閱讀測驗信度係數達到.8
以上,信度良好。萌芽級聽力測驗信度較低的原因應與考生同質性較高有關,該
卷
440 名有效考生中,有 260 名全部答對得到滿分,百分比高達 59%,原始答對
題數的標準差為
1.9,成績分布為負偏態。
2
Linacre, J.M. (2009). Winsteps® (Version 3.68.2) [Computer Software]. Beaverton, Oregon:
Winsteps.com.
14
閱讀理解能力。
綜合基本適配度與整體適配度之分析結果,可得出以下結論,兒童測驗之各
等級具有一定的建構效度,各個試題可測得一致之聽力或閱讀理解能力。由於篇
幅有限,在此僅呈現萌芽級聽力測驗和兒童閱讀測驗結果,其餘正式考試各等級
各題因素負荷量等參數請見附件
2。
圖
6 為萌芽級聽力測驗正式考試驗證性因素分析結果,在基本適配指標部
分,單因素模式驗證性因素分析結果顯示,試題因素負荷量介於
0.30 至 0.86 之
間,平均值為
0.64,85%的試題因素負荷量達.40 以上;各題因素負荷量統計考
驗均達顯著水準(
p<.05)。圖 7 為萌芽級閱讀測驗因素模式圖,單因素模式驗證
性因素分析的結果顯示,試題因素負荷量介於
0.10 至 0.95 之間,平均值為 0.67,
95%的試題因素負荷量達.40 以上;除 R_Sp_06 外,其餘試題因素負荷量統計考
驗均達顯著水準(
p<.05)。
圖
6 萌芽級聽力測驗單因素模式
15
圖
7 萌芽級閱讀測驗單因素模式
透過整體模式適配度分析,可評鑑整個模式與觀察資料的適合程度。首先,
經由卡方自由度比(
χ
2
/df)來評估模式適配度,其原因為卡方分配易受到自由度
與估計參數數量的影響,當自由度越大或所需估計的參數個數越多時,卡方值越
大,造成假設模式適配度不佳的可能性越大,此時卡方值越不能反映理論模式與
觀察資料的適配程度(邱正皓,
2011)。由表 9 可知,兒童測驗萌芽級與成長級
的卡方自由度比均小於
3,表示模式適配度良好。絕對適配度評估的分析結果,
平均概似平方誤根係數
(
root mean square error of approximation,以下簡稱 RMSEA)
均小於
.08,顯示皆符合絕對適配度指標。至於增值適配度評估部分,除了萌芽級
聽力測驗和成長級閱讀測驗外,其他測驗的比較適配指標(
comparative-fit index,
簡稱
CFI)和非規範適配指標(non-normed fit index,簡稱 NNFI)都大於.90,符
17
伍、文獻
陳柏熹(2011)。心理與教育測驗:測驗編製理論與實務。臺北:精策教育。
邱皓政(2011)。結構方程模式:LISREL / SIMPLIS 原理與應用。臺北:雙葉書廊。
國家華語測驗推動工作委員會(2015a)。華語文能力測驗技術報告2013(1):聽力測
驗信效度(ISBN:978-986-92167-2-2)。新北市:國家華語測驗推動工作委員
會。
國家華語測驗推動工作委員會(2015b)。華語文能力測驗技術報告 2013(1):閱讀測
驗信效度(ISBN:978-986-92167-3-9)。新北市:國家華語測驗推動工作委員。
國家華語測驗推動工作委員會 編,2017,《華語文能力測驗106年成果報告》,教
育部委託國立臺灣師範大學辦理106年華語文能力測驗計畫。未出版。
國家華語測驗推動工作委員會
(2022)。兒童華語文能力測驗技術報告―2018(2)
:
聽力測驗、閱讀測驗信效度。新北市:國家華語測驗推動工作委員會。
Linacre, J.M. (2009). Winsteps® (Version 3.68.2) [Computer Software]. Beaverton,
Oregon: Winsteps.com.
Muthén, L.K. and Muthén, B.O. (2012). Mplus® (Version 7.0) [Computer Software].
Los Angeles, CA: Muthén & Muthén.
18
陸、附件
附件 1 兒童測驗正式考試測驗訊息量及測量誤差
圖 1-1 萌芽級兒童聽力測驗測驗訊息量
圖 1-2 萌芽級兒童聽力測驗測量誤差
19
圖 1-3 茁壯級兒童聽力測驗測驗訊息量
圖 1-4 茁壯級兒童聽力測驗測量誤差
20
圖 1-5 萌芽級兒童閱讀測驗測驗訊息量
圖 1-6 萌芽級兒童閱讀測驗測量誤差
21
圖 1-7 成長級兒童閱讀測驗測驗訊息量
圖 1-8 成長級兒童閱讀測驗測量誤差
22
圖 1-9 茁壯級兒童閱讀測驗測驗訊息量
圖 1-10 茁壯級兒童閱讀測驗測量誤差