「綜合統整」的能力
王夕堯
國立台北大學師資培育中心
緒論：過去幾年，我有機會跟許多國民中、小學的教師交換教學的經驗與心得。談到面臨強調培養學生多元能力的教育潮流，經常遭遇的困擾是很難找到合適的評量工具。就以科學素養為例，除了常用的紙筆測驗被用於認知能力的評測，其他如「綜合統整能力」…等跟科學素養有關的成份，就不那麼容易去觀察，當然更不容易進行有效的評量。
我碰到一些自然科老師提到說，經常可以碰到一些在紙筆測驗表現不錯，但是當必須利用紙筆測驗中相關的科學認知去處理實際問題時，反而表現不理想的學生。相反地另外有一些學生，能掌握實驗精神而做出不錯的實驗結果，平常卻不見得會在紙筆測驗中考得很好。學生學習過程中這類的能力差異，我們要怎麼去評量呢？
我們今天是生活在一個充滿「評量文化」的時代裡。我們在這裡所說的「文化」，指的是人類社會的生活方式，所以「評量文化」也就是在人類社會生活中，不斷出現，對各種活動的核心價值去建立據以為評估及衡量標準的習慣。例如：環球小姐選美大會，受邀的評審必須必須有一套對「美」的看法，而且還要針對參加的小姐，哪一位的「美」超越其他人做出判斷；然後在多位的評測者對「美」找到一個綜合性的共識之後，才選出那一位是最符合大家對「美」之共識的小姐。
此外，許多擇優授獎的活動也都面對在選擇那一個代表為優時，必須能合理說明，評測者所評估及衡量的依據是什麼。譬如說，一年一度的奧斯卡金像獎，在決定那一位獲頒最佳男演員獎的時候，每一名評審必須對這個演員的「演技」被認為好過其他人，舉出證據(比如說在參賽的影片中所扮演的角色，是如何被演活了)提出合理的說明。
其他諸如國際跳水、體操、寵物比賽，甚至於台北市聯營公車，那一家公車公司的「服務」最好等等競賽，都跟前述對於活動的核心價值建立據以為評估及衡量標準有關。但重要的問題是，儘管有些前述的活動，例如韻律體操，可以有一些比較明確的項目，甚至於用量化方式(例如：分成藝術表現與技術表現兩個項目，以從1到10的量尺)去評量選手的綜合表現(比如說表演過程中，什麼動作出現幾次，可計幾個點數；以及是否有出現哪一種美感的動作)；但另外也有一些活動，例如公車服務態度的好壞，就不容易用特定量化指標來評量，而必須借助乘客的意見。
上述的生活例子說明，在現實生活中(包含教育)，人們對某些事件的評量必須依賴「共識」，而這個共識的基礎是許多不同性質指標的綜合呈現。例如，在人際關係的層面，我們常說某某人有「統整」不同派系的能力，也就是說，他能夠把很多人的特點，截長補短綜合考慮進來，形成一個力量。
同樣的，有的人對於知識層面的議題，特別可以從許多認知思考背景中，將不同來源的訊息，作出綜合判斷與整哩，針對議題找出最理想的處理方式，而表現出來。以上這些「形成一個力量」、「找出最理想的處理方式」等情形，都可以說是一個人「綜合統整」能力在生活中的具體表現。
既然「綜合統整」能力，是人類生活中具體表現的能力之一，那麼「綜合統整」能力還有什麼層面，是我們需要研究呢？
我國目前推動的國民義務教育九年一貫課程「自然與生活科技領域」的主要目標之一，是提昇國民「科學素養」。這個課程，所強調的是要讓學習者的能力被培養出來，這與近年來國際科學教育闡述的主要觀點─重視培養學生科學能力與終生學習的態度，相當一致(例如：American Association for the Advancement of Science, 1993; Council of Ministers of Education, Canada, 1995; Millar, Osborne, & Nott, 1998; Monbusho, 1998; Hackling, Goodrum, & Rennie, 2001等文獻中分別說明的美國、加拿大、英國、日本及澳洲之科學教育均重視培養學生科學能力與終生學習的態度)。
因為過去習以為常的講述式教學及偏重紙筆測驗，被認為不利大多數學習者科學能力的發展；九年一貫課程鼓勵教師採取多元活潑的教學策略，相對地教師當然需要有各式各樣的評量工具，也就是希望能夠以科學化的方式對這些能力加以鑑定，以確定顯示學習者「科學素養」相關的各種能力是不是在科學學習的過程中發展出來。
以科學教育的工作者的立場，在強調培養學生多元能力的教育潮流中，首先我們想了解「綜合統整」能力在科學學習情境下的定義。我們還想要瞭解，影響「綜合統整」能力形成的可能因素是些什麼？我們也想知道「綜合統整」能力的特質可能有那些？評判一個人在學習科學時「綜合統整」能力要怎麼樣觀察？
「綜合統整」能力，是觀察一個人科學素養時，他(她)展現的思考智能之一，我們將以下列順序的探討：
一、科學思考智能「綜合統整」能力的定義
二、形成「綜合統整」能力的可能影響因素
三、「綜合統整」能力的可能特質
四、「綜合統整」能力的評判
五、結語
一、科學思考智能「綜合統整」能力的定義
為了讓討論的範圍明確，我們在這裡將「綜合統整能力」界定在一個人展現科學思考智能時，能夠綜合各種知識及訊息的整理能力。究竟什麼是「科學思考智能的綜合統整能力」？
從神經科學的角度看，它可能類似一些神經科學家(Duncan, Seitz, Kolodny, Bor, Herzog, Ahmed, Newell, and Emslie, 2000)所認為，衍自大腦額葉一個控制多種行為特定部位的功能，被稱為「一般智慧(general intelligence)」，就是那種在許多種認知測驗會呈現出普遍正相關的一些智能，例如：空間、語文及覺知-運動等能力的統合表現。
另外跟它比較接近的是認知心理學家說法─後設認知(metacognition)─即一個人評量自己有多接近解決問題的思考過程，也就是那種「知道的感覺(feeling-of-knowing)」(Eysenck & Keane, 2000)。
也有學者(Rosenthal, 2000)稱這種感覺是較高階的思考(a higher-order thought)。Rosenthal建議：我們決定事情時的主觀知覺，是遲在實際做決定本身之後發生。
換句話說，跟事情的處理有關之認知過程是「做決定」本身，而不是「意識」。前述的「一般智慧」、「後設認知」以及「『做決定』在事情處理的重要性」都隱含共同的特性─處理事情是靠一個人心智的統合表現。
當然我們決定探討科學素養評量基礎時，應該把國內教學文化納入考慮。教學實務上，資深的國民中學教師經常可以發現，有些學生能夠在一般的紙與筆測驗上考得高分，同時也可以在處理一個科學議題(例如：完成一個半開放式，而不是菜單式的實驗問題)時，有不錯的表現。
相反地，也有另一類的學生，對於一個需要綜合運用各種訊息去處理的科學議題，卻無法像紙與筆測驗般地表現。這樣的現象似乎說明，一般科學認知能力，譬如紙筆測驗的表現，並不等同於，面對一個議題時，能夠綜合運用各項認知能力，所顯示出來的心智總體呈現。
這種總體呈現就是運用了綜合統整思考智能的具體表徵，其運用過程如黃貫倫所描述的：「包含了常用的心智活動，如：推斷、轉化、比較、想像、辨識、萃取、綜合等。」(黃貫倫，2004，p. 35)
因而「綜合統整能力」似乎可以界定為：「能利用事務所提供的眾多訊息，形成一個或數個具有一致性極代表性的規則、規律或概念，並能用簡約、明確、條理的形式來表達的能力」(黃貫倫，2004，p. 32)。稍早陳文典教授(2002)曾經對科學素養思考智能的「綜合統整能力」有一個極扼要的說明─即「形成整體觀的能力」，同時他建議思考智能為「從各個向度思考問題時所需要的能力」。
綜合上述文獻的重點，我們建議「科學思考智能的綜合統整能力」就是一個人處理科學議題時，對於各種相關訊息，顯示出來的心智總體運作所呈現整體觀的能力。換言之，針對學習者「科學思考智能的綜合統整能力」的評量，可以從學習動機出發，以形成型評量的精神進行，再從學習結果呈現的事實作為回饋論述的基礎。
二、形成「綜合統整」能力的可能因素
生活中我們常常聽到類似「某甲的應變能力很好」或是「某乙不會動腦筋」，當然上述的生活舉隅，不必然表示「某甲」聰明而「某乙」不聰明，這個例子也不適合簡化成「某甲」比「某乙」聰明。上述兩者所呈現的差別毋寧是兩者在諸多思考智能中的「綜合統整能力」的不同。
「遇到熟悉的事務而知道如何處理」是訓練出來的，「遇到不熟悉的事務知道如何掌握解決的方向」才能看出一個人所受的知識之有效程度以及他的潛力。「遇到不熟悉的事務知道如何掌握解決的方向」、「會掌握議題解決的方向」很可能跟一個人在想事情時，他的「綜合統整」能力有密切關係。或許我們可以說，在成長過程中的教育能否有多大意義，很大程度要看它是否使你有(綜合統整)能力去面對一些非預期的突發狀況。
林清江在1971年曾經調查過教師「社會形象與聲望」的議題。他的研究發現，在我國社會，當年教師是最受尊敬的行業之一。十年後，他再進行類似的調查，獲得同樣的結果(林清江，1981)。在我國社會的過去環境，教育系統比較受到國家的集體目標影響，那個時代有許多老師，雖然沒有太多個人意見地的施展其教育理念，但是還是可以觀察到一些表現在外，正面的社會影響。
然而，當一個社會對於集體行為所帶來的秩序、服從、效率等美德過於崇拜時，不可避免的，這個社會之中的個人，其自主性與好奇心均容易受壓抑，整體來看，社會的整體秩序與外表的活力似乎不錯，但仔細觀察，卻發現這個社會不太有出人意表，潛藏在人群中的創造力奔放(sparkling)出來之情形。
今日老師仍受上述集體主義的影響，但呈現之風貌與三十多年前，可能有很大不同。換句話說，一種對教育理念雙重心態之情形似乎瀰漫在今日校園，也就是一方面尊重個別差異的多元文化或許逐漸影響到校園，另一方面集體主義多年影響所形成的傳統─不要跟別人不一樣的想法，還飄蕩在校園之中。這種情境下，在校園裡用多元的角度對學生進行評量，可能就是一件格外辛苦的工作。
可能因為初期時候老師是來自各系統（日據時期受訓當老師、隨國民政府自大陸來到台灣、國民政府來台後在台灣培養），不同來源的老師本身對於教育各有相當變異看法，聯考升學制度初加入教育系統，對校園中老師的教學影響隱伏，故變化不大，但到愈後期愈加速。
為什麼會有這種現象？隨著聯考加入教育系統的影響愈來愈強大，有些較能適應環境或較快調整步伐的老師，因為調整自己，而很快得到適應這種轉變的好處(例如：成為培養高升學率學生的名師)。漸漸這形成校園的主流價值，而致愈來愈多老師跟進。
可以想見的是，在這種情境，對學生學習成就的評量，會被定型化為「紙筆測驗的分數」。儘管這樣的做法只讓少數學生的「成就」被評為足堪升學，多數學生是低成就的。
隨著一年一年的學生變成家長，多數家長本身或許受到類似「斯德哥爾摩症候群」影響，會以「孩子，我這是為你好」的心理，要求孩子配合這樣的教學與評量機制─「把書讀好」，造成越往後越促進這種現象的趨勢。
另一方面，在強調均同主義(conformism)的社會之下，個人主義的特色之一─個人的自省成為內化的能力，可能不受到鼓勵。反而，均同主義強調集體意識的社會，期待個人對團體交代，一個人最好不要跟別人不一樣。這樣限制「嘗試」跟「創意」的可能因素，還不只是跟認知發展有關，也跟勇氣及態度有關。一個勇於運用學得的知識去嘗試的人，應該比拘泥於「我有『把握』才做」的人，更有傾向，或更可能綜合統整習得的知識。
三、「綜合統整」能力的可能特質
九年一貫課程自然與生活科技領域學習領域，對於「綜合統整思考能力」有一個例證式的界定：「在同類事件，但由不同來源的資料中，彙整出一個通則性(例如認定若溫度很高，物質都會氣化」(教育部，2003，p. 37)。這個課程重視科學素養的培養，例如：在科學學習時，要確定學習者「科學素養中思考智能的綜合統整能力」是不是發展出來，我們從上一節的討論中發現，這跟學習者在接觸新知識過程時形成的整體觀有關。
自然科學知識系統的建構，來自科學家循「科學的一般法則(scientific generalization)」所得的研究結果，這種實證研究取向相當具有權威性。這樣的知識權威性或多或少反映在自然科教師的教學上(Wang, 2000)。
然而，要討論教師的教學是教育學研究的一環。社會科學(含教育學)與自然科學不同，它的研究通常含有許多變數難以控制。例如，一位老師可能以看起來同樣的內容，並且以完全一致的方法去另一班教室上同一門課。但是兩個班的上課結果可能完全不一樣，因為許多沒有被注意到的變數，例如：教室情境、教師情緒、學生樣子、個別學生差異等都足以影響上課的結果。
Bassey(2001)探討過去的教育研究所得到的知識不容易為實務工作者所用，是因為過去一般的教育研究強調追求「科學的一般法則」。「科學的一般法則」得自實證研究，以通則的方式表達就是：如果x出現在y環境中，那麼在所有情況下z都會發生。其中x表示行動，y表示發生這個行動的環境，z表示這個行動的特定結果。這也是一般強調科學化研究得到的推論。所以科學的一般法則認為：特定的事件的確導致特定的結果。
與科學的一般法則大不相同的是「模糊的一般法則(fuzzy generalization)」。「模糊的一般法則」用暫定的方式表達：如果x出現在y環境下，那麼z狀況可能會發生。也就是模糊的一般法則認為：特定的事件可能導致特定的結果。後者較適合用於教育研究或是其他社會科學研究。
陳文典(2004)在考慮到培養科學素養的教學，對現任教師有其適應上的調適空間。因此如何透過具體可行的方法去評估科學素養的教學效果，以方便第一線的教師使用，必須有新的研究策略。他主張：「評量是為了想瞭解實況，並且對觀測的結果給予一個公平的評估…「實況」涉及到評量的目的…有效且可信的探測、資訊的獲得、資訊的分析、資料涵義的界定、結果的研判與詮釋等過程…公平的評估也就是評測者對於觀測的結果加以詮釋並賦予「意義」。…」(陳文典，2004，p. 1)並建議應用模糊集合的理論建立模糊評價的系統，以應付這個教學上的實務需求。
這個模糊評價的系統，希望盡量能夠把反映出我們國中課室教學文化的主要因子納進去。
四、科學思考智能「綜合統整」能力的評判
課程是教育系統反映社會需求的整套教學措施，例如：教學設計、教材制定、教學評量等都包含在其中；其中評量會影響到教育系統裡的每一個層面。就科學教育而言，評量是科學課程與教學改革能否成功最關鍵的催化劑。然而各種評量有其不同之目的，有針對升學取才的資格測驗(high-stakes summative tests, 或稱為summative assessment總結型評量)，也有為了明白學生的學習反應以改進教學效果由教師進行的課堂評量(classroom assessments, 或稱為formative assessment形成型評量)，或是為了檢視某一教育政策實施成效而進行的全國性大規模會考(public assessment)(例如：英國在國家總課程的規範下進行的7、11及14足歲學童學力測驗，我國目前實施的國中基礎學力測驗)。
上述幾種不同性質的評量各有其服務的目的。評量專家Paul Black(1993)認為，總結型評量雖然評量效果的信度較高，但是無法提供學生對教學反應的訊息；而發展型評量似乎較能夠幫助教師提高教學水準，但是它卻需要教育系統其他層面的配合。所以在自然科的教室，考慮評量策略的好壞應該看它能不能夠在適當的時間，對適當的教學狀況提供真實而有建設性的訊息。
我們認為科學學習的過程中，學習者對於一個科學問題的整體觀確實是非常重要，因為它反映出各種相關知識在這個人認知系統中經過內化的結果。而在教學時這一點往往不容易被關照到。
如果說教學上要評量學習者對於一個科學問題的整體觀，有哪些切入點呢？我們可以從實作的過程，或是處理資料的過程著手。舉例來說，我們可以在同樣的實驗環境下，從不同學生整理報告的品質(概念清楚、認知正確、運用知識於過程中、過程描述具體、注意到特殊現象‧‧等)；也可以比較同學從一篇冗長的文章中，摘寫重點的品質；或是給予一個新的問題，觀察同學運用已知條件的表現差異登方面來進行「綜合統整能力」的評量。
由於過去鮮少有文獻探討到這樣的議題。基於此，我們利用國中學生以問題為中心的學習過程，從實作評量觀察其學習成效的差異。並從觀察到的差異，比較他們從開始到結束的全部過程，面對問題時的整體處理表現。希望藉此過程找出他們形成整體能力所做的思考之特性。
以下我們用一個實例─有機化合物相關概念(有機化合物的檢驗)作為問題中心，用實作評量來檢視國二學生(第一次段考理化成績相似的數理資優生和普通績優生，N=26)對這個主題整體學習表現─來說明我們在一所一般性質的都會區國中，所觀察到的學生「綜合統整能力」的特性。
在研究中以下列方式蒐集資料：實作評量單、實驗活動的心得回饋、實作評量觀察量表、晤談、學生口頭報告、教師教學心得記錄等作為互動式教學評量的基礎。
§ 綜合統整能力的特性與評量方式─以一個有機化合物檢驗的實作評量為例
因為這是一個初探性質實例，我們特別注意在一般國民中學的教學情境中作觀察。首先我們先確定參與這一次實作評量學生，學習成績的接近程度。然後我們界定實作評量的過程，並且依照這個範圍進行觀察及蒐集資料。詳細情形如以下敘述：
1.確定參與學生學習成績的接近程度
以單因子變異數分析來檢定參與的八年級學生三次段考理化科的成績，結果發現：理化三次段考成績的F值為1.32，未達0.05顯著差異，顯示數理資優生和普通績優生的理化成績並無差異(表一)；如果不考慮組別，比較實際段考成績，顯示數理資優生和績優生在理化科的成績同質性很高(表二)。
表一 理化科成績之單因子變異數分析表
變異來源
SS
df
MS
F
組間
871.79
27
32.29
1.32
組內
1368
56
24.43
全體
2239.79
83
表二 參與實驗的學生理化一般考試成績
組別
人數
理化段考成績總平均
資優生201組
16*
94.63
資優生202組
4
94.29
普通班績優生
8*
94.85
註：各有一人退出
如表一，我們選取段考成績接近的數理資優生和普通班績優生進行互動式教學以及實作評量，並觀察他們總體反映的差異。兩組的學生跟教師的互動除了實驗活動教學之外，其他過程相同。
從整個問題為中心的學習過程中，教師除了觀察學生是否表現某些行為外，同時記錄學生的特殊學習行為及表現，還針對不同程度的行為表現給予不同的成績。課後依據實作單的評分標準，檢核學生的學習成效，加上老師的觀察紀錄量表，以及測驗卷作綜合考評。
學習單上設計一欄，可以讓學生開放式表達他們的特別印象或想法，這樣子可以某種程度傳達了學生重要的學習訊息。我們發現除了具備理解問題能力外，學生還必須有比較好的獨立判斷能力以及較多行動點子，才能做出正確的判斷，順利完成「有機化合物的檢驗」。這一點從學生的實驗記錄上，我們的確也看到他們的思考過程。
2.實作評量的過程
我們在進行實作評量時學生是相對而坐，彼此之間雖禁止交談，但可以轉頭張望，也就是說同學們是可以彼此觀摩學習的；透過觀察我們發現，由於學生的主動學習(因為這是考試！)加上同儕的互動提醒(同學被允許大家可以互看)，再透過自己的思考判斷，學習成效遠比課堂老師的叮嚀、例行性公式般的實驗活動還來的有效。我們發現即使已做過前導實驗的普通班績優生，在實作評量時還是非常仰賴同儕的互動，而資優生相對地就比較獨立。初步結果如表三所示。
3.初步結果
作者以紮根理論的精神(Charmaz, 2000)，經過資料認定─編碼─分類以便合成論述及解釋資料，並反過來從分類基礎去發展分析資料的架構，整理原始資料。我們把得自實作評量單、實驗活動的心得回饋、實作評量觀察量表、晤談、學生口頭報告、教師教學心得記錄等定性及定量資料，以上述程序回到本研究對於「綜合統整能力」的界定。
在這裡「科學思考智能的綜合統整能力」，就是參與學生處理有機化合物的檢驗議題時，對於各種相關訊息，顯示出來的心智總體運作所呈現整體觀的能力。參與學生的心智總體運作所呈現整體觀的能力，也就是他們在實作時可以被觀察到的科學態度、精神、活動表現等層面。
我們發現：從給予學生的學習材料及課堂指導或是實驗當時的師生互動來分析，與這個「有機化合物的檢驗」相關的活動，以學習的角度觀察，需要學生運用的相關科學素養可分類為：理解實驗內容、顯示邏輯思維、實驗規範的遵守、顯示主動學習精神、展現實驗技能、展現創意思維等。
為了能合適解釋「科學思考智能的綜合統整能力」，我們反過來從分類基礎去發展分析資料的架構，這時不可避免必須參酌研究當初目的，進一步解釋上述理解實驗內容、邏輯思維、實驗規範的遵守、主動學習、實驗技能、創意思維等素養，對於學生在這個「有機化合物的檢驗」活動顯示出來可論述為整體觀的能力。
我們在這個論述階段，為了忠於國內國民中學的教學文化的實境，儘量採用一般教學情況下，教師容易體會的教室日常用語(everyday language in classrooms)，避免沿用不盡然能夠真實描述國內理化教室師生互動的學術用語(academic language)。
基於此，這個論述及解釋資料的結果，從教師比較熟悉的形容詞來看，分別是：理解實驗內容、顯示邏輯思維可以解釋一個學生的「理解問題能力」；實驗規範的遵守及顯示主動學習精神可以解釋一個學生的「獨立判斷能力」；而「較多行動點子」的學生，則較有可能展現出實驗技能以及創意思維。表三呈現出以上述論述方式所分析的結果。
表三 資優生與績優生科學思考智能的「綜合統整能力」特性比較
資優班教育組
傳統學習組
（績優生7人，不含資優鑑定生）
201組（15人）
202組（4人）
平均數
標準差
平均數
標準差
平均數
標準差
理解問題能力
理解實驗內容
3.27
1.44
2.00
0.61
3.29
1.10
邏輯思維
2.80
1.56
1.75
0.56
2.36
0.52
獨立判斷能力
實驗規範的遵守
3.4
0.61
3.88
0.22
4.29
0.25
主動學習
4.67
0.60
2.88
0.96
3.71
0.84
較多行動點子
實驗技能
3.4
1.14
2.25
0.25
3.43
0.86
創意思維
3.13
0.96
1.75
0.25
2.86
0.83
*格子內的數字來自經過量化處理的每一個個別素養相關之綜合評量紀錄
參考表三的結果，我們似可以從結果論解釋，學生在從開始到結束全部過程中，面對問題的整體處理表現的幾個特性，例如：理解問題、獨立判斷、較多行動點子等，可能是跟他們匯整成較高階思考，以面對問題並能行動的「綜合統整能力」有關。
從晤談的例子或許可以部分描述這樣的關係。例如，g-4-1學生表示：‘其實作實驗並不是像課本上那麼簡單，因為有的時候會發生一些奇怪的事情，必須自己想辦法，這次的實驗也讓我更了解實際操作的方法。’反映出這個學生面對問題時會主動想辦法，具有獨立判斷能力的特性。
另外一位s-3-1學生說：‘有機化合物含C、H 兩種元素！燃燒時，會使石灰水混濁！有的甚至冒煙！感覺都不一樣！是一個很有趣的實驗！’顯示出他應該具有理解問題的能力。
從觀察中看出，還有具較多行動點子學生，能夠一邊進行實作，一邊進行思考而立即調整處理方式，例如g-5-2學生把未加熱的氯化亞鈷試紙(紅色)放入加熱後的試管中，發現變成藍色，馬上意識到氯化亞鈷試紙必須先烘乾(實驗進行那一陣子天氣都非常潮濕)再來做測試用，會讓結果比較正確。
4.進行「綜合統整能力」評量的初步建議
本研究以「有機化合物的檢驗」主題為例，我們認為本單元的評量應著重於學生如何檢驗出有機化合物，除了他們要記得有機化合物含碳、氫兩元素外，還要能記得石灰水溶液以及氯化亞鈷試紙的性質（這部份是傳統的紙筆測驗可以評量到的），更重要的是他們要能夠對以上的性質，作連結應用，包括例如：實驗的觀察、操作、以及會獨立判斷要怎麼進行，才會讓檢驗的過程比較理想；又比方說如何架設器皿收集二氧化碳、如何檢驗水分及二氧化碳的存在，甚至在操作時還會考慮到環保及安全因素等（這些方面就是紙筆測驗所不容易評量到的）。
實作評量表現優異的學生，多是對於問題較能作整體診斷，而具有進行高階思考的能力。換句話說，學生在理化的課程學習上，在實作評量表現優異的學生，傾向在我們前述的科學思考智能的「綜合統整能力」特性─理解問題、獨立判斷、較多行動點子等特性方面作多元思考與連結。當然，這是一個觀察一群成績優異學生的初步結果，對於一般學生，應該要以觀察更全面的樣本來對照比較合適。
具體而言，這個「有機化合物的檢驗」為問題中心的教學與實作評量，顯現幾項幫助及限制，值得提出來跟國中教師分享：
1.師生默契及實作評量的座位安排會影響學生的臨場表現：
實作評量雖是每個人獨立完成，不允許交談，但過程中沒有限制學生互看。我們發現不論資優生或績優生，在團體中都免不了會受同儕影響，而呈現合作學習的效應。
2.實作評量可觀察到學生在紙筆測驗中看不到的學習特質：
經過實作評量，學生體認到除了知識及技能外，還必須加上推理思考的能力，才能順利完成實驗。雖然本研究最後統計數字，我們看不出學生差異的顯著性。但較事實靜的觀察紀錄，確實顯示每個學生潛能以及在學習過程中的展現方式不一樣。例如：我們觀察到績優生在操作前會先將重點記下，待做完實驗之後再仔細通盤檢查；資優生則不然，通常信心十足，先看實物再說。如果只有紙筆測驗是看不到這些的，可是在實作評量裏卻可一覽無遺。
3.學習主題的選擇及教師的預試：
雖然實作評量可能帶給師生在科學學習好的一面，但全面改用實作評量的方式進行理化教學，可能有困難。因為實施實作評量耗時費力，且有其無法預期的變因產生，我們強調實施實作評量之前，教師一定要先預試，編出評分標準，才不至當下顧此失彼。
4.教師事前須克服的困難：
教師無法完全兼顧到所有學生，學生的部份行為表現稍縱即逝，尤其是技能方面的能力，比方說學生如何使用氯化亞鈷試紙檢驗、如何將橡皮管從石灰水中移開等(如果樣本數大，需要多個研究者同步參與，這可能會造成兩評分者所評的結果不一致，而導致統計分析偏差的結果），所以要完整記錄學生的特殊行為表現有時候很不容易。
5.「綜合統整能力」評量基礎進一步研究的建議
陳文典教授召集的「科學素養評量研究」的整合型計畫，以及包含我們所進行的「統整能力評量基礎研究」在內的幾個子計畫，就是在九年一貫課程自然科學領域新課程評量標準設定的過程中，希望最後能夠把會影響評測者在決定判斷標準的主要因子都鑑定出來，並作為建立合理可行的評量方案，以供國民中學科學教師進行多元評量之用。
Scharaschkin & Baird(2000)以英國一般文憑教育(General Certificate of Education, 即GCE)的考試作為題材，探討考生作答的一致性對試卷評測者打等第(grading)標準的影響。由於是項考試是大學預科的階段，通常試題是問答或申論題，所以評量方式採用閱卷者(examiner)質性及專家判斷(qualitative and expert judgements)的方式給予試卷打等第。這兩位作者在這個研究發現：同一份試卷，不同題號得分的一致性會影響到評測者對於整份試卷總等第的判斷，同時也會影響到評測者要做等第判斷時的困難度。
他們建議：雖說專家判斷是決定標準效度的必需成分，但這不是唯一的方法。或許教育測驗統計學應該可以作為一個主要判斷標準的訊息來源，然而必須小心的是，測驗統計學也被認為是具有可錯性的指標(fallible indicators)。因而，究竟何種因子會影響評測者在做判斷標準的決定，需要從標準設定的過程中(the standard setting process)進一步研究
我們認為九年一貫課程自然科學領域對於科學素養評量所面對的問題，與上述英國GCE試卷評量的困擾有相似之處。這些相關研究，就是需要我們在標準設定的過程中，仔細探討判斷標準的範疇。這個階段「科學思考智能綜合統整能力評量基礎研究」先從質化的角度，鑑定出在國中一般教學情境下，可觀測到的「綜合統整能力」主要因子，接下來應該從更周密的角度判斷這些因子的普遍性如何。
五、結語
科學真理建立在相關事實的驗證過程上，我們不能用民主方式來表決什麼是事實，科學事實涉及到學術界持續觀察且何種競爭性的解釋脫穎而出，然後經由理性價值判斷之後的累積產物。科學專業知識的建立，經常是循這個途徑，所以說它未必見得就等於「絕對理性」但卻是「趨近理性」；而民主程序所重視的是個人的喜好，以及選擇。
由尊重每一個人之選擇的民主方式，其加總所呈現的社會趨勢，卻不一定趨近理性；有很多時候，它反而背離理性，例如：證券投資，很多人買股票之前，信心滿滿，但是大多數人買股票的結果是失利的。
我這麼比喻，是想說明關於孩子在學校中的學習成就如何，教師要有一套「儘量周密」的評量方法，而這一套評量方法，應該是經由理性探索過程，有研究證據去判別其優缺點的專業產物。在此「儘量周密」所持的是一種「趨近理性」的價值判斷。或許在情感層次，我們絕對要尊重家長的選擇，但在理性層次，從事教育工作者，必須要能對自己的專業領域提供令人信服的主張，也就是要有專業的自信心。教師在嘗試多元的教學評量策略，就正是需要展現專業自信的時機，否則會徬徨不安。
老師改變教學的主要原因是什麼呢？研究顯示，人的行為改變可能因為：強迫式的要求(例如：獎懲制度)、接受願意相信為合理的理由(能帶來正面的結果)、或是受到個人強烈信念的驅使而願意相信這麼做是有價值的事(Gazzaniga & Heatherton, 2003)。
研究發現，有許多科學教師認為國中的科學教育跟科學發展沒有多大關係(Wang, 1998)。他們說：又不是人人要當科學家，等他們要當科學家再去受那個【培養科學素養的】訓就可以了。殊不知，不重視個別差異的環境及教法，會壓抑人嘗試及創新的勇氣，而國中教學受制於家長跟學校都只重視升學的不正常現象，正是助長這種壓抑文化的溫床。
國內過去十年的教改，其實是一場社會改革運動，更具體的說，是一場「學習如何去學」的社會運動。這樣的社會運動，最理想的狀況需要政府(資源分配者)、學校(執行者)、家長(資源使用者)，三方面的配合，才可能成功。
家長心態的改變，是一項巨大的社會工程，任何改革措施要對這項工程發生影響，可能要經過幾代人。這樣的社會工程，遠超過教育系統所能承擔的範圍。然而要解決前述校園中雙重心態帶來的困難，似乎可以從教育系統內部做起，教育系統中最重要的老師，經由溝通、理解、嘗試、改變，這種比較漸進的作法，似乎實際一點。
觀察學習者科學思考智能的「綜合統整能力」，就是除了紙筆的考試，想要更周密去了解學生科學素養的實際表現。也可以說，這是除了傳統紙筆測驗方式之外，增加另外一個評量科學素養角度的小小改變。
六、參考文獻
林清江(1981)：教師職業聲望與專業形象之調查研究。教育研究所集刊，23，99-177。
教育部(2003)：國民中小學九年一冠課程綱要(自然與生活科技學習領域)。台北市：教育部。
陳文典(2002)：自然與生活科技學習領域之學習成就─科學素養的評量。教學創新九年一貫課程─自然與生活科技學習領域研習手冊，33-106，教育部。
陳文典(2004)：評價理論與應用。國科會「科學素養評量研究」整合計畫2004.05.12會議講義資料。
黃貫倫(2004)：學生綜合統整能力對物理學習的影響。(未發表)國立台灣師範大學物理研究所碩士論文。
AAAS (American Association for the Advancement of Science) (1993) Benchmarks for Scientific Literacy. New York, Oxford: Oxford University Press.
Bassey, M. (2001). A Solution to the Problem of Generalisation in Educational Research: fuzzy prediction. Oxford Review of Education, Vol. 27, No. 1, pp. 5~22.
Black, P. (1993). Formative and Summative Assessment by Teachers. Studies in Science Education, Vol. 21, 49-97.
Charmaz, K. (2000). Grounded Theory: Objectivist and Constructivist Methods. In Denzin, N. K. & Linconn, Y. S. (eds) Handbook of Qualitative Research. (2nd Ed.) pp.509-535. Thousand Oaks, London, New Delhi: Sage Publications, Inc.
Council of Ministers of Education, Canada (1995) The Common Framework of Science Learning Outcomes K to 12. [On-line] Accessed Date: January 23, 2003. http:/www.cmec.ca/science/framework/Pages/English/1.html
Duncan, J., Seitz, R. J., Kolodny, J., Bor, D., Herzog, H., Ahmed, A., Newell, F. N., & Emslie, H. (2000). A Neural Basis for General Intelligence. Science. Vol. 289, 457-460.
Eysenck, M. W. & Keane, M. T. (2000). Cognitive Psychology. 4th Ed. East Sussex: Psychology Press.
Gazzaniga, M. S. & Heatherton, T. F. (2003). Psychological Science. Mind, Brain, and Behavior. New York & London: W. W. Norton & Company.
Hackling, M., Goodrum, D., & Rennie, L. (2001) The State of Science in Australian Secondary Schools.Australian Science Teachers, 47 (4) 6-17.
Millar, R., Osborne, J., and Nott, M. (1998) Science Education for the future. School science Review, December 1998, 80 (291) 19-24.
Monbusho (Ministry of Education, Science, Sports and Culture, Japan) (1998) White Paper. [On-line] http:/www.monbu.go.jp/hakusyo/e-index.html Accessed: Dec. 12, 1998.
Rosenthal, D. M. (2000). Consciousness, Content, and Metacognitive Judgments. Consciousness and Cognition, IX, 2, Part 1, 1-15.
Scharaschkin, A. & Baird, J-A. (2000). The Effects of Consistency of Performance on A Level Examiner’s Judgements of Standards. British Educational Research Journal, vol.26, No.3. 343~357.
Wang, S-Y P. (1998). The Role of Science Teachers and Science Teaching in National Development: A Case Study of Taiwan. Unpublished PhD. Thesis at the Department of Educational Research, University of Lancaster, U.K.
Wang, S-Y P. (2000). An Investigation of the Factors Influencing the Espoused Teaching Strategies of Taiwanese Science Teachers. Proceedings of the 2nd International Conference on Science, Mathematics and Technology Education. pp. 611-619. January 11-13, 2000. National Taiwan Normal University, Taiwan.