提升段考評量品質的不二法門~考前共識、審題、考後分析

image

(學校評量試卷示意圖,非本次陳情信內容)

這幾天因為有所國中第二段考結束後,家長有一些反應,前兩天就收到睽違已久的家長陳情信,是有關於最近一次學校針對段考評量品質出問題,導致整班學生成績低落的陳情案,被陳情的學校同仁要善後(我也是苦主之一),心情低落可想而知,但家長所言其實也有一番道理。

我因為要處理後續作業,與學校主任分享了我的看法,也提供給縣內輔導團群組夥伴的幾段對話,放在臉書後引發後續的討論,我想應該說清楚一點,也可以提供老師們參考。

[@more@]

全校統一評量的課題

如何持續努力提升老師教學與評量的專業,是我們一直期望學校做好評量品質管控的原因之一。

學校定期評量作業品質不一,這幾年我們一直堅持辦理定期評量活動甄選的活動,不是單指部分單元的試題競賽,而是整個定考評量作業,由命題、審題是否真正落實,考前預測與考後分析是否有真正做好,不然家長看到過去一直很認真成績又好的的子女,因為老師的試卷設計部是很適當導致成績不佳心情沮喪,當家長陳情時,學校就很難回應,也會讓老師的專業備受質疑,更麻煩的是,這些被陳情老師與行政同仁平時也很認真,被打擊的感受更容易傷害士氣。

以過去多次與這次家長的陳情內容來看,其實在陳情信上沒有特別的意見,大多只是請我們檢視檢討。由於一般家長對於學校段考的內容基本上不會有太多的專業要求,所以會出狀況的幾乎出都會出現在學生成績不佳(尤其是平時表現非常好的學生)的情形,如果全班平均(或全校平均)過低,則家長看到學生成績,又經過查證班上表現後,能夠鼓起勇氣請學校檢討的家長,其實也不會太多,學校同仁如何因應家長的反應?如何真實面對探究可能的原因?

我請團員看過考卷了,以第三方觀點檢視,題目是有點多,又是非選題為主,學生不容易在時間內完成,加上答題壓力,班級平均大概也可以看出端倪。
宜蘭的國中大多數學校都有審題機制,但實際運作審題過程中,同仁不好意思表達意見是常見的情形,如何在未來調整作業流程才是重點。
也許題目個別沒有太大問題,組卷後如果沒有抓好時間與整體難度控制,就可能會出狀況。

假如出題老師與領域同仁審題後,本來就預期會有班級平均會低於40分,大部分也在45分左右,領域老師也認同決定這樣的試卷,在相關討論會議中,即以決定如此(先不考量一份全班平均分數不超過40分的定考試卷,是老師教學有問題還是學生學習出狀況,教師的教學與評量設定是否適當?),當評量結果出爐後,驗證了原來評量前的設定,則當家長有意見時,其他老師的支持說法就是理性的判斷,不然就只是情感上的支持,所有同仁回頭還是探討與決定:

既然是全校統一考試,要由命題老師一人承擔這樣的風險嗎?

未來這樣的試卷是否還應該出現?

或是還可以做哪些努力?

我們可以由評量實施的過程中學到什麼?

每一次評量結果結束,大家都應該向幫忙出題的老師表達感謝之意,尤其是題目品質與學生結果落差太大導致爭議時,老師們更要互相支持打氣,不太需要究責,以免影響到教師同仁士氣與情誼,因為如果沒有由其中學到未來可以努力的方向,於事無補,大家要一起努力,這是統一命題制度下,大家一起需要面對的課題。

尋求評量前的共識與落實審題

每一所學校因為區位、學生程度、教師教學認知差異,對於學生學習的成就期待落差會很大,很難有統一標準,教學原理中有關評量實施的設定,尤其是紙筆評量為主的學校段考如何命題?如何與教學產生連結?題目類型、作答題型、組卷安排、難度設定、學生作答時間如何考慮?都會影響到最後一張試卷的產出,如果一個5個班級以上的學校,牽涉到3位以上的教學者,更會影響到教學取向與學生準備的歷程,如何在老師進行評量設計、出題前,就應該尋求一定的共識,由題目內涵、題型(選擇、非選擇)、配分,甚至非選擇題的評改規準提供建議,讓所有老師在教學時,就已經有妥適的認知,甚至於平時形成性的評量中,就有所準備,學生在面對真正段考時,才能夠表現出符合學習成果的成績。

如果有意外,例如,平時的練習都是以選擇題型為主,當段考出現大量的非選擇題,要求作答的程度又不一時,學生往往就會出現問題;國語文這幾年開始有較長篇的閱讀理解題目,題幹文字內容可能超過500字以上,加上非選擇題作答,如果平時的教學與形成性評量都沒有碰過,期待學生有良好表現,就很困難。

上述評量與教學的連結,又牽涉到老師的平時教學活動是否有多元考慮或是符合目前的教育趨勢,當一個以記憶、內容教學為主的老師命題時,大量的記憶課本內容的題目,也許會讓部分熟悉的學生表現量好(就是背多分),但是如果改成一個以閱讀素養為主的評量,衝突就會產生,如何在其中取得平衡與校內教學改變的動力?學生成績就不只是表象的數字而已,反倒是呼應外界的趨勢與學生未來的需求更應該去面對的課題。

評量後分析

我們期望學校要做到考後簡單分析(班級平均,單題答對率分析),去對比考前預測的落差,有這些基礎的分析,方能協助老師掌握題目難度,如果有時間願意去考慮鑑別度等,當然就會讓老師的命題專業更精準。

考試成績不理想學校如何進行補救措施,學校老師的精進作為等,相關內涵如果平時有做好,當然也不怕家長陳情,如果平時沒做,遇到部分老師出太難或是題目不適當,除了學生哀鴻遍野,如果加上家長陳情,這時就會手忙腳亂,更非常容易被家長打槍。

以評量促進學習

學生的定期考當然有驗收學習成果的目的,但是校內的定期考與大型評量(國中會考、大學學測、指考……)最大的差別在於促進學生的學習。

段考不像升學考試(雖然會考只有三級分),有升學考試分流學生的用途,主要是提供在校內的學生與老師,學生學習的檢驗與調整教學策略、教學準備、學生自主學習的準備方向等目的,因此個人會建議難度不需要像國中會考那麼難,以105年國中會考難度(全國學生的整體平均通過率)為例,國(65%)、英(閱讀56%,聽力73%)、數(55%)、自(56%)、社(62%),因為國中會考的題目是考三年整體結果,所以在學校的定考評量難度應該要低於國中會考可能表較妥適。

簡單說:學校段考的整體難度應該比會考簡單一點。

因為各科學習難度不一,就算是最困難的英語、數學、自然等三科,如果為了促進更多學生願意投入學習,而不是提早放棄,國中定期考試題的平均難度我都會建議訂在通過比率0.65(65%)左右,難題不要太多,不然在平時就打死一堆小孩,碰到會考,會連寫都不想寫,國文與社會就應該更高一點。
平均的意思就是,有70%以上的題目答對率應該高於70%,部分目答對率設為50~70%之間,答對率低於40%的就算是難題,如果只有20%學生會的題目,不要超過10%,這樣的題目分配才有機會鼓勵更多學生作答。

當然市區的學校,英語、數學、自然其實抓與會考難度低一點,總體平均約65%~70%通過率應該是合理的範圍,其中有一些難題(答對率低於40%)當然沒有問題,但比率還是不要超過30%以上,以免中等以下程度學生學習動機被打擊太大;郊區的一些學校學生的程度可能不是太好,基本題目比率可能需要多一點,通過比率也可以抓在65~70%也不會差太多。

類似的討論應該是所有的功課,這個議題不會是單一個案,而是在學校的同仁的共同課題,也會是各領域的課題,不是讓學生都考要考高分,家長才不會有意見,因為學生還是需要面對外面的試煉,過猶不及都不是好事,尤其部分市區大校,有指標位置,家長關注度也高,老師們的專業要求必然被關注。

行政同仁與老師之間,大家就應該一起面對,找出共識一起努力,然後共同承擔。

其他的想法,之前也分享了幾篇有關於評量文章,尤其針對國小夥伴部分,限於篇幅就此打住,還有部分內容與國中會考之間的關聯,有興趣就請直接參考下面連結了!


關於會考分析與定期考的應用等相關內涵
我最喜歡問老師,會考的題目整體是難易適中,但是最簡單的題目答對率是多少?
幾乎有70%以上的現場老師會答錯,如果想要知道答案與其他細節,之前寫了幾篇有關於會考與定期考評量品質提升的文章,給大家參考。

大家可以回頭再複習一下:

http://blog.ilc.edu.tw/blog/blog/5798/catid=106049

  1. 會考成績除了學生升學使用外,還可以做些什麼?~國中會考結果分析與應用(一)

  2. 學生學力監控與學習回饋~國中會考結果分析與應用(二)

  3. 由學生表現到教學提升的反向工程~國中會考結果分析與應用(三)

 

 

 

由學生表現到教學提升的反向工程~國中會考結果分析與應用(三)

對於各學科授課老師而言,如何由學生表現的評量結果導入教學改進,由學生測驗面向導入老師教學面向,則對於評量工具(試題)與學生反應的的理解將同等重要。

image

[@more@]

國中會考與學校中的紙筆評量最大的不同,是不以個別學校選用(編)的教材內容為唯一,而是以能力指標與基本學習內容的參考資源為命題基準,提供教師專業的參考。希望學校老師可以正視課程學習重點,透過會考評量重點的參考,打破依教科書版本內容為主的教學迷思,聚焦重要概念分析與學習重點。

會考結果完成學校整體分析作為學力監控的需求時,主要以團體的資料型式,提供相關單位作為後續教學政策參考。

對於各學科授課老師而言,如何由學生表現的評量結果導入教學改進,由測驗面向導入教學面向,則對於評量工具(試題)與學生反應的理解將同等重要。

由學生表現到教學提升的反向工程:

國中會考所提供的資料主要有兩個型式:

  1. 人(學生)的的表現資料:個人通過率,團體通過率,單題答對率等
  2. 工具(題目)的表現資料:難易度,鑑別度等分析。

這些資料筆比較屬於敘述統計部分,現場老師比較沒有感覺,尤其是部分文科的老師對於數字的感覺較低(也許是個人刻板印象),如何讓老師有感覺,需要將『人+題目』的資料整合分析。

學生的表現資料與工具的表現目前所提供的資料已經有了,但是對於評量工具的內涵,評量工具與教學連結的工程,在教學現場可能較為困難,但也是教學專業的核心所在。也許可以透過以下幾個對於評量試題內涵與教學連結的理解,反向探究如何由學生表現到教學提升,提供作為教學準備的參考:

1. 評量重點的分析:會考主要考那些概念,重要的內涵有哪些?

2. 針對試題本身的研討:每一試題在測驗什麼樣的能力?題目重點在測驗什麼?教學上的對應又是什麼?

3. 單一試題與所要評量重點的連結:如何教學可以讓學生學會以達成測驗的要求?

4. 重點試題有哪些?低、中、高程度學生應該要掌握的部份為何?

5. 學校針對會考試題,相對應的教學策略,是否需要改變?如何改變?

針對上述議題,建議可以5題為一個基準(或是將整體試題切分為6等分),去分析學校學生可以達成的表現(或是老師應該教學學生的部分),進行結構性的分析。

 個人或是領域小組社群,可先進行一至兩項的研討,並且實際去做看看。

 

弱勢學習單元分析與應用

當進行學校整體分析後,當會發現,各科考題的試題答對曲線圖(如圖1,數學科),題目難度由簡到易,逐步增加難度,每科幾乎都有類似的分佈(除社會科高低趨勢較不明顯外)。

image

(圖1  104年度國中會考數學科選擇題答對率分析圖   原始資料來源 師大心測中心)

而前段(12題)難度較低,全體答對率幾乎皆有60%以上,如果學生能把握70%以上(答對8題),就算後面所有試題都是猜測,依照平均1/4猜對機率,對照心測中心的學生能力表現等級標準設定表(圖2),就有機會達成總體11題基礎等級的可能;如果要達到精熟等級,則第21題以前,答對率達80%,加上非選題部分有一定分數,才有機會。而這些試題的評量重點為何?教學可以讓學生學會以達成測驗的要求如何?應該也是授課老師最基本的功課。

image

(圖2    104年國中教育會考數學科答對題數與能力等級對照表局部    參考資料 國中教育會考  104年國中教育會考各科能力等級加標示與答對題數對照表 )

試題難易度與學校學生表現的優勢如何?則透過每一單題分析,進行上述評量試題內涵與教學的連結研討,應該可以逐步建構老師教學努力的重點方向。

特別是,當評量結果與縣市分析或是全國性分析差距較大時(下圖1),授課老師即可針對特定試題進行教學檢討,尤其是平時教學重點掌握或是平時課堂評量的實施進行檢討,是否對於相關概念的教學設計沒有到位,導致學校學生普遍表現低落。

以圖1為例,學校代碼A005學生中,在前段試題(前12題),第1、4、5、7、9等題,顯然學生答題情形差距較大,可參考心測中心所提供的試題分析進行研討,如圖1的試題分析提供各題學生表現情形,學生的錯誤類型可能哪一部分較大,協助解決迷思概念的可能,未來在課堂教學時,作為學習重點與評量規劃參考,如果在一般水準的教學成效下,學生可能的反應比率為何,雖然是全縣性分析結果,但已可提供相當的參考。

 

image_thumb[16]

(圖2 104年度國中會考數學科試題分析   原始資料來源 師大心測中心)

以數學第5題為例,共有兩個概念需要理解,弦心距性質與畢氏定理。

image

(圖3 個人的解題過程)

解題過程中除弦心距概念,運用三角形基本性質,再導出三角形面積,對於數學能力較弱學生而言,確實較不易完成解題,實際反應的結果也是答對率在前半部亦屬較低,學校代碼A005學生的表現差距則更大。經由這樣的分析,進一步去理解學生是否能分別理解各數學概念,組合運用,在平時佈題或是協助學生進行解題策略、解題規畫思考時,有沒有提供類似的機會,進行研討與解題,對於中等程度學生而言,能否處理類似的問題,在課堂評量或是定期評量時,如何設計類似的問題,透過不同題型,讓學生思考、解題,皆會影響學生最終答題結果。

課堂上的教學評量與會考不同?

國中會考主要以選擇題的題型為主,雖然104年起非選擇題題型正式計分,但是因為只有兩大題(共六分),所以很多老師課堂教學與評量方式,如果只有單以選擇題、計算題為主,學生只有解答、沒有過程,對於學習困難的學生而言,其實很難完全答對,對於低學習成就學生將很難有鼓勵作用。

因此在教學上,如何幫學生搭鷹架,讓學生以過去理解的概念逐步往下,並且讓過程中,得到成功的經驗,不完全成功時,也可以給予適度的獎勵(分數)。上次在新竹縣主任分享研討中,一位主任分享(很抱歉大名沒有記住)的策略就值得大家參考,學校的作法是請老師不要出過多的選擇題,選擇題主要評量單一概念(非凡繁複計算)且題數較少,測驗內容主要以非選擇題為主,就算是平常出的選擇題,也以非選擇題型態出現,如果較為複雜的統整題目(兩個概念以上),也是以非選擇題方式出題。

因為是定期考試,基本上概念是考同一章大單元,因此概念間大多會互相關連,出題老師較麻煩的是需要先進行解題側或解題步驟書寫,如上第5題解題步驟(圖3),並依此提供評分規準,這樣的好處是可以讓部分可能只會部分概念的學生得到鼓勵,尤其是學習掙扎的學生,部份給分相較於選擇題答錯就沒有分數而言,更具鼓勵投入學習的效果,尤其學生有解題意圖時。

國中會考的目標與施測內容,因為評量範圍較大,是總結性評量的整體評估。因此,整體所提供的評量標準架構(含雙向細目),所涵蓋的範圍較廣,學校進行教學與評量規劃時,如何由所提供的資料中參酌,檢視與調整目前教學歷程中,是否偏離或符合教學目標設定,將會具有一定參考價值。

基本能力與減C策略

心測中心於會考後提供的能力等級標示與答對題數表(圖3),對照整體答對率曲線圖(圖1),是重要的訊息,除了數學外,其他科老師皆可以將兩者進一步結合對照,可以略為看出與等級的切分點位置與答對率的關係,待加強、基礎等級、精熟等級間,其實有一條隱約的切分線,本人雖然沒有參與等級標準設定相關工作,但是由提供給學校的資料中,仍可看出此依切分點大略想法。學校同仁可以嘗試如此分析,並藉以作為定期評量學生參考。

image

(圖4    104年國中教育會考國文、社會、自然科答對題數與能力等級對照表   參考資料 國中教育會考  104年國中教育會考各科能力等級加標示與答對題數對照表 )

image

(圖5  104年度國中會考國文科選擇題答對率分析圖  全國、全縣、A02學校曲線比較  原始資料來源 師大心測中心)

image

(圖6  104年度國中會考自然科選擇題答對率分析圖  全國、全縣、A02學校曲線比較  原始資料來源 師大心測中心)

image

(圖7    104年國中教育會考英語科答對題數與能力等級對照表   參考資料 國中教育會考  104年國中教育會考各科能力等級加標示與答對題數對照表 )

image

(圖8  104年度國中會考英語科閱讀測驗答對率分析圖  全國、全縣、A08學校曲線比較  原始資料來源 師大心測中心)

如果領域小組或是老師個人拿到相關分析資料後,即可進行相關細節研討,先處理待加強、基礎等級切分位置,再根據學區區位分析基礎、精熟等級切分位置與學生人數比率,應該就比較容易分析出重點試題與學生可能比較容易把握,或是教學的重點。

低、中、高程度學生應該要掌握的部份,可以再將三區塊再進行細分,建議可以5題為一個基準(或是將整體試題切分為6等分),去分析學校學生可以達成的表現(或是老師應該教學學生的部分),進行結構性的分析,未來在教學與定期評量規劃時可能比較容易掌握。

除了國中會考,國小怎麼辦?

除國中教育會考外,各縣市自行辦理之學力測驗(或是參加國教院的TASA測驗),皆有提供學生答題反應分析(圖7 ), 針對學生反應能力提供校本參照,對於國小老師在校內辦理紙筆評量時,無論是評量前期規劃、命題作業、組卷、分析等工作,皆會有所幫助。部分老師對於學生能力的掌握差異甚大,對於新進教師、代理老師尤需注意,對此,學校課程領導人或是輔導團夥伴則可以提供相當的協助。

評量試題難度(學生通過率)的設定,因為與老師的教學成效有絕對關聯,對於大部分老師而言是困難的工作,尤其是新進教師。部分小校學生數較少,部分教師對於教材難易度的掌握更是不易,透過大規模學測資料統計分析,老師在進行評量試題規劃時,就是很好的參酌依據。

image_thumb[31]

(圖7  宜蘭縣103學年度國小六年級數學學力檢測試題分析   資料來源:宜蘭縣國小基本學力檢測網數學小組製表)

定期考(段考)的通過率設定?

常常有現場的老師會有這樣的提問,會考自然、數學、英語整體通過率大約都只有五成多,國文、社會約62%,那我們學校的定期考的通過率定在哪一個區間比較合理?

個人的建議是應該回到課堂評量的目的,對學生而言不在於區分學生的程度,作為篩選入學使用,主要應在促進學生學習。

因此類似會考前5題的題目類型與通過率設定,應該是主要的評量內容。定期考範圍較少,主要是協助學生學習重點整理,釐清基本概念,如果參考會考各科前5題的通過率,幾乎都在70%以上,部分題目也有接近90%通過率(甚至超過)。這一部分的評量試題,不在考倒學生,主要是可以驗證學生應該學會,但是未能學會。

因此,前5題類型應該有50%以上,加上基礎等級切分點以前的題目類型,接近75%應該是合理的配置。如果是市區學校,建議應該仍保持70%以上,加上中間基礎等級區塊題目,精熟難度的部分應該10%以內即可。

整體預估,以宜蘭市區學校,75%的題目通過率約80%,15%中等題目通過率約60%,10%的高層次題目通過率約40%,總通過率算起來約73%,應該可以作為定期評量的基準設定參考,再根據學校區位、單元內容、科目進行微調,就比較容易有一點指標,這也是個人以往在學校任教自然科如果負責出段考題(理化或生物)所參酌的目標,通常我就先預訂為平均75分(百分通過率為75%)的主要參考,這樣的設定比就容易讓各種不同程度學生都有被鼓勵或挑戰的結果。

有同仁會擔心精熟等級題目是否過少,但仔細思考會考內容是三年級總和,如果以三個年級,每學期三次定期評量總加,至少17次定期評量,簡單比較,如果每次在定期考的概念,如果可以在會考難題中(答對率低於50%)出現一次,看看分析結果就知道機會不大,因此個人建議每次定期評量的內容中,較難的高層次類型,有10%的挑戰類題,應該足夠程度很好的同學挑戰。

另外,如果全國學生的答對率接近90%的題目,同樣類型與評量內容的題目,在學校小範圍的評量中卻通過率卻過低,這一部分就是教師專業必須要特別關注的部份了。

回到課程綱要

如果國中會考試以課綱能力為主,則如何回歸到以課程綱要為核心,將各年級教材重要成分以文本分析的角度,重新規劃教學素材的選擇、教學活動的設計、學生課堂多元評量(含定考紙筆評量)的規劃等,依現場教師的教學經驗與參考重點指標列出評量目標,以能力指標為核心貫串,這樣的理念與想法亦應反應在學校評量試題的編製上。根據學習目標去規劃評量,列出所要評量的重要標的,依據學生學習目標比重配題(配分),建立必要的雙向細目表(以能力細目為主,一部分兼採內容細目),並在編製評量試題時,相同的內容亦應考量學生在不同認知層次上的能力表現,配題比重也考慮到學生學習的重點,則整體試卷組成的結果將更符合教學與評量連結的目標。

這樣的簡要的基本比對,可以由學校現行定期評量規劃與實施的歷程去檢核,其教學比重是否能真正依據學生學習目標進行比重分配,並依教學重點規劃評量試題,將可促進教師進一步思考要教什麼、評量什麼以及用什麼方法評量,建立內部持續改進機制。

大型評量的分析可以提供重要參考,校內任何的學習結果診斷分析亦可以提供老師間討論的焦點議題,透過教師學習社群的分享,提供老師間困難的解決策略,透過教學、評量的實踐分享提升學生學習成效,如此,學生的考試結果就不會只是學生的事而已!


    延伸閱讀:

  1. 會考成績除了學生升學使用外,還可以做些什麼?~國中會考結果分析與應用(一)
  2. 學生學力監控與學習回饋~國中會考結果分析與應用(二)
  3. 千呼萬喚始出來 ~103年國中教育會考學校分析資料運用參考

參考資料:

  104年國中教育會考各科能力等級加標示與答對題數對照表