時間:2022-12-29 14:53:46
序論:寫作是一種深度的自我表達。它要求我們深入探索自己的思想和情感,挖掘那些隱藏在內心深處的真相,好投稿為您帶來了七篇高中生英語論文范文,愿它們成為您寫作過程中的靈感催化劑,助力您的創作。
【關 鍵 詞】英語寫作評估 自動評分系統 評分不一致性
一、研究背景
自動作文評分(AES,Automated Essay Scoring)是一項使用計算機對作文進行評估與記分的新技術,其實質就是基于已準確人工評分的訓練作文集的自動文本分類,但其分類標準除內容外,更要兼顧語言的運用。該項技術的研究起始于20世紀60年代,采用了統計、自然語言處理(NLP)、及人工智能等方面的最新成果,并于1999年進入實際應用階段。至今已經有多個國家開發出針對英文的作文自動評分系統,如PEG(Project Essay Grader),IEA(Intelligent Essay Assessor),E-rater(Electronic Essay Rater), IntelliMetric 和最近的Writing Roadmap等等。
由于英語作文自動評分系統穩定可靠,與人工評語作文比較,速度快、評價客觀,可以克服大規模人工評閱帶來的諸多弱點。可以使學生多練多寫,老師省時省力,在此前提下,有望促進大學生和高中生英語寫作教學的改革,提高學生的英語寫作能力,激發他們進行“自主性探究學習”和“創新學習”。該系統有以上優點,在一定程度上緩解了英語教師人工批閱作文的工作量,因而受到很多教師的青睞,也被許多院校采用。在目前,中國此方面正屬于研究與開發之中,其中,冰果英語智能作文評語系統(以下簡稱為“冰評”)是浙江大學外國語學院與杭州增慧網絡科技有限公司聯合研發的一套針對高等院校及高中生英語寫作教學的計算機自動評閱作文的教學服務產品;新視野大學英語在線學習作文自動評分系統(以下簡稱為“新評”)是有外研社研發并被許多高等院校普遍使用,該系統的功能是對作文自動評分、給出評語,并對作文中的單詞進行拼寫檢測。然而,在使用的過程中,冰果英語智能作文評閱系統與新視野大學英語在線學習作文自動評分系統在信度與效度方面存在著不一致性的問題。針對此問題,對西南大學計算機與信息科學學院學生的英語作文進行了教學實證研究。
二、研究設計
1.研究對象
西南大學計算機與信息科學學院大學一年級本科教育技術班43名學生參與了本次實驗活動。參與實驗活動的學生經過接近一年的大學英語學習,系統地學習了語篇知識和寫作組織結構,掌握了基本的英語段落行文方式。為了測出他們的真實水平,保證實驗數據結果的有效性和可信度,引起學生對本次實驗的重視,提前告知了學生本次寫作的成績將納入平時成績的評定范疇,按15%計算,且并未告知學生他們正在參與一項實驗。
2.研究工具
此次實驗研究所用的工具之一是兩個英語學習微機室。這次寫作規定了完成時間為30分鐘,學生有條件在統一的時間開始寫作,并在規定的時間之內提交。另一個研究工具就是學生的作文樣本,該作文材料選自2011年大學英語四級考試。
3.研究方法
英語教師將布置的作文題目和要求輸入到冰果英語智能作文評分系統后,會有一個相應的作文序列號。學生可根據序列號查到作文題目和要求,按要求完成作文后,學生將作文的電子版同時提交到冰評(在作文提交截止日期之后48小時之內,系統會對學生的作文進行1分至15分的整體評分)與新評(作文提交之后,系統會立即對學生的作文進行1分至15分的整體評分)中。
三、數據收集與分析
本研究最終采集到的有效樣本為37份(有6名學生的作文未能正確提交到系統,不在統計之列),由冰評和新評分別以整體評分的方式進行了評分。為得到這兩個英語寫作自動評分系統之間的相關系數,采用了外語教學研究中常用的SPSS軟件進行了數據統計分析。冰評與新評的對比分析結果如下:
從上表可知,冰評和新評評分的平均分分別是8.4811分和6.7027分。冰評和新評評出的最高分分別是12.00分和14.00分,差值為2分,然而,兩個評分系統最低分的差值為3.5分。表面上看起來冰評和新評的分均分差不多,但是,當比較各自最小平均分和最大平均分差值的時候,幅度范圍卻是從6.50分到12.00分。這意味著冰評評分時比較嚴,給出的評分差值幅度更小,而新評評分時比較松,給出的評分差值幅度更大。
表2、表3和表4顯示了雙尾t檢驗的結果,在給出的平均分方面,冰評和新評都有顯著差異。由于df值為36,t值為3.190,查t值表可以得出df=36,t(0.05)=2.028,t(0.01)=2.719,3.190>2.719,所以雙尾t檢驗的顯著性概率p
皮爾遜相關系數小于等于0.01,即為沒有相關性,數字越小,相關性越弱。冰評和新評的皮爾遜相關系數為0.001,小于0.1,顯然二者之間顯著不相關,即具有不一致性。
F值為4.129,并當df1為5,df2為31時,可得到F值為3.65(a=0.01)。由于4.129大于3.65,可以得出p值小于0.01,就是說冰評和新評的評分結果顯著不同,這兩個評分系統的評分是不一致的。
四、結論
作為英語寫作自動評分系統,冰果英語智能作文評閱系統和新視野大學英語在線學習作文自動評分系統確實有很多好處,不但可以應用于日常的外語教學中,使評教作文的方式變得更加多樣化,而且學生還可以自由安排寫作練習,能借鑒評分系統提供的修改意見,逐步提高寫作水平。但是,由于各個英語寫作自動評分系統所使用的核心技術不同,評閱出來的得分不一致,也會給學生造成困惑,不能夠很好地了解自己的真實水平。因此,教師應該將這些英語寫作自動評分系統與人工評分結合起來使用,才能真正達到提高學生寫作水平的目的。
參考文獻:
[1]Alderson,J.C.,Clapham,C.&Wall,D.(2000).Language test construction and evaluation.Beijing:Foreign Language Teaching and Research Press.
[2]Heaton,J.B.(2000).Writing English language tests(New edition).Beijing:Foreign Language Teaching and Research Press.
[3]葛詩利,陳瀟瀟.大學英語作文自動評分研究中的問題及對策[J],山東外語教學,2009(3).
[4]韓寧.幾個英語作文自動評分系統的原理與評述[J].理論與實踐,2009.