冰果智能作文評閱系統(tǒng)與人工評分的相關分析
冰果智能作文評閱系統(tǒng)與人工評分的相關分析冰果英語智能作文評閱系統(tǒng)話題：冰果英語智能作文評閱系統(tǒng)英語作文英語語法知識智能要：冰果英語智能作文評閱系統(tǒng)是針對高等院校英語作文推出的機器自動評閱大批量學生作文的產(chǎn)品，旨在輔助人工評分，減輕教師負擔，并且可以避免人工評分的主觀性。本研究將冰果英語給出的智能評估與人工評估進行相關分析，旨在探討冰果智能作文評閱系統(tǒng)與人工評估的吻合度，提出不能完全依靠智能評估來測試學生的真實語言能力。關鍵詞：冰果智能作文評閱系統(tǒng)；人工評分；相關分析中圖分類號：G202文獻標識碼：A文章編號：1002-7661（2012）11-0037-01通過作文可以檢測應試者綜合運用語言的能力。然而，由于疲勞因素、情感因素和不一致性，人工評閱作文具有很強的主觀性。近幾十年來，隨著計算機硬件和軟件性能快速提高，自然語言處理等技術獲得了長足的發(fā)展，國內(nèi)外一批作文自動評分系統(tǒng)相繼問世，如冰果英語智能作文評閱系統(tǒng)，并被應用到英語寫作測評中，給作文評閱帶來了新希望。冰果英語智能作文評閱系統(tǒng)是針對高等院校英語作文推出的機器自動評閱大批量學生作文的產(chǎn)品，目前很多國內(nèi)高校都在使用該系統(tǒng)。但是，冰果智能作文評閱系統(tǒng)與人工評分的結果是否一致？該系統(tǒng)是否能真正反映學生的真實語言能力？針對這兩個問題，本文對西南大學植保學院中級班學生［.nEt］的一次英語作文進行了教學實證研究。
一、研究設計西南大學植保學院2011級英語中級56名非英語專業(yè)大學一年級本科生參與了本次研究。參與實驗的學生經(jīng)過中學和大學半學期的英語學習，掌握了基本的英語語法知識，但由于寫作練習不多，寫作能力不強。參與實驗的老師具有一定的專業(yè)水平，能公正的對學生作文進行評估。本研究的工具之一是學生的作文樣本。教師和冰果智能系統(tǒng)對這些作文分別進行評閱，分數(shù)等級是0-20分，評閱方式是整體評分。另一研究工具是學生近期的自主閱讀考試成績。教師首先布置主題為“”的作文，要求學生寫出一下3點內(nèi)容：1.?(?字數(shù)不少于350。兩星期后，學生分別提交作文的紙質(zhì)稿和電子稿。教師對學生作文從語言、內(nèi)容、篇章結構三方面進行評分，并給出評語。然后將電子稿按要求整理到文件中，提交到冰果智能評閱系統(tǒng)的批量處理作文，并給系統(tǒng)設置好相應參數(shù)，經(jīng)處理得到學生作文的分數(shù)和評語。利用SPSS軟件分別對人工和冰果評出的分數(shù)，自主閱讀考試成績做兩兩的相關分析。二、數(shù)據(jù)收集與分析本研究收集了56份作文的人工評閱成績與冰果智能評閱成績，以及56名學生本學期的自主閱讀考試成績，運用SPSS數(shù)據(jù)統(tǒng)計軟件分析相關系數(shù)，結果如自主閱讀考試總成績、人工評閱與智能評閱的相關性統(tǒng)計學指出，皮爾遜相關系數(shù)=0.01即為具有相關性，數(shù)字越大，相關性越強。
意義指數(shù)與相關性成反比，意義指數(shù)越高則相關性越低，完全正相關意義指數(shù)為0.001.相關系數(shù)是以往語言寫作測試中較多采用的數(shù)據(jù)標準。指出相關系數(shù)0.8被普遍認定為寫作測試中滿意的標準。由表1可以看出：人工評閱分數(shù)與自主考試分數(shù)的皮爾遜相關系數(shù)為0.458，意義指數(shù)為0.002，相關程度高，意義明顯；冰果智能評閱分數(shù)與自主考試分數(shù)的皮爾遜相關系數(shù)為0.212，意義指數(shù)為0.163，有一定的相關性，意義不明顯。人工評閱分數(shù)與冰果智能評閱分數(shù)的皮爾遜相關系數(shù)為0.169，意義指數(shù)為0.269，有一定的相關性，意義不明顯。由這兩項分析可以得出：人工評閱分數(shù)與冰果智能英語作文評閱系統(tǒng)的分數(shù)相關性不高；人工評閱的分數(shù)比冰果智能英語作文評閱系統(tǒng)的分數(shù)更能反映學生的真實英語水平。參考文獻：[1]利，陳瀟瀟.國外自動作文評分技術研究[J].外語電化教學，2007（117），25-28.[3]葛詩利.中國學習者自動作文評分探索[J].外語界，2007（5）.[4梁茂成.國外作文自動評分系統(tǒng)評述及啟示[J].外語電化教學，2007（10).[5魯艷輝等.智能寫作評分系統(tǒng)在大學英語寫作中的實證研究[J].現(xiàn)代教育技術，2010（6），56-58.
