近日，我校教育科學(xué)與技術(shù)學(xué)院研究生唐天奇以第一作者撰寫(xiě)的論文“Unveiling the efficacy of ChatGPT in evaluating critical thinking skills through peer feedback analysis: Leveraging existing classification criteria”（通過(guò)同伴反饋揭示ChatGPT在評(píng)估批判性思維技能方面的功效：利用現(xiàn)有分類(lèi)標(biāo)準(zhǔn)）在SSCI教育學(xué)領(lǐng)域的高影響力期刊《Thinking Skills and Creativity》（SSCI二區(qū)，JCR Q1，影響因子：3.5）上發(fā)表。該論文是國(guó)家自然科學(xué)基金2022年度地區(qū)科學(xué)基金項(xiàng)目“基于機(jī)器學(xué)習(xí)的同伴互動(dòng)增值評(píng)價(jià)的動(dòng)態(tài)監(jiān)測(cè)模型與應(yīng)用研究”（62267006）的成果之一。
隨著技術(shù)的飛速發(fā)展，ChatGPT等大型語(yǔ)言模型在自然語(yǔ)言處理方面取得顯著進(jìn)展，在教學(xué)評(píng)價(jià)和反饋中具有良好的應(yīng)用潛力。然而，生成式人工智能能否幫助教育從業(yè)者開(kāi)展教學(xué)工作？本研究探討了在在線(xiàn)同伴反饋中使用大語(yǔ)言模型ChatGPT評(píng)估學(xué)生批判性思維的潛力。通過(guò)比較在線(xiàn)同伴反饋文本中人工編碼與ChatGPT編碼的一致性和準(zhǔn)確性，并使用精確率、召回率、F1值和混淆矩陣等各種指標(biāo)進(jìn)行綜合分析，評(píng)估了ChatGPT的性能，并進(jìn)一步探究其評(píng)估結(jié)果與學(xué)生批判性思維水平的關(guān)系。研究發(fā)現(xiàn)，ChatGPT在評(píng)估批判性思維較高維度上展現(xiàn)出一定能力，但在更精細(xì)的次級(jí)維度上存在局限。同時(shí)，ChatGPT的評(píng)估不受學(xué)生批判性思維水平影響。
未來(lái)研究院師生將繼續(xù)鉆研學(xué)術(shù)、砥礪前行，積累更多高水平研究成果。
圖1 發(fā)表論文部分內(nèi)容
論文鏈接：https://doi.org/10.1016/j.tsc.2024.101607
