◎ 沈榮欽
MIT 媒體實驗室 (MIT’s Media Lab) 的最新研究顯示,使用如 ChatGPT 等大型語言模型(LLMs)輔助撰寫文章,不僅會顯著降低大腦的神經活動,更可能對使用者的批判性思維、記憶整合與學習能力造成長期損害。 研究人員將此種效應稱之為「認知債務」(cognitive debt),認為受測者雖然使用 AI 在短期內增加效率,但是卻導致長期學習能力的降低。
MIT 媒體實驗室研究顯示,使用如 ChatGPT 等大型語言模型輔助撰寫文章,可能對使用者的批判性思維、記憶整合與學習能力造成長期損害。(取自貼文)
研究人員是以波士頓五所大學的 54 名學生作為受測者(平均年齡22.9歲),將之分成三組:
◆ LLM組:僅能使用 OpenAI 的 GPT-4o 作為資訊來源
◆ 搜尋引擎組:可使用 Google 搜尋任何網站,但禁止使用LLM
◆ 純腦力組:禁止使用任何外部工具或網站
他們發現在在記憶和引用能力測試中,LLM 組有 83.3% 的參與者無法提供正確的引用,而搜尋引擎組和純腦力組僅有 11.1% 的參與者遇到同樣困難。
麻省理工學院媒體實驗室的一項新研究證實了令人擔心的結果,使用 ChatGPT可能削弱人的批判性思考力;圖為情境照。(圖取自freepik)
研究人員發現,純腦力組的腦電圖在與創造力、記憶負荷及語義處理相關的 α、θ 和 δ 波段上,均顯示出最強的神經連接性,在寫作過程中表現出更高的參與度、好奇心,並對自己的作品有著更高的滿意度與認同感 ;搜尋引擎組的大腦活動與滿意度也同樣維持在高水平。
只有 LLM 組的大腦活動顯示出較低的執行控制與注意力,所產出的文章被英文教師評為「缺乏靈魂」,內容與觀點高度雷同。 此外,當研究人員要求受試者在不使用工具的情況下重寫先前的文章時,LLM 組成員對自己寫過的內容記憶甚少。
這項結果顯示使用 ChatGPT 讓受測者削弱主動認知參與、記憶形成、語言整合運用能力,並削弱作品歸屬感。
簡單來說,就是讓使用者變笨(dumbing down),並降低學習及批判性思考能力
不過澳洲學者 Vitomir Kovanovic 和 Rebecca Marrone 檢視 MIT 的研究報告後,卻認為 MIT 研究人員的結論下得過快了。
因為在前三次測試中,純大腦組神經連結的變化很可能是由於他們對研究任務更加熟悉,這種現象被稱為「熟悉效應」。隨著實驗參與者重複這項任務,他們會變得更加熟悉和高效,他們的認知策略也會隨之調整。
而 LLM 組在前三次測試中,並沒有機會真正「動腦」,只有在最後一次測試時,他們才首次對測試的任務「動腦」。在不熟悉的情形下,他們的測試結果自然較差。但是這較差的結果卻未必是認知債務造成的,也可能僅僅是出自他們對測試的任務不熟悉而已。
LLM 組雖然因為使用 ChatGPT 而喪失前三次學習機會,但是卻無法證明他們因認知債務而變笨或喪失批判思考能力。(路透)
換句話說,LLM 組雖然因為使用 ChatGPT 而喪失前三次學習機會,但是卻無法證明他們因認知債務而變笨或喪失批判思考能力。還需要用不同的研究設計,進行更多的測試,才能證明 MIT 實驗室的結論是否正確,現在恐怕還言之過早。
(作者為加拿大約克大學副教授)
本文經授權轉載自沈榮欽臉書
編輯精選