論文比對的迷思與謬誤：
兼談論文被攻擊的可能性
曾元顯 (台灣師範大學圖書資訊學研究所特聘教授)
近日有人使用論文比對系統，甚至英文文法更正系統，比對已發表數年的論文，據以指出該論文的缺失。這可能會造成之後臺灣的大災難，不可不慎。
一、論文比對系統的資料攻擊
論文比對系統的用處，在比對目前上傳的論文是否有跟其他來源的論文，有內容重複之處。
使用論文比對系統，一般都認知：如果重複的比例太高，就會被視為有抄襲的嫌疑；重複性低，則表示沒有跟其他來源的論文有內容的相似性，會認為上傳的論文是具有獨創性的作品。
但是這裡的問題在於論文比對系統，到底蒐錄了多少來源文件，可以讓上述的認知、說法成立？
國內使用的論文比對系統，大多是國際性的商業軟體 Turnitin（可以讀做Turn-it-in），其2019年宣稱已蒐錄了超過6千9百萬篇文章 [1]。即便其蒐錄了如此大量的來源文章，上面的說法似乎成立，但是早在2013年的時候，Turnitin就強調此工具「可偵測抄襲」是一大迷思、誤解 [2]，更遑論其會發出諸如：相似比例達24％以上，「處於危險區域，並且很可能包含抄襲成分」等警語。如果有，則是Turnitin自打嘴巴、前後矛盾。
再則，把多年前已發表的論文A拿來比對，那麼其後發表的論文B、C、D等，有可能成為這次比對來源，而與A相似，導致A的相似比例飆高。因此，在解讀相似比例時，不能只看數字，還要一項一項看內容重複之處，並做必要的排除。這通常需要專家才能解讀得正確。畢竟是B抄襲A，還是A、B都引用前人之作，一般人不易發現。
為什麼這樣就會造成臺灣的大災難？試想，如果對立的兩方，要讓對方在論文上栽跟斗，甚至退出某些公職，只要針對上述的A論文，多發表B、C、D等與A有內容部分重疊的論文，那麼用系統比對起來，又不分青紅皂白的宣傳其飆高的相似度，困惑人民，那麼A論文的作者，恐將百口莫辯。
也許有人會說，誰會吃飽閒著去發表B、C、D這種論文。臺灣人也許不會，但是對岸呢？若處心積慮的佈局，以人海戰術一點一滴的累積這些用以文攻的資料，後續的情節各位可以自己想像。希望只是個人想像力太豐富。如果成真，我們不管是誰，都將深受其害。
二、文法自動更正的限制
再來說英文文法自動更正系統。目前有很多商業系統以及可以免費使用的系統，多數人使用Grammarly。而最近我們使用Grammarly評估：人工智慧領域作者撰寫的已發表論文摘要，以及由AI自動生成的論文摘要，各30篇。結果真人作者撰寫的論文摘要平均錯誤率為3.17，且平均總分為80分；而AI生成的摘要，由Grammarly自動評估後，平均錯誤率為1.47，且平均總分為85分！不管是錯誤率還是總分，AI生成的專業論文摘要，都比真人撰寫而且已發表的專業論文還要好。這說明人會犯錯，但是這個錯誤是Grammarly認定的。Grammarly應該能夠認定一般情形、多數人會犯的錯誤，這種錯誤有很多訓練資料可用，讓Grammarly這類系統表現相對良好，但Grammarly也不會全然都正確。然而專業領域的英文，有專業術語、慣用語句等等，訓練資料常有不足，就有可能會造成Grammarly更多的誤判：其認為的錯誤，其實不是錯誤，或是這種錯誤在某個領域是可接受的。
因此，要說某人的專業論文用文法更正系統評估起來，有很多錯誤，最好還是請該領域的專家再次確認，不要僅憑系統的報告就得出結論。否則系統的訓練資料有誤，就會造成評估有誤，而受害的是人類。難道以後我們都使用AI來產生論文，以保證更高的準確度？
論文比對系統相關參考文獻
[1] How Much Do You Know About Turnitin’s Content? https://www.turnitin.com/blog/how-much-do-you-know-about-turnitins-content
[2] Top 15 Misconceptions About Turnitin. https://www.turnitin.com/blog/top-15-misconceptions-about-turnitin
留言列表
