[摘要]綜述國內(nèi)外學(xué)術(shù)論文復(fù)制檢測的研究現(xiàn)狀，針對存在的問題提出以后研究的新思路：構(gòu)建某一學(xué)科領(lǐng)域?qū)W術(shù)論文語料庫；以信息論為工具，針對某學(xué)科領(lǐng)域建立基于學(xué)術(shù)論文語料庫的統(tǒng)計語言模型；結(jié)合學(xué)術(shù)論文抄襲剽竊的特點，通過賦予描述資源對象語義信息的不同元數(shù)據(jù)項以不同的權(quán)函數(shù)，設(shè)計相似度算法；使用Lemur工具箱，在標(biāo)準(zhǔn)的TREC文檔集上對模型和算法進行檢驗；與Turnitin偵探剽竊系統(tǒng)進行實驗對比，評價該模型和算法的有效率和效果。
　　[關(guān)鍵詞]學(xué)術(shù)論文　復(fù)制檢測 抄襲剽竊檢測 統(tǒng)計語言模型 文本相似度算法
　　[分類號]TP391.1
　　
　　自從方舟子的“新語絲”使原本長期存在于學(xué)術(shù)界的學(xué)術(shù)不端暴露出來之后，學(xué)術(shù)論文抄襲剽竊引起社會的廣泛關(guān)注。抄襲剽竊的表現(xiàn)形式多種多樣：有些只是在語言文字的表達形式上做手腳，換成同義詞或顛倒語句的表達順序，在文章框架、主要觀點和主要論據(jù)上卻沒有大的變化；有些直接大段地“引用”別人的內(nèi)容；有些綜合運用多種手段，將多篇別人的文章拼湊而成自己的；有些“學(xué)術(shù)高手”直接拿國外的論文翻譯成中文發(fā)表，等等。抄襲和剽竊“手段”的越來越“高明”，給抄襲剽竊檢測帶來很大困難。抄襲檢測又叫復(fù)制檢測、剽竊檢測或副本檢測，根據(jù)檢測對象性質(zhì)不同可分為圖像、聲音和文本復(fù)制檢測。學(xué)術(shù)論文抄襲檢測是文本復(fù)制檢測的一種，歸根到底是判斷兩篇學(xué)術(shù)論文的相似程度�！罢倩芈省焙汀熬珳�(zhǔn)率”是判斷檢測算法好壞的兩個重要指標(biāo)。為了進一步提高學(xué)術(shù)論文復(fù)制檢測判斷的準(zhǔn)確率，針對學(xué)術(shù)論文的文檔相似度算法的改進和創(chuàng)新研究變得尤為重要。
　　
　　1　國內(nèi)外研究現(xiàn)狀及存在的問題
　　
　　1.1　國外研究現(xiàn)狀
　　國外具有代表性的文檔相似度算法主要有以下幾種：①Manber提出一個sif工具，其“近似指紋”是用基于字符串匹配的方法來度量文件之間的相似性；②Brin等在“數(shù)字圖書館”工程中首次提出文本復(fù)制檢測機制COPS(copy protection system)系統(tǒng)與相應(yīng)算法，奠定了論文抄襲檢測系統(tǒng)的基礎(chǔ)；③Garcia-Molin提出SCAM(Stanford copy analysis method)原型，改進了COPS系統(tǒng)，用于發(fā)現(xiàn)知識產(chǎn)權(quán)沖突。他使用基于詞頻統(tǒng)計的方法來度量文本相似性，后來把檢測范圍從單個注冊數(shù)據(jù)庫擴展到分布式數(shù)據(jù)庫上以及在Web上探測文本復(fù)制的方法；④貝爾實驗室的Heintze開發(fā)了KOALA系統(tǒng)用于剽竊檢測，采用與sif基本相同的算法；⑤si和Leong等人建立的CHEC系統(tǒng)首次把文檔結(jié)構(gòu)信息引入到文本相似性度量中；⑥Stein提出一種方法，這種方法能產(chǎn)生一種“指紋”，在某種程度上能有效防止修改；⑦MeyerzuEissen等提出通過根據(jù)寫作風(fēng)格上的變化來分析單篇文檔，從而決定是否有潛在抄襲；⑧美國學(xué)校首先引入Tumitin偵探剽竊數(shù)據(jù)庫，用于防止論文抄襲，此外還有其他類似軟件系統(tǒng)用于進行文檔相似度分析。當(dāng)然不同的檢測系統(tǒng)其相似度算法的精度也不盡相同。
　　
　　1.2　國內(nèi)研究現(xiàn)狀
　　國內(nèi)關(guān)于論文抄襲剽竊檢測方面已有一些研究：①張斯?通過對中文文本進行自動分詞，然后計算它們的相似度，從而判別文本是否抄襲，其對應(yīng)裝置包括：樣本輸入裝置、樣本數(shù)據(jù)庫、自動分句分詞裝置、分詞數(shù)據(jù)庫、預(yù)處理裝置、特征詞數(shù)據(jù)庫、相似判別裝置、判別結(jié)果輸出裝置和控制處理裝置等。②鮑軍鵬通過文本的結(jié)構(gòu)信息和語義信息提取文本特征，是通過運用文本剽竊判定模塊中設(shè)定的探針法，估計待檢測文本特征和特征庫中的文本特征的最大共同語義，并給出文本雷同度量，從而判別文本是否抄襲。③沈陽是通過先找到存儲空間內(nèi)的格式遺留，再將這些遺留格式附近文檔的關(guān)鍵詞或／和句子或／和段落與文獻庫中的文獻內(nèi)容進行比較，從而減少被檢測文檔的數(shù)據(jù)量，加快了反剽竊或轉(zhuǎn)載文檔檢測速度。④張履平通過對已植入水印的文章進行特征擷取，根據(jù)所取得的詞匯輸入搜尋引擎以搜尋相關(guān)可疑文章；根據(jù)與原文比對結(jié)果取得的句子進行水印解析；將所取得的水印信息與原來的水印比對，從而判斷是否為剽竊。⑤金博等則對基于篇章結(jié)構(gòu)相似度的復(fù)制檢測算法有一些研究。
　　
　　1.3　存在的問題
　　事實上，由于剽竊形式的多樣性和隱蔽性、語法和句法的復(fù)雜性等，目前主要采用的“數(shù)字指紋”和詞頻統(tǒng)計兩大類抄襲識別技術(shù)已經(jīng)不能滿足實際的剽竊檢測需求，會造成很多漏檢和誤檢，其“召回率”和“精準(zhǔn)率”都有待提高。歸根到底是因為其檢索模型有待突破，算法亟待改進或需創(chuàng)造全新的算法來針對學(xué)術(shù)論文抄襲剽竊檢測的實際。如何把握并充分利用學(xué)術(shù)論文的結(jié)構(gòu)和語言特征，提供具有針對性的檢索模型和相似度算法及其實現(xiàn)系統(tǒng)，對能否在異構(gòu)的分布式學(xué)術(shù)論文資源系統(tǒng)中，對抄襲剽竊檢測進行更精確的判斷至關(guān)重要。
　　
　　
　　2　學(xué)術(shù)論文復(fù)制檢測研究的新思路
　　
　　針對以上問題，筆者提出以下學(xué)術(shù)論文復(fù)制檢測研究的新思路：①建立有針對性的學(xué)術(shù)論文語料庫；②通過對語料庫的深層加工、統(tǒng)計和學(xué)習(xí)，建立統(tǒng)計語言模型；③充分利用學(xué)術(shù)論文著錄項目自身的特點，通過將文檔結(jié)構(gòu)化，賦予元數(shù)據(jù)項加權(quán)系數(shù)，運用卷積計算學(xué)術(shù)論文的相似度；④利用支持網(wǎng)絡(luò)語言的JAVA編程實現(xiàn)相似度算法；⑤通過將待檢測論文與數(shù)據(jù)庫中已有文獻對比，計算其相似度，當(dāng)相似度超過某一閾值時，則判斷該論文有抄襲的可能，如圖1所示：
　　
　　3　具體方法及步驟
　　
　　3.1　建立某一學(xué)科專業(yè)的學(xué)術(shù)論文語料庫
　　新一代的兆億級的大規(guī)模語料庫可以作為語言模型的訓(xùn)練和測試手段，用以評價一個語言模型的質(zhì)量。本文建立的語料庫中存放的是在學(xué)術(shù)論文語言的實際使用中真實出現(xiàn)過的學(xué)術(shù)論文語言材料；是以電子計算機為載體，承載學(xué)術(shù)資源語言知識的基礎(chǔ)資源；通過對真實語料進行分析和處理等加工，使之成為本文的學(xué)術(shù)論文抄襲檢測模型和算法的訓(xùn)練與測試手段。
　　利用豐富的學(xué)術(shù)資源數(shù)據(jù)庫，如Dialog、SCI、EI、INSPE、IEEE、Science Direct、EBSCO、PQDD、SPRINGERLINK、KLUWER、Science online、Medline、CNKI、中文科技期刊全文數(shù)據(jù)庫、萬方數(shù)據(jù)科技信息子系統(tǒng)、萬方數(shù)據(jù)商業(yè)信息子系統(tǒng)、七國兩組織的專利數(shù)據(jù)庫、國內(nèi)外專利數(shù)據(jù)庫等異構(gòu)的分布資源，通過信息檢索，從某一學(xué)科專業(yè)著手，構(gòu)建某一學(xué)科專業(yè)領(lǐng)域的學(xué)術(shù)論文語料庫。
　　
　　3.2　以信息論為工具，創(chuàng)建統(tǒng)計語言模型用于學(xué)術(shù)論文檢索
　　數(shù)學(xué)是解決信息檢索和自然語言處理的最好工具。其實早在幾十年前，數(shù)學(xué)家兼信息論專家香農(nóng)(Claude Shannon)就提出了用數(shù)學(xué)方法處理自然語言的想法。語音和語言處理大師賈里尼克(Fred Je- linek)首先成功利用數(shù)學(xué)方法解決了自然語言處理問題。統(tǒng)計語言模型(即基于統(tǒng)計的語言模型)通常是概率模型，計算機借助于統(tǒng)計語言模型的概率參數(shù)，可以估計出自然語言中每個句子出現(xiàn)的可能性，而不是簡單地判斷該句子是否符合文法。統(tǒng)計語言模型以概率頒布的形式描述了任意語句(字符串)s屬于某種語言集合的可能性，需要對任意的語句s都給出一個概率值，例如：P(他／認真／學(xué)習(xí))=0.02。本文充分利用學(xué)術(shù)論文不同于報紙新聞?wù)撐幕蚱渌�類型文檔的語言特點，以建立的學(xué)術(shù)論文語料為訓(xùn)練和測試基礎(chǔ)，提出新的基于學(xué)術(shù)論文的統(tǒng)計語言模型作為針對學(xué)術(shù)論文抄襲剽竊檢測算法的檢索語言模型。具體做法為：以信息論為工具，把握學(xué)術(shù)論文的語言特點，通過對以上所建立的學(xué)科專業(yè)語料庫進行深層加工、統(tǒng)計和學(xué)習(xí)，獲取大規(guī)模真實學(xué)術(shù)論文語料中的語言知識，建立基于學(xué)術(shù)論文語料庫的統(tǒng)計語言模型；通過實驗，與其他文本信息檢索模型進行比較，論證其有效性。
　　
　　3.3　利用學(xué)術(shù)論文中描述資源對象語義信息的元數(shù)據(jù)結(jié)構(gòu)，計算文檔相似度
　　充分利用正式出版的學(xué)術(shù)論文的結(jié)構(gòu)特點，根據(jù)學(xué)術(shù)論文中標(biāo)引出的K個描述資源對象語義信息的元數(shù)據(jù)(Di，i=1，2…k)，將學(xué)術(shù)論文結(jié)構(gòu)化；然后利用已有的基于學(xué)術(shù)論文語料庫的統(tǒng)計語言模型，將待比較的論文的各相同元數(shù)據(jù)Di(i=1，2…k)部分進行比對得相似度si，再根據(jù)元數(shù)據(jù)對論文的重要程度給定第i個元數(shù)據(jù)項相似度權(quán)函數(shù)wi；則整篇學(xué)術(shù)論文總體的相似度為Sd=∑Wi*Si。
　　具體算法舉例如下：
　　將待檢測的學(xué)術(shù)論文的元數(shù)據(jù)如題名Til、關(guān)鍵詞Kyl、摘要Abl、正文.Tel、參考文獻Rel等元數(shù)據(jù)字段抽取出來，與語料庫中已有論文的相應(yīng)元數(shù)據(jù)字段內(nèi)容題名Ti2、關(guān)鍵詞Ky2、摘要Ab2、正文Tx2、參考文獻Re2進行相似度計算。計算時，在篇名字段前給以0.25，0.4，0.15，0.1和0.1的加權(quán)系數(shù)。建立的統(tǒng)計語言模型計算待測論文和語料庫中已出版的論文j同一元數(shù)據(jù)字段的內(nèi)容相似程度，記為：Sim_Tij，sim―Kyj，Sim_Abj，Sire Tej，Sim_Rej，卷積后得整篇論文與語料庫中某篇論文j的相似程度值計算公式為：Sinai―larity_paper_j=0.25×Sim_Tij+0.4×Sim_Kyj+0.15×Sim_Abj+0.1×Sim_Txj+0.1×Sim_Rej；再計算與待檢測論文最相似的那個最大相似度Max_Similarity=Max{Simflarity_paper_j}；如果Max_Similarity大于設(shè)定的閥值1(如40％)，則判斷為疑似抄襲，這樣的論文需要審稿專家仔細認真審理，如果Max_Similarity大于設(shè)定的閥值2(比設(shè)定的閥值1大，如80％)，這樣的論文極有可能存在抄襲，需要審稿專家特別注意。在計算相似度值后，計算機系統(tǒng)記錄下相似度高于設(shè)定閥值的抄襲和被抄襲的學(xué)術(shù)論文來源、相似度值、及其各元數(shù)據(jù)項信息(包括作者信息)。以上各元數(shù)據(jù)項相似度計算過程中，加權(quán)系數(shù)可以根據(jù)需要做適當(dāng)調(diào)整為其他數(shù)值，但系數(shù)總和為1。
　　
　　3.4　推廣使用
　　通過對某一學(xué)科專業(yè)的研究，進一步拓展到其他學(xué)科領(lǐng)域，從而最終實現(xiàn)在異構(gòu)的分布式學(xué)術(shù)論文資源系統(tǒng)中，對各個學(xué)科領(lǐng)域的學(xué)術(shù)論文抄襲剽竊進行跨平臺檢測。
　　
　　4　研究展望及難點、解決辦法
　　
　　今后的研究主要是將以上思想和方法步驟通過實驗進行論證。通過JAVA編程實現(xiàn)算法，同時能實現(xiàn)對于空間地址分布和數(shù)據(jù)異構(gòu)的學(xué)術(shù)資源進行跨平臺的復(fù)制檢測。使用支持語言模型的Lemur工具箱，在標(biāo)準(zhǔn)的TREC文檔集上做測試試驗，并對算法的召回率和精準(zhǔn)率作出量化；選擇與Turnitin偵探剽竊系統(tǒng)進行實驗對比，評價該基于學(xué)術(shù)論文語料庫的統(tǒng)計語言模型及算法。
　　研究的難點主要在于：①對學(xué)術(shù)論文語料庫進行深層加工、統(tǒng)計和學(xué)習(xí)，獲取大規(guī)模學(xué)術(shù)論文語言知識；②計算學(xué)術(shù)論文相似度時，不同元數(shù)據(jù)項其權(quán)函數(shù)的確定；③思想剽竊、風(fēng)格剽竊等深度剽竊特征的提��；④自然語言中的多詞一義易造成漏檢(漏判)等。為了解決以上問題，可以聯(lián)合數(shù)據(jù)庫商，構(gòu)建某一學(xué)科專業(yè)領(lǐng)域的語料庫，并從大量科技查新工作等實際檢索實踐中，統(tǒng)計出不同元數(shù)據(jù)項對相似度算法的貢獻率來進一步確定不同元數(shù)據(jù)項權(quán)函數(shù)。語境框架是一個三維的語義描述，它把文本內(nèi)容抽象成領(lǐng)域(靜態(tài)范疇)、情景(動態(tài)描述)、背景(褒貶、參照等)3個框架，應(yīng)在語境框架的基礎(chǔ)上，設(shè)計實現(xiàn)對思想剽竊、風(fēng)格剽竊等深度剽竊特征的提取算法。通過構(gòu)建學(xué)科專業(yè)學(xué)術(shù)論文關(guān)鍵詞詞典和利用同義詞詞林，可以克服多詞一義時的漏檢，提高招回率。

相關(guān)熱詞搜索：研究進展 學(xué)術(shù)論文 及新 學(xué)術(shù)論文復(fù)制檢測的研究進展及新方法 學(xué)術(shù)論文的研究方法 論文研究方法有哪些