[摘要]為有效地實(shí)現(xiàn)本體構(gòu)建的動態(tài)評估，論文基于本體建設(shè)的生命周期階段，提出涵蓋本體的原模型階段、模型階段、應(yīng)用階段三個階段的評估指標(biāo)體系。評估內(nèi)容涉及對本體概念層、結(jié)構(gòu)層、語境層、應(yīng)用層的全方位評估，其目的在于保證本體的構(gòu)建質(zhì)量，實(shí)現(xiàn)對本體的有效管理與維護(hù)，從而為本體構(gòu)建者提供參考依據(jù)，為本體使用者提供選擇依據(jù)。
　　[關(guān)鍵詞]本體　評估　指標(biāo)體系
　　[分類號]G354
　　
　　面對眾多已構(gòu)建的本體，如何將其選擇重用與共享是許多研究者所面臨的問題。從某種層面上看，本體評估的意義在于保證本體的構(gòu)建質(zhì)量，實(shí)現(xiàn)對本體的有效管理與維護(hù)，從而為本體構(gòu)建者提供參考依據(jù)，為本體使用者提供選擇依據(jù)。從國內(nèi)外本體評估研究看，目前主要采用基于用戶、基于任務(wù)、基于原則、基于應(yīng)用、基于黃金標(biāo)準(zhǔn)、基于語料庫等評估方法，基于不同的需求目的，每種方法均存在其各自的特點(diǎn)與不足�？傮w而言，這些評估方法更多地注重結(jié)果評估，對本體所擁有的概念及概念關(guān)系、應(yīng)用狀況等進(jìn)行評價，而忽略過程評估，如缺乏對構(gòu)建規(guī)劃、構(gòu)建過程的評估。因此，本文基于本體建設(shè)的生命周期階段，即原模型階段、模型階段、應(yīng)用階段來構(gòu)建本體評估指標(biāo)體系，旨在確定一套科學(xué)、合理、全面、客觀的本體評價體系，可用于本體建設(shè)不同階段的參考與評估。
　　
　　1　本體評估內(nèi)容
　　　
　　評估內(nèi)容的多元化是評估本體的核心。就評估內(nèi)容而言，多元評估要求既要體現(xiàn)其共性，更要關(guān)注各自本體的個性；既要關(guān)注結(jié)果，更要關(guān)注過程。即以多維視角的評價內(nèi)容和結(jié)果，綜合衡量本體的發(fā)展?fàn)顩r與水平。本體的評估內(nèi)容可概括為以下幾個層面：
　　
　　1.1　本體概念層評估
　　概念是本體的最基本單元，概念表達(dá)的準(zhǔn)確性、完整性、概括性、抽象性等對于本體的質(zhì)量有著決定性的影響。
　　
　　1.2　本體結(jié)構(gòu)層評估
　　主要包括本體概念體系的結(jié)構(gòu)化及本體表示體系的結(jié)構(gòu)化。本體概念體系的結(jié)構(gòu)化表現(xiàn)為本體概念結(jié)構(gòu)的靈活性及易于擴(kuò)展性；規(guī)范化、結(jié)構(gòu)化的本體表示語言為本體在不同系統(tǒng)之間的導(dǎo)人和輸出提供標(biāo)準(zhǔn)的機(jī)器可讀格式，利于被計算機(jī)存儲、加工、利用，或在不同的系統(tǒng)之間進(jìn)行互操作，為本體表示體系的結(jié)構(gòu)化提供了前提條件。
　　
　　1.3　本體語境層評估
　　本體語境層表示為本體之間的關(guān)聯(lián)度，通常情況下，本體之間通過建立映射、互相參考引用等方法建立概念間的語義關(guān)聯(lián)，以實(shí)現(xiàn)本體之間概念及概念間關(guān)系的重用與共享。可通過鏈接或引用程度不同給予不同的評估值。
　　
　　1.4　本體應(yīng)用層評估
　　以本體的應(yīng)用領(lǐng)域作為評估對象，涉及本體系統(tǒng)的存儲與檢索、基于語義網(wǎng)知識層的共享和重用、基于本體的標(biāo)引與語義檢索、文本數(shù)據(jù)的推理研究等。本體應(yīng)用層相對于其他層面，影響較小且具有間接性，因此評估難度較大。
　　
　　2　本體評估指標(biāo)的構(gòu)建
　　
　　本體從構(gòu)建到應(yīng)用要經(jīng)歷整個生命周期的三個階段：原模型階段、模型階段、應(yīng)用階段：①原模型階段是本體構(gòu)建前整體規(guī)劃及原材料的預(yù)處理過程，包括構(gòu)建本體的參考本體及可行性評估、流程設(shè)計、數(shù)據(jù)庫設(shè)計、整理網(wǎng)頁、挖掘文本語料庫等；②模型階段是本體構(gòu)建過程，包括概念及概念間關(guān)系確定、本體構(gòu)建的方法和工具選擇與應(yīng)用、本體與其他本體的映射、本體描述語言的選擇與應(yīng)用、本體發(fā)布之前的訓(xùn)練和測試；③應(yīng)用階段是本體構(gòu)建完成后的本體應(yīng)用狀況，主要是運(yùn)行中本體的監(jiān)測活動，如知識工程、信息標(biāo)引與檢索、語義web、異構(gòu)信息集成、本體推理等眾多領(lǐng)域。
　　為實(shí)現(xiàn)對本體的整體性及動態(tài)性評估，需要對本體建設(shè)生命周期三個階段的關(guān)鍵要素進(jìn)行提煉，形成一套科學(xué)、合理、系統(tǒng)化的評估指標(biāo)體系，這樣既能測度本體構(gòu)建水平又能評估其運(yùn)行情況和發(fā)展?jié)摿�。本體評估指標(biāo)體系，如圖1所示：
　　
　　2.1　原模型階段
　　本體的原模型階段評估的主要內(nèi)容有：確定構(gòu)建目的、構(gòu)建規(guī)劃、可行性評估、原材料預(yù)處理及選擇參考本體。
　　2.1.1 確定構(gòu)建目的 確認(rèn)所構(gòu)建的本體是否有明確的符合學(xué)科建設(shè)的發(fā)展定位，是否有明確的符合知識組織、知識服務(wù)的建設(shè)理念，是否有總體建設(shè)目標(biāo)與中長期發(fā)展規(guī)劃，是否有實(shí)現(xiàn)目標(biāo)的方法和措施。
　　2.1.2 構(gòu)建規(guī)劃 包括：①用戶需求分析。確認(rèn)是否有明確的應(yīng)用需求，是否有可操作的調(diào)研計劃，是否有詳細(xì)的調(diào)研方案，是否有成文的調(diào)研報告，是否了解學(xué)科資源狀況，是否掌握用戶需求及特點(diǎn)，并評判服務(wù)模式是否有明顯優(yōu)勢，建設(shè)效益是否顯著。②方案設(shè)計。檢測構(gòu)建本體的具體內(nèi)容，包括確定項目的進(jìn)度，規(guī)劃實(shí)施方法，評判項目的可操作性，標(biāo)準(zhǔn)本體模型實(shí)現(xiàn)計劃等。③團(tuán)隊建設(shè)。主要是明確構(gòu)建本體的人員配置，要求有穩(wěn)定的團(tuán)隊，并且應(yīng)熟悉掌握知識組織的理論和方法，另外還應(yīng)配備技術(shù)支持人員和領(lǐng)域?qū)＜�。④�?jīng)費(fèi)管理。此階段應(yīng)該有經(jīng)費(fèi)預(yù)算和時間預(yù)算，經(jīng)費(fèi)應(yīng)按預(yù)算分階段地持續(xù)投入。⑤人員合作。在本體構(gòu)建的全過程都需要本體開發(fā)師(負(fù)責(zé)構(gòu)建本體)、本體工程師(重用本體)、項目負(fù)責(zé)人、領(lǐng)域?qū)＜摇⑿袠I(yè)分析家及用戶進(jìn)行合作共建。
　　2.1.3　可行性評估　可行性評估的目的是確定是否能夠用最小的代價在盡可能短的時間內(nèi)解決問題。它并不是解決問題，而是確定問題是否值得和能夠去解決，包括：①技術(shù)可行性，即使用現(xiàn)有的技術(shù)是否能夠?qū)崿F(xiàn)構(gòu)建目標(biāo)；②經(jīng)濟(jì)可行性，即本體的經(jīng)濟(jì)效益是否能夠超過其開發(fā)成本；③操作可行性，本體應(yīng)用系統(tǒng)的操作方式在本體的用戶組織內(nèi)是否行得通。
　　2.1.4　原材料預(yù)處理 預(yù)處理是由本體工程師在構(gòu)建本體前對構(gòu)建本體時所需的原材料進(jìn)行收集與預(yù)處理，包括流程設(shè)計、網(wǎng)頁整理、文本語料庫的挖掘及對參考本體的資料獲取等。在這些收集好的材料被使用之前，本體工程師還要對其質(zhì)量進(jìn)行評估。
　　2.1.5　選擇參考本體　包括對本體構(gòu)建所參考的其他本體的質(zhì)量進(jìn)行評估，并對所構(gòu)建本體與參照本體的相關(guān)性進(jìn)行評價。
　　
　　2.2　模型階段
　　2.2.1　本體概念構(gòu)建的評估 本體概念來源于文本語料庫和專家的參與，以定義新概念、復(fù)用且修正參考本體中的概念等。本體概念的評估包括：①概念的完整性評估。本體的概念完整性表現(xiàn)為盡可能包括學(xué)科或領(lǐng)域的全部概念，盡管很難達(dá)到，但應(yīng)包括學(xué)科領(lǐng)域的基本概念和重要概念、反映學(xué)科的新概念和專用術(shù)語、體現(xiàn)交叉學(xué)科與邊緣學(xué)科的所有概念。并在此基礎(chǔ)上，參考用戶的特點(diǎn)與需求，使其達(dá)到最佳使用效果。②概念的正確性評估。本體中的概念術(shù)語應(yīng)明確、清晰、無歧義定義，一詞一義，詞型簡練，穩(wěn)定性強(qiáng)。③概念共享性評估。是指本體中術(shù)語所表達(dá)的概念與觀點(diǎn)應(yīng)具有普遍性，能夠被整個群體所接受。④概念可擴(kuò)充性評估。概念可擴(kuò)充性主要表現(xiàn)為在本體的發(fā)展及應(yīng)用過程中應(yīng)該能加入新的概念。良好的可擴(kuò)充性使得本體能夠隨著概念的逐漸增加而不斷完善，同 時這樣的本體也很容易對其進(jìn)行概念的修改和刪除。⑤概念抽象性評估。是指概念主要體現(xiàn)為基本的、普遍的、抽象的和哲學(xué)上的概念，通常頂層本體概念的抽象性更高一些，領(lǐng)域本體是從頂層本體的抽象概念中衍生出具體概念。
　　2.2.2　本體概念間關(guān)系的評估　概念間關(guān)系形成的概念網(wǎng)絡(luò)體系，使各個概念之間建立起語義關(guān)聯(lián)，為其在自然語言理解應(yīng)用方面奠定了一定的基礎(chǔ)。本體概念間關(guān)系評估的內(nèi)容主要包括：①一致性檢測。本體系統(tǒng)中概念、斷言以及其他各種概念間的關(guān)系，前后定義是否具有語義沖突，需進(jìn)行概念間關(guān)系的邏輯一致性檢測。②完整性評估。概念間關(guān)系是否囊括了學(xué)科所有概念的概念間關(guān)系及其類別是否完整。③可擴(kuò)展性評估。本體概念間關(guān)系應(yīng)具有可擴(kuò)展性，以便在本體應(yīng)用或發(fā)布后及時增加與修改。④唯一性評估。本體概念間關(guān)系應(yīng)具有唯一性，即概念與概念之間只存在一種關(guān)系。
　　2.2.3　本體映射評估　一般情況下，本體映射是基于概念定義的方法，即在映射時主要考慮本體中概念的名稱、描述、關(guān)系、約束等。本體映射評估包含：①本體間的互操作性。主要針對本體間映射時的接口進(jìn)行評估。一般情況下，如接口銜接率高，即需要人工進(jìn)行概念擴(kuò)充與整合的接口比較少，則說明兩者的互操作性高。②重用性。重用的內(nèi)容包含兩個本體的概念、概念關(guān)系、屬性限制等，通常重用率越高，映射的效果越佳。
　　2.2.4　本體表示評估　本體開發(fā)中，本體表示是對概念及概念之間的關(guān)系進(jìn)行明確定義，選擇合適且適用的本體語言，如DL、RDF、RDFS、Ontolingua、OKB、Loom、DAML，DAML+OIL、CycL、OWL等進(jìn)行形式化描述。評估內(nèi)容包含以下方面：①語言規(guī)范性。所選擇的本體表示語言對本體知識的主要元素、概念、分類體系、關(guān)系與函數(shù)、實(shí)例、公理、產(chǎn)生式規(guī)則進(jìn)行定義時，其語言結(jié)構(gòu)是否規(guī)范，語言的推理機(jī)制是否合理。②邏輯錯誤檢查。確認(rèn)是否有邏輯錯誤的檢查能力及檢查其結(jié)果如何。③語言錯誤檢查。確認(rèn)是否有語言錯誤的檢查能力及檢查其結(jié)果如何。④語言的適用性。確認(rèn)所選擇的本體表示語言是否適用于表示目標(biāo)本體，它對知識主要元素的定義能力如何。
　　2.2.5本體構(gòu)建工具評估 目前較為成熟、知名度較高且常用的本體構(gòu)建工具主要有：DAMHmp(API)、KAON、OilEd、OntoEdit、OpenCyc Server、Protege-2000、 RDFAuthor和WebOnto等。判斷一種工具性能如何，主要是判斷其是否具有較高的使用效率和是否便于用戶使用：①可視化程度。本體構(gòu)建工具是否提供可視化的本體表達(dá)視圖，提供的用戶界面是否便捷并使用戶滿意。②共享性。本體構(gòu)建工具是否可供用戶免費(fèi)使用、下載或在線使用，提供免費(fèi)軟件下載的官方網(wǎng)站是否具有多種語言的版本。③適用性。本體構(gòu)建工具是否支持Unicode字符集，工具在使用時其輸入和輸出格式是否支持XML或其語法是否基于本體標(biāo)記語言XML以及W3C、ISO或IEEE等其他國際組織的相關(guān)推薦標(biāo)準(zhǔn)。
　　2.2.6　本體整體評估　本體整體評估主要是針對本體的構(gòu)建過程作出整體全面的評價：①開放性。開放性有助于促進(jìn)本體與其他本體信息的共享及互操作性。完全開放意味著本體可以被自由使用或者擴(kuò)展，而不加任何限制。一定程度的開放意味著本體提供者要求本體使用者遵循一定的使用條款及許可條件，實(shí)現(xiàn)限制條件下的部分開放。②成熟度。主要指本體目前發(fā)展的穩(wěn)定性及其與其他本體的相關(guān)性。它通常與一些量化指標(biāo)有關(guān)，如本體的建立時間、更新時間、發(fā)展?fàn)顟B(tài)及被其他本體引用的程度等。③階段評估。本體是否進(jìn)行了階段性評估，評估的結(jié)果如何，階段性的問題是否解決，有沒有對本體進(jìn)行階段性訓(xùn)練和測試。④時間成本。本體的構(gòu)建時間是否在預(yù)期時間內(nèi)完成。⑤費(fèi)用成本。構(gòu)建本體的費(fèi)用是否在預(yù)算費(fèi)用之內(nèi)。⑥本體管理。包括本體的進(jìn)化管理、版本管理、存儲與交換管理。要求有本體專門維護(hù)機(jī)構(gòu)，有科學(xué)的理論依據(jù)與實(shí)踐依據(jù)，并依據(jù)學(xué)科發(fā)展和標(biāo)注實(shí)踐制定了本體概念與概念關(guān)聯(lián)的增、修、刪的原則與標(biāo)準(zhǔn)。本體有不斷更新的版本以及現(xiàn)實(shí)本體的穩(wěn)定運(yùn)行、本體存儲方式、高效的存取性能、遵循有關(guān)標(biāo)準(zhǔn)協(xié)議、能夠?qū)崿F(xiàn)不同本體間數(shù)據(jù)的相互交換。
　　
　　2.3　本體應(yīng)用階段
　　本體的應(yīng)用評估主要包含：本體系統(tǒng)輔助功能、語義標(biāo)注功能、語義檢索功能及文本推理功能。
　　2.3.1　本體系統(tǒng)輔助功能　本體系統(tǒng)輔助功能主要指該本體所提供的服務(wù)功能。主要包括以下內(nèi)容：①與用戶的交互。是否提供了與用戶的交互機(jī)制，提示信息有效、直接，交互語言友好，可視化結(jié)果直觀、易懂，能夠?yàn)橛脩舻牟僮魈峁┻m當(dāng)?shù)囊龑?dǎo)。②開放性。與本體管理工具和本體應(yīng)用系統(tǒng)連接的難易程度以及對用戶來講是否容易使用與操作，是否可以免費(fèi)獲取，獲取的方式是否快捷等。③個性化服務(wù)。所構(gòu)建的本體應(yīng)該提供信息定制服務(wù)與信息推薦服務(wù)，要有清晰的整體說明、詳細(xì)的功能使用說明與信息注解、幫助信息，并可根據(jù)用戶關(guān)注焦點(diǎn)來選擇個性化服務(wù)。
　　2.3.2　語義標(biāo)注功能 語義標(biāo)注實(shí)為運(yùn)用本體的詞匯來標(biāo)注語料庫與web資源，通過添加語義元數(shù)據(jù)，使其內(nèi)容被人或機(jī)器所理解。語義標(biāo)注所要評估的內(nèi)容是覆蓋率、標(biāo)注工具的效用性、標(biāo)注結(jié)果的準(zhǔn)確率。①覆蓋率。覆蓋率是指本體中描述應(yīng)用領(lǐng)域的概念在語料文本詞匯中所占的比例。覆蓋率越高，說明本體描述領(lǐng)域內(nèi)概念的廣度越高，全面性越好。②標(biāo)注工具的效用性。檢測標(biāo)注工具是否支持各種類型、各種介質(zhì)資源的自動標(biāo)識，是否提供了本體概念和關(guān)鍵詞標(biāo)注，是否描述了元數(shù)據(jù)的標(biāo)準(zhǔn)與通用性，標(biāo)注流程是否方便，且對于應(yīng)用用戶是否適用。③標(biāo)注結(jié)果的準(zhǔn)確率。是指正確的標(biāo)注結(jié)果數(shù)占標(biāo)注數(shù)量的比率。準(zhǔn)確率越高，語義標(biāo)注功能越強(qiáng)，可以為進(jìn)一步的語義檢索奠定基礎(chǔ)。
　　2.3.3　語義檢索功能　基于本體的信息檢索，旨在利用本體中的概念實(shí)現(xiàn)對用戶信息需求及資源的語義理解與分析，實(shí)現(xiàn)概念層面的檢索，提高查詢的精確率。其功能評估包含以下內(nèi)容：①查準(zhǔn)率。指系統(tǒng)所檢索出的術(shù)語中有多大比例的術(shù)語是相關(guān)的，而不考慮它沒有檢索出的相關(guān)術(shù)語。精確度越高，就越能有效地確保系統(tǒng)已識別的術(shù)語是正確的。②召回率。召回率是系統(tǒng)檢索出的相關(guān)術(shù)語占總相關(guān)術(shù)語的比例，即檢測有多大比例的術(shù)語是系統(tǒng)應(yīng)該識別而實(shí)際上識別了的，而不考慮有多少不合格的識別術(shù)語。召回率越高，就越能確保系統(tǒng)沒有錯過正確的術(shù)語。③自然語言處理能力。檢測系統(tǒng)識別用戶檢索語言的能力，即問答系統(tǒng)根據(jù)上下文的語義聯(lián)系具有深層語義理解的能力。比如，對一詞多義現(xiàn)象的處理，對開放域的答案抽取水平，所涉及的詞法分析、句法分析、語義理解等基礎(chǔ)處理能力。④用戶滿意度。是指用戶對輸出端結(jié)果的滿意程度，即輸出的結(jié)果是否為用戶所提問題的答案，涉及答案的詳細(xì)程度、輸入端與輸出端的時間間隔及人機(jī)界面操作的便捷性等。
　　2.3.4　本體用于推理 本體描述語言起源于人工智能領(lǐng)域?qū)χ�識表示的研究，因此本體的描述語言不僅僅需要具有良好定義的語法和語義與充分的表達(dá)能力，更需要有效的推理支持：①工具的有效性。推理工具是否支持多版本的語言規(guī)范，是否可以方便地訪問標(biāo)準(zhǔn)語言的類及屬性，是否支持基本的對list的處理，是否可以實(shí)現(xiàn)類的層級訪問和使用，是否可以實(shí)現(xiàn)自動或半自動推理等。②概念的可滿足性。是否存在相應(yīng)的解釋使得概念成立。③實(shí)例檢測。是指檢測某個概念所對應(yīng)的所有實(shí)例的集合。
　　
　　3　結(jié)語
　　
　　我們所構(gòu)建的本體評估指標(biāo)體系著重于本體生命周期管理，便于用戶更直觀地理解本體的建設(shè)過程，并對本體進(jìn)行階段性評估。用戶使用該評估指標(biāo)體系時，需依據(jù)評估的需求與目的，定義本體各指標(biāo)的權(quán)重，在此基礎(chǔ)上進(jìn)行量化評估。對于無法量化的指標(biāo)，需采取用戶調(diào)查、專家打分、黃金本體參照、描述評價等多種方法配合，盡可能使評價客觀化。

相關(guān)熱詞搜索：指標(biāo)體系 本體 構(gòu)建 本體評估指標(biāo)體系的構(gòu)建研究 評估指標(biāo)體系 合格評估指標(biāo)體系