[摘要]Information Studies Taxonomy瀏覽類表的用戶評估采用定性和終端用戶介入的方法。評估方案包括真實(shí)環(huán)境下的瀏覽練習(xí)和用戶訪談兩道程序。瀏覽練習(xí)題目從終端用戶中征集而來，并覆蓋類表的所有分面和主題分面中的全部基本大類。瀏覽練習(xí)的具體操作盡量保證客觀公正的評估結(jié)果。用戶訪談圍繞類表各個組成部分對瀏覽功能的支持而展開。瀏覽練習(xí)過程與用戶訪談都有相應(yīng)的軟件進(jìn)行錄制。瀏覽類表評估的理論與實(shí)際例子在文獻(xiàn)中鮮見，本項(xiàng)目采用的評估方法與設(shè)計(jì)思路可供借鑒。
　　[關(guān)鍵詞]瀏覽類表　用戶評估　瀏覽練習(xí)
　　[分類號]G254.1 G354
　　
　　1　引言
　　
　　類表的用戶評估對于一個瀏覽系統(tǒng)是至為重要的，它的重要性不亞于類表本身的編制。從瀏覽系統(tǒng)的功能來看，瀏覽類表是直接面向終端用戶的，它需要通過評估行為來有效地結(jié)合用戶的需求與愛好，以確保類表的實(shí)用性。從編制工作角度來看，評估可以保證類表的基本質(zhì)量，以避免類表系統(tǒng)安裝以后發(fā)生大的修改，造成人力、物力資源的浪費(fèi)。
　　瀏覽類表的評估主要有兩個不同的目的，一個是衡量類表的資源標(biāo)引能力；另一個是評估類表的瀏覽效果。相對于敘詞表的成熟發(fā)展，瀏覽類表的評估目前還沒有形成一個公眾認(rèn)可的標(biāo)準(zhǔn)與方法，各個評估項(xiàng)目也都是根據(jù)各自的評估目的采取相應(yīng)的辦法。類表的資源標(biāo)引評估多采用定量方法，也就是選用一定數(shù)量、有代表性的資源文獻(xiàn)，用類表對資源進(jìn)行實(shí)際標(biāo)引。標(biāo)引結(jié)果的評判可以有兩個方法，一個是事先準(zhǔn)備標(biāo)準(zhǔn)答案，與標(biāo)準(zhǔn)答案不符的就意味著類表相關(guān)部分可能有缺陷(在保證標(biāo)引結(jié)果準(zhǔn)確的前提下)；二是由多個標(biāo)引員對資源進(jìn)行標(biāo)引，根據(jù)標(biāo)引員提供的標(biāo)引結(jié)果的一致性程度來找出類表的問題所在。Currier用的是前者，評估小組成員為5個參加者各自要分類的14條數(shù)據(jù)準(zhǔn)備了標(biāo)準(zhǔn)答案。Hawkins，Larson和Caton采納了后者，他們?nèi)齻�人分別標(biāo)引了3 000條數(shù)據(jù)，然后根據(jù)標(biāo)引數(shù)據(jù)的一致性對類表進(jìn)行了兩次修改與完善。瀏覽類表評估的實(shí)際例子很鮮見，從理論上來說，由于瀏覽行為的復(fù)雜性，一般多推薦采用定性方法。Conway和SligarTM建議用客觀標(biāo)準(zhǔn)如查全率、查準(zhǔn)率來衡量檢索功能，而用定性方法來評估瀏覽功能，他們提出采用真實(shí)語境下的用戶檢索測試。Lambe持有類似觀點(diǎn)，他也主張采用真實(shí)環(huán)境下的、有代表性的用戶檢索行為來評估瀏覽功能。Currier在采用定量方法的同時(shí)，鑒于標(biāo)引數(shù)據(jù)的量不夠大，也結(jié)合了用戶訪談的定性方法，五個參加者在分類練習(xí)結(jié)束以后接受了對類表反饋與建議的訪談。
　　本文論述的Information Studies Taxonomy是為南洋理工大學(xué)傳播與信息學(xué)院信息學(xué)系量身定做的一個瀏覽類表。它為信息學(xué)系的老師、學(xué)生的教學(xué)科研活動提供一站式的信息查詢服務(wù)。類表由多個分面組成，其中主題分面的編制以杜威十進(jìn)制分類法、ASIS&T、LISA兩部圖書館學(xué)情報(bào)學(xué)敘詞表和ERIC教育敘詞表為結(jié)構(gòu)庫和詞庫。類表在編制過程已數(shù)次征求過用戶的意見。本文詳細(xì)論述類表編制完成后正式進(jìn)行的一次用戶評估，該類表的評估方法既參考了已有的研究成果和實(shí)際例子，也結(jié)合了本身的評估需要。用戶評估取得了不菲的效果，類表因此有了一次較大的改善。
　　
　　2　評估方法
　　
　　Information Studies Taxonomy類表評估的主要目的是了解類表通過瀏覽功能對用戶教學(xué)科研活動的支持能力，并收集用戶對類表的具體意見以進(jìn)行修改與完善。類表評估方法的設(shè)計(jì)體現(xiàn)了評估目的。評估方法由兩道程序組成：第一道是真實(shí)環(huán)境下、與用戶教學(xué)科研活動密切相關(guān)的瀏覽練習(xí)，用戶為手頭的瀏覽練習(xí)題目從安裝在計(jì)算機(jī)上的類表中找出相應(yīng)的瀏覽路徑。該方法不僅直觀，而且客觀地收集了類表支持瀏覽功能的具體數(shù)據(jù)；第二道程序是瀏覽練習(xí)之后的用戶訪談。該方法收集了用戶對瀏覽練習(xí)中涉及到的類表部分的具體反饋和意見。用戶在完成瀏覽練習(xí)之后對類表有了一定程度的感性認(rèn)識，也就會有一些想法和要求，訪談提供了一個暢所欲言的機(jī)會，可以收集到中肯的意見和建議。
　　
　　2.1　評估參加者
　　評估參加者要求具有用戶代表性，一共有22位學(xué)生和老師參加了此次評估活動。這22位參加者來自信息學(xué)系作為一個研究生學(xué)院的五個用戶群體，他們分別是三個不同專業(yè)的碩士生、博士生和老師用戶群體。碩士生參加者包括不同年級的老生和新生，博士生和老師參加者代表了不同的研究方向。這些參加者是在被邀請之后志愿參加的。按照定性方法的一般原則，每個小組群體至少要有3位代表，22位評估參加者中有12位碩士生分別來自三個不同的培養(yǎng)方向，另外還有4位老師和6位博士生。
　　
　　2.2 瀏覽練習(xí)
　　2.2.1 瀏覽練習(xí)試題　該評估為參加者設(shè)計(jì)了相應(yīng)的22份瀏覽練習(xí)試題。瀏覽練習(xí)試題的設(shè)計(jì)除了要考慮用戶人數(shù)外，還需要考慮用戶的專業(yè)背景和做題的疲勞強(qiáng)度。為避免用戶過于疲勞而草率地給出答案，每份試題包括兩個大題和5―9個不等小題。同時(shí)，試題中的兩個大題盡量與參加者的專業(yè)背景相吻合，也就是說，該次評估為五組參加者設(shè)計(jì)了五套試題，分別包括4、4、4、4和6份題目，為保證評估結(jié)果的公正性，每份題目至少由兩個用戶完成，也就是說，這5套22份試題實(shí)際包括11個大題，每兩份試題中有兩個同樣的、次序相反的大題。
　　類似于一般試題的設(shè)計(jì)，瀏覽練習(xí)試題包括兩個部分的內(nèi)容，第一部分是練習(xí)背景與要求的文字介紹；第二部分是具體的題目。題目部分先描述語境，比如信息需求者的身份、要完成的任務(wù)和目的，然后是具體的信息需求，包括信息需求涉及的主題和資源類型。這些信息需求將通過瀏覽類表來得以實(shí)現(xiàn)。圖1給出了一個瀏覽練習(xí)試題例子：
　　
　　2.2.2　瀏覽練習(xí)題目　22份瀏覽練習(xí)試題中的11個大題、69個小題與類表的宗旨是一致的，它們與教師、學(xué)生的教學(xué)科研活動密切相關(guān)。這些題目全部來自用戶的真實(shí)信息需求，從17位學(xué)生與老師一學(xué)期的教學(xué)科研活動中征集而來。同樣地，這17位學(xué)生與老師來自上文提到的5組用戶群體，每組用戶至少有3位代表，其中博士生代表有5位，14位碩士生參加者貫穿了不同的學(xué)習(xí)年級。練習(xí)題目的征集采用了個人訪談的方式，訪談收集了具體的信息需求，還包括信息需求前后的故事，也就是語境。
　　練習(xí)題目的挑選考慮了多個因素，一是數(shù)量的保障；二是題目要求盡量能貫穿類表所有的子類，尤其是在編制中不太自信的類表部分；三是題目的難易程度，盡量做到難、中、易結(jié)合，以求得一個較為客觀的評估結(jié)果。22份瀏覽練習(xí)試題中的11個大題、69個小題覆蓋了類表體系中的所有的分面和主題分面中的所有基本大類。具體地說，每個題目涉及至少來自兩個分面的瀏覽路徑，69個題目涉及了主題分面中總共57條 瀏覽路徑。在設(shè)計(jì)瀏覽練習(xí)題目的同時(shí)，也準(zhǔn)備了答案。答案的準(zhǔn)備不僅包括正確的答案，也包括用戶可能產(chǎn)生的各種錯誤答案和原因，這其實(shí)也是一個對類表斟酌、修改的過程。
　　2.2.3 用戶界面 類表的安裝考慮了瀏覽練習(xí)結(jié)果的客觀性。一家澳大利亞公司生產(chǎn)的TLE―Equeua被選為支持軟件。該軟件的好處是不允許用戶在一個網(wǎng)頁上看到全部的類表結(jié)構(gòu)，如圖2所示，參加者必須點(diǎn)擊到下一頁才能看到下位類目，這樣可有利于得到公、正的瀏覽練習(xí)答案。同時(shí)，為了避免內(nèi)容本身對瀏覽路徑選擇的影響，沒有任何資源鏈接到類表，參加者所能接觸到的就是類表本身。
　　
　　2.2.4　瀏覽練習(xí)操作程序　瀏覽練習(xí)的操作盡可能地保證客觀的評估結(jié)果。在操作上，按單人依次進(jìn)行，在一個全程監(jiān)控、無干擾的單人計(jì)算機(jī)房進(jìn)行，每天上、下午各一個，總共持續(xù)了11天。在人文環(huán)境方面，制造輕松、愉快的環(huán)境，參加者可從與其專業(yè)背景相關(guān)的試題中任選一份，并有充分的時(shí)間閱讀試題、適應(yīng)房間環(huán)境和熟悉計(jì)算機(jī)的使用。相關(guān)信息也適時(shí)地傳遞給參加者，如瀏覽練習(xí)的背景情況、試題的說明、瀏覽路徑的含義、網(wǎng)頁的點(diǎn)擊與翻頁等等。同時(shí)重要的一點(diǎn)是，為了給參加者一個寬松的心情并收集到全面的瀏覽練習(xí)結(jié)果，特意對參加者強(qiáng)調(diào)試題不局限于一個單一的正確答案，他們可選出任何他們個人覺得可以滿足題目信息需求的瀏覽路徑，既不受數(shù)量的限制，也不受題目的限制。但在正式開始練習(xí)以前，參加者不允許瀏覽類表結(jié)構(gòu)。參加者在做題過程中，可提問與答案無關(guān)的問題，如題目的進(jìn)一步解釋等，也可尋求計(jì)算機(jī)使用方面的幫助；他們也可隨意地發(fā)表意見與看法。
　　
　　2.3　用戶訪談
　　用戶個人訪談在瀏覽練習(xí)結(jié)束后即時(shí)進(jìn)行，訪談由10個問題引導(dǎo)。這10個問題根據(jù)類表特征和評估目的而設(shè)計(jì)。前6個問題是關(guān)于類表分面、等級結(jié)構(gòu)和類名支持瀏覽功能的合適性。如前所述，由于目前關(guān)于瀏覽類表的評估還沒有一個得到認(rèn)可的標(biāo)準(zhǔn)可參照，前6個問題是根據(jù)從文獻(xiàn)調(diào)研中總結(jié)出的瀏覽類表的基本特征而設(shè)計(jì)，這6個問題具體包括類表分面的選擇、分面的名稱、類目結(jié)構(gòu)的邏輯性、類目深度的合適性、類目概念收集的完整性、以及類目名稱六個方面。后4個問題是關(guān)于其它方面的，如對類表的印象總分、類表能否支持教學(xué)科研活動、對瀏覽行為的感受，以及一般性的意見與建議。
　　用戶訪談力求一個良好的溝通過程并收集到有深度的數(shù)據(jù)。用戶訪談采取了循序漸進(jìn)的過程，先從與瀏覽練習(xí)有關(guān)的一般性問題人手，比如對瀏覽練習(xí)的感受、遇到的困難等，然后逐漸進(jìn)入主題。在采訪中，根據(jù)被訪者的反饋對一些問題進(jìn)行深入探討。在語言的溝通上，盡量避免專業(yè)術(shù)語，根據(jù)被訪者的反應(yīng)適應(yīng)地增加一些解釋與重述。
　　
　　2.4　操作時(shí)間控制及數(shù)據(jù)收集工具
　　如前所述，瀏覽練習(xí)題目和用戶訪談問題數(shù)量的設(shè)計(jì)都考慮到了用戶的疲勞強(qiáng)度，以避免參加者過于疲勞而得到不客觀的評估結(jié)果。兩項(xiàng)評估工作都期望控制在半個小時(shí)以內(nèi)完成，也就是說，評估的總共實(shí)施時(shí)間不超過一個小時(shí)。但在實(shí)際運(yùn)作中，實(shí)施時(shí)間根據(jù)用戶狀態(tài)和需要而定，用戶反應(yīng)積極的，時(shí)間就稍長一些。
　　數(shù)據(jù)收集工具的選擇保證實(shí)用和方便。參加者的瀏覽練習(xí)計(jì)算機(jī)屏幕行為用Morae軟件錄制。Morae是個網(wǎng)絡(luò)版軟件，包括管理端和用戶端，支持研究者對終端用戶行為的遠(yuǎn)程管理，使用時(shí)需配套的攝像頭和聲音錄制工具。Morae軟件可將錄制下來的文件轉(zhuǎn)換成通用的影像文件，影像顯示包括屏幕右下端的用戶人像和鼠標(biāo)的屏幕移動。除了監(jiān)控軟件以外，調(diào)查者也在旁邊觀察參加者的瀏覽行為，并適時(shí)地根據(jù)參加者的狀態(tài)進(jìn)行交流與討論，比如，在用戶無從下手或?yàn)殡y的時(shí)候，詢問他們的困惑所在。Morae軟件也對現(xiàn)場談話進(jìn)行了錄音。用戶訪談則使用了常見的MP3錄音工具。
　　
　　3　評估結(jié)果
　　
　　3.1 總體評價(jià)
　　瀏覽練習(xí)的總體結(jié)果達(dá)到了中上，參加者可以輕易地駕馭類表中除主題分面以外的其它分面。22位參加者主題分面的瀏覽練習(xí)準(zhǔn)確率達(dá)到了70％。22位參加者提供了128個理想答案中的90個正確瀏覽路徑。參加者對類表的平均印象分是3.65分，最高分是4.5分，最低分是2.5分，大部分人都給了4分或4分以上。
　　絕大部分參加者對類表是持肯定態(tài)度的，認(rèn)為類表圍繞老師與學(xué)生的教學(xué)科研活動、整合了各種信息資源類型；類表分面圍繞老師、學(xué)生的信息需求并提供了多個瀏覽選擇；類表結(jié)構(gòu)上下有邏輯地自然過渡；類表結(jié)構(gòu)控制在四級以內(nèi)、符合用戶瀏覽習(xí)慣；類名名稱清楚。參加者認(rèn)為類表的主要問題在于分面名稱和基本大類的設(shè)計(jì)。有的分面名稱不夠直觀，在選擇分面時(shí)他們有時(shí)不得不進(jìn)行猜測，同時(shí)參加者建議增加一個分面以支持老師的教學(xué)工作�；�本大類的劃分不夠全面平衡，有的方面似乎忽略了，如信息來源；有的基本大類名稱過于傳統(tǒng)，如讀者服務(wù)，參加者建議用信息服務(wù)取代。
　　參加者對類表的實(shí)際應(yīng)用價(jià)值寄予了樂觀的期望，他們認(rèn)為它的實(shí)施應(yīng)該會大大提高師生的教學(xué)科研工作。對于非主題分面的瀏覽，如資源類型分面，參加者給予了高度的評價(jià)，他們認(rèn)為這些分面切合他們的學(xué)習(xí)、研究需要，可以幫助他們簡單而快捷地獲取資源，而Coogle之類的搜索引擎和各種數(shù)據(jù)庫是無法提供如此有效的服務(wù)的。參加者對主題分面的瀏覽有褒有貶。一方面，他們認(rèn)為瀏覽可以讓他們學(xué)到新的知識比如一些詞匯和知識結(jié)構(gòu)，發(fā)掘出新的信息需求；但需要花費(fèi)更多的時(shí)間和精力，而且還需要相應(yīng)的背景知識，不如檢索來得快速和直接。大部分參加者表示寧愿使用搜索引擎，他們建議提供主題分面中的類目檢索以提高查詢速度，并增加分面組配檢索功能來提高整個類表系統(tǒng)的實(shí)際應(yīng)用價(jià)值。
　　此外，參加者對本次評估工作都表示欣賞，他們認(rèn)為評估方案構(gòu)思巧妙，評估活動是一次非常有趣的體驗(yàn)過程，也讓他們學(xué)到了不少專業(yè)知識。
　　
　　3.2　具體建議與修改
　　用戶評估除了得到用戶對類表的總體肯定外，還收集了可觀的用戶對類表的具體修改意見。參加者根據(jù)瀏覽練習(xí)指出類目體系中不合適或者困惑之處，并給出了具體的、有建設(shè)性的意見。這些修改意見包括分面、基本大類的選擇與名稱、上下位類目的過渡，類目的匹配、類目名稱的含義、子類目的增、減與類名的完善等。參加者提供的瀏覽練習(xí)答案和屏幕瀏覽行為記錄分析也顯示了類目體系中的不合適之處。此外，用戶對類表的系統(tǒng)安裝也提出了建設(shè)性的意見，比如，在分面和基本大類下顯示三到五個子類目或加范圍注釋以幫助定位，建立不同分面和基本大類之間的橫向鏈接等。
　　類表根據(jù)用戶評估結(jié)果進(jìn)行了修改，修改涉及分面、基本大類、類目結(jié)構(gòu)和子類目。在分面方面，類表合并了兩個分面、分別增加和舍棄了一個分面，修改了四個分面的名稱；在基本大類方面，類表增加了一個基本大類，調(diào)整了兩個基本大類的子類，修改了四個基本大類的類名；在類目結(jié)構(gòu)方面，類表為新增的基本大類新建了兩個子類等級體系，合并了一個基本大類中的兩個子類，調(diào)整了一個子類的上下位類目，調(diào)整了一個子類和四個子類目的匹配位置，縮短了一個子類的等級層次，為10個子類目新建了在其它位置的參見。在子類目方面，類表增加了57個子類目包括新建子類中的子類目，舍棄了兩個子類目，修改了12個子類目的類名。
　　
　　4　類表概況
　　
　　Information Studies Taxonomy類表經(jīng)評估改善后由六個分面、十三個基本大類和530多個子類目組成。六個分面分別是課程資料、與研究項(xiàng)目有關(guān)的資料、參考工具書、教師教學(xué)資料、研究小組、和主題。主題分面的十三個基本大類分別是信息學(xué)科分支學(xué)科與相關(guān)領(lǐng)域、信息機(jī)構(gòu)、信息與知識管理、館藏管理與信息服務(wù)、信息與知識組織、信息來源與信息查詢、信息用戶研究與信息檢索系統(tǒng)、信息技術(shù)、信息社會、信息產(chǎn)業(yè)、信息行業(yè)、圖書館學(xué)情報(bào)學(xué)教育、研究方法與學(xué)術(shù)寫作。
　　
　　5　結(jié)語
　　
　　從該次評估中，可感知瀏覽類表用戶評估的復(fù)雜性，即使方方面面的因素都考慮進(jìn)去了，僅一次的評估對建設(shè)一個真正面向終端用戶的瀏覽系統(tǒng)似乎是不夠的。同時(shí)，如前所述，瀏覽類表評估的實(shí)際例子很鮮見，該類表評估中體現(xiàn)的設(shè)計(jì)思路以及具體的方法可供借鑒。

相關(guān)熱詞搜索：評估 瀏覽 用戶 瀏覽類表的用戶評估 試用期評估表 網(wǎng)站評估表