[摘要]學習分析技術(shù)為提升學習質(zhì)量提供了新的思路，而從學習分析實際應用的學習評價、診斷、預測、干預來看，評價模型的建立是重要的基礎。本研究以學生綜合評價為目標，通過理論演繹和專家訪談構(gòu)建了以投入度、完成度、調(diào)控度、聯(lián)通度和主動性為核心的五維度綜合評價參考理論模型，并通過學習行為數(shù)據(jù)聚合特征變量，構(gòu)建了相應的計算模型。在此基礎上，進行了相應的工具設計和研發(fā)，從而通過實踐應用驗證學生綜合評價參考模型的科學性和可用性。研究為學生的綜合測評提供了理論上的參考，為學習分析技術(shù)的實踐應用提供了方法和思路上的借鑒。

　 [關(guān)鍵詞]學習分析技術(shù);學生綜合評價參考模型;S-SERI;學習評價 一引言

　教育發(fā)展的目標是通過改革提升教育服務能力，能夠為所有有學習意愿的人提供教育服務;同時提升教育服務水平，能夠為每一個學習者提供個性化的教育服務，即構(gòu)建面向全體受眾的大規(guī)模個性化開放教育體系。要實現(xiàn)這種大規(guī)模個性化教育體系，我們認為解決的思路有兩個方向 [1] ，一類是發(fā)揮互聯(lián)網(wǎng)的社會交互特性，鼓勵學習者建立自己的學習空間，使用自己想用的互聯(lián)網(wǎng)服務建立連接、分享內(nèi)容、貢獻內(nèi)容、合作學習或者擴展自己的個人網(wǎng)絡和專業(yè)網(wǎng)絡。交互尤其是社會交互是這種教與學的核心，學習者通過交互建構(gòu)自己的數(shù)字身份，貢獻自己的智慧，通過持續(xù)不斷的創(chuàng)新推動課程的進化與發(fā)展，并不斷發(fā)展自己的概念網(wǎng)絡、技術(shù)網(wǎng)絡和社會網(wǎng)絡，注重問題的解決和創(chuàng)新。此時實現(xiàn)的是在線教育在社會性交互方面的潛力，主要是利用技術(shù)促進人與人之間的通信，改善師生之間、生生

　之間的交互 [2] 。另一類是充分利用大規(guī)模學習者在平臺中的學習和交互行為產(chǎn)生的海量數(shù)據(jù)，這些數(shù)據(jù)的應用和挖掘?qū)⒊蔀槠脚_價值的更大發(fā)源地。對于機構(gòu)來說，最有價值的是通過數(shù)據(jù)挖掘為學習者提供有針對性的教育服務，而這類教育服務并不是學習者“自有價值”的天然獲得，而是在此之上為提高個體學習效率和績效而進行的增值服務。按照美國教育部教育技術(shù)辦公室(U.S. Department of Education，Office of Educational Technology)2012 年簡報中的提法來進行概括，這些增值服務主要包括用戶知識模擬、用戶行為分析、用戶經(jīng)驗分析;用戶分類、分組;知識域模擬如學習課題分類排序，知識元素與相應的教學原則分析;趨勢分析;自適應和個性化學習。其中，對學習者最有價值的就是自適應和個性化學習，平臺能夠根據(jù)已記錄的學習者在線學習活動的行為數(shù)據(jù)、交互內(nèi)容數(shù)據(jù)以及相應的績效表征文本，對學習者的行為和經(jīng)驗進行建模和分類，從而提供最直接、最有效的學習診斷和預測，進而給學習者提升學習效率和效果提出有價值的建議。

　 學習分析技術(shù)強調(diào)基于數(shù)據(jù)的學習描述、診斷、預測和干預。第一個關(guān)鍵節(jié)點就是對于學生學習狀態(tài)的綜合性描述，這種描述不是類似于傳統(tǒng)商業(yè)智能的特征提取，而應該基于教育教學理論，從評估和發(fā)展兩個方面構(gòu)建在線學習者的綜合評價模型。本研究以在線學習者的綜合評價為主題，嘗試通過完整的學習分析技術(shù)，構(gòu)建基于學習行為數(shù)據(jù)的綜合評價參考模型，從而為學習者的個性化學習服務提供智能化決策支持。之所以選擇評價作為切入點，是因為學習分析技術(shù)所期待的個性化學習服務，來源都在

　于有一個科學的評價模型，只有建立了評價基準，才能夠做出相應的預警和預測服務，從而為有效的干預提供支持。

　 正如所有的傳統(tǒng)教育評價一樣，在線教育中學習者的綜合測評一直存在著科學性和可行性之間的矛盾。從科學性的角度來說，如何全面、正確評價學生的學習績效和個體發(fā)展，目前主要寄希望于終結(jié)性評價和形成性評價結(jié)合的思路進行考量。形成性考核是“為激發(fā)、提高學生的學習所設計的所有活動，并且要為學生提供他們學習過程中進步、發(fā)展的標志”。終結(jié)性評價是用于“對學生所取得的成就作出評估的記錄或報告”。

　[3] 在我國的教學評價中，考核類型的劃分往往是根據(jù)時間段來進行，形成性考核是指平時成績，終結(jié)性考核則是指期末成績。雖然我們形成了這種綜合評價，但終結(jié)性考核主要考察的是認知績效，而形成性考核的基本形式有：平時作業(yè)、階段性學習測驗、課程實踐教學、專題討論、合作學習、學習記錄等 [4] ，主要的考察點仍然是學生學習的認知結(jié)果。如今，對人才培養(yǎng)的定位越來越指向綜合性，尤其是在線教育領(lǐng)域，我們一直提出的是應用型人才的培養(yǎng)目標。這又涉及到一個可行性的問題，因為如果沒有合適的評價維度和指標體系，以及相應的數(shù)據(jù)采集方法，這種理想的綜合性評價，缺失可操作的具體方法和工具，難以為繼。

　 因此，如何在評價方面切實體現(xiàn)人才培養(yǎng)目標，就需要對目標本身進行綜合建模，從更充分的維度綜合形成科學、可操作的評價目標體系�；�于此，本研究重點回答以下兩個問題，一是如何構(gòu)建全面衡量學習質(zhì)量的綜合評價模型，二是在學習分析技術(shù)使用中，如何根據(jù)平臺記錄的有效教

　與學行為數(shù)據(jù)聚合到綜合評價模型，從而為可操作的自動化參考性評價提供基礎。

　二學生綜合評價參考模型的理論研究

　學生綜合評價參考模型的提出主要依賴于理論演繹和專家訪談。《教育評價辭典》中將教育評價定義為“根據(jù)一定的教育價值觀或教育目標，運用可行的科學手段，通過系統(tǒng)地搜集信息資料和分析整理，對教育活動、教育過程和教育結(jié)果進行價值判斷，從而使評價對象不斷自我完善和為教育決策提供依據(jù)的過程。” [5] 學生評價作為教育評價中的核心內(nèi)容之一，可以將基于學習分析的學生評價界定為：根據(jù)一定的教學目標，運用可行的科學手段，通過對學生學習產(chǎn)生數(shù)據(jù)的分析和整理，對學生的學習活動、學習過程和學習結(jié)果進行價值判斷，從而使學生不斷自我完善的過程。

　 從教育評價和學生評價的界定可以看出，進行學生評價，需要以教學目標作為價值判斷依據(jù)和準繩。對于教學目標，布魯姆將其分為認知領(lǐng)域、情感領(lǐng)域和動作技能領(lǐng)域三大領(lǐng)域;加涅將教學目標按照學習結(jié)果分為言語信息、智力技能、認知策略、動作技能和態(tài)度五個大類，由于在線學習基本不涉及動作技能的目標習得，因此，我們主要在加涅的目標分類基礎上，結(jié)合在線教育自身的特點以及在線學習者(主要是成人學習者)的特點，我們構(gòu)建了如下的五維度理論模型。

　從智力技能方面，我們在構(gòu)建評價模型的時候，引入了完成度這一維度來反映這類教學目標的具體完成情況。所謂的完成度，指的是學習者按照教師的教學設計，所完成的相應的學習活動的情況。需要特別說明的是，我們的前提是教師的在線課程教學設計是完整而合理的，這樣完成度能夠較好地表達學生的在線學習的結(jié)果情況。

　 從態(tài)度和情感方面，我們認為，不同的學習動機和學習需求是在線學習者的重要屬性，是評價學生在學習準備的態(tài)度方面的重要指標。為此，我們引入主動性這一評價維度，綜合判斷學生學習的態(tài)度準備，從而保證評價的全面性。

　 進一步，由于在線學習者的受教育背景、學習需求和興趣不同，其學習動機、學習風格、認知策略等相應也會有相當大的差異，并且由于在線學習大多數(shù)情況下是由學生自主進行，因此對學生的自主學習能力也有較高的要求。這些能力、方法上的差異對學生的在線學習效果有著重要的影響，因此需要進行全面的評價，以幫助教師針對不同類型的學習者采取有針對性的教學策略和教學干預，由此我們構(gòu)建了調(diào)控度的維度。

　 其次，在在線學習中，學生學習的投入水平也是我們關(guān)注的重點，如果說完成度主要考慮的學生學習的質(zhì)量評價，那么投入度考慮的就是學生學習的過程數(shù)量指標。在線教育相較傳統(tǒng)課堂教學有其特殊性，由于教與學的時空分離，教師、管理者僅僅通過作業(yè)、單元測驗、考試等一些傳統(tǒng)的評價手段很難實時掌握學生的學習過程和學習狀態(tài)，及時做出針對性的調(diào)控和干預。學習分析基于學生的學習行為數(shù)據(jù)進行評價，在對在線學習

　的過程監(jiān)控方面有其天然的優(yōu)勢，構(gòu)建學生評價模型時需要發(fā)揮這方面長處，彌補在線教育過程性評價方面的短板，由此我們引入了投入度作為表征學生在線學習過程的評價維度。

　 最后，在信息資源呈幾何級數(shù)增長的今天，學生的在線學習的目的不再僅僅是從固化的課程資源中獲取知識或技能，更重要的是培養(yǎng)在海量信息資源中發(fā)現(xiàn)、獲取乃至創(chuàng)造知識的能力。聯(lián)通主義學習理論認為，網(wǎng)絡時代的學習者需要具備從更大范圍發(fā)現(xiàn)和組織信息資源的能力，具備辨析信息資源內(nèi)容和發(fā)現(xiàn)信息間關(guān)聯(lián)性的能力，具備建立社會化連接以交流共享信息的能力以及通過創(chuàng)造內(nèi)容與他人聯(lián)通的能力。[6] 在聯(lián)通主義學習中連接的建立和網(wǎng)絡的形成都依賴于交互的開展，整個網(wǎng)絡以交互為核心。學習者參與到與實踐者、其他學習者、教師和導師的交互之中，這種社會交互對學習者了解課程內(nèi)容并在空間中進行定向至關(guān)重要 [7] 。從在線學習的發(fā)展趨勢和對學習者的學習素養(yǎng)要求的角度出發(fā)，我們構(gòu)建了聯(lián)通度這一維度來評價網(wǎng)絡時代學習者所需要具備的能力素養(yǎng)。

　 初步模型構(gòu)建后，研究者邀請了在線教育領(lǐng)域、學習分析領(lǐng)域和教學評價領(lǐng)域的 7 位專家進行了半結(jié)構(gòu)化訪談，獲得了相應認可后，我們最終以在線教育人才培養(yǎng)目標為核心，結(jié)合教育評價理論和遠程教育相關(guān)理論，提煉構(gòu)建了學生綜合評價參考模型，稱為 S-SERI 模型(Student-Systematically Evaluation Reference Indicator)。

　 S-SERI 模型由維度和指標構(gòu)成，其中維度滿足對學生的某方面評價需求，具有一定概括度和抽象層次，可能包含多個指標，指標則是對維度的

　具體分解。例如衡量學生在線學習投入的“投入度”維度，包括“行為投入”、“認知投入”、“情感投入”等一級指標，在“行為投入”指標下又包括“活躍度”、“持續(xù)度”等二級指標。維度和指標確立主要基于以下兩個原則：①典型性原則。評價指標應選取最能反映學生在該評價目標上發(fā)展水平的典型特征，并不需要將所有反映評價目標的指標一個不漏地堆積起來，評價模型最終應用于在線教育教學實踐，過多的指標可能反而讓教師和學生難以解讀、無所適從;②可操作性原則。維度一級級分解成的最終指標應該是具體的、可以觀察、描述和測量的。構(gòu)成 S-SERI 模型的五個維度具體如下：

　圖 1 學生綜合評價參考模型

　1.投入度

　 從活躍性、持續(xù)性等方面對學生在線學習的投入程度進行評價。對投入度的評價除了行為投入以外，還包括更深層次的認知以及情感投入。投入度是對學生學習過程進行表征的重要維度。

　 2.主動性

　 包括完成自主學習任務的主動性、參與教師指定教學活動的主動性以及進行交互的主動性等等，主動性在一定程度上表征了學習者的學習動機水平與變化情況。

　 3.調(diào)控度

　從學習的規(guī)律性、持續(xù)性、效率等方面對學生調(diào)控自己學習過程的水平進行評價，調(diào)控度是對學生認知策略、自主學習能力進行表征和評價的重要維度

　 4.完成度

　 以課程的教學目標為標準對學生實際完成情況進行評價，對于不同類型的課程，教學目標的側(cè)重點不同，完成度的指標以及權(quán)重設置也會進行相應調(diào)整。

　 5.聯(lián)通度

　 對學生建立社會化認知網(wǎng)絡的能力進行評價，包括建立連接的能力，維護連接的能力等。聯(lián)通度的評價核心是交互，包括學生與資源的交互、學生與教師以及其他學習同伴的交互。

　 進一步，我們根據(jù)構(gòu)建的理論模型，開展基于學習數(shù)據(jù)的綜合建模工作。由于維度建模來源于理論演繹和專家訪談，下一步的重心是如何將構(gòu)建的維度模型進一步細化并提煉出相應的數(shù)學結(jié)構(gòu)，從而為量化評估提供可操作的依據(jù)。

　三數(shù)據(jù)模型的構(gòu)建

　學生評價的理論模型構(gòu)建是由上而下，而算法模型的構(gòu)建是由下而上，即先確定各維度下最底層指標的計算方法，再將這些指標進行聚合，最終得到維度算法模型，模型構(gòu)建的具體流程如下圖所示。

　圖 2 學生綜合評價參考模型數(shù)據(jù)分析應用流程

　1.原始數(shù)據(jù)匯聚與預處理

　學生的原始學習數(shù)據(jù)往往是多源異構(gòu)的，分散存儲在內(nèi)容管理系統(tǒng)、學習管理系統(tǒng)、教務管理系統(tǒng)等各個平臺中，將這些數(shù)據(jù)匯聚到一起，盡可能對學生學習時所發(fā)生的過程進行還原是科學和全面評價的基礎。這就要求對各個平臺的數(shù)據(jù)有一個全面完整的認識，理順數(shù)據(jù)中蘊含的業(yè)務邏輯，提取出在線教育的各類業(yè)務工作中的關(guān)鍵主體、要素和流程。如針對課程教學業(yè)務，其主體包括教師、學生和課程;要素包括資源、交互、作業(yè)和測試等，流程包括資源學習、交流討論等。對于業(yè)務所涉及的流程，則是相互交織的一系列復雜過程，包含多種動態(tài)和靜態(tài)信息。流程往往體現(xiàn)了要素的狀態(tài)變化和行為過程。在此基礎上，將在線教育的核心教學與管理業(yè)務分解，形成覆蓋學生學習過程的完整數(shù)據(jù)描述。

　 參考 xAPI 的理念 [8] ，基于業(yè)務解析提取出的關(guān)鍵學習主體、要素和流程，我們構(gòu)建了基于學習的活動流。活動流由必要屬性和可選屬性構(gòu)成：必要屬性包括活動主體、動作以及活動對象三類，可選屬性包括活動時間、活動結(jié)果等若干類。通過這些屬性，可以對學生的學習活動過程進行描述，例如小張(活動主體)在某個時間(活動時間)觀看了(動作)關(guān)于某個知識點的

　視頻(活動對象)。表 1 列出了一些可能的必要屬性，不同教學設計、教學情境中這些屬性需要做出相應調(diào)整。

　表 1 活動流中一些必要屬性的描述

　構(gòu)建基于學習的活動流，方便不同數(shù)據(jù)源按照統(tǒng)一的規(guī)范進行整合，提高數(shù)據(jù)匯聚的效率按照這種規(guī)范描述的學習過程，最終會以具有語義結(jié)構(gòu)的數(shù)據(jù)進行存儲，也便于機器理解和學習。同時，由于學習分析大部分基于行為數(shù)據(jù)進行，對數(shù)據(jù)預先進行基于(行為)活動的描述和封裝，有助于后續(xù)研究的進行。

　 在解析業(yè)務，將學習活動數(shù)據(jù)化的過程中，會遇到數(shù)據(jù)質(zhì)量的問題。當前在線教育的數(shù)據(jù)質(zhì)量整體水平還比較低，缺失值比例較高，可能會出現(xiàn)異常值、不確定的定義和編碼、無效或錯誤的數(shù)據(jù)以及數(shù)據(jù)不一致等情況。在這個階段當中要及時地發(fā)現(xiàn)數(shù)據(jù)質(zhì)量存在的問題，對數(shù)據(jù)進行清洗，盡可能提高數(shù)據(jù)質(zhì)量，為后續(xù)的分析奠定基礎。

　 2.潛在變量生成

　潛在變量是指從原始數(shù)據(jù)庫中獲得的，在意義上與模型可能相關(guān)的變量。這些變量與評價需求相關(guān)聯(lián)，且數(shù)據(jù)質(zhì)量較好。在潛在變量生成階段中，我們在之前數(shù)據(jù)匯聚的基礎上，提取出能夠描繪學習活動核心要素和流程的關(guān)鍵數(shù)據(jù)，這些數(shù)據(jù)是后續(xù)模型構(gòu)建的基礎。前一步中匯聚的數(shù)據(jù)集合是對教學活動和學生學習經(jīng)歷的完整描述，潛在變量是在其基礎上進行的提煉，是一系列能夠表征教學與學習情況的有效標準數(shù)據(jù)項。

　潛在變量生成階段，僅通過對于機構(gòu)教學要素和教學流程的分析，得出有效的數(shù)據(jù)項。應盡量避免復雜計算。如必須進行復雜計算，則只有通用性的，能夠?qū)�機構(gòu)的教學與管理起到重要監(jiān)測作用的變量，才可以納入到潛在變量中。這些數(shù)據(jù)項可以是基本的屬性量，如課程的資源數(shù)等;也可以是行為計數(shù)，如每日學生資源訪問量;也可以是簡單計算的結(jié)果，如作業(yè)提交時間間隔，即教師發(fā)布作業(yè)與學生提交作業(yè)之間的時間差值;在少數(shù)情況下，可以是需要較為復雜計算的結(jié)構(gòu)，如教學交互的有效性等。

　 3.特征變量選取

　特征變量是從潛在變量中選出的，經(jīng)過統(tǒng)計分析后證明具有足夠好的數(shù)據(jù)質(zhì)量，可以進一步進入算法構(gòu)建的變量。特征變量選取又稱作特征工程(Feature Engineering)，根據(jù)具體的評價指標，用特定領(lǐng)域知識或機器學習的方法來選擇、刪除或者組合潛在變量得到特征，作為指標的計算變量。之所以需要進行特征變量選取，是因為多余的變量會對模型訓練產(chǎn)生干擾，有可能造成模型的過擬合;另外變量過多時，在數(shù)據(jù)體量越來越大的情況下，會大大降低模型的訓練和計算效率。

　 特征變量與評價指標有著較大的不同，它是評價指標構(gòu)建的基礎，可以通過不同類型的計算，成為監(jiān)測教學與管理狀態(tài)的重要指標。這些特征變量有可能是顯而易見的，如學生在線觀看教學視頻的次數(shù)、時長等，也有些可能需要經(jīng)過一定的計算變換，如學生觀看教學視頻后進行練習的概率、正確率等等。

　當需要計算的指標較為簡單、潛在變量較少的時候，可以讓專家基于特定的領(lǐng)域知識來人工選取特征變量。而指標算法復雜，涉及較多變量的情況下，人工的方法存在一定的局限性，可能會影響到指標算法的準確性，所以我們綜合采用如下幾種方式來選取特征變量：

　 ①計算變量與對應指標的相關(guān)性，選擇與指標有相關(guān)性的變量作為特征變量;

　 ②將潛在變量組合后再來選擇特征變量，如對學生的人口學數(shù)據(jù)(性別、年齡、前置學歷等)進行組合，來獲得較大的特征集，組合特征能夠同時兼顧全局模型和個性化模型;

　 ③在數(shù)據(jù)構(gòu)造較為復雜的時候可以采用深度學習的方法來自動識別特征變量，深度學習又被稱作無監(jiān)督特征學習(Unsupervised Feature Learning)，具有自動學習特征的能力，可以從大規(guī)模的未標注數(shù)據(jù)集中學習數(shù)據(jù)的本質(zhì)特征。

　 維度值和特征變量的關(guān)系如表 2 所示，由于篇幅關(guān)系，這里并沒有列出所有的特征變量。所有的特征值都有兩個數(shù)值，一個是原始特征值，如學習頻次，某個學生以周為單位的學習頻次是 15 次，那么記錄的特征值就是 15，但由于綜合評價需要將特征值聚合成維度值，所以就需要將原始特征值轉(zhuǎn)換為百分制，具體的百分制得出，一般通過聚類、Z 分數(shù)、邏輯回歸等方法，將特征值轉(zhuǎn)換。如學習頻次 15，轉(zhuǎn)換為百分制則為 90。

　表 2 特征值的計算與維度計算示例

　4.模型構(gòu)建

　對于指標算法構(gòu)建，主要分兩種類型，一種類型是可以通過問卷、量表或者其他測量方法獲得指標因變量的值，這種情況下采用有監(jiān)督的機器學習例如人工神經(jīng)網(wǎng)絡或者一些分類算法，通過調(diào)整參數(shù)進行模型訓練，選擇準確度較高的算法即可。

　 另一種指標構(gòu)成復雜，且對應因變量的值獲取相對較為困難，如何采用無監(jiān)督的機器學習方法對這些指標進行分析是在模型構(gòu)建的關(guān)鍵難點問題。要完成這種分析，需要先將專家知識通過某種方式傳授給機器，再由機器完成專家所不能夠完成的整合分析。如對于學生的活躍度這個指標的分析，可以找到在線時長，登錄次數(shù)資源學習等特征數(shù)據(jù)，由專家對不同活躍水平的學生貼標簽，然后再對各類學生進行聚類等各種分析。將分析的結(jié)果，進行初步的模型計算。接下來，根據(jù)計算結(jié)果，確定學生活躍度的分析算法。

　 兩種類型的指標算法確定以后，我們采用專家模糊層次分析和機器學習相結(jié)合的方法確定各個低一級指標的權(quán)重，最后一步步向上聚合成更高級別的指標、維度乃至 S-SERI 模型。

　 5.模型驗證迭代

　模型的信度和效度是其重要的衡量指標。除了一般性的數(shù)據(jù)挖掘指標之外，需要將其同業(yè)務數(shù)據(jù)進行對比，并根據(jù)平臺當前的數(shù)據(jù)情況，確定

　其置信區(qū)間。模型構(gòu)建需要多輪迭代，需要嘗試各種特征變量的組合與各種不同類型的模型計算方式的結(jié)果，通過比較計算結(jié)果最終確定模型算法。

　四基于數(shù)據(jù)模型的評估實踐

　基于國內(nèi)某高校網(wǎng)絡教育學院的數(shù)據(jù)，我們對上述的 S-SERI 模型進行了應用和驗證，該學院使用了第三方開發(fā)運維的專門學習管理系統(tǒng)，由于數(shù)據(jù)可獲得性和數(shù)據(jù)質(zhì)量等問題，對網(wǎng)絡學習系統(tǒng)相關(guān)頁面另外進行了埋點處理，最終形成了相應的數(shù)據(jù)倉庫和數(shù)據(jù)集，如前文圖 2 所示。根據(jù)特征值計算，最終聚合出相應的維度值和 S-SERI 值，構(gòu)建應用系統(tǒng)進行可視化呈現(xiàn)，如圖 3-圖 5 所示。

　圖 3 學院總體 S-SERI 計算

　圖 4 學習者個人 S-SERI 計算

　圖 5 學院總體 S-SERI 趨勢分析

　 其中，圖 3 展示了學院實時的 S-SERI 總體均值，表征的是學院學生綜合評價的總體情況;圖 4 展示了某位學習者的實時 S-SERI 值，表征的是學習者個體的學業(yè)綜合評價情況;圖 5展示了兩個月內(nèi)學院學生的 S-SERI總體均值，表征的是學習者總體變化的趨勢�；�于上述數(shù)據(jù)分析，進一步開展了基于 S-SERI 值的管理和教學干預建議參考。如對于個體學習者來說，工具將根據(jù)其五個維度的得分情況，分析其分值高低的原因，從而從底層數(shù)據(jù)采集點的教育意義出發(fā)，提出適應性的干預建議。以圖 4 所示的學習者為

　例，對他的綜合評分所處的相對位置進行了展示，對學習主動性的維度得分偏低提出了有針對性的提醒，當然，我們進一步根據(jù)主動性維度具體的特征值計算規(guī)則，可以發(fā)現(xiàn)是他在完成教師布置的必做學習活動中，往往是在提交的最后節(jié)點之前，甚至之后才完成相應的學習活動，我們對其進一步的學習改進建議則是合理的安排學習時間，更加主動的參與學習活動等。

　 當然，系統(tǒng)的設計和應用最終目的是判斷我們基于學習數(shù)據(jù)開展的學生綜合評價參考模型的科學性和有用性�？茖W性這一點在前文的理論推演和專家訪談中予以了部分保證，還需要在在線教育機構(gòu)的實踐應用中，予以不斷的反饋和迭代，方能進行系統(tǒng)性的優(yōu)化。從可行性的角度來說，本研究的實踐表明，利用學習分析技術(shù)，形成系統(tǒng)化的學習者測評模型是能夠部分代替?zhèn)鹘y(tǒng)的評價設計的，之所以是部分代替，原因之一是學習分析技術(shù)嚴重依賴于數(shù)據(jù)的可獲得性，從理想的設計角度，研究者希望獲得一切學生相關(guān)的數(shù)據(jù)，從而更加深層次和全面的解讀在線學習，但從實踐角度出發(fā)，我們的原型和機構(gòu)進行了多輪碰撞，最終形成了當前的最優(yōu)解決方案，尤其是我國的網(wǎng)絡教育機構(gòu)大多并不是用統(tǒng)一的系統(tǒng)進行招生、教務、學習、社交、管理等業(yè)務，這給數(shù)據(jù)匯聚帶來了極大的困難。另一個重要原因也在于我們在線教育本身的數(shù)據(jù)質(zhì)量的問題，在此不再贅述。盡管有上述困難，本研究的實踐應用很大程度上證明了基于學習分析的S-SERI 模型的科學性和有效性，能夠為在線教育的教與學服務改進提供支持。

　五討論與建議

　本研究是以學習分析技術(shù)對在線學習者的綜合評價展開了建模和研發(fā)應用。研究從投入度、完成度、調(diào)控度、聯(lián)通度和主動性五個維度構(gòu)建了學生綜合評價參考模型，在此基礎上，通過在線學習平臺匯聚的學習數(shù)據(jù)，進行了從行為數(shù)據(jù)到特征數(shù)據(jù)，再到維度計算，最終形成綜合評價參考值的相關(guān)研究。進一步，本研究通過設計的理論模型和分析計算方法，綜合設計開發(fā)了相應工具，在網(wǎng)絡教育機構(gòu)中予以實際應用，證明了本研究構(gòu)建的 S-SERI 模型的科學性和可行性�？偨Y(jié)本輪研究，我們認為，在基于學習分析技術(shù)進行學習者綜合評價的研究中，需要重點考慮以下幾點。

　 首先是評價的目的。本研究構(gòu)建的評價模型是針對學習者的全面綜合評價，并不一定適合所有的課程類型，而且研究中并沒有考慮實踐技能等方面的習得(最主要的原因是在線學習數(shù)據(jù)中這方面的特征指標難以獲得)。在具體的課程教學模式中，有的課程可能采取的是真正意義的自主學習，以學習者自我監(jiān)控、自定步調(diào)、自定學習方式等為主體，對學習中交互的發(fā)生并沒有活動要求，甚至目標中并不強調(diào)，此時聯(lián)通度這一維度的價值并不大;而有的課程以師生和生生之間的教學交互為核心，在討論中演進整個學習過程，并不涉及大量的形成性自主測試，此時的完成度維度則對該類課程價值不大。我們目前的設計的是一個較為普適的框架，更多針對的是以視頻瀏覽、在線測試、形成性作業(yè)、論壇交互、答疑反饋等為主要學習活動的教學模式，各維度的計算權(quán)重也是以此作為依據(jù)由專家模糊層次分析確定。為了考慮不同的評價目的，我們除了制定通用的 S-SERI 計算模

　型外，也在工具的設計中提供了教師自定權(quán)重的相關(guān)調(diào)整機制，從而保證工具本身的通用性。需要著重強調(diào)的是，評價的目的決定了我們的模型設計，并對最后的應用提供直接參考，這也是為什么本研究中將提出的模型命名為“參考”模型。

　 其次是特征數(shù)據(jù)的聚合問題。學習分析的數(shù)據(jù)源頭是平臺記錄的各類行為數(shù)據(jù)本身，基于原始行為數(shù)據(jù)的分析在綜合測評中直接應用并無可能，需要將其按照實際應用聚合成相應的特征變量。但是特征變量的選擇是一個自上而下和自下而上的統(tǒng)一進程。前者要求特征變量的選擇必須有維度的解讀意義，即能夠表征出該維度的某個方面;后者要求特征變量的選擇和行為數(shù)據(jù)能夠匹配，能夠用最底層的行為數(shù)據(jù)聚合而成，而非簡單的理論邏輯推演得出，兩者共同對特征工程提出了大量的研發(fā)和數(shù)據(jù)清洗要求。在本研究中，為解讀學生綜合評價參考模型，依據(jù)底層數(shù)據(jù)的可獲得性，共聚合形成了 32 個特征變量，其中一半左右的變量通過簡單的統(tǒng)計分析就能聚合而成，如周均學習時長等;另一半的特征變量需要通過基于行為數(shù)據(jù)的負責運算而得，如基于社會網(wǎng)絡分析的社交中心度和基于數(shù)據(jù)包絡分析的學習效率等。特征工程是本次研究中承上啟下的關(guān)鍵環(huán)節(jié)，從本研究的情況來看，它是決定綜合測評能否實踐應用的核心，是工具研發(fā)的數(shù)據(jù)科學基礎。

　 最后，本研究構(gòu)建的理論模型和工具，在實踐應用中，曾經(jīng)在方法論層面有所猶豫。一般進行此類的評價研究，希望能夠通過有驗證的數(shù)據(jù)對照環(huán)節(jié)進行比較從而論證評價模型的科學性。比如，基于學習行為數(shù)據(jù)構(gòu)

　造綜合測評模型對學習者進行測量形成相應的數(shù)據(jù)集，在將該數(shù)據(jù)集和按照傳統(tǒng)評價方式(如考試)的成績進行驗證，通過兩套數(shù)據(jù)的相關(guān)性或擬合度來驗證評估模型的成功與否。在本研究中，我們最終放棄了該研究范式，主要原因在于我們構(gòu)建的是綜合測評模型，而傳統(tǒng)的成績度量主要是考察認知結(jié)果，在在線學習領(lǐng)域，并沒有特別合適的評價數(shù)據(jù)作為比較驗證對象，二來本研究的出發(fā)點在于學生的學習狀態(tài)客觀真實地體現(xiàn)在了日常學習的點點滴滴行為中，這種基于行為的綜合測評能夠更加全面而客觀地體現(xiàn)學習者的綜合績效，而這也是未來評價的理念指向。因此，我們最終選擇了設計性研究的范式，通過多輪的迭代來驗證模型的科學性和有效性，在每一輪的迭代中，我們將搜集教師和學生的反饋信息，從而對模型本身和工具應用做出修正。

　 總之，學習分析技術(shù)為教育教學的改進提供了新的思路和方法，研究者對此投入了極大的熱情。在線教育領(lǐng)域由于學習行為的記錄相對便捷和全面，因此成為此類研究的突破口。大量的學習分析應用都需要以評價作為基準展開，本研究以學生綜合測評作為對象，構(gòu)建了相應評價參考模型，并進行了實際應用。研究成果并不完美，但我們認為匯報我們的研究范式和研究思路，同樣具有重要的參考意義。我們將在已有研究的基礎上，不斷迭代完善學生綜合測評模型，并據(jù)此進一步為教學和學習個性化干預提供指導意見，從而實現(xiàn)提升學習質(zhì)量的最終目的。

　[參考文獻]

　[1]鄭勤華.學習理論與遠程教育成本-效益實現(xiàn)路徑研究[J].開放教育研究,2014,(10):29-37.

　[2]Moore, M., Kearsley, G. Distance Education: A Systems View[M]. Belmont: Wadsworth Publishing Company,1996

　[3]Morgan, C. and O’Reilly M.Assessing Open and Distance Learners [M]. London: Kogan Page, 1999.

　[4]陳庚，謝浩，鄭勤華. 網(wǎng)絡教育教學管理[M]. 北京：中央廣播電視大學出版社, 2012.

　[5]陶西平.教育評價辭典[M].北京:北京師范大學出版社,1998:55.

　[6]王志軍,陳麗. 聯(lián)通主義學習理論及其最新進展[J]. 開放教育研究,2014,(5):11-28.

　[7]Siemens, G. Orientation: sensemaking and wayfinding in complex distributed online information environments[D].Aberdeen：The University of Aberdeen,2011.

　[8]Experience API -ADL NET.[2016-07-21][EB/OL]

　[Abstract]The technology of learning analytics provides a new idea to improve the learning quality. Based on the assessment, diagnosis, prediction and intervention four areas where learning analytics is applied in, the construction of assessment model is the most important foundation. This research aimed for systematical evaluation of students, constructed a

　five-dimension theoretical evaluation model by theoretical deduction and expert interviews, which contains dimensions of engagement, completeness, regulation, connectivity and initiative. Also a correspondingcomputational model was developed through characteristic variableaggregation using the data of learning behavior. On the basis of the theoretical and computational model, an evaluation tool was designed and developed to examine the scientificalness and serviceability of the model in practical uses. The research provided some theoretical reference for the systematical evaluation to students, as well the idea and method reference for the practical application of learning analytics technologies.

　[Keywords]Learning analytics technology; Student systematical evaluation reference indicator; S-SERI; Learning evaluation

相關(guān)熱詞搜索：學習 學習者 建模