摘 要：煙葉質量受多種因素的影響，為實現煙葉質量分析、預測和預警的平臺，設計并實現了基于大數據分析和云計算技術的Web大數據挖掘平臺，通過采集抓取互聯網上涵蓋煙葉的整個種植周期的煙葉種植區(qū)氣候、環(huán)境、土壤、病蟲害等信息，輔以其他檢測數據，利用大數據分析技術評估和預測煙葉的質量。應用效果表明，利用大數據算法對影響煙葉質量的互聯網數據進行挖掘分析，不僅可以用較小的人力物力完成更大覆蓋區(qū)域的全面的煙葉質量評估，還可實現質量預測預警，為卷煙生產提供保障。
　　關鍵詞：煙葉質量評估；大數據；Web數據挖掘
　　中圖分類號：TS46
　　煙葉是卷煙工業(yè)企業(yè)生存和發(fā)展的基礎，是對卷煙產品的發(fā)展具有制約作用的重要資源。煙葉的品質、產量水平受氣溫、大氣環(huán)境條件、土壤以及病蟲害等生態(tài)條件和生產措施因素的影響，而煙葉原料的采購又具有范圍廣、數量大、種類多、結構寬等特點。為保證煙葉的質量，需要對煙葉種植的整個周期進行監(jiān)控。傳統(tǒng)的方式需要依靠現場實地抽檢、監(jiān)測，有著耗費人力物力比較大、收集到的信息量比較少、覆蓋的種植區(qū)域比較小、最終數據匯總和處理比較困難、企業(yè)之間數據互通比較困難等缺點。
　　隨著全球信息化和互聯網技術的高速發(fā)展，互聯網上出現了海量的數據信息。大量的非結構化的天氣信息、溫濕度信息、病蟲害的預報、土壤情況等信息都可以直接從互聯網上采集到，利用這些數據來進行分析和預測，就是大數據處理技術的應用。建立基于大數據的煙葉種植質量評估平臺，可以避免傳統(tǒng)監(jiān)控方式的缺點，更快速、有效、準確的實現煙葉質量分析、預測、預警，從而為卷煙生產提供更好的保障和條件。
　　1 系統(tǒng)架構
　　1.1 大數據分析與云計算技術
　　大數據分析是從種類繁多的海量數據中，快速獲得有價值信息的一種技術，它是商業(yè)智能的演進，正在改變世界的各個領域，從商業(yè)到醫(yī)療衛(wèi)生、政府機構、農業(yè)和經濟領域、人文以及社會的各個領域。大數據分析的特點在于能夠利用全部數據，而不是僅僅依靠隨機采樣的一小部分樣本數據[1-2]，因為可以收集、存儲和分析所有的相關數據信息，就不會受到樣本集小、樣本有偏差或者隨機性不夠所帶來的分析誤差的影響，從而可以獲得更準確合理的分析結果。目前已經出現了很多利用大數據進行分析和預測的例子。例如，谷歌利用聚合搜索數據對流感進行跟蹤，可達到接近實時的效率和非常高的準確度[3]。后面探討如何利用從互聯網采集到的各種非結構化信息，結合企業(yè)自有的煙葉檢測、采購數據，分析和預測收獲時煙葉質量的方法。
　　大數據分析通�；�于云計算平臺實現，因為實時的大型數據集的分析需要非常強有力而又彈性可擴展的計算能力，云計算平臺正好適應了這種需求。云計算是一種成本低的分布式并行計算環(huán)境，可以適應規(guī)模不同的數據，開發(fā)方便，向用戶屏蔽了底層的技術細節(jié)，節(jié)點加載、數據的劃分和任務調度無需用戶考慮。使用云計算可以在不增加現有設備的情況下大幅度提高數據處理的規(guī)模和效率，節(jié)點的擴充非常方便，系統(tǒng)可以自動處理失敗的節(jié)點，容錯性能比較好。
　　1.2 平臺框架
　　設計并實現了一個統(tǒng)一的基于云計算的可以靈活擴展的大數據處理平臺（BDAP，Big-Data Analysis Platform），能夠實現數據采集、實時分析，批量處理和數據導出等功能。平臺具有以下特性：
　�。�1）可從不同的數據源（Web數據、結構化數據、數據庫等等）以很高的吞吐能力把數據存儲在基于Hadoop的大數據中心中；
　�。�2）可對實時數據做流分析；
　�。�3）支持工作流管理，工作流支持與標準的企業(yè)信息系統(tǒng)或者是Hadoop操作進行交互；
　　（4）支持高效率的數據導出，可以把數據導出到NoSQL數據庫或者關系數據庫；
　�。�5）支持不同數據源數據的協同分析。
　　該平臺框架如圖1所示：
　　整個平臺由數據層、大數據處理層、管理層三部分組成，平臺由數據流驅動，數據層負責將各種數據來源以流的方式提供給中間的大數據處理層；大數據處理層是建立在云計算平臺之上的，負責對數據層傳入的數據流進行分析處理，處理之后的數據由管理層展現給終端用戶。
　　在BDAP平臺的基礎上，結合煙葉種植質量評估的需求，設計了具體的實施方案和關鍵算法，形成了基于大數據的煙葉種植質量評估平臺（BDAP-TQ，Big-Data Analysis Platform for Tobacco Quality），下面將介紹該平臺的技術實現細節(jié)。
　　2 技術實現
　　2.1 數據層實現
　　數據層實現數據采集和清理的功能，采用web界面的調度平臺，實時監(jiān)控云平臺上的爬蟲運行狀況。獲取的數據分類存入Hadoop分布式文件系統(tǒng)（HDFS）中或者數據庫中，可以采集到瀏覽器能瀏覽的結構化和非結構化的內容，支持各種頁面類型。數據層基于云計算平臺，可以根據數據抓取的資源需求進行彈性擴展，具有高效的信息處理技術，可以準確獲取系統(tǒng)所需求的內容。數據層的實現框架如圖2所示：
　　關于采集數據的選擇過濾，主要是對氣象、大氣、土壤、病蟲害等信息進行提取，這是因為：
　�。�1）煙葉的質量和產量受環(huán)境條件和生產措施的影響，從煙草品質來看，對氣溫條件的要求是前期較低，中期較高，氣溫過高和過低對煙葉質量影響都很大[4]。
　�。�2）大氣環(huán)境條件也是影響煙葉質量的重要條件之一，重金屬鉛在環(huán)境中容易污染植物葉片，作物中鉛的含量富集程度以葉最高。作物中鉛含量的調查表明，靠近公路兩側的作物的鉛含量遠遠高于遠離公路的作物，大氣中的鉛含量決定了農作物中的鉛含量水平[5]。
　�。�3）土壤是優(yōu)質煙葉生產的基礎，土壤因素與煙葉的品質和產量密切相關。隨著吸煙與健康研究的深入開展，人們越來越關注煙葉含有重金屬的問題，煙葉重金屬的含量和其他作物有一定的相關性，因此可以通過互聯網上大量的其他作物的重金屬情況結合GIS進行關聯性分析，可以得出種植區(qū)域煙葉重金屬含量情況。

相關熱詞搜索：煙葉 評估 質量 數據 設計