教育數據的采集需要綜合應用多種技術，每種技術采集的數據范圍和重點都有所不同。

大數據的采集是指利用多個數據庫來接收發自客戶端（web、app或者傳感器等形式）的數據，并且用戶可以通過這些數據庫來進行簡單的查詢和處理工作。

大數據采集過程主要的特點和挑戰：并發量高。

大數據采集環節涉及的關鍵技術包括：數據源的選擇和高質量原始數據的采集方法，多元數據的實體識別和解析方法，數據清洗和自動修復方法，數據演化的溯源管理，數據加載、流計算和信息傳輸技術。

根據教育數據的結構模型，不同層次教育數據的采集與生成方式、應用場景也有所不同。

一、教育大數據采集的常見技術

1、物聯感知類技術

主要包括物聯網感知技術、可穿戴設備技術和校園一卡通技術。

物聯網感知技術主要用于采集設備狀態數據，可穿戴設備技術主要用于采集個體生理數據與學習行為數據，校園一卡通技術則主要用于采集各種校園生活數據。

物聯網感知技術是實現萬物相連的前提，是采集物理世界信息的重要渠道。

目前在教育領域利用物聯網感知技術采集基礎信息，主要通過傳感器和電子標簽等方式進行——通常情況下，傳感器用來感知采集點的環境參數，電子標簽用于對采集點的信息進行標識。而對于采集后的信息數據，需經過無線網絡上傳至網絡信息中心進行存儲，并利用各種智能技術對感知數據進行分析處理以實現智能控制。學校的教室設備、會議設備、實驗器材等分布離散、信息透明度小、管理難度大，通過給這些物理教學設備粘貼RFID標簽或傳感器，分配專人管理，可以實現統一管理和調度，有效檢測設備的工作狀態。

可穿戴設備技術可以把多媒體、傳感器和無線通信等技術嵌入人們的衣著中，支持手勢和眼動操作等多種交互方式。

近年來，智能眼鏡、智能手表、智能手環等新產品的不斷出現，形態各異的可穿戴設備正在逐步融入人們的日常生活與工作中。可穿戴設備技術為自然采集學習者的學習、生活和身體數據提供了可能。

通過佩戴相關設備可以實時記錄學習者的運動狀態、呼吸量、血壓、運動量、睡眠質量等生理狀態數據，以及學習者學習的時間、內容、地點、使用的設備等學習信息。除此之外，可穿戴設備技術還可以與虛擬仿真、增強現實技術相結合，優化內容呈現方式、豐富學習環境，對學習者的所見、所聞、所感進行全息記錄。

校園一卡通技術是以校園網為載體，以電子和信息技術為輔助手段，集身份識別、校務管理以及各項校園服務等應用項目為一體的完整系統，可以采集的數據范圍包括：餐飲消費、洗浴收費、超市購物、運動健身、課堂考勤、圖書借閱、銀行轉賬、上機收費、學生選課、學生補助、就醫買藥等，幾乎涵蓋了校園生活的方方面面。部分地區的校園一卡通系統還與城市交通、醫療等系統關聯，學生可以方便地使用一卡通坐公交、地鐵，購買藥物等。這些數據的采集不僅對于教育管理有價值，對于整個城市的管理與規劃也有重要意義。

2、視頻錄制類技術

主要包括視頻監控技術、智能錄播技術與情感識別技術。視頻監控技術主要用于采集校園安全數據，智能錄播技術主要用于采集課堂教學數據，情感識別技術主要用于采集學生學習過程中的情感數據。

校園安全監控系統是一套旨在用于全面、實時監控校園運行情況，跟蹤學生出入學校情況，從而準確監控和預測校園中可能發生的危機地點，實現校園防火防盜和綜合等安全管理工作的系統。校園安全監控系統的核心技術是視頻監控，主要借助不同監控點的攝像機采集整個校園數據，以服務于學校管理中心、市教育局監控中心等不同監控單位來實時診斷校園安全。視頻監控系統能夠實現對學生教師以及校外人員出入校園情況的監控，實現對校園異常情況如對突發性奔跑、人員密集等進行預警，實現對校園設備的全面監控與管理，實現對各班級情況的有效監控[。

智能錄播系統通過先進的流媒體及智能化全自動控制技術，可以實時、自動地采集課堂教學數據，并同步實現在校園網或Internet上的視頻直播以及遠程互動教學功能，成為網上可實時直播、點播的學習資源，全真再現課堂教學的全過程。智能錄播系統主要通過教室內3臺可跟蹤定位的攝像機，來實時采集教學過程中的音視頻信息。此外，智能錄播系統還通過對電子白板的錄屏采集教學課件，最終形成3份不同角度的課堂實錄視頻、教學課件錄像以及定制的合成視頻。通過在教室中安裝智能錄播系統來實時采集課堂中教師的提問、引導、評價等教學行為，可以完整采錄教師在教學中使用課件的內容、使用的時間以及使用的方法，還可以采集到學生課堂上的回答內容、記錄、傾聽以及走神等行為。

情感識別技術通過觀察人的表情、行為和情感產生的前提環境來推斷情感狀態，其基本目的在于賦予計算機像人一樣觀察、理解和生成各種情感特征的能力。目前，情感識別技術主要通過面部表情和語音特征來提取情感信息。情感是影響線上線下學習效果的重要變量，學習過程中的情感數據采集至關重要。通過情感識別技術可以即時判斷學生的情緒狀態，進而提供針對性的支持服務。以在線學習為例，當學生在學習過程中出現煩躁情緒時，通過情感識別技術，系統可以給予學生適當的鼓勵或者減慢學習進度；當學生感到枯燥乏味、情緒低落時，系統可以適當降低內容難度并給出調動學生積極性的鼓勵話語；當學生感到充滿自信時，系統可以根據學生的水平提供更具挑戰性的學習內容與材料。

當前，主流的情感識別技術是基于面部表情特征的情感計算，該技術通過攝像頭實時采集學習者的臉部五官位置、肌肉運動等表情特征值來進行情緒識別。除此之外，還可以實時采集學習者的語音、文本、繪圖等輸入信息，對其中蘊含的情緒信息進行內容挖掘和智能分析識別。隨著人類對人腦結構認識的不斷深入，未來基于腦電波的情感識別采集技術將成為情感數據采集和情感識別的重要渠道。

3、圖像識別類技術

圖像識別類技術是人工智能的一個重要領域，是指利用計算機對圖像進行匹配、處理、分析，以識別各種不同模式的目標和對象的技術，主要包括網評網閱技術、點陣數碼筆技術與拍照搜題技術。

網評網閱技術主要用于采集學生考試成績數據，點陣數碼筆技術主要用于采集各種作業、練習、考試數據，拍照搜題技術主要用于采集學生作業練習數據。

互聯網閱卷系統是目前中考、高考、英語四級或六級考試等大型考試活動慣用的閱卷技術，是學生考試成績數據的重要采集技術。閱卷系統以計算機網絡技術和圖像處理技術為依托，采用專業掃描閱讀設備，對各類考試答卷和文檔進行掃描和處理，實現客觀題機器自動評卷以及主觀題教師網絡高效評卷。隨著試題庫系統以及人工智能技術的不斷發展，一些產品已實現對部分主觀題的自動評閱。

點陣數碼筆是一種新型高科技紙面書寫工具。通過在普通紙張上印刷一層不可見的點陣圖案，點陣數碼筆前端的高速攝像頭能隨時捕捉筆尖的運動軌跡，同時將數據傳回數據處理器，最終將信息經由藍牙或者USB線向外傳輸。點陣數碼筆既可以保存學習者的最終書寫結果，又可以記錄學習者的書寫過程信息，如書寫方式、書寫順序、書寫時間等，還可以結合書寫或者繪畫過程同步錄入聲音，采集書寫時的情景信息。點陣數碼筆是一種非常自然的書寫數據采集工具，十分貼近用戶的日常書寫習慣，因此有望成為作業、練習數據的主導采集工具。

拍照搜題技術是圖像識別技術在教育領域的應用形式之一，主要通過終端設備（如智能手機、平板等）來獲取相關題目的照片，繼而由系統根據已有的題庫進行自動匹配、處理與分析，最終篩選出與圖片最為相似的題目、答案及其解答思路。市場上越來越多的作業題庫產品開始提供拍照搜題功能，為學生日常作業練習數據的采集提供了很好的渠道。拍照搜題技術除了可以實現題目答案的檢索，還可以通過拍照上傳的方式存儲學生的作業練習結果以及過程數據。這些數據通過軟件平臺的處理分析，可以有效服務于教師的教學決策和學生的自我診斷。

4、平臺采集類技術

主要包括在線學習與管理平臺技術、日志搜索分析技術、移動APP技術與網絡爬蟲采集技術。在線學習與管理平臺技術主要用于采集各種在線學習與管理數據，日志搜索分析技術主要用于采集運維日志與用戶日志數據，移動APP技術主要用于采集各種移動學習過程數據，網絡爬蟲采集技術主要用于采集教育輿情數據。

在線學習與管理平臺是當前教育數據采集的重要載體，可以采集大多數網上學習、教研與管理活動數據。各種在線學習類平臺與管理類平臺，因定位和功能的不同，其支持采集的教育數據范圍和類型也有所不同——通常情況下，在線學習類平臺主要負責采集課程學習數據，如課程基本信息、課程資源、課程作業、師生交互信息、課程考核結果等；管理類平臺（如資產管理系統、人事管理系統等）主要負責學籍、設備資產、科研、財務、人事等信息的采集與管理。除了使用專門的在線學習與管理平臺采集數據外，還可以通過第三方的插件來采集數據，如基于火狐瀏覽器的油猴腳本可以自動采集BlackBoard平臺中的交互數據，包括學生信息交互頻次、交互內容以及交互的方向等。

日志文件中存儲了大量的用戶以及系統的操作信息，通過日志搜索分析技術可以有效篩選出有用的信息。日志搜索分析技術是指通過日志管理工具，對日志進行集中采集和實時索引，提供搜索、分析、可視化和監控等，最終實現對線上業務的實時監控、業務異常原因定位、業務日志數據統計分析以及安全與合規審計。日志搜索分析技術一方面可以實時監控教育設備及資產的運行狀況，如設備耗電量、故障信息、安全威脅等，為智能運維提供數據支撐；另一方面可以詳細記錄用戶的操作行為，如系統登錄次數、登錄時間、增刪查改等基本信息，用于教師、學生以及管理者的行為模式診斷。

移動APP技術，從本質上來看，移動APP技術與在線學習與管理平臺技術類似，只是采集渠道來自于移動終端，采集方式更加靈活、多樣。學生可以通過無線網絡，使用移動終端（如智能手機、平板、PDA等）與云端學習平臺進行互動。通過結合移動終端的定位技術，系統將實時采集學習者的學習地點、學習時間、學習內容以及學習狀態等信息，以服務于教師對學生學習情況的實時監測，進而實現個性化智能輔導。

網絡爬蟲是一個自動下載網頁的計算機程序或自動化腳本，是搜索引擎的重要組成部分。網絡爬蟲類產品如八爪魚采集器、網頁抓取軟件等，在數據采集領域有著廣泛的應用，可以定期實時采集各大門戶網站數據、監控各大社交網站、博客，自動抓取企業產品的相關評論。隨著互聯網新媒體（如門戶網站、微博、微信）的興起，教育領域的信息傳播呈現出傳播速度快、波及范圍廣和內容多樣化的特點。網絡爬蟲采集技術可以實時監控、采集教育領域網絡輿情數據，從而為有效處理各種突發事件提供可能。

參考文獻：教育大數據的來源與采集技術?? 邢蓓蓓 ?楊現民 ?李勤生