文章題目：基于眾包的數據清洗模型研究
作者：葉晨、王宏志
來源：中國人工智能學會 學會通訊 2017年 第3期
文章主要內容
1、提出了一種將主動學習與眾包平臺相結合來進行數據清洗的新方法。
2、在真實數據集上驗證了本文提出的模型，證明了所提方法的有效性。
學習點
1、由現有方法的問題提出新的方法來解決問題。
?????? 本文中提到的現有概率方法、經驗方法、基于規則方法等具有兩個問題：（1）缺少足夠的知識（2）復雜的數學計算。從而本文提出了基于眾包的主動學習模型，將主動學習與眾包相結合對劣質數據進行數據清洗。通過眾包手段進行數據清洗保證一定的精確度，同時結合主動學習模型減少眾包的開銷。
2、解決本文問題的三個步驟。
? ? （1）首先通過初始少量訓練數據集訓練一個機器學習模型M。該機器學習模型可以是貝葉斯、決策樹，或者支持向量機等模型。
??? （2）使用該機器學習模型M對每個元組u進行確認，計算該元組的不確定度Score(u)。
??? （3）根據不確定度選擇一部分元組利用眾包平臺進行確認，再將眾包的反饋結果添加到訓練數據集中再訓練，直到滿足給定的條件。
3、主動學習模型
????? 此模型適用于一些初始訓練集信息量就已經非常有效的情況，還有對精度要求非常高而使訓練集的記錄只能是正確記錄的情況。
（1）學習模型的初始化。通過初始訓練集中的少量記錄對學習模型中的各個分量分類器進行訓練，從而得到一個初始的總體分類器模型。
（2）選擇待標記記錄。利用候選修復記錄在各個分量分類器中的不一致分數來排序，將不一致分數最高的n個記錄作為待標記記錄，剩下的候選記錄集繼續利用訓練模型標記，直到準確度滿足需要為止。
（3）學習模型重訓練。眾包平臺上的工人對學習模型挑選出來的待標記記錄進行標記，工人給出候選真值集中其認為正確的答案。對于每一個給出結果的工人我們對其的可信度進行計算評估，然后將最可能的真值返回。學習模型重新訓練，去除掉那些已經得到標記的記錄，在剩下的記錄產生待標記記錄集合。
（4）結果反饋。直到分類結果已經達到一定準確率，合并眾包記錄集和機器學習記錄集產生最終的修復結果，數據集的修復完成。
4、交互主動學習模型
??????? 交互主動學習模型是指將眾包標記過的記錄反饋到訓練集，對學習組件進行重新訓練。
（1）學習模型的初始化。
（2）選擇待標記記錄。對每個候選修復記錄，每個分量分類器都給出其預測結果，最后根據各個分量分類器的判決結果選擇信息價值最大的記錄進行修復。
（3）結果反饋和學習模型重訓練。在這個階段，眾包平臺上的工人對學習模型挑選出來的待標記記錄進行標記，收集眾包平臺的結果，通過優化算法得到已標記記錄。學習模型重新訓練，去除掉那些已經得到標記的記錄，在剩下的記錄產生待標記記錄集合。
（4）循環訓練。重復階段1~3，直到已經達到一定準確率Q，則數據集的修復完成。
5、實驗階段
????? 在實驗階段，本文將測試選擇最不確定的眾包記錄(uncertainty/entropy)方法的有效性，我們將其與隨機算法(random)和投票算 法(vote)對比。在隨機算法中，將隨機選擇記錄進行眾包標記；在投票算法中，選擇占比最大的候選值作為真值。
? ? ? 本文提出的眾包記錄最大不確定度選擇方法在二次迭代準確率就超過了投票算法，而且準確率隨著迭代次數的增加穩步上升，可以看出我們采用最大熵方法作為最不確定的眾包記錄對比投票算法和隨機算法有很大的優勢。
