10.23——10.27《深度自適應》

領域自適應:

多用于文本分類,屬于直推式遷移學習,直推式遷移學習定義:給定一個源域和相應的學習任務,一個目標域和相應的學習任務,直推式學習旨在利用源域和目標域中相同的知識來提高目標域中的目標預測函數(shù)。

《基于深度學習的體態(tài)與手勢感知計算關鍵技術研究》

基于深度學習的肌電手勢識別:

并不需要任何附加信息或手工設計的特征提取器,基于高密度肌電信號(HD-sEMG),使用二維陣列電極采集的肌電信號,使得肌肉活動產生的電勢場在時間和空間上的變化可被多個緊密分布在皮膚表面的電極同時記錄下來。HD-sEMG中的肌電信號描繪了位于電極覆蓋區(qū)域內的肌肉活動的時空分布,同時HD-sEMG的瞬時值呈現(xiàn)了在特定時間點肌肉活動所涉及的生理過程的相對全局的測量。瞬時HD-sEMG內部可區(qū)分出不同手勢模式,可以將采集到的HD-Semg描繪出電勢在空間的分布,其對應的熱度圖即為肌電圖像,肌電圖像中的像素數(shù)(分辨率)由其采集設備中的電極陣列決定,即電極的數(shù)量及其電極間距離(例如,具有16行8列的電極網格可W采集8*16像素的肌電圖像)。


圖1基于瞬時肌電圖像和卷積神經網絡的手勢識別方案

主要是將原始肌電信號值從(-1,1)映射到(0,255),即,其中x是原始肌電信號,I是肌電圖像。構建一個8層CNN結構,網絡的前兩個卷積層用于提取公共的底層圖片特征,作者發(fā)現(xiàn)瞬時肌電圖像在不同的空間位置上表現(xiàn)出不同的視覺特征。在不同手勢中,肌電圖像在中部偏下以及頂部的條狀區(qū)域上亮度較強,提出在3,4層加入局部連接結構(受人臉識別前沿工作的啟發(fā)),因為局部連接層在不同空間位置上的卷積模板的權重不共享,可以更好的提取圖片上不同位置的特征。并依據單個窗口內每幀識別出的手勢標簽中所占比例最高的標簽,因為上述實驗僅適用于肌電幅值較大的數(shù)據進行訓練和測試可以獲得較高的手勢識別準確率,因此需要對肌電信號采用全波整流和低通濾波(全波整流和低通濾波是被廣泛采用的肌電信號幅值估計方法),以獲取更好的肌電信號。


圖2 CNN輸出可視化(每個點表示不同樣本,每個插圖包含一個手勢示意圖以及測試集中所有屬于該手勢的肌電圖像的均值圖像)

基于深度領域自適應的肌電手勢識別:

當訓練集和測試集的肌電信號來自不同的采集會話的情況。因為電極位移,肌肉疲勞,電極和皮膚之間的阻抗變化等因素的干擾,肌電信號與采集會話高度相關,已經訓練好的手勢分類器直接被應用在新的會話時通常準確率較低。因為肌電信號的分布在不同的會話之間變化很大,所以來自不同會話的基于瞬時肌電信號的手勢識別可以相應地表示為多源領域自適應問題。

當標定數(shù)據未標記時,該論文采用自適應批量歸一化(AdaBN, Adaptive Batch Normalization)對手勢分類器進行適配。假設用于區(qū)分不同手勢的知識存儲在每個層的權重中,AdaBN不需要適配數(shù)據的手勢標簽,而是隨著無標簽的適配數(shù)據的增加,逐步更新少量的網絡參數(shù)。給定輸入U,BN將其轉換為V,其中第i個輸入特征的轉換公式為:

l在訓練階段,每個BN層對于每個源域的均值統(tǒng)計量和方差統(tǒng)計量是獨立計算的。因為訓練階段的BN對每個數(shù)據批次獨立計算統(tǒng)計量,所以只需要確保每個數(shù)據批次中的樣本來自同一個會話。

l識別階段,對于給定的未標記數(shù)據A,AdaBN執(zhí)行正向傳播算法,更新參數(shù)。

該方法準確率:單幅30.5%,150毫秒窗口-39.2%,而另一種算法特征集(150毫秒窗口)和線性判斷:34.1%。

隨機選擇未標記的測試集的子集(0.1%,0.5%,1%,5%,10%)進行深度領域自適應,之后再評測整個測試集上的手勢識別的準確率。最后觀測到大約5%的適配數(shù)據后準確率達到巔峰,適配數(shù)據20000幀,在CSL-HDEMG的2048赫茲的采樣率下大約10秒。

并且適配算法并不需要觀測到所有種類的手勢,從27種選擇5個和13個進行適配,最終結果分別是31.3%(73.2%),34.6%(81.4%)另一種方法是肌電地勢(sEMG topography),定義為肌電信號在時間上的二維平均強度圖,其中每個像素是某個通道的肌電信號在特定時間窗口內的均方根,用于手勢識別。

《Revealing Critical

Channels and Frequency Bands for Emotion Recognition from EEG with Deep Belief

Network》

在基于腦電信號的情感識別任務中,多通道腦電信號存在不相關的腦電信號,這不僅會引起噪聲,還會降低系統(tǒng)對情感識別能力。該論文提出一種新的深度信念網(DBN)來檢查用于情感識別的關鍵EEG信道和頻段。

主要從行為和生理反應進行情感分析,因為EEG與表情手勢相比,具有較高的準確性和客觀評價性。該論文采用ESI神經掃描系統(tǒng),從62通道電極帽以采樣率為1000Hz記錄腦電信號。每個實驗有15個測試,每個測試包括15s提示,45s測試及反饋,5s休息。蓋論文一共評價了30個實驗。

先下采樣原始腦電數(shù)據到200Hz,之后使用0.3Hz到50Hz的帶通濾波器濾除噪聲和偽影,之后采用之前提出的微分熵(differential entropy)特征[1][2],對于固定長度的腦電信號,微分熵相當于一定頻段內的對數(shù)能量譜。此前已經證明微分熵在低頻和高頻能量之間具有識別EEG模式的能力,因此在五個頻段計算微分熵特征(δ:1-3Hz,θ:4 – 7Hz,α:8-13Hz,β:14-30Hz,γ:31-50Hz),使用256點的短時傅里葉變換,并將特征歸一化到0-1。


圖1不同頻段的權重值

利用五個頻段的去噪后的62通道的特征作為輸入,DBN達到86.08%的準確率和8.34%標準差,本論文通過分析經過訓練的DBN的權重分布來檢驗關鍵通道和頻帶,權重對于識別情感模型是很重要的,因為對于學習任務貢獻較大的神經元權值將增加,不相關的神經元權值趨于隨機分布,圖1為權重在第一層神經網絡訓練后的分布,可以看出主要在beta和gamma波的權重最大,這說明此頻帶包含更重要的鑒別信息。


圖2不同頻段顯示不同的激活腦區(qū)

? 從圖2中我們可以看出側顳區(qū)和前額腦區(qū)相比其他腦區(qū)在beta和gamma頻帶更容易激活。因此可以得出結論,在識別積極,中性和負面情緒時側顳葉和前額葉通道是關鍵通道,beta和gamma是關鍵頻帶。


圖3腦區(qū)的62個通道

如圖3所示,依據腦區(qū)中權重分布的特點,設計了四種不同的電極放置剖面,包括4通道,6通道,9通道和12通道,其中4通道的最佳平均精度和標準差為82.88%/10.92%,而所有62通道的最佳平均精度和標準差為83.99%/10.92%,這說明四個相對電極阻輪廓(four profiles of relative electrode sets)FT7,T7,FT8,T8是辨別情感特征的電極。

[1]Duan R N, Zhu J Y, Lu B L. Differential entropyfeature for EEG-based emotion classification[C]// International Ieee/embsConference on Neural Engineering. IEEE, 2013:81-84.

[2]Zheng W L, Zhu J Y, Peng Y, et al. EEG-based emotionclassification using deep belief networks[C]// IEEE International Conference onMultimedia and Expo. IEEE, 2014:1-6.

腦電論文(大腦解碼:行為,情緒):

Real-time naive learning of neural correlates in ECoG Electrophysiology

神經實時樸素學習相關的皮層電生理

地址:http://www.ijmlc.org/papers/40-L0174.pdf

A Deep Learning Method for Classification of EEG Data Based on MotorImagery

基于運動表象的腦電數(shù)據分類的深度學習方法

地址:http://www.bio.spbu.ru/faculty/departments/vnd/pdf/journal%202015/moskvich.pdf

Affective state recognition from EEG with deep belief networks

基于深層信念網絡的腦電情感狀態(tài)識別

地址:https://www.cse.buffalo.edu//DBGROUP/bioinformatics/papers/Kang_BIBM_2013.pdf

A Novel Semi-Supervised Deep Learning Framework for Affective StateRecognition on EEG Signals

一種用于腦電信號情感狀態(tài)識別的半監(jiān)督深度學習框架

地址:https://www.cse.buffalo.edu//DBGROUP/bioinformatics/papers/cameraready_xwjiabibe.pdf

Revealing critical channels and frequency bands for emotion recognitionfrom EEG with deep belief network

用深層信念網絡揭示腦電情感識別的關鍵通道和頻帶

地址:http://bcmi.sjtu.edu.cn/~blu/papers/2015/9.PDF

EEG-based emotion recognition using deep learning network withprincipal component based covariate shift adaptation

基于深度學習網絡的主成分協(xié)移自適應的腦電情感識別

地址:http://europepmc.org/backend/ptpmcrender.fcgi?accid=PMC4165739&blobtype=pdf

Classifying EEG recordings of rhythm perception

節(jié)律性腦電記錄分類

地址:http://www.terasoft.com.tw/conf/ismir2014/proceedings/T117_317_Paper.pdf

Using Convolutional Neural Networks to

Recognize Rhythm Stimuli from Electroencephalography Recordings利用卷積神經網絡識別腦電記錄中的節(jié)律刺激

地址:http://wwwiti.cs.uni-magdeburg.de/~stober/publ/nips2014.pdf

Convolutional neural network with embedded Fourier transform for EEGclassification

基于嵌入傅立葉變換的卷積神經網絡在腦電信號分類中的應用

地址:http://pdfs.semanticscholar.org/9a19/a59f5e8f3494e97c70eecd06003e5d1f4eb7.pdf

Continuous emotion detection using EEG signals and facial expressions

基于腦電信號和表情的連續(xù)情緒檢測

地址:https://ibug.doc.ic.ac.uk/media/uploads/documents/soleymani-fu-icme14_camera_ready.pdf

‘Deep Feature Learning for EEG Recordings

腦電記錄的深部特征學習

地址:https://www.researchgate.net/publication/283986303_Deep_Feature_Learning_for_EEG_Recor

異常分類論文(阿茲海默癥,癲癇,睡眠階段檢測):

Classification of Electrocardiogram Signals with Deep Belief Networks

基于深層信念網絡的心電信號分類

http://www.researchgate.net/publication/293781533_Classification_of_Electrocardiogram_Signals_with_Deep_Belief_Networks

Modeling electroencephalography waveforms with semi-supervised deepbelief nets: fast classification and anomaly measurement

半監(jiān)督深信網模擬腦電波形:快速分類和異常測量

http://xueshu.baidu.com/s?wd=paperuri%3A%28cae246865d395d67f463268e8079cab4%29&filter=sc_long_sign&tn=SE_xueshusource_2kduw22v&sc_vurl=http%3A%2F%2Fwww.ncbi.nlm.nih.gov%2Fpmc%2Farticles%2FPMC3193936%2Fpdf%2Fnihms322259.pdf&ie=utf-8&sc_us=14353019482626292792

Deep belief networks used on high resolution multichannelelectroencephalography data for seizure detection

用于癲癇檢測的基于高分辨率多道腦電圖數(shù)據的深度信念網

地址:https://www.knexusresearch.com/wp-content/uploads/2015/07/AAAI_JT_Turner.pdf

Deep Learning in the EEG Diagnosis of Alzheimer’s Disease

深層學習在阿爾茨海默病腦電診斷中的應用

http://vigir.missouri.edu/~gdesouza/Research/Conference_CDs/ACCV_2014/pages/workshop3/pdffiles/w3-p7.pdf

Sleep stage classification using unsupervised feature learning

基于無監(jiān)督特征學習的睡眠階段分類

https://www.researchgate.net/publication/235943204_Sleep_Stage_Classification_Using_Unsupervised_Feature_Learning

Classification of patterns of EEG synchronization for seizureprediction

癲癇發(fā)作的腦電同步模式分類

地址:http://yann.lecun.com/exdb/publis/orig/mirowski-cneuro-09.pdf

Recurrent neural network based prediction of epileptic seizures inintra-and extracranial EEG

基于遞歸神經網絡的顱內外腦電癲癇發(fā)作預測

EEG-based lapse detection with high temporal resolution

基于腦電信號的高時間分辨率檢測

地址:

http://www.researchgate.net/profile/Richard_Jones21/publication/3039266_EEG-Based_Lapse_Detection_With_High_Temporal_Resolution/links/5457ab030cf2bccc491112ed

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 227,428評論 6 531
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 98,024評論 3 413
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 175,285評論 0 373
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 62,548評論 1 307
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 71,328評論 6 404
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 54,878評論 1 321
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 42,971評論 3 439
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 42,098評論 0 286
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經...
    沈念sama閱讀 48,616評論 1 331
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 40,554評論 3 354
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 42,725評論 1 369
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,243評論 5 355
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發(fā)生泄漏。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 43,971評論 3 345
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,361評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 35,613評論 1 280
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 51,339評論 3 390
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 47,695評論 2 370

推薦閱讀更多精彩內容