領域自適應:
多用于文本分類,屬于直推式遷移學習,直推式遷移學習定義:給定一個源域和相應的學習任務,一個目標域和相應的學習任務,直推式學習旨在利用源域和目標域中相同的知識來提高目標域中的目標預測函數(shù)。
《基于深度學習的體態(tài)與手勢感知計算關鍵技術研究》
基于深度學習的肌電手勢識別:
并不需要任何附加信息或手工設計的特征提取器,基于高密度肌電信號(HD-sEMG),使用二維陣列電極采集的肌電信號,使得肌肉活動產生的電勢場在時間和空間上的變化可被多個緊密分布在皮膚表面的電極同時記錄下來。HD-sEMG中的肌電信號描繪了位于電極覆蓋區(qū)域內的肌肉活動的時空分布,同時HD-sEMG的瞬時值呈現(xiàn)了在特定時間點肌肉活動所涉及的生理過程的相對全局的測量。瞬時HD-sEMG內部可區(qū)分出不同手勢模式,可以將采集到的HD-Semg描繪出電勢在空間的分布,其對應的熱度圖即為肌電圖像,肌電圖像中的像素數(shù)(分辨率)由其采集設備中的電極陣列決定,即電極的數(shù)量及其電極間距離(例如,具有16行8列的電極網格可W采集8*16像素的肌電圖像)。
主要是將原始肌電信號值從(-1,1)映射到(0,255),即,其中x是原始肌電信號,I是肌電圖像。構建一個8層CNN結構,網絡的前兩個卷積層用于提取公共的底層圖片特征,作者發(fā)現(xiàn)瞬時肌電圖像在不同的空間位置上表現(xiàn)出不同的視覺特征。在不同手勢中,肌電圖像在中部偏下以及頂部的條狀區(qū)域上亮度較強,提出在3,4層加入局部連接結構(受人臉識別前沿工作的啟發(fā)),因為局部連接層在不同空間位置上的卷積模板的權重不共享,可以更好的提取圖片上不同位置的特征。并依據單個窗口內每幀識別出的手勢標簽中所占比例最高的標簽,因為上述實驗僅適用于肌電幅值較大的數(shù)據進行訓練和測試可以獲得較高的手勢識別準確率,因此需要對肌電信號采用全波整流和低通濾波(全波整流和低通濾波是被廣泛采用的肌電信號幅值估計方法),以獲取更好的肌電信號。
基于深度領域自適應的肌電手勢識別:
當訓練集和測試集的肌電信號來自不同的采集會話的情況。因為電極位移,肌肉疲勞,電極和皮膚之間的阻抗變化等因素的干擾,肌電信號與采集會話高度相關,已經訓練好的手勢分類器直接被應用在新的會話時通常準確率較低。因為肌電信號的分布在不同的會話之間變化很大,所以來自不同會話的基于瞬時肌電信號的手勢識別可以相應地表示為多源領域自適應問題。
當標定數(shù)據未標記時,該論文采用自適應批量歸一化(AdaBN, Adaptive Batch Normalization)對手勢分類器進行適配。假設用于區(qū)分不同手勢的知識存儲在每個層的權重中,AdaBN不需要適配數(shù)據的手勢標簽,而是隨著無標簽的適配數(shù)據的增加,逐步更新少量的網絡參數(shù)。給定輸入U,BN將其轉換為V,其中第i個輸入特征的轉換公式為:
l在訓練階段,每個BN層對于每個源域的均值統(tǒng)計量和方差統(tǒng)計量是獨立計算的。因為訓練階段的BN對每個數(shù)據批次獨立計算統(tǒng)計量,所以只需要確保每個數(shù)據批次中的樣本來自同一個會話。
l識別階段,對于給定的未標記數(shù)據A,AdaBN執(zhí)行正向傳播算法,更新參數(shù)。
該方法準確率:單幅30.5%,150毫秒窗口-39.2%,而另一種算法特征集(150毫秒窗口)和線性判斷:34.1%。
隨機選擇未標記的測試集的子集(0.1%,0.5%,1%,5%,10%)進行深度領域自適應,之后再評測整個測試集上的手勢識別的準確率。最后觀測到大約5%的適配數(shù)據后準確率達到巔峰,適配數(shù)據20000幀,在CSL-HDEMG的2048赫茲的采樣率下大約10秒。
并且適配算法并不需要觀測到所有種類的手勢,從27種選擇5個和13個進行適配,最終結果分別是31.3%(73.2%),34.6%(81.4%)另一種方法是肌電地勢(sEMG topography),定義為肌電信號在時間上的二維平均強度圖,其中每個像素是某個通道的肌電信號在特定時間窗口內的均方根,用于手勢識別。
《Revealing Critical
Channels and Frequency Bands for Emotion Recognition from EEG with Deep Belief
Network》
在基于腦電信號的情感識別任務中,多通道腦電信號存在不相關的腦電信號,這不僅會引起噪聲,還會降低系統(tǒng)對情感識別能力。該論文提出一種新的深度信念網(DBN)來檢查用于情感識別的關鍵EEG信道和頻段。
主要從行為和生理反應進行情感分析,因為EEG與表情手勢相比,具有較高的準確性和客觀評價性。該論文采用ESI神經掃描系統(tǒng),從62通道電極帽以采樣率為1000Hz記錄腦電信號。每個實驗有15個測試,每個測試包括15s提示,45s測試及反饋,5s休息。蓋論文一共評價了30個實驗。
先下采樣原始腦電數(shù)據到200Hz,之后使用0.3Hz到50Hz的帶通濾波器濾除噪聲和偽影,之后采用之前提出的微分熵(differential entropy)特征[1][2],對于固定長度的腦電信號,微分熵相當于一定頻段內的對數(shù)能量譜。此前已經證明微分熵在低頻和高頻能量之間具有識別EEG模式的能力,因此在五個頻段計算微分熵特征(δ:1-3Hz,θ:4 – 7Hz,α:8-13Hz,β:14-30Hz,γ:31-50Hz),使用256點的短時傅里葉變換,并將特征歸一化到0-1。
利用五個頻段的去噪后的62通道的特征作為輸入,DBN達到86.08%的準確率和8.34%標準差,本論文通過分析經過訓練的DBN的權重分布來檢驗關鍵通道和頻帶,權重對于識別情感模型是很重要的,因為對于學習任務貢獻較大的神經元權值將增加,不相關的神經元權值趨于隨機分布,圖1為權重在第一層神經網絡訓練后的分布,可以看出主要在beta和gamma波的權重最大,這說明此頻帶包含更重要的鑒別信息。
? 從圖2中我們可以看出側顳區(qū)和前額腦區(qū)相比其他腦區(qū)在beta和gamma頻帶更容易激活。因此可以得出結論,在識別積極,中性和負面情緒時側顳葉和前額葉通道是關鍵通道,beta和gamma是關鍵頻帶。
如圖3所示,依據腦區(qū)中權重分布的特點,設計了四種不同的電極放置剖面,包括4通道,6通道,9通道和12通道,其中4通道的最佳平均精度和標準差為82.88%/10.92%,而所有62通道的最佳平均精度和標準差為83.99%/10.92%,這說明四個相對電極阻輪廓(four profiles of relative electrode sets)FT7,T7,FT8,T8是辨別情感特征的電極。
[1]Duan R N, Zhu J Y, Lu B L. Differential entropyfeature for EEG-based emotion classification[C]// International Ieee/embsConference on Neural Engineering. IEEE, 2013:81-84.
[2]Zheng W L, Zhu J Y, Peng Y, et al. EEG-based emotionclassification using deep belief networks[C]// IEEE International Conference onMultimedia and Expo. IEEE, 2014:1-6.
腦電論文(大腦解碼:行為,情緒):
Real-time naive learning of neural correlates in ECoG Electrophysiology
神經實時樸素學習相關的皮層電生理
地址:http://www.ijmlc.org/papers/40-L0174.pdf
A Deep Learning Method for Classification of EEG Data Based on MotorImagery
基于運動表象的腦電數(shù)據分類的深度學習方法
地址:http://www.bio.spbu.ru/faculty/departments/vnd/pdf/journal%202015/moskvich.pdf
Affective state recognition from EEG with deep belief networks
基于深層信念網絡的腦電情感狀態(tài)識別
地址:https://www.cse.buffalo.edu//DBGROUP/bioinformatics/papers/Kang_BIBM_2013.pdf
A Novel Semi-Supervised Deep Learning Framework for Affective StateRecognition on EEG Signals
一種用于腦電信號情感狀態(tài)識別的半監(jiān)督深度學習框架
地址:https://www.cse.buffalo.edu//DBGROUP/bioinformatics/papers/cameraready_xwjiabibe.pdf
Revealing critical channels and frequency bands for emotion recognitionfrom EEG with deep belief network
用深層信念網絡揭示腦電情感識別的關鍵通道和頻帶
地址:http://bcmi.sjtu.edu.cn/~blu/papers/2015/9.PDF
EEG-based emotion recognition using deep learning network withprincipal component based covariate shift adaptation
基于深度學習網絡的主成分協(xié)移自適應的腦電情感識別
地址:http://europepmc.org/backend/ptpmcrender.fcgi?accid=PMC4165739&blobtype=pdf
Classifying EEG recordings of rhythm perception
節(jié)律性腦電記錄分類
地址:http://www.terasoft.com.tw/conf/ismir2014/proceedings/T117_317_Paper.pdf
Using Convolutional Neural Networks to
Recognize Rhythm Stimuli from Electroencephalography Recordings利用卷積神經網絡識別腦電記錄中的節(jié)律刺激
地址:http://wwwiti.cs.uni-magdeburg.de/~stober/publ/nips2014.pdf
Convolutional neural network with embedded Fourier transform for EEGclassification
基于嵌入傅立葉變換的卷積神經網絡在腦電信號分類中的應用
地址:http://pdfs.semanticscholar.org/9a19/a59f5e8f3494e97c70eecd06003e5d1f4eb7.pdf
Continuous emotion detection using EEG signals and facial expressions
基于腦電信號和表情的連續(xù)情緒檢測
地址:https://ibug.doc.ic.ac.uk/media/uploads/documents/soleymani-fu-icme14_camera_ready.pdf
‘Deep Feature Learning for EEG Recordings
腦電記錄的深部特征學習
地址:https://www.researchgate.net/publication/283986303_Deep_Feature_Learning_for_EEG_Recor
異常分類論文(阿茲海默癥,癲癇,睡眠階段檢測):
Classification of Electrocardiogram Signals with Deep Belief Networks
基于深層信念網絡的心電信號分類
Modeling electroencephalography waveforms with semi-supervised deepbelief nets: fast classification and anomaly measurement
半監(jiān)督深信網模擬腦電波形:快速分類和異常測量
Deep belief networks used on high resolution multichannelelectroencephalography data for seizure detection
用于癲癇檢測的基于高分辨率多道腦電圖數(shù)據的深度信念網
地址:https://www.knexusresearch.com/wp-content/uploads/2015/07/AAAI_JT_Turner.pdf
Deep Learning in the EEG Diagnosis of Alzheimer’s Disease
深層學習在阿爾茨海默病腦電診斷中的應用
Sleep stage classification using unsupervised feature learning
基于無監(jiān)督特征學習的睡眠階段分類
Classification of patterns of EEG synchronization for seizureprediction
癲癇發(fā)作的腦電同步模式分類
地址:http://yann.lecun.com/exdb/publis/orig/mirowski-cneuro-09.pdf
Recurrent neural network based prediction of epileptic seizures inintra-and extracranial EEG
基于遞歸神經網絡的顱內外腦電癲癇發(fā)作預測
EEG-based lapse detection with high temporal resolution
基于腦電信號的高時間分辨率檢測
地址: