點擊藍字

關注我們

AI TIME歡迎每一位AI愛好者的加入！

睡眠階段分類作為一種典型的生理信號分類任務，對睡眠質量評估和疾病診斷至關重要。但是，如何有效利用大腦的空間特征和睡眠階段之間的時間轉換信息仍然是一個挑戰。特別是由于人類對人腦的了解是有限的，為睡眠階段分類預定義合適的空間腦連接結構仍然是一個懸而未決的問題。在本文，我們提出了一種新穎的深度圖神經網絡GraphSleepNet進行自動睡眠階段分類。GraphSleepNet的主要優點是自適應地學習不同腦電（EEG）通道之間的內在空間聯系，從而最好地服務于空圖卷積網絡（ST-GCN）。該研究提出一種多變量時間序列分類的通用自適應圖神經網絡框架并首次應用于睡眠階段分類。

?

賈子鈺：北京交通大學計算機與信息技術學院博士生，指導老師是林友芳教授和王晶副教授。計劃于2021年在麻省理工學院進行博士聯合培養，指導老師是Roger Mark教授（IEEE Fellow）。主要研究興趣集中于生理時間序列的分析與挖掘、深度學習理論與方法研究。目前已于IJCAI、ACM MM、ICDM、ECML-PKDD等會議或期刊發表論文8篇，相關工作的源碼也會陸續開源到Github上。

一、時間序列概述

1．時間序列

時間序列是按照時間排序的一組隨機變量，它通常是在相等間隔的時間段內

依照給定的采樣率對某種潛在過程進行觀測的結果。

2．時間序列的分析與挖掘

在過去的二十年中，時間序列的分析與挖掘被認為是數據挖掘中最具挑戰性的問題之一^[1]。

?

交通流量時間序列?

金融時間序列

[1] Fawaz, Hassan Ismail, et al. "Deep learning for time series classification: a review." Data Mining and Knowledge Discovery 33.4 (2019): 917-963.

?

二、生理時間序列概述

心電ECG

腦電EEG

應用領域：

三、相關深度學習模型

論文一：GraphSleepNet （IJCAI 2020）

論文鏈接：

https://www.ijcai.org/Proceedings/2020/184

論文代碼：

https://github.com/ziyujia/GraphSleepNet

?

1、簡介

睡眠：

• 人的一生中約有三分之一的時間都在睡眠中度過， 睡眠質量的好壞直接影響到人類的身心健康；

• 睡眠分期是評估睡眠質量和診斷睡眠障礙的重要手段。

人工睡眠分期：

• 睡眠專家會根據睡眠分期標準和多導睡眠圖（PSG）對睡眠階段進行劃分；

• 人工睡眠分期是一項繁瑣且耗時的任務；

• 睡眠專家的主觀性和可變性易影響睡眠分期的結果。

自動睡眠分期：

• 提高傳統睡眠分期的效率；

• 具有重要的臨床價值。

2、相關工作

傳統機器學習：

• 支持向量機和隨機森林等方法。

• 需要手工設計特征，且要求大量的先驗領域知識。

卷積神經網絡和遞歸神經網絡：

• FDCCNN^[1],SeqSleepNet^[2],DeepSleepNet^[3]等。

• 輸入必須是網格數據 (類似于圖像)。

網格數據的局限性：

• 大腦區域間的連接關系被忽視。

• 由于大腦處于非歐氏空間，因此圖是最適合用于表示大腦連接性的數據結構。

對大腦的功能連接進行建模：

• 圖卷積神經網絡在處理圖數據中展示了相當優異的表現^[4,5]。

• 現有的工作往往使用的是固定的圖結構，但是睡眠是一個動態的過程。

• 人類對大腦的理解是有限的。

?

3、研究難點

挑戰1：如何為睡眠分期確定合適的圖結構。

挑戰2：如何有效地提取時空特征。

Grid data?

Graph data

在睡眠期間，大腦區域的空間特性是不同的。

在時間維度上，睡眠階段之間存在著過渡規則。

挑戰2.1：如何將圖卷積有效的應用于睡眠分期。

挑戰2.2：如何利用相鄰睡眠階段之間的過渡規則。

AASM睡眠分期標準中的睡眠階段過渡規則^[6]

?

4、解決方法

GraphSleepNet: 自適應時空圖卷積網絡

本文貢獻：

• 第一次將時空圖卷積用于睡眠分期任務；

• 一種新穎的自適應睡眠圖學習機制；

• 我們設計了一種時空圖卷積；

• 實現了睡眠分期領域中的最優結果。

?

挑戰1：如何為睡眠分期確定合適的圖結構。

方法1：我們提出了一種自適應睡眠圖學習機制。

• 與時空圖卷積集成在統一的架構中。

• 動態的構造鄰接矩陣A。

• 利用損失函數中的第二項以控制鄰接矩陣A的稀疏性。

挑戰2：如何有效地提取時空特征。

方法2：我們設計了一種時空圖卷積架構。

a)空間維度：利用圖卷積聚合空間信息。

使用基于譜圖理論的圖卷積方法。

利用圖拉普拉斯算子的切比雪夫展開來降低計算復雜性。

b)時間維度：使用卷積神經網絡進行卷積操作以提取睡眠階段間的過渡規則。

c)時空注意力：自動提取有價值的信息。

5、實驗與評估

數據集：

Montreal Archive of Sleep Studies (MASS)-SS3 dataset^[7]

• 該數據集包含來自62位健康受試者（28位男性和34位女性）的PSG記錄。

• 專家根據AASM標準將這些PSG記錄分為五個睡眠階段（W，N1，N2，N3和REM）。

• 我們從原始信號中的每個通道中提取微分熵（DE）特征

?Number of samples for each sleep stage

?

基準方法：

• [Dong et al., 2017][8]: 一種混合神經網絡，它結合了多層感知機和長短期記憶，此外，我們還比較了其隨機森林和支持向量機的性能。

• [Supratak et al., 2017][3]: 一個結合了卷積神經網絡和雙向長短期記憶來捕捉時間不變量特征和睡眠階段間的過渡規則的模型。

• [Chambon et al., 2018][9]: 利用多變量和多模態時間序列進行時間睡眠階段分類。

• [Phan et al., 2019][2]: 通過使用基于注意力的雙向遞歸神經網絡和遞歸神經網絡，將單一的睡眠階段分類問題改變為序列到序列的分類問題。

• [Sun et al., 2019][10]: 一種分別學習綜合特征和時間序列的層次神經網絡。

• [Jiang et al., 2019][11]: 使用多模態分解和基于隱馬爾科夫模型優化的泛用睡眠階段分類。

與SOTA方法的對比結果：

實驗分析：

• 鄰接矩陣: 我們提出的自適應圖學習的結果優于所有固定圖的結果。

• 輸入睡眠階段網絡的數量 Tn : 分類表現隨著 Tn 增加而提高, 并且在 Tn = 5時達到最高的分類精度。

?

6、總結與展望

結論：

• 據我們所知，這是首次將時空圖卷積應用到了自動睡眠階段分類任務。此外，我們還提出了一種新型的自適應睡眠圖學習機制，該機制與時空圖卷積同時集成在一個統一的網絡架構中。

• 我們設計了一種時空卷積，它包括用于捕捉空間特征的圖積卷和用于捕捉不同睡眠階段之間過渡規則的時空卷積。

• 實驗結果表明，GraphSleepNet在睡眠階段分類中實現了最先進的性能。

展望：

• 我們所提出的模型是一個多變量生理時間序列的通用框架。

• 它還可以應用于時間序列的分類、預測和其他相關領域。

?

論文二：SST-EmotionNet (ACM MM 2020)

SST-EmotionNet: Spatial-Spectral-Temporal based Attention 3D

Dense Network for EEG Emotion Recognitionion 3D

論文鏈接：

https://dl.acm.org/doi/abs/10.1145/3394171.3413724

?

1、簡介

情緒:

情緒與許多精神疾病相關聯，如自閉癥和抑郁癥^{[1, 2]};

情緒被用作評估患者精神障礙的參考^[3]。

基于EEG信號的情緒識別:

與面部表情等情緒識別方法相比，腦電信號可以客觀地反映不同的情緒，是一種能夠識別真實情緒的可靠方法^[4] 。

[1]? Al-Kaysi, et al. (2017). Predicting tDCS treatment outcomes of patients with major depressive disorder using automated EEG classification. Journal of affective

disorders, 208, 597-603.

[2]? Bocharov, et al. (2017). Depression and implicit emotion processing: An EEG study. Neurophysiologie Clinique/Clinical Neurophysiology, 47(3), 225-230.

[3]? Zhong, et al. (2020). EEG-Based Emotion Recognition Using Regularized Graph Neural Networks. IEEE Transactions on Affective Computing.

[4]? Zheng, et al. (2015). Investigating critical frequency bands and channels for EEG-based emotion recognition with deep neural networks. IEEE Transactions on Autonomous Mental Development, 7(3), 162-175

2、相關工作

頻域特征:?

DE^[5,6], PSD^[7,8], DASM^[9], RASM^[10], DCAU^[4], etc.?

時域特征:?

LSTM^[11], MMResLSTM^[12], etc.?

空域特征:?

CNN^[13,14], GCN^[15,16],etc.

大部分現有的情緒識別方法僅考慮了以上一種或兩種特征。

腦電信號在不同情緒狀態下的時頻空特征激活:

研究難點：

C1: 如何利用被現有方法所忽略的腦電時、頻、空特征之間的互補性。

C2: 如何捕獲情緒識別任務中腦電信號的局部時頻空特征。

?

3、工作流程圖

4、解決方法

C1: 如何利用不同特征間的互補性？

S1.1: 構建腦電信號的3D時頻空表示。

C2: 如何捕獲時頻空特征中的局部特征？

S2: 設計了一種時頻空注意力機制，用于動態捕獲時、頻、空域下對于情緒識別任務有價值的局部特征模式。

?

5、實驗結果

與SOTA模型做對比：

6、總結與貢獻

• 我們提出了一個雙流3D密集網絡，它使用腦電信號的3D時頻空表示在一個統一的網絡框架下融合腦電信號的時頻空特征。

• 我們提出了一種時頻空注意力機制，用于動態捕捉時、頻、空下有辨別力的局部模式。

• 我們兩個數據集上進行了實驗，實驗結果顯示我們的SST-EmotionNet表現優于其他SOTA模型。

?

文末福利

論文、數據集、代碼

? GraphSleepNet模型：https://github.com/ziyujia/GraphSleepNet

? MMCNN模型：https://github.com/ziyujia/ECML-PKDD_MMCNN

? SST-EmotionNet模型：正在整理，后續會公開。

?

整理：唐家欣

審稿：賈子鈺

排版：岳白雪

AI TIME歡迎AI領域學者投稿，期待大家剖析學科歷史發展和前沿技術。針對熱門話題，我們將邀請專家一起論道。同時，我們也長期招募優質的撰稿人，頂級的平臺需要頂級的你！

請將簡歷等信息發至yun.he@aminer.cn！

微信聯系:AITIME_HY

AI TIME是清華大學計算機系一群關注人工智能發展，并有思想情懷的青年學者們創辦的圈子,旨在發揚科學思辨精神，邀請各界人士對人工智能理論、算法、場景、應用的本質問題進行探索，加強思想碰撞，打造一個知識分享的聚集地。

更多資訊請掃碼關注

?

（直播回放：https://b23.tv/ifBA8L）

（點擊“閱讀原文”下載本次報告ppt）

總結

以上是生活随笔為你收集整理的脑电信号如何反映睡眠质量和情绪波动？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。