文章目錄

• • • • Machine Learning-Based Student Emotion Recognition for Business English Class
      • • Emotion Recognition Technology
        • • Facial Expression recognition
          • Analysis of emotion recognition algorithm
          • 基于融合特征的表情序列圖片特征提取方法
        • Facial expression classification method based on deep multi-kernel learning
        • Human-Computer Interaction Control method Based on Machine learning
      • Multimodel emotion recognition based on peak frame selection from video
      • • abstract(概述)
        • Introduction
        • Mulimodal emotion recognition system
        • • Feature extraction from video
        • Maximum dissimilarity-based peak frame selection method
      • 基于自適應關鍵幀選取的人臉表情識別
      • • 摘要
        • 自適應關鍵幀的提取
        • Baseline網絡結構
        • 數據處理
        • • 數據預處理及數據增強
        • 實驗設置以及實驗結果的分析
        • 借鑒和學習
      • 基于視頻分析的學生課堂聽課狀態的系統研發
      • • 引言
        • • 研究背景與意義
          • 人臉識別研究技術的現狀
        • 借鑒和學習
      • 基于深度學習的人臉微表情識別
      • • 摘要
        • 引言
      • 基于卷積神經網絡的微表情識別
      • • 預處理部分
        • 基于LBP-TOP的微表情特征提取
        • 基于微表情識別的卷積神經網絡構建
        • • 最大值池化層
        • 結構優化
        • 借鑒和學習
      • 學生表情識別研究綜述
      • • 摘要
        • 引言
        • 表情分類以及數據庫的構建
        • 常見的研究方法
        • • 基于傳統機器學習
          • 基于深度學習
          • 基于靜態圖像的表情識別
          • 基于視頻的表情識別
          • 學習

Machine Learning-Based Student Emotion Recognition for Business English Class

Emotion Recognition Technology

Facial Expression recognition

• 面部表情詩人表達情緒狀態的一個重要的途徑，學習者大部分的情緒狀態都可以通過處理和分析表情獲得。下圖展示了興奮和情緒的關系，越舒服和適應，越能夠產生積極的情緒。相應地，越能夠促進認知能力的提高。相反的，厭惡的情緒越多，也會阻礙你的認知能力。
  
• 常見的表情識別有兩種類型，一種是基于靜態圖像特征，另外一種是基于動態連續圖像特征。靜態圖像特征，能夠提取、分類和辨識面部表情特征信息。動態連續圖像特征包含表情連續變化的動態特征。
• 靜態方法主要有三種
  • global information method（全局信息方式）
    • Principal component analysis（主成分分析）
    • Linear discriminant method （線性判別）
    • Gabor wavelet transform（小波變換）
  • geometric feature method（幾何特征方式）
  • mixed feature method（混合特征方式）
• 動態方法，主要有以下三種方法
  • optical flow method
  • feature point tracking method
  • differential imaging method

Analysis of emotion recognition algorithm

• 根據國內外的學術研究，表情識別的基本過程分為如下：獲取面部表情，然后對圖片進行預處理，接著提出圖片對應的面部表情特征，最后選擇對應適合的分類網絡將圖片進行分類。如下圖展示。
  

基于融合特征的表情序列圖片特征提取方法

• 關鍵詞：Facial feature extraction，facial expression recognition，the peak frame of expression images,
• 面部表情特征提取圖像識別的重點。提取出能夠的總結面部特征變化的關鍵特征能夠改善分類器的識別效果，所以很重要。針對以下問題，過高的特征維度、過度的內存消耗和信息冗余，故采用峰值幀的方式從序列中提取關鍵幀。面部表情的變化過程和與面部表情相關的關鍵特征點高度相關。峰值幀就是時刻跟蹤面部關鍵特征點的變化，來提取關鍵幀。同時在跟蹤面部表情關鍵點的變換過程中，可以忽略背景因素對于特征提取的影響。

Facial expression classification method based on deep multi-kernel learning

• 關鍵詞：deep multi-kernel learning ，deep core-kernel learning method，Gabor features（小波特征，描述肌理構成）
• 表情提取的核心就是特征提取，只要提取好了特征，將之和標簽輸入到分類器中，就得到了一個訓練好的分類器。就可以對剩下的沒有的標簽的數據進行分類。關于分類器主要用到了兩種思路，多核心學習和深度學習
• 多核心學習：定義一組學習的基本核，并獲取最優核
• 深度多核心學習：它是由多個核心函數層和神經網絡構成。核心函數是核心，并且他的結構是一個多層網絡結構，每一層都有很多的核心。
• 面部表情分析過程如下：
  • 首先，從每一幀中提取出人臉圖片以及相關特征。其中幾何特征描述人臉局部變化，小波特征描述人臉的肌理構成原理
  • 然后將提取到的特征進行混合，一塊輸入到多核心分類網絡中進行訓練。
  • 最后的訓練好的模型被用于分類表情。
• 模型的分類效果對比如下，混合特征的效果是由優于單個特征的，為什么不使用卷積網絡提取特征。

Human-Computer Interaction Control method Based on Machine learning

• 圖片7展示了3維卷積神經網絡的卷積方式圖表。三維卷積神經網絡能夠在同一時間解決時間和空間問題

Multimodel emotion recognition based on peak frame selection from video

abstract(概述)

• 提出了三種視頻關鍵幀的檢測方法，其中MAXDIST和DEND-CLUSTER是不需要訓練和預先學習的，EIFS是需要先驗學習的，需要確定中性表情，然后在計算別的不明顯的表情和中性表情的“距離”。

Introduction

• 關鍵詞：geometric features，appearance-based features
• 自動化情緒識別在人機交互中很重要。
• 表情識別相關工作的研究
  • 一些最新的表情識別的方法，一般都是利用2維特征。而二維特征可以被分為幾何特征和外貌特征。
  • 幾何特征一般指得是臉部的突出點的坐標，主要是通過面部特征點的形變過程來檢測表情的。
  • 面部特征指得是豐富面部表情的紋理變化特征
• 參考一下，通過預先的訓練和學習，找到中性表情區間集，通過中性集來對表情進行判定

Mulimodal emotion recognition system

• 這部分主要講提取音視頻特征提取方法，分類方法和多通道決策融合方法

Feature extraction from video

• 關鍵詞：peak frame，maximum dissimilarity-based method，clustering-based method（DEND-CLUSTER）
• 比較了三種峰值幀選擇方法
  • 最大不同法（MACDIST）
  • 基于聚類的方法（DEND-CLUSTER）
  • 情感強度法（EIFS）
• 在所有方法中，作為一個預處理步驟，主要是檢測視頻序列中的人臉，然后對齊，并進行剪裁，從而消除不必要的區域，比如說背景和頭發。因為一些臉部區域并沒有攜帶任何表情信息，我們將臉部區域分為若干子模塊，將不相干的模塊丟棄。具體操作如下圖。在剩余的模塊中，我們提取LPQ特征來獲取面部表情的優化特征向量。
  
• 在上圖中，a表示面部識別和對齊，b表示才裁剪面部區域，c提取每一幀的面部特征，d計算相異矩陣，并且選出相異值最高的k幀作為訓練的依據

Maximum dissimilarity-based peak frame selection method

• 關鍵詞：the average dissimilarity score，a miximum dissimilarity criteria,LPR feature
• 最大差異選擇法是建立在峰值幀和其他所有的幀都不同的前提下。因此，首先連續幀之間的不同是通過比對面部特征進行計算的。該方法根據幀相對于其他幀的平均不相似度分數對幀進行排序，并選擇對應于K個最大平均不相似度分數的幀(即峰值幀)。我們將這種方法稱為MAXDIST，因為峰值幀是使用最大不相似準則來選擇的。

基于自適應關鍵幀選取的人臉表情識別

摘要

• 問題：

  • 人臉表情序列中存在大量的冗余信息，找到人臉表情序列中的峰值表情能夠有效提升人臉表情識別的準確度。

• 方法：

  • 通過計算表情變化過程中人臉關鍵點信息的變化來確定選取處于峰值表情的人臉圖像，來確定峰值表情在人臉中的位置

• 驗證

  • 通過一個Baseline網絡結構進行特征提取，驗證自適應關鍵幀選取方法的有效性

• 項目結構，總共三個模塊

  • 自適應關鍵幀提取，確定表情的內容
  • Baseline網絡訓練
  • 分析實驗結果，驗證方法的有效性

自適應關鍵幀的提取

• 關鍵點
  • 通過計算表情變化后圖象人臉的關鍵特征點信息與中性表情圖象的人臉關鍵點信息之間的差異能有效定位表情序列中的關鍵幀。
• 實現過程
  • 默認第一幀式無表情的中性人臉圖像，將其作為基準
  • 計算序列后續的所有人臉的圖象和第一幀圖象之間關鍵點的變化，判斷關鍵幀在序列中的位置
• 計算距離的過程
  • 確定原點，計算各個點到原點的歐式距離
  • 將兩張圖片對應的歐氏距離做差，求和，得到表情的量化值。

Baseline網絡結構

• 卷積網絡的特點
  • 使用小的卷積核代替大的卷積核，在提升網絡的深度的同時，又減少了參數量
    

數據處理

• 使用表情視頻驗證關鍵幀提取方法的有效性，十折交叉驗證

數據預處理及數據增強

• 數據預處理
  • 識別出人臉并對其進行切割，排除背景對圖象的影響
• 數據增強
  • 圖像旋轉
  • 高斯噪聲的添加
  • 對比度增強
  • 亮度變化
  • 圖像翻轉

實驗設置以及實驗結果的分析

• 對比方面
  • 關鍵幀選取和傳統的數據選取方式之間的對比，驗證自適應的關鍵幀選取方法的有效性
  • 利用Baseline網絡結構和關鍵幀提取結合的實驗結果，對比其他方法
• 要驗證你的方法在不同數據集之間都有效才行
• 要改變條件，使用不同的數據集進行對比

借鑒和學習

• 關于卷積核考慮是一個很重要的切入點，要自己去調整和修改一下。
• 表情關鍵幀的確定，方法值得借鑒，但是在標注的過程中發現，并不是每一個器官都會發生明顯的變化，主要是眼睛和嘴巴的之間的變化，而且也主要是通過這兩個器官。但是關于權重的設定還沒有想好。我會考慮到不同器官對于表情變化和判定的影響，進行判定統一幀。
• 表情表達情感信息的重要性

基于視頻分析的學生課堂聽課狀態的系統研發

• 將人臉識別技術應用到學生課堂聽課場景中，運用統計學原理對學生聽課狀態進行判斷。
  • 人臉識別算法使用局部二值模型LBP和神經網絡算法構成
• 系統框架使用Spring+SpringCloud+SpringBoot+Mybatis主流框架，使用git版本控制系統工具，代碼上傳到云服務進行部署
• 視頻解析使用FFmpeg軟件，將音視頻轉化為視頻流
• 對人臉的抓拍、對比、統計和分析功能上，采用多線程

引言

研究背景與意義

• 如何判斷學生的聽課狀態是本文的主要研究內容
• 長久并且連續化的記錄學生的聽課狀態，減少老師的工作量，節省了很多時間

人臉識別研究技術的現狀

• 基于幾何特征的人臉正面識別方法
  • 基于特征的由下而上的可以用人眼表現出來的檢測方法，存在隱藏假設，固有的人臉特征或屬性無論在任何條件下都不會發生改變
• 基于連接機制的人臉正面自動識別方法
  • 利用機器學習算法將人臉構造成二維矩陣，形象地保存了人臉的關鍵信息，減少了復雜提取的大量工作，但是過程繁瑣，并且準確率很低
• 基于幾何特征的人臉正面自動識別方法
  • 太復雜，不記錄了

借鑒和學習

• 自己不能老是各自開發自己，要將代碼放到gitee上，大家一塊開發完成。
• 別的借鑒意義不大，他并不是表情識別，主要是人臉識別

基于深度學習的人臉微表情識別

摘要

• 基于CASMEI和CASMEII數據集訓練改進卷積神經網絡模型，將特征提取盒分類識別結合在一塊，充分提取微表情的特征

引言

• 微表情是無法掩飾的面部表情，反映了人的真實心理和情感，暴露內心想法
• 面部表情分類：宏表情和微表情

基于卷積神經網絡的微表情識別

預處理部分

• 消除外部的因素變化的方式：直方圖均衡化，濾波去噪，大小變化
• 直方圖均衡化：將圖片變為灰色，并做直方圖均衡化處理，增強圖象的亮度，細節更加清晰，減少光照影響
• 濾波去噪：使用中值濾波減少噪聲點，高斯濾波減少優化邊緣信息
• 尺寸變化：通過將圖象尺寸的放大或者縮小，將之進行歸一化。

基于LBP-TOP的微表情特征提取

• LBP簡介：基于三個正交平面的局部二值模式
• 原理：
  • LBP：有效處理光照變化，在紋理分析和識別方面被廣泛應用，只能處理單張二維圖片。有個很不錯的了解的連接。
  • LBP-TOP：在圖片的XY坐標系上又引入了T軸，XY正常的圖象，XT每一行沿著時間軸掃過的紋理，YT每一列沿著時間軸掃過的圖象。
    • 對三個平面的LBP特征進行提取，連接起來就是LBP-TOP
• 在本文中先是對圖片進行LBP-TOP特征提取，在進行輸出。對于這種圖片的特征了解的不是很清楚，為什么單張圖像會在XT和YT有內容

基于微表情識別的卷積神經網絡構建

• 網路輸入時LBP-TOP特征，通過卷積，池化和全連接層識別的常規操作
• 改進之處在最大池化層和結構優化

最大值池化層

• 作用：壓縮卷積層提取出來的特征
• 改進：并不是逐步池化，而是將卷積之后的矩陣分成若干個不相交的相鄰區域，對每一個區域進行最大池化操作

結構優化

• 改進：使用后向傳播算法訓練權重
• 這部分沒有看懂，不過他說后向傳播僅僅是為了計算更加高效

借鑒和學習

• 特征提取和分類識別結合
• 學習表情就很像微表情，比起常規的表情，我們需要更加細致操作，更加細致的觀察
• 可以嘗試一下LBP-TOP的算法，因為我們的表情本身也就是動態的
• 對于池化層的修改可以借鑒一下，由原來逐步池化改成相鄰的區間

學生表情識別研究綜述

摘要

• 主要是的面向學生表情識別的表情分類和數據庫研究進展

引言

• 心理學家Mehrabian 通過研究發現：“情緒表達=7%的語言+38%的姿勢表情+55%的面部表情”，面部表情包含豐富直觀的情緒信息。 研究表明，在學習環境下，面部表情不僅能直觀反映學生的情緒狀態，還能反映學生的心理狀態。 因此，面部表情識別已成為感知學習情緒的主要途徑
• 隨后 Ekman 等人開發的面部動作編碼系統 （Facial Action Coding System，FACS） 受到廣泛注，FACS 根據面部肌肉活動定義了 46 個動作單元來判斷面部表情，但其實際應用中的使用效率并不高。
• 通過基于計算機視覺的表情識別方法準確識別學習情緒，既可以解決學習情緒狀態難以自動感知的問題，也順應了信息技術與教育教學深度融合的發展趨勢。

表情分類以及數據庫的構建

• 學生表情分類
  • 特征：學習情緒不僅具有人類情緒的普遍性，而且還具有其獨特性，例如學生表情大多時候處于中性狀態，波動幅度不大，而類似于“悲傷” 和“生氣”這類強烈的負面情緒則需要較強的誘導因素 才會出現。 由此可見研究者應將關注點置于頻率出現較 高且能真實反映學生學習狀態的表情，才能挖掘出學生在不同學習環境下的真實學習情緒。
  • 常見的經典的表情分類
    
  • 在這里我要給出我們規定的六種表情的原因和特色，以及出發點
• 數據集設計
  • 學生扮演表情數據集：
    • **徐振國[12]建立了由 70 名研究生組成的包含常態、高興、憤怒、悲傷 、驚恐、專注、走神 等 7 種學習情緒的 73500 張面部表情圖像庫。**標準的數據集很重要，這里可以參考一下，想辦法找到就行了
  • 學生自發表情的數據集
    • 如 Kappor 等[14]采用電腦解謎的誘導方式，采集到了 136 名兒童高興趣、中興趣、低興趣、乏味和休息五種狀態下的自然表情。
      • 這個表情分類和我們的很像，所以也可以參考一下這個數據集
    • D’Mello 等[9]借助攝像機和身體測試系統采集到了 28 名大學生 在與 AutoTutor互動過程中的自然表情
    • Whitehill 等[3]提取了 34 名學生在認知實驗過程中產生的快樂、 悲傷、 厭惡、恐 懼、驚訝和中性六種表情數據

常見的研究方法

基于傳統機器學習

• 人臉檢測
  • 基于特征的方法：
    • 從表層特征中提取出中高層特征，并進行結合，在進行分類表達
    • 常見的有：ObjectiveBank，Distinctive Part
  • 基于統計學習的方法
    • AdaBoost適合線上學習環境的人臉檢測
• 數據預處理
  • 影響因素：頭部姿勢，光照變化，噪聲干擾等
  • 對齊人臉：深度學習人臉對齊算法，常用的是端到端推理決策網絡方法
  • 數據擴容：隨機擾動和變換，翻轉，平移，縮放，對比度，噪聲，顏色抖動
• 特征提取
  • 靜態圖片
  • 視頻
• 表情分類：
  • 。。。。

基于深度學習

基于靜態圖像的表情識別

• 例如徐振國[12]設計了一種 7 層 CNN 模型，該模型能快速且準確地識別學生表情并進一步判斷學生情緒狀態
• Xu 等[17]提出了一種基于情緒感知的學習框架， 利用 CNN 模型對學生進行臉部檢測和表情強度排序。
• 使用卷積網絡的缺點：自動提取特征，無用的特征的會干擾有用的特征，提高模型的識別性能，不斷對CNN進行簡化和改進

基于視頻的表情識別

• 真實學習環境中表情的特點：
  • 低強度、時間短、持續性和時序性
  • 通過連續幀識別面部表情更自然，識別結果更為精準
• 使用RNN（序列分析任務的有效性）
  • Zhang 等[30]基于 RNN 設計了一種時空遞歸神經網絡模型，利用輸入信號的時空依賴性學習隱藏特征，并在腦電波和面部表情數據集上證明了其有效性。
  • 缺點：容易喪失學習序列時域特征的能力
• 長 短 時 記 憶（Long ShortTermMemory，LSTM）
  • 如王素琴等[31]建立了 VGGNet-LSTM 模型
    • 首先通過 VGGNet 模型提取表情圖像的視覺特征
    • 使用 LSTM 提取圖像序列的時序特征，通過特征融合后在此基礎上進行分類

學習

• 嘗試使用Adaboost，將人臉提取出來，并能夠單獨標出來，去除背景對于識別的影響。
• 使用卷積網絡的模型可以借鑒徐振國的模型，同時在圖片預處理中，借助常規方式來減少無用的特征，提高準確率

總結

以上是生活随笔為你收集整理的表情识别项目综述论文阅读总结的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。