第四章 人機交互技術概述

1.人機交互的輸入模式（第二版）

?????? 由于輸入設備是多種多樣的，而且對一個應用程序而言，可以有多個輸入設備，同一個設備又可能為多個任務服務，這就要求對輸入過程的處理要有合理的模式。

? ? ?請求模式（Request Mode）：在請求模式下，輸入設備的啟動是在應用程序中設置的。應用程序執行過程中需要輸入數據時，暫停程序的執行，直到從輸入設備接受到請求的輸入數據后，才繼續執行程序。應用程序和輸入設備交替工作。

? ? ?采樣模式（Sample Mode）：輸入設備和應用程序獨立地工作。輸入設備連續不斷地把信息輸入進來，信息的輸入和應用程序中的輸入命令無關。應用程序在處理其它數據的同時，輸入設備也在工作，新的輸入數據替換以前的輸入數據。當應用程序遇到取樣命令時，讀取當前保存的輸入設備數據。優點：這種模式對連續的信息流輸入比較方便，也可同時處理多個輸入設備的輸入信息。缺點：當應用程序的處理時間較長時，可能會失掉某些輸入信息

? ? ?事件模式（Event Mode）：輸入設備和程序并行工作。輸入設備把數據保存到一個輸入隊列，也稱為事件隊列，所有的輸入數據都保存起來，不會遺失。應用程序隨時可以檢查這個事件隊列，處理隊列中的事件，或刪除隊列中的事件。

2.基本交互技術（第二版 P60）

?

• 定位

????????確定平面或空間的一個點的坐標，是交互中最基本的輸入技術之一，是圖形交互技術最基本的輸入原語。

????????直接定位：用定位設備直接指定某個對象的位置，是一種精確定位方式。例如光筆指定一個點、直接輸入坐標

????????間接定位：通過定位設備的運動控制屏幕上的映射光標進行定位，是一種非精確定位方式。其允許指定的點位于一個坐標范圍內，一般用鼠標等指點設備配合光標來實現。例如選擇子圖或者菜單

?

• 筆畫

????????筆畫輸入用于輸入一組順序的坐標點。它相當于多次調用定位輸入，輸入的一組點常用于顯示折線或作為曲線的控制點。

? ? ? ? 例如鼠標、軌跡球、游戲棒

?

• 定值

????????定值（或數值）輸入用于設置物體旋轉角度、縮放比例因子等。

????????鍵盤輸入數值、繪制刻度尺和比例尺

?

• 選擇

????????選擇是在某個選擇集中選出一個元素，通過注視、指點或接觸一個對象，使對象成為后續行為的焦點，是操作對象時不可缺少的一部分。例如菜單上選擇一個命令、對話框選擇一個選項等。

?

• 字符串

????????鍵盤是目前輸入字符串最常用的方式，現在用寫字板輸入字符也已經很流行。

3.圖形交互技術（第二版 P63）

?

• 幾何約束

????????幾何約束可以用于對圖形的方向、對齊方式等進行規定和校準。

????????第一種幾何約束是對定位的約束：在屏幕上定義一個網格，強迫輸入點落在網格交點上，用戶輸入一個點，得到的是離它最近的一個網格點。????

????????第二種幾何約束是對方向的約束：例如要繪的垂直或水平方向的線，當給定的起點和終點連線和水平線的交角小于45°時，便可繪出一條水平線，否則就繪垂直線。繪制印刷線路板、管網圖或地籍圖時非常有用。

?

• 引力場

???????線段端點之間連接另外的線段。

????????引力場也可以看作是一種定位約束，通過在特定圖素（如直線段）周圍假想有一個區域，當光標中心落在這個區域內時，就自動地被直線上最近的一個點所代替，就好像一個質點進入了直線周圍的引力場，被吸引到這條直線上去一樣。

?

• 拖動

????????不是簡單地用光標指定新位置的一個點，而是當光標移動時拖動著被移動的對象，使用戶感到更直觀。

????????圖形模式：圖形的重新繪制

????????圖像模式：圖像的整體移動

?

• 橡皮筋技術

????????被拖動對象的形狀和位置隨著光標位置的不同而變化，用于畫直線、矩形、圓、圓弧和自由曲線等。

?

• 操作柄技術

????????可以用來對圖形對象進行縮放、旋轉、錯切等幾何變換。先選擇要處理的圖形對象，該圖形對象的周圍會出現操作柄，移動或旋轉操作柄就可以實現相應的變換

?

• 三維交互技術

????????三維交互技術采用六自由度輸入設備。所謂六自由度，指沿三維空間X、Y、Z軸平移和繞X、Y、Z軸旋轉。

????????直接操作：通過三維光標實現選擇并直接操作虛擬對象；需要大量計算，對硬件要求高

????????三維Widgets：三維交互界面的小工具（漂浮菜單、手、平移和旋轉指示器）

????????三視圖輸入：二維輸入設備在一定程度上實現三維輸入

4.多通道交互技術

（1）多通道用戶界面（Multimodal User Interface MUI）（第一版 P70）

?????? 為適應目前和未來的計算機系統要求，人機界面應能支持時變媒體（time-varingmedia），實現三維、非精確及隱含的人機交互，而多通道人機界面是達到這一目的的重要途徑。

定義：

?????? 為了消除當前WIMP/GUI 用戶界面通信帶寬不平衡的瓶頸，綜合采用視線、語音、手勢等新的交互通道、設備和交互技術，使用戶利用多個通道以自然、并行、協作的方式進行人機對話，通過整合來自多個通道的、精確的和不精確的輸入來捕捉用戶的交互意圖，提高人機交互的自然性和高效性。

目標：

?????? 交互的自然性：降低認識負荷

?????? 交互的高效性：發揮人機不同的認知潛力

?????? 與傳統用戶界面（WIMP/GUI）兼容

基本特點：

?? 使用多個感覺和效應通道

感覺通道側重多媒體信息的接受，效應通道側重交互過程中控制與信息的輸入，二者相互配合。

?? 允許非精確的交互

人類語言具有高度的模糊性，容許使用模糊的表達手段可以避免不必要的認識負荷。

?? 三維和直接操縱

人類的大多數活動領域具有三維和直接操縱特點，多通道人機交互的自然性反應了這種本質特點。

?? 交互的雙向性

人的感覺和效應通道通常具有雙向性的特點，如視覺可看可注視，手可控制、可觸及等。

多通道用戶界面使用戶避免生硬的、不自然的、頻繁的、耗時的通道切換，從而提高自然性和效率。

?? 交互的隱含性

追求交互自然性的多通道用戶界面并不需要用戶顯式地說明每個交互成分，反之是在自然的交互過程中隱含地說明。例如，用戶的視線自然地落在所感興趣的對象之上；又如，用戶的手自然地握住被操縱的目標

（2）多通道交互技術（第一版 P75）

2? 眼動跟蹤

眼動有三種主要形式(在人機交互中，眼動跟蹤主要利用跳動和注視:

跳動（Saccades）：在正常的視覺觀察過程中，眼動表現為在一系列被觀察目標上的停留及在這些停留點之間的飛速跳躍。在注視點之間的飛速跳躍稱為眼跳動。?

注視（Fixations）：停留時間至少持續100ms以上的稱為注視。在注視中，眼也不是絕對靜止不動，會有微小運動，但大小一般不會超過1°視角。絕大多數信息只有在注視時才能獲得并進行加工。

平滑尾隨跟蹤（Smooth Pursuit）：緩慢、聯合追蹤的眼動通常稱為平滑尾隨跟蹤。

分類：

?????? 以硬件為基礎的視線跟蹤：利用紅外發光二極管發出紅外線，采用圖像處理技術和能鎖定眼睛的特殊攝像機，通過分析人眼虹膜和瞳孔中紅外線圖象點的連續變化情況，得到視線變化的數據，從而達到視線追蹤的目的。

?????? 以軟件為基礎的視線跟蹤：先利用攝像機獲取人眼或臉部圖像，然后用軟件實現圖像中人臉和人眼的定位與跟蹤，從而估算用戶在屏幕上的注視位置。人的注視方向可以用頭的方位和眼睛的方位兩種方式來表示。

2? 手勢識別手勢是人的上肢(包括手臂、手和手指)的運動狀態。

手勢的分類：

交互性手勢與操作性手勢：手的運動表示特定的信息(如樂隊指揮)，靠視覺來感知；操作性手勢不表達任何信息(如彈琴)。

自主性手勢和非自主性手勢：自主性手勢與語音配合用來加強或補充某些信息(如演講者用手勢描述動作、空間結構等信息)。

離心手勢和向心手勢：離心手勢直接針對說話人，有明確的交流意圖，向心手勢只是反應說話人的情緒和內心的愿望。

識別手勢的手段有：

鼠標器和筆：優點是僅利用軟件算法來實現，從而適合于一般桌面系統；缺點是只能識別手的整體運動而不能識別手指的動作。

數據手套：主要優點是可以測定手指的姿勢和手勢；相對而言較為昂貴，并且有時會給用戶帶來不便。

計算機視覺：利用攝像機輸入手勢，優點是不干擾用戶；在技術上存在很多困難，還難以勝任手勢識別和理解的任務。

技術：

模板匹配技術：一種最簡單的識別技術，將傳感器輸入的原始數據與預先存儲的模板進行匹配，通過度量兩者之間的相似度完成識別任務。

神經網絡技術：一種較新的模式識別技術，具有自組織和自學習能力，具有分布性特點，抗噪聲能力比較強，能處理不完整的模式，并具有模式推廣能力。?

統計分析技術：通過統計樣本特征向量來確定分類器的一種基于概率的分類方法。在模式識別中一般采用貝葉斯極大似然理論確定分類函數。

2? 語音識別

概念：

語音識別是計算機通過識別和理解過程把語音信號轉變為相應的文本文件或命令的技術，目前主流的語音識別技術是基于統計的模式識別的基本理論。

技術：

?????? 數字化語音信號的轉換和量化涉及到信號表示問題：需要研究如何使系統在傳感器與環境的變化中保持性能的穩定，以適應這些變化。

各種語音必須被恰當地建模：目前采用的最廣泛的建模技術是隱馬爾科夫模型（HMM）。

語言的約束問題。

?

2? 表情識別

步驟：

?????? 表情的跟蹤：以某種方式將表情信息從外界攝取出來。

表情的編碼：即對面部表情進行編碼?；诿娌窟\動確定表情的思想，面部動作編碼系統（FacialAction Coding System，FACS），它是基于對所有引起面部動作的臉的“動作單元”的枚舉編制而成的。

表情的識別：面部表情的識別可以通過對FACS中的那種預定義的面部運動的分類來進行，而不是獨立地確定每一個點。

2? 手寫識別

分類：

?????? 脫機（off-line，又稱離線）識別：脫機識別就是機器對于已經寫好或印刷好的靜態的語言文本圖像的識別。

聯機（on-line，又稱在線）識別：聯機識別是指用筆在輸入板上寫，用戶一邊寫，機器一邊進行識別，可實時人機交互。包括了預處理、歸一化、特征抽取、特征匹配。

2? 漢字識別

識別方法：

?????? 結構識別：出發點是漢字的組成結構，把復雜的漢字模式分解為簡單的子模式直至基本模式元素，對子模式的判定以及基于符號運算的匹配算法，實現對復雜模式的識別。

統計識別：將漢字看為一個整體，其所有的特征是從整體上經過大量的統計而得到的，然后按照一定準則所確定的決策函數進行分類判決。

神經網絡：神經網絡具有學習能力和快速并行實現的特點，因此可以通過神經網絡分類器的推廣能力準則和特征提取器的有效特征提取準則，對手寫字符進行識別。

2? 數字墨水

數字墨水是一種新的人機界面技術，它借鑒手寫識別技術的同時，克服了它的許多局限性。數字墨水在數學上是通過三階貝塞爾曲線來描述筆輸入的筆跡，它的記錄格式與圖像和文本格式都不同。

總結

以上是生活随笔為你收集整理的《人机交互技术》第四章 人机交互技术概述的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。