表面肌電信號作為一種生物電信號,能夠反映功能性肌肉收縮的電活動,具有檢測方便、無創(chuàng)傷等特點(diǎn),可以用于仿生假肢控制等功能,提升仿生設(shè)備的便捷性、經(jīng)濟(jì)性、可穿戴性及智能化程度。本書研究表面肌電信號采集通道與特征多目標(biāo)智能優(yōu)化算法,特別是還研究基于深度學(xué)習(xí)的表面肌電信號手勢識別算法。為了彌補(bǔ)表面肌電信號的不足,本書會進(jìn)一步研究肌電與超聲波模態(tài)融合的殘疾人手部動作意圖識別等關(guān)鍵問題,以提升手勢識別的準(zhǔn)確度和魯棒性。
王錚,男,工學(xué)博士。2004年9月—2008年6月,浙江工業(yè)大學(xué)生物工程專業(yè),獲學(xué)士學(xué)位。2010年9月—2012年3月,英國東英吉利大學(xué)計(jì)算機(jī)系生物信息學(xué)專業(yè)研究生,獲碩士學(xué)位。2015年9月—2020年6月,浙江工業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院控制科學(xué)與工程專業(yè)博士研究生,獲博士學(xué)位。2017年3月—2018年3月,獲國家留學(xué)基金--國家建設(shè)高水平大學(xué)公派博士研究生項(xiàng)目資助,赴英國樸茨茅斯大學(xué)計(jì)算機(jī)系作為聯(lián)合培養(yǎng)研究生留學(xué)1年。所承擔(dān)過的重點(diǎn)科研或教研項(xiàng)目以及在項(xiàng)目中所承擔(dān)的工作:(1)國家自然科學(xué)基金面上項(xiàng)目"基于半監(jiān)督生成對抗網(wǎng)絡(luò)的最優(yōu)卷積化數(shù)據(jù)驅(qū)動水庫群調(diào)度方法”,項(xiàng)目編號:61873240,負(fù)責(zé)人;(2)國家自然科學(xué)基金面上項(xiàng)目"混雜多傳感網(wǎng)協(xié)調(diào)通信層次結(jié)構(gòu)建模與多級優(yōu)化方法”,項(xiàng)目編號:61379123,負(fù)責(zé)人。獲獎情況:(1)"小水電站網(wǎng)絡(luò)化控制與優(yōu)化運(yùn)行關(guān)鍵共性技術(shù)及推廣應(yīng)用”, 浙江省科學(xué)技術(shù)獎一等獎,2011年,王萬良排名第1。(2)"基于網(wǎng)絡(luò)智能的實(shí)時語音交互智能客服系統(tǒng)研制及應(yīng)用”, 吳文俊人工智能科學(xué)技術(shù)獎技術(shù)發(fā)明獎二等獎,2018年,王萬良排名第一。
第1章 緒論 1
1.1 研究背景與意義 1
1.2 智能假肢控制與識別研究存在的主要問題 4
1.2.1 表面肌電信號采集通道數(shù)量與位置分布需要優(yōu)化 4
1.2.2 深層肌肉活動信號采集不足 4
1.2.3 已有算法識別的手勢數(shù)量少、魯棒性差 4
1.2.4 電極移位和串?dāng)_對信號采集影響較大 5
1.3 本書主要研究內(nèi)容和主要章節(jié)安排 5
1.3.1 本書主要研究內(nèi)容 5
1.3.2 本書主要章節(jié)安排 7
第2章 基于肌電信號與超聲波的手勢識別研究進(jìn)展 9
2.1 基于表面肌電信號的手勢識別研究進(jìn)展 9
2.1.1 表面肌電信號的特征提取 9
2.1.2 基于傳統(tǒng)識別算法的表面肌電信號識別 11
2.1.3 基于深度學(xué)習(xí)的表面肌電信號識別 12
2.1.4 表面肌電信號識別穩(wěn)定性方法研究 13
2.2 利用超聲波探測肌肉形變及其感知解碼的研究現(xiàn)狀 14
2.3 基于多模態(tài)融合的動作意圖識別的研究現(xiàn)狀 16
2.3.1 肌電信號與超聲波模態(tài)融合 16
2.3.2 肌電信號與腦電信號融合 17
2.3.3 肌電信號與慣性測量單元融合 18
2.3.4 肌電信號與近紅外融合 18
2.3.5 肌電信號與肌動圖融合 19
2.3.6 肌電信號與鐵磁共振融合 19
2.4 基于肌電信號的假肢人機(jī)接口系統(tǒng)開發(fā) 19
2.5 本章小結(jié) 20
第3章 表面肌電信號產(chǎn)生的機(jī)理分析與檢測 21
3.1 引言 21
3.2 表面肌電信號的生理學(xué)機(jī)理 21
3.3 表面肌電信號的特點(diǎn) 23
3.4 前臂肌肉與手勢的關(guān)系 24
3.5 表面肌電信號的數(shù)據(jù)采集 25
3.5.1 表面肌電信號采集電極的研制現(xiàn)狀 26
3.5.2 ELONXI肌電采集系統(tǒng) 26
3.5.3 表面肌電信號電極設(shè)計(jì) 27
3.5.4 表面肌電信號實(shí)驗(yàn)方案設(shè)計(jì) 28
3.6 表面肌電信號的實(shí)驗(yàn)數(shù)據(jù)集 29
3.6.1 Ninapro DB數(shù)據(jù)集 29
3.6.2 ELONXI DB數(shù)據(jù)集 32
3.7 表面肌電信號的數(shù)學(xué)模型 33
3.7.1 表面肌電信號產(chǎn)生機(jī)理的數(shù)學(xué)抽象 33
3.7.2 線性模型 34
3.7.3 集中參數(shù)模型 35
3.7.4 非穩(wěn)態(tài)模型 35
3.7.5 雙極型模型 36
3.8 本章小結(jié) 37
第4章 表面肌電信號的特征提取與識別方法 38
4.1 引言 38
4.2 表面肌電信號的窗口分析法 38
4.3 表面肌電信號的特征提取 40
4.3.1 時域特征 40
4.3.2 頻域特征 42
4.3.3 時頻域特征 44
4.3.4 參數(shù)模型特征 44
4.4 表面肌電信號的經(jīng)典識別模型 46
4.4.1 K最近鄰算法 46
4.4.2 線性判別分析 46
4.4.3 支持向量機(jī) 47
4.4.4 隨機(jī)森林 49
4.5 本章小結(jié) 50
第5章 表面肌電信號采集通道與特征智能優(yōu)化算法 51
5.1 引言 51
5.2 基于遺傳算法的表面肌電信號采集通道優(yōu)化 52
5.2.1 表面肌電信號采集通道優(yōu)化的遺傳算法 52
5.2.2 基于遺傳算法的采集通道優(yōu)化實(shí)驗(yàn)結(jié)果與分析 54
5.2.3 電極位置影響的實(shí)驗(yàn)結(jié)果與分析 59
5.3 基于進(jìn)化算法的表面肌電信號采集通道與特征組合優(yōu)化 60
5.3.1 表面肌電信號采集通道與特征組合優(yōu)化的差分進(jìn)化算法 61
5.3.2 表面肌電信號采集通道與特征組合優(yōu)化的量子進(jìn)化算法 65
5.4 基于群智能算法的表面肌電信號采集通道與特征組合優(yōu)化 72
5.4.1 表面肌電信號采集通道與特征組合優(yōu)化的粒子群優(yōu)化算法 72
5.4.2 表面肌電信號采集通道與特征組合優(yōu)化的量子粒子群優(yōu)化算法 74
5.4.3 表面肌電信號采集通道與特征組合優(yōu)化的蟻群優(yōu)化算法 76
5.5 表面肌電信號采集通道與特征智能優(yōu)化算法實(shí)驗(yàn)分析 79
5.5.1 表面肌電信號采集通道與特征組合優(yōu)化的單一算法實(shí)驗(yàn)與分析 79
5.5.2 表面肌電信號采集通道與特征組合優(yōu)化的多種智能算法對比分析 83
5.6 本章小結(jié) 86
第6章 表面肌電信號采集通道與特征多目標(biāo)智能優(yōu)化算法 88
6.1 引言 88
6.2 表面肌電信號采集通道與特征多目標(biāo)優(yōu)化問題建模 89
6.3 多目標(biāo)優(yōu)化問題差分進(jìn)化求解方法 90
6.3.1 多目標(biāo)優(yōu)化問題轉(zhuǎn)換為一組單目標(biāo)優(yōu)化問題 91
6.3.2 多目標(biāo)優(yōu)化問題差分進(jìn)化求解方法詳敘 91
6.4 基于全局綜合排序自適應(yīng)角度選擇的多目標(biāo)優(yōu)化進(jìn)化算法 92
6.5 MOEA/D-AAU-GGR算法實(shí)驗(yàn)分析 95
6.6 MOEA/D、MOEA/D-AU與MOEA/D-AAU-GGR實(shí)驗(yàn)對比分析 98
6.7 多目標(biāo)優(yōu)化算法的評價與有效性驗(yàn)證 103
6.7.1 多目標(biāo)優(yōu)化算法的評價 103
6.7.2 有效性驗(yàn)證 105
6.8 基于肌電通道與特征優(yōu)化的機(jī)器人識別系統(tǒng) 105
6.8.1 系統(tǒng)平臺與架構(gòu) 105
6.8.2 系統(tǒng)軟件功能與實(shí)現(xiàn) 106
6.8.3 現(xiàn)場實(shí)驗(yàn)與結(jié)果分析 113
6.9 本章小結(jié) 114
第7章 基于深度學(xué)習(xí)的表面肌電信號手勢識別 116
7.1 引言 116
7.2 循環(huán)神經(jīng)網(wǎng)絡(luò)與長短期記憶神經(jīng)網(wǎng)絡(luò) 117
7.2.1 循環(huán)神經(jīng)網(wǎng)絡(luò) 117
7.2.2 長短期記憶神經(jīng)網(wǎng)絡(luò) 119
7.3 基于GAF的一維時間序列信號二維化 122
7.4 基于GAF的CNN-LSTM串并聯(lián)網(wǎng)絡(luò)結(jié)構(gòu)的表面肌電信號手勢識別 123
7.5 基于GAF的CapsNet的表面肌電信號手勢識別 126
7.5.1 CapsNet的結(jié)構(gòu) 126
7.5.2 基于CNN-CapsNet并聯(lián)的表面肌電信號手勢識別實(shí)驗(yàn)設(shè)計(jì) 128
7.5.3 采集臂套偏移魯棒性實(shí)驗(yàn)及其結(jié)果分析 129
7.5.4 基于CapsNet的表面肌電信號手勢識別的遷移性實(shí)驗(yàn)及其結(jié)果分析 129
7.6 基于CapsNet-GRU的表面肌電信號手勢識別 130
7.6.1 CapsNet-GRU復(fù)合神經(jīng)網(wǎng)絡(luò)模型 130
7.6.2 優(yōu)化算法與損失函數(shù) 131
7.6.3 離線實(shí)驗(yàn)設(shè)置 132
7.6.4 離線實(shí)驗(yàn)結(jié)果與分析 133
7.7 基于雙流網(wǎng)絡(luò)的表面肌電信號手勢識別 138
7.7.1 基于時空特征的雙流網(wǎng)絡(luò)模型 138
7.7.2 CNN-LSTMs串行網(wǎng)絡(luò)模型 140
7.7.3 多特征融合網(wǎng)絡(luò)模型 140
7.7.4 三種模型的實(shí)驗(yàn)對比 141
7.7.5 基于時空特征的雙流網(wǎng)絡(luò)模型與傳統(tǒng)方法的對比 143
7.8 基于深度學(xué)習(xí)的表面肌電信號手勢識別實(shí)驗(yàn)研究 144
7.8.1 不同手勢數(shù)量的實(shí)驗(yàn)對比與分析 145
7.8.2 不同訓(xùn)練集規(guī)模的實(shí)驗(yàn)對比與分析 145
7.8.3 不同LSMT神經(jīng)網(wǎng)絡(luò)隱藏層單元數(shù)量的實(shí)驗(yàn)對比與分析 146
7.8.4 時空特征的可視化實(shí)驗(yàn)對比與分析 146
7.9 基于雙流網(wǎng)絡(luò)模型的機(jī)械臂控制 148
7.10 本章小結(jié) 150
第8章 肌電與超聲波模態(tài)融合的殘疾人手部動作意圖識別 152
8.1 引言 152
8.2 肌電與超聲波模態(tài)融合的手勢識別實(shí)驗(yàn)設(shè)計(jì) 153
8.2.1 sEMG/AUS實(shí)驗(yàn)數(shù)據(jù)采集 153
8.2.2 混合sEMG/AUS系統(tǒng)同步采集 155
8.2.3 sEMG/AUS手勢識別實(shí)驗(yàn)設(shè)計(jì) 155
8.2.4 AUS信號實(shí)驗(yàn)數(shù)據(jù)預(yù)處理與特征提取 156
8.3 基于CNN-LSTM的肌電與超聲波模態(tài)融合手勢識別 158
8.3.1 基于CNN的超聲波信號手勢識別 158
8.3.2 肌電與超聲波模態(tài)融合的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 159
8.3.3 肌電與超聲波模態(tài)融合的手勢識別實(shí)驗(yàn) 160
8.3.4 CNN-LSTM與SVM的識別準(zhǔn)確度比較 163
8.4 橈骨截肢患者手部動作意圖識別交叉驗(yàn)證分析 164
8.4.1 比較sEMG和AUS信號性能的三種交叉驗(yàn)證實(shí)驗(yàn) 164
8.4.2 三種交叉驗(yàn)證的識別準(zhǔn)確度分析 165
8.4.3 sEMG和AUS信號對每種動作意圖識別的準(zhǔn)確度分析 165
8.4.4 sEMG和AUS信號三種交叉驗(yàn)證的混淆矩陣分析 167
8.5 基于超聲波和肌電的殘疾人手勢識別對比與難點(diǎn)分析 169
8.5.1 準(zhǔn)確度和魯棒性分析 169
8.5.2 基于AUS信號手勢識別的難點(diǎn)分析 170
8.6 本章小結(jié) 170
第9章 基于sEMG的在線手勢識別與抓取實(shí)驗(yàn)平臺的開發(fā) 171
9.1 引言 171
9.2 在線手勢識別與抓取實(shí)驗(yàn)平臺 171
9.2.1 人機(jī)交互界面的開發(fā) 172
9.2.2 Baxter機(jī)器人的簡介 174
9.3 在線手勢識別與抓取實(shí)驗(yàn) 176
9.3.1 實(shí)驗(yàn)方案設(shè)計(jì) 176
9.3.2 評價指標(biāo)設(shè)定 178
9.3.3 在線實(shí)驗(yàn)結(jié)果與分析 178
9.4 本章小結(jié) 179
第10章 總結(jié)與展望 180
10.1 總結(jié) 180
10.2 展望 181
參考文獻(xiàn)