本書基于 MM 算法原理和組裝分解技術(shù)系統(tǒng)地介紹了統(tǒng)計優(yōu)化問題中 MM 算法的構(gòu)造方法及其性質(zhì)特征。本書共分7章內(nèi)容,具體包括緒論、凸性、MM 算法與組裝分解技術(shù)、單 (多)元分布參數(shù)估計的 MM 算法、混合模型的 MM 算法、生存模型的半?yún)?shù)估計與 MM 算法、收斂性與加速算法。本書的目的在于為讀者特別是統(tǒng)計工作者提供一套簡單、有效、可靠的優(yōu)化工具構(gòu)造方法,強調(diào)廣度而非深度,希望本書所介紹的算法開發(fā)方法能夠為更多的實際問題而服務(wù)。
本書既適合高等院校數(shù)學(xué)、統(tǒng)計學(xué)、計算機科學(xué)、航空航天、電氣工程、運籌學(xué)專業(yè)的本科生和研究生閱讀,也適合作為相關(guān)技術(shù)人員的參考書。
黃希芬
----------------------------
黃希芬,女,博士,現(xiàn)任云南師范大學(xué)數(shù)學(xué)學(xué)院統(tǒng)計系副主任,碩士生導(dǎo)師。兼任中國現(xiàn)場統(tǒng)計研究會多元分析應(yīng)用專業(yè)委員會理事、中國現(xiàn)場統(tǒng)計研究會統(tǒng)計交叉科學(xué)研究分會理事,云南省應(yīng)用統(tǒng)計學(xué)會理事。主要從事大數(shù)據(jù)統(tǒng)計建模、高維統(tǒng)計推斷、統(tǒng)計優(yōu)化算法和生存分析等方面的研究。在國內(nèi)外期刊發(fā)表學(xué)術(shù)論文20余篇。主持國家自然科學(xué)基金項目2項,省部級項目2項。曾獲云南省社會科學(xué)獎三等獎,是全國科普教育基地、教育部首批“大思政課”實踐教學(xué)基地(教育部、科技部科學(xué)精神專題實踐教學(xué)基地)、中國數(shù)學(xué)會科普教育基地“西南聯(lián)大數(shù)學(xué)文化館”成員。
第1章 緒論………………………………………………………………………… 1
1.1 引言 ………………………………………………………………………… 1
1.2 極大似然估計 ……………………………………………………………… 2
1.3 牛頓法 ……………………………………………………………………… 4
1.3.1 牛頓法與方程求根 …………………………………………………… 5
1.3.2 牛頓法與最優(yōu)化 ……………………………………………………… 6
1.4 牛頓-拉弗森算法 …………………………………………………………… 7
1.5 擬牛頓法 …………………………………………………………………… 8
1.6 費希爾得分算法…………………………………………………………… 10
1.7 EM 算法 …………………………………………………………………… 11
1.7.1 EM 算法的迭代公式 ………………………………………………… 12
1.7.2 EM 算法的上升性質(zhì) ………………………………………………… 14
1.7.3 信息缺失準(zhǔn)則和標(biāo)準(zhǔn)誤差…………………………………………… 15
1.8 蒙特卡羅EM 算法 ……………………………………………………… 16
1.9 ECM 算法 ………………………………………………………………… 18
1.10 EM 梯度算法 …………………………………………………………… 20
第2章 凸性 ……………………………………………………………………… 23
2.1 引言………………………………………………………………………… 23
2.2 凸集………………………………………………………………………… 23
2.3 凸函數(shù)……………………………………………………………………… 26
2.4 凸函數(shù)的性質(zhì)………………………………………………………………32
2.5 閉合函數(shù)…………………………………………………………………… 34
2.6 強制函數(shù)…………………………………………………………………… 37
2.7 距離函數(shù)…………………………………………………………………… 38
第3章 MM 算法與組裝分解技術(shù) ……………………………………………… 41
3.1 引言………………………………………………………………………… 41
3.2 MM 算法原理 …………………………………………………………… 42
3.3 不等式……………………………………………………………………… 44
3.3.1 Jensen不等式及其應(yīng)用 …………………………………………… 44
3.3.2 支撐超平面不等式及其應(yīng)用………………………………………… 45
3.3.3 算術(shù)-幾何均值不等式及其應(yīng)用 …………………………………… 47
3.3.4 Cauchy-Schwarz不等式及其應(yīng)用 ………………………………… 48
3.3.5 二次上界原理及其應(yīng)用……………………………………………… 49
3.4 組裝技術(shù)…………………………………………………………………… 52
3.5 分解技術(shù)…………………………………………………………………… 55
3.5.1 對數(shù)似然函數(shù)的分解………………………………………………… 55
3.5.2 雙重極小化技術(shù)……………………………………………………… 57
第4章 單 (多)元分布參數(shù)估計的 MM 算法 ………………………………… 59
4.1 引言………………………………………………………………………… 59
4.2 零截斷的二項分布………………………………………………………… 60
4.2.1 零截斷的二項分布概述……………………………………………… 60
4.2.2 基于LB函數(shù)族的第一個 MM 算法 ……………………………… 60
4.2.3 基于LEB函數(shù)族的第二個 MM 算法 ……………………………… 61
4.3 廣義泊松分布……………………………………………………………… 61
4.3.1 廣義泊松分布概述…………………………………………………… 61
4.3.2 基于LG函數(shù)族的 MM 算法 ……………………………………… 62
4.4 左截斷的正態(tài)分布………………………………………………………… 63
4.4.1 左截斷的正態(tài)分布概述……………………………………………… 63
4.4.2 MM 算法的構(gòu)造流程 ……………………………………………… 64
4.5 高維泊松回歸模型與變量選擇…………………………………………… 66
4.5.1 透射斷層掃描的泊松回歸模型……………………………………… 66
4.5.2 基于LGM 函數(shù)族的 MM 算法 …………………………………… 66
4.5.3 高維泊松回歸模型的變量選擇……………………………………… 67
4.5.4 高維泊松回歸模型正則估計的 MM 算法 ………………………… 68
4.6 多元泊松分布……………………………………………………………… 69
4.6.1 多元泊松分布概述…………………………………………………… 69
4.6.2 基于LG函數(shù)族的 MM 算法 ……………………………………… 70
4.7 I型多元零膨脹廣義泊松分布 …………………………………………… 71
4.7.1 I型多元零膨脹廣義泊松分布概述 ………………………………… 71
4.7.2 基于LB和LG函數(shù)族的 MM 算法………………………………… 73
4.8 多元復(fù)合零膨脹廣義泊松分布…………………………………………… 74
4.8.1 多元復(fù)合零膨脹廣義泊松分布概述………………………………… 74
4.8.2 基于LB和LG函數(shù)族的 MM 算法………………………………… 76
附錄 ……………………………………………………………………………… 78
第5章 混合模型的 MM 算法 ………………………………………………… 109
5.1 引言 ……………………………………………………………………… 109
5.2 混合分布的一般化 MM 算法 …………………………………………… 110
5.2.1 連續(xù)/離散混合分布模型的一般化 MM 算法 …………………… 110
5.2.2 連續(xù)-離散混合分布模型的一般化 MM 算法 …………………… 112
5.3 混合正態(tài)分布 …………………………………………………………… 114
5.4 混合T分布 ……………………………………………………………… 115
5.5 混合伽瑪分布 …………………………………………………………… 117
5.6 混合威布爾分布 ………………………………………………………… 118
5.7 混合泊松分布 …………………………………………………………… 119
5.8 混合幾何分布 …………………………………………………………… 121
5.9 正態(tài)-泊松混合分布 ……………………………………………………… 122
5.10 指數(shù)-泊松混合分布 …………………………………………………… 123
5.11 伽瑪-幾何混合分布 …………………………………………………… 125
5.12 伽瑪-泊松混合分布 …………………………………………………… 127
附錄……………………………………………………………………………… 128
第6章 生存模型的半?yún)?shù)估計與 MM 算法 ………………………………… 175
6.1 引言 ……………………………………………………………………… 175
6.2 Cox模型 ………………………………………………………………… 176
6.2.1 Cox模型與右刪失數(shù)據(jù) …………………………………………… 176
6.2.2 Cox模型的輪廓 MM 算法 ………………………………………… 176
6.2.3 Cox模型的非輪廓 MM 算法 ……………………………………… 178
6.3 伽瑪脆弱模型 …………………………………………………………… 179
6.3.1 伽瑪脆弱模型與右刪失的集群失效時間數(shù)據(jù) …………………… 179
6.3.2 伽瑪脆弱模型的第一個輪廓 MM 算法 …………………………… 180
6.3.3 伽瑪脆弱模型的第二個輪廓 MM 算法 …………………………… 182
6.3.4 伽瑪脆弱模型的第三個輪廓 MM 算法 …………………………… 183
6.4 脆弱模型 ………………………………………………………………… 186
6.4.1 脆弱模型與右刪失的多元失效時間數(shù)據(jù) ………………………… 186
6.4.2 一般化脆弱模型的非輪廓 MM 算法 ……………………………… 187
6.4.3 脆弱模型高維回歸向量的變量選擇 ……………………………… 190
6.5 半競爭風(fēng)險模型 ………………………………………………………… 191
6.5.1 半競爭風(fēng)險模型概述 ……………………………………………… 191
6.5.2 半競爭風(fēng)險模型的輪廓 MM 算法 ………………………………… 192
6.6 比例優(yōu)勢模型 …………………………………………………………… 195
6.6.1 比例優(yōu)勢模型概述 ………………………………………………… 195
6.6.2 比例優(yōu)勢模型的輪廓 MM 算法 …………………………………… 196
6.6.3 比例優(yōu)勢模型的非輪廓 MM 算法 ………………………………… 198
6.6.4 比例優(yōu)勢模型高維回歸向量的變量選擇 ………………………… 199
6.7 混合比例優(yōu)勢模型 ……………………………………………………… 201
6.7.1 混合比例優(yōu)勢模型概述 …………………………………………… 201
6.7.2 混合比例優(yōu)勢模型的輪廓 MM 算法 ……………………………… 202
6.7.3 混合比例優(yōu)勢模型的非輪廓 MM 算法 …………………………… 204
附錄……………………………………………………………………………… 206
第7章 收斂性與加速算法……………………………………………………… 306
7.1 引言 ……………………………………………………………………… 306
7.2 局部收斂性 ……………………………………………………………… 307
7.3 全局收斂性 ……………………………………………………………… 310
7.4 SUMMA條件 …………………………………………………………… 313
7.5 平滑算法的加速 ………………………………………………………… 315
參考文獻…………………………………………………………………………… 318