概率圖模型結(jié)合了概率論與圖論的知識(shí),提供了一種簡(jiǎn)單的可視化概率模型的方法,在人工智能、機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺(jué)等領(lǐng)域有著廣闊的應(yīng)用前景。本書(shū)旨在幫助讀者學(xué)習(xí)使用概率圖模型,理解計(jì)算機(jī)如何通過(guò)貝葉斯模型和馬爾科夫模型來(lái)解決現(xiàn)實(shí)世界的問(wèn)題,同時(shí)教會(huì)讀者選擇合適的R語(yǔ)言程序包、合適的算法來(lái)準(zhǔn)備數(shù)據(jù)并建立模型。本書(shū)適合各行業(yè)的數(shù)據(jù)科學(xué)家、機(jī)器學(xué)習(xí)愛(ài)好者和工程師等人群閱讀、使用。
David Bellot是法國(guó)國(guó)家信息與自動(dòng)化研究所(INRIA)計(jì)算機(jī)科學(xué)專業(yè)的博士,致力于貝葉斯機(jī)器學(xué)習(xí)。他也是美國(guó)加州大學(xué)伯克利分校的博士后,為英特爾、Orange電信和巴克萊銀行等公司工作過(guò)。他現(xiàn)在財(cái)經(jīng)行業(yè)工作,使用機(jī)器學(xué)習(xí)技術(shù)開(kāi)發(fā)財(cái)經(jīng)市場(chǎng)的預(yù)測(cè)算法,同時(shí)也是開(kāi)源項(xiàng)目,如Boost C++庫(kù)的貢獻(xiàn)者。
譯者簡(jiǎn)介:
魏博,志諾維思(北京)基因科技有限公司高-級(jí)算法工程師。本科畢業(yè)于武漢大學(xué)數(shù)學(xué)系,博士畢業(yè)于中國(guó)科學(xué)院數(shù)學(xué)與系統(tǒng)科學(xué)研究院計(jì)算機(jī)軟件與理論專業(yè)。前阿里巴巴優(yōu)酷事業(yè)部視頻搜索算法專家,歐普拉軟件科技(北京)有限公司新聞推薦高-級(jí)算法工程師。長(zhǎng)期關(guān)注于用戶需求建模、行為建模和自動(dòng)推理。數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)和數(shù)據(jù)可視化愛(ài)好者,尤其熱衷于海量數(shù)據(jù)中用戶視角和用戶行為模式的刻畫(huà)和推斷,以及自然語(yǔ)言處理問(wèn)題.
第 1章 概率推理 1
1.1 機(jī)器學(xué)習(xí) 3
1.2 使用概率表示不確定性 4
1.2.1 信念和不確定性的概率表示 5
1.2.2 條件概率 6
1.2.3 概率計(jì)算和隨機(jī)變量 7
1.2.4 聯(lián)合概率分布 9
1.2.5 貝葉斯規(guī)則 10
1.3 概率圖模型 18
1.3.1 概率模型 18
1.3.2 圖和條件獨(dú)立 19
1.3.3 分解分布 21
1.3.4 有向模型 22
1.3.5 無(wú)向模型 23
1.3.6 示例和應(yīng)用 23
1.4 小結(jié) 27
第 2章 精 確推斷 28
2.1 構(gòu)建圖模型 29
2.1.1 隨機(jī)變量的類型 30
2.1.2 構(gòu)建圖 31
2.2 變量消解 37
2.3 和積與信念更新 39
2.4 聯(lián)結(jié)樹(shù)算法 43
2.5 概率圖模型示例 51
2.5.1 灑水器例子 51
2.5.2 醫(yī)療專家系統(tǒng) 52
2.5.3 多于兩層的模型 53
2.5.4 樹(shù)結(jié)構(gòu) 55
2.6 小結(jié) 56
第3章 學(xué)習(xí)參數(shù) 58
3.1 引言 59
3.2 通過(guò)推斷學(xué)習(xí) 63
3.3 zui大似然法 67
3.3.1 經(jīng)驗(yàn)分布和模型分布是如何關(guān)聯(lián)的? 67
3.3.2 zui大似然法和R語(yǔ)言實(shí)現(xiàn) 69
3.3.3 應(yīng)用 73
3.4 學(xué)習(xí)隱含變量——期望zui大化算法 75
3.4.1 隱變量 76
3.5 期望zui大化的算法原理 77
3.5.1 期望zui大化算法推導(dǎo) 77
3.5.2 對(duì)圖模型使用期望zui大化算法 79
3.6 小結(jié) 80
第4章 貝葉斯建!A(chǔ)模型 82
4.1 樸素貝葉斯模型 82
4.1.1 表示 84
4.1.2 學(xué)習(xí)樸素貝葉斯模型 85
4.1.3 完全貝葉斯的樸素貝葉斯模型 87
4.2 Beta二項(xiàng)式分布 90
4.2.1 先驗(yàn)分布 94
4.2.2 帶有共軛屬性的后驗(yàn)分布 95
4.2.3 如何選取Beta參數(shù)的值 95
4.3 高斯混合模型 97
4.3.1 定義 97
4.4 小結(jié) 104
第5章 近似推斷 105
5.1 從分布中采樣 106
5.2 基本采樣算法 108
5.2.1 標(biāo)準(zhǔn)分布 108
5.3 拒絕性采樣 111
5.3.1 R語(yǔ)言實(shí)現(xiàn) 113
5.4 重要性采樣 119
5.4.1 R語(yǔ)言實(shí)現(xiàn) 121
5.5 馬爾科夫鏈蒙特卡洛算法 127
5.5.1 主要思想 127
5.5.2 Metropolis-Hastings算法 128
5.6 概率圖模型MCMC算法R語(yǔ)言實(shí)現(xiàn) 135
5.6.1 安裝Stan和RStan 136
5.6.2 RStan的簡(jiǎn)單例子 136
5.7 小結(jié) 137
第6章 貝葉斯建模——線性模型 139
6.1 線性回歸 140
6.1.1 估計(jì)參數(shù) 142
6.2 貝葉斯線性模型 146
6.2.1 模型過(guò)擬合 147
6.2.2 線性模型的圖模型 149
6.2.3 后驗(yàn)分布 151
6.2.4 R語(yǔ)言實(shí)現(xiàn) 153
6.2.5 一種穩(wěn)定的實(shí)現(xiàn) 156
6.2.6 更多R語(yǔ)言程序包 161
6.3 小結(jié) 161
第7章 概率混合模型 162
7.1 混合模型 162
7.2 混合模型的期望zui大化 164
7.3 伯努利混合 169
7.4 專家混合 172
7.5 隱狄利克雷分布 176
7.5.1 LDA模型 176
7.5.2 變分推斷 179
7.5.3 示例 180
7.6 小結(jié) 183
附錄 184