01 機(jī)器學(xué)習(xí)簡(jiǎn)介 1.1　什么是機(jī)器學(xué)習(xí)　2 1.2　機(jī)器學(xué)習(xí)簡(jiǎn)史　2 1.3　機(jī)器學(xué)習(xí)任務(wù)的類(lèi)型　6 1.3.1　監(jiān)督學(xué)習(xí)　6 1.3.2　無(wú)監(jiān)督學(xué)習(xí)　10 1.4　機(jī)器學(xué)習(xí)項(xiàng)目的一般步驟　10 1.5　模型評(píng)估　11 1.5.1　交叉驗(yàn)證　12 1.5.2　超參數(shù)調(diào)優(yōu)　13 1.6　本章小結(jié)　14 1.7　習(xí)題　14 02 線性回歸 2.1　線性回歸簡(jiǎn)介　16 2.2　線性回歸模型的目標(biāo)函數(shù)　17 2.2.1　回歸模型的損失函數(shù)　17 2.2.2　線性回歸模型的正則函數(shù)　20 2.3　線性回歸模型的優(yōu)化求解　23 2.3.1　解析求解法　24 2.3.2　梯度下降法　26 2.3.3　坐標(biāo)軸下降法　28 2.4　回歸任務(wù)的性能指標(biāo)　31 2.5　線性回歸模型的超參數(shù)調(diào)優(yōu)　32 2.6　案例分析1：廣告費(fèi)用與銷(xiāo)量預(yù)測(cè)　33 2.7　案例分析2：共享單車(chē)騎行量預(yù)測(cè)　36 2.8　本章小結(jié)　38 2.9　習(xí)題　38 03 Logistic回歸 3.1　Logistic回歸模型　42 3.2　Logistic回歸模型的目標(biāo)函數(shù)　44 3.3　Logistic回歸目標(biāo)函數(shù)優(yōu)化求解　45 3.3.1　梯度下降法　45 3.3.2　牛頓法　46 3.3.3　擬牛頓法　48 3.4　多類(lèi)分類(lèi)任務(wù)　50 3.5　分類(lèi)任務(wù)的性能指標(biāo)　51 3.6　數(shù)據(jù)不均衡分類(lèi)問(wèn)題　55 3.6.1　重采樣　55 3.6.2　代價(jià)敏感學(xué)習(xí)　56 3.7　案例分析：奧拓商品分類(lèi)　57 3.8　本章小結(jié)　58 3.9　習(xí)題　59 04 SVM 4.1　SVM的基本型　64 4.1.1　最大間隔　64 4.1.2　SVM的對(duì)偶問(wèn)題　67 4.2　帶松弛因子的SVM　69 4.3　合頁(yè)損失函數(shù)　72 4.4　核方法　73 4.4.1　核技巧　73 4.4.2　核函數(shù)構(gòu)造　75 4.5　SVM優(yōu)化求解：SMO　77 4.5.1　SMO算法原理　77 4.5.2　對(duì)原始解進(jìn)行修剪　79 4.5.3　α選擇　80 4.5.4　更新截距項(xiàng)b　81 4.5.5　SMO小結(jié)　82 4.6　支持向量回歸　83 4.6.1　不敏感損失函數(shù)　83 4.6.2　支持向量回歸　83 4.7　案例分析1：奧拓商品分類(lèi)　85 4.8　案例分析2：共享單車(chē)騎行量預(yù)測(cè)　86 4.9　本章小結(jié)　87 4.10　習(xí)題　88 05 生成式分類(lèi)器 5.1　生成式分類(lèi)器　92 5.2　貝葉斯規(guī)則　92 5.2.1　貝葉斯公式　92 5.2.2　樸素貝葉斯分類(lèi)器　93 5.2.3　樸素貝葉斯分類(lèi)器的訓(xùn)練　94 5.2.4　案例分析1：奧拓商品分類(lèi)　98 5.2.5　案例分析2：新聞分類(lèi)　99 5.3　高斯判別分析　100 5.3.1　高斯判別分析的基本原理　100 5.3.2　高斯判別分析的模型訓(xùn)練　102 5.3.3　案例分析3：MNIST手寫(xiě)數(shù)字識(shí)別　102 5.4　本章小結(jié)　102 5.5　習(xí)題　103 06 決策樹(shù) 6.1　決策樹(shù)基本原理　106 6.2　建樹(shù)　107 6.2.1　ID3和C4.5　107 6.2.2　CART　111 6.3　剪枝　113 6.4　提前終止　114 6.5　案例分析1：蘑菇分類(lèi)　114 6.6　案例分析2：共享單車(chē)騎行量預(yù)測(cè)　116 6.7　本章小結(jié)　117 6.8　習(xí)題　117 07 集成學(xué)習(xí) 7.1　誤差的偏差-方差分解　120 7.1.1　點(diǎn)估計(jì)的偏差-方差分解　120 7.1.2　預(yù)測(cè)誤差的偏差-方差分解　120 7.2　Bagging　122 7.3　隨機(jī)森林　124 7.3.1　隨機(jī)森林的基本原理　124 7.3.2　案例分析：奧拓商品分類(lèi)　124 7.4　梯度提升　124 7.5　XGBoost　126 7.5.1　XGBoost基本原理　126 7.5.2　XGBoost優(yōu)化　129 7.5.3　XGBoost使用指南　129 7.5.4　案例分析：奧拓商品分類(lèi)　132 7.6　LightGBM　133 7.6.1　基于直方圖的決策樹(shù)構(gòu)造算法　133 7.6.2　直方圖加速：基于梯度的單邊采樣算法　134 7.6.3　直方圖加速：互斥特征捆綁算法　135 7.6.4　支持離散型特征　136 7.6.5　帶深度限制的按葉子生長(zhǎng)策略　137 7.6.6　案例分析：奧拓商品分類(lèi)　137 7.7　融合　137 7.8　本章小結(jié)　138 7.9　習(xí)題　138 08 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 8.1　神經(jīng)元的基本結(jié)構(gòu)　142 8.2　前饋全連接神經(jīng)網(wǎng)絡(luò)　142 8.3　卷積神經(jīng)網(wǎng)絡(luò)　143 8.3.1　卷積層　143 8.3.2　池化層　146 8.3.3　CNN示例：AlexNet　146 8.4　循環(huán)神經(jīng)網(wǎng)絡(luò)　148 8.4.1　簡(jiǎn)單循環(huán)神經(jīng)網(wǎng)絡(luò)　148 8.4.2　長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)　149 8.5　殘差神經(jīng)網(wǎng)絡(luò)　151 8.6　丟棄法　152 8.7　本章小結(jié)　153 8.8　習(xí)題　154 09 深度神經(jīng)模型訓(xùn)練 9.1　梯度計(jì)算：反向傳播　156 9.1.1　微積分中的鏈?zhǔn)椒▌t　156 9.1.2　計(jì)算圖和反向傳播　157 9.1.3　DNN的反向傳播算法　158 9.1.4　DNN的計(jì)算圖　160 9.1.5　CNN的反向傳播算法　162 9.1.6　循環(huán)神經(jīng)網(wǎng)絡(luò)的反向傳播算法　164 9.2　激活函數(shù)　168 9.3　深度學(xué)習(xí)中的優(yōu)化算法　171 9.3.1　動(dòng)量法　172 9.3.2　自適應(yīng)學(xué)習(xí)率　174 9.4　權(quán)重初始化　175 9.5　減弱過(guò)擬合策略　179 9.6　案例分析：MNIST手寫(xiě)數(shù)字識(shí)別　180 9.7　本章小結(jié)　182 9.8　習(xí)題　182 10 降維 10.1　主成分分析　186 10.2　自編碼器　188 10.3　多維縮放　191 10.4　等度量映射　193 10.5　局部線性嵌入　194 10.6　拉普拉斯特征映射　196 10.7　基于T分布的隨機(jī)鄰域嵌入　197 10.8　案例分析：MNIST數(shù)據(jù)集　199 10.9　本章小結(jié)　202 10.10　習(xí)題　202 11 聚類(lèi) 11.1　聚類(lèi)算法的性能指標(biāo)　204 11.1.1　外部指標(biāo)　204 11.1.2　內(nèi)部指標(biāo)　206 11.2　相似性度量　207 11.3　K均值聚類(lèi)　210 11.4　高斯混合模型　212 11.5　層次聚類(lèi)　215 11.5.1　凝聚式層次聚類(lèi)　215 11.5.2　分裂式層次聚類(lèi)　217 11.6　均值漂移聚類(lèi)　217 11.7　DBSCAN　218 11.8　基于密度峰值的聚類(lèi)　220 11.9　基于深度學(xué)習(xí)的聚類(lèi)　222 11.10　案例分析：MNIST數(shù)據(jù)集聚類(lèi)　222 11.11　本章小結(jié)　224 11.12　習(xí)題　224 附錄　225 A　奇異值分解　226 A.1　特征值和特征向量　226 A.2　SVD的定義　226 B　拉格朗日乘子法和卡羅需-庫(kù)恩-塔克條件　227 B.1　拉格朗日乘子法　227 B.2　為什么拉格朗日乘子法能夠求得最優(yōu)值　228 B.3　KKT條件　228 C　對(duì)偶問(wèn)題　230 C.1　原始問(wèn)題　230 C.2　對(duì)偶問(wèn)題　231 C.3　原始問(wèn)題和對(duì)偶問(wèn)題的關(guān)系　231 參考文獻(xiàn)　233