第 1章 推薦系統(tǒng)簡(jiǎn)介 1 1.1 推薦系統(tǒng)的意義 2 1.2 推薦系統(tǒng)是如何運(yùn)行的 3 1.3 推薦系統(tǒng)架構(gòu) 5 1.3.1 功能架構(gòu) 5 1.3.2 數(shù)據(jù)架構(gòu) 8 1.4 推廣搜的區(qū)別與聯(lián)系 10 1.4.1 三駕馬車(chē)的相同點(diǎn) 10 1.4.2 推薦與搜索 11 1.4.3 推搜與廣告 12 1.5 小結(jié) 12 第 2章 推薦系統(tǒng)中的特征工程 14 2.1 批判“特征工程過(guò)時(shí)”的錯(cuò)誤論調(diào) 15 2.2 特征提取 16 2.2.1 物料畫(huà)像 16 2.2.2 用戶(hù)畫(huà)像 18 2.2.3 交叉特征 21 2.2.4 偏差特征 22 2.3 數(shù)值特征的處理 25 2.3.1 處理缺失值 25 2.3.2 標(biāo)準(zhǔn)化 25 2.3.3 數(shù)據(jù)平滑與消偏 26 2.3.4 分桶離散化 27 2.4 類(lèi)別特征的處理 28 2.4.1 類(lèi)別特征更受歡迎 28 2.4.2 類(lèi)別特征享受VIP服務(wù) 29 2.4.3 映射 30 2.4.4 特征哈希 31 2.5 小結(jié) 32 第3章 推薦系統(tǒng)中的Embedding 33 3.1 無(wú)中生有：推薦算法中的Embedding 33 3.1.1 傳統(tǒng)推薦算法：博聞強(qiáng)識(shí) 33 3.1.2 推薦算法的剛需：擴(kuò)展性 35 3.1.3 深度學(xué)習(xí)的核心思想：無(wú)中生有的Embedding 36 3.1.4 Embedding的實(shí)現(xiàn)細(xì)節(jié) 37 3.2 共享Embedding還是獨(dú)占Embedding 42 3.2.1 共享Embedding 42 3.2.2 獨(dú)占Embedding 43 3.3 Parameter Server：推薦算法的訓(xùn)練加速器 46 3.3.1 傳統(tǒng)分布式計(jì)算的不足 46 3.3.2 基于PS的分布式訓(xùn)練范式 47 3.3.3 PS中的并行策略 49 3.3.4 基于ps-lite實(shí)現(xiàn)分布式算法 51 3.3.5 更先進(jìn)的PS 57 3.4 小結(jié) 60 第4章 精排 61 4.1 推薦算法的5個(gè)維度 61 4.2 交叉結(jié)構(gòu) 62 4.2.1 FTRL：傳統(tǒng)時(shí)代的記憶大師 62 4.2.2 FM：半只腳邁入DNN的門(mén)檻 69 4.2.3 Wide & Deep：兼顧記憶與擴(kuò)展 71 4.2.4 DeepFM：融合二階交叉 74 4.2.5 DCN：不再執(zhí)著于DNN 76 4.2.6 AutoInt：變形金剛做交叉 79 4.3 用戶(hù)行為序列建模 86 4.3.1 行為序列信息的構(gòu)成 86 4.3.2 簡(jiǎn)單Pooling 86 4.3.3 用戶(hù)建模要“千物千面” 87 4.3.4 建模序列內(nèi)的依賴(lài)關(guān)系 89 4.3.5 多多益善：建模長(zhǎng)序列 91 4.4 小結(jié) 96 第5章 召回 97 5.1 傳統(tǒng)召回算法 97 5.1.1 基于物料屬性的倒排索引 98 5.1.2 基于統(tǒng)計(jì)的協(xié)同過(guò)濾算法 99 5.1.3 矩陣分解算法 99 5.1.4 如何合并多路召回 100 5.2 向量化召回統(tǒng)一建模框架 101 5.2.1 如何定義正樣本 102 5.2.2 重點(diǎn)關(guān)注負(fù)樣本 103 5.2.3 解耦生成Embedding 105 5.2.4 如何定義優(yōu)化目標(biāo) 106 5.3 借助Word2Vec 111 5.3.1 最簡(jiǎn)單的Item2Vec 112 5.3.2 Airbnb召回算法 116 5.3.3 阿里巴巴的EGES召回 118 5.4 “瑞士軍刀”FM的召回功能 120 5.4.1 打壓熱門(mén)物料 121 5.4.2 增廣Embedding 122 5.5 大廠主力：雙塔模型 124 5.5.1 不同場(chǎng)景下的正樣本 124 5.5.2 簡(jiǎn)化負(fù)采樣 124 5.5.3 雙塔結(jié)構(gòu)特點(diǎn) 126 5.5.4 Sampled Softmax Loss的技巧 127 5.5.5 雙塔模型實(shí)現(xiàn)舉例 129 5.6 鄰里互助：GCN召回 131 5.6.1 GCN基礎(chǔ) 131 5.6.2 PinSage：大規(guī)模圖卷積的經(jīng)典案例 134 5.6.3 異構(gòu)圖上的GCN 142 5.7 小結(jié) 143 第6章 粗排與重排 145 6.1 粗排 146 6.1.1 模型：雙塔仍然是主力 146 6.1.2 目標(biāo)：拜精排為師 154 6.1.3 數(shù)據(jù)：糾正曝光偏差 158 6.1.4 模型：輕量級(jí)全連接 159 6.2 重排 161 6.2.1 基于啟發(fā)式規(guī)則 162 6.2.2 基于行列式點(diǎn)過(guò)程 165 6.2.3 基于上下文感知的排序?qū)W習(xí) 174 6.3 小結(jié) 180 第7章 多任務(wù)與多場(chǎng)景 181 7.1 多任務(wù)推薦 181 7.1.1 多任務(wù)建模的誤區(qū) 182 7.1.2 并發(fā)建模 182 7.1.3 串行建模 193 7.1.4 多個(gè)損失的融合 202 7.1.5 多個(gè)打分的融合 206 7.2 多場(chǎng)景推薦 209 7.2.1 特征位置 210 7.2.2 模型結(jié)構(gòu) 211 7.2.3 模型參數(shù) 215 7.3 小結(jié) 217 第8章 冷啟動(dòng) 219 8.1 Bandit算法 219 8.1.1 多臂老虎機(jī)問(wèn)題 220 8.1.2 Epsilon Greedy 221 8.1.3 UCB 222 8.1.4 概率匹配 223 8.1.5 Bayesian Bandit 223 8.1.6 上下文Bandit 225 8.2 元學(xué)習(xí) 228 8.2.1 什么是元學(xué)習(xí) 228 8.2.2 什么是MAML 230 8.2.3 MAML針對(duì)推薦場(chǎng)景的改造 233 8.2.4 Meta-Embedding 236 8.3 對(duì)比學(xué)習(xí) 242 8.3.1 對(duì)比學(xué)習(xí)簡(jiǎn)介 242 8.3.2 對(duì)比學(xué)習(xí)在推薦系統(tǒng)中的作用與使用方式 244 8.3.3 辨析對(duì)比學(xué)習(xí)與向量化召回 246 8.3.4 糾偏長(zhǎng)尾物料的實(shí)踐 247 8.3.5 糾偏小眾用戶(hù)的實(shí)踐 249 8.4 其他算法 251 8.4.1 遷移學(xué)習(xí) 251 8.4.2 預(yù)測(cè)物料消費(fèi)指標(biāo) 252 8.4.3 以群體代替?zhèn)�體 253 8.4.4 借鑒多場(chǎng)景推薦 254 8.5 小結(jié) 255 第9章 評(píng)估與調(diào)試 256 9.1 離線(xiàn)評(píng)估 256 9.1.1 評(píng)估排序算法 257 9.1.2 評(píng)估召回算法 261 9.1.3 人工評(píng)測(cè) 266 9.1.4 持續(xù)評(píng)估 267 9.2 在線(xiàn)評(píng)估：A/B實(shí)驗(yàn) 267 9.2.1 線(xiàn)上：流量劃分 268 9.2.2 線(xiàn)下：統(tǒng)計(jì)分析 273 9.3 打開(kāi)模型的黑盒 276 9.3.1 外部觀察 276 9.3.2 內(nèi)部剖析 277 9.4 線(xiàn)下漲了，線(xiàn)上沒(méi)效果 280 9.4.1 特征穿越 280 9.4.2 老湯模型 282 9.4.3 冰山：系統(tǒng)的內(nèi)在缺陷 284 9.4.4 鏈路一致性問(wèn)題 285 9.5 小結(jié) 286 第 10章 推薦算法工程師的自我修養(yǎng) 287 10.1 工作 287 10.1.1 重視代碼的規(guī)范性 287 10.1.2 重視離線(xiàn)評(píng)測(cè) 288 10.1.3 重視使用工具 289 10.2 學(xué)習(xí) 290 10.2.1 堅(jiān)持問(wèn)題導(dǎo)向 290 10.2.2 重在舉一反三 291 10.2.3 敢于懷疑 292 10.2.4 落實(shí)代碼細(xì)節(jié) 293 10.3 面試 293 10.3.1 社招 294 10.3.2 校招 296 10.4 小結(jié) 297