第1章 緒論..................................................................................................................35
1.1 系統(tǒng)性能 ............................................................................................................ 35
1.2 人員 .................................................................................................................... 36
1.3 活動 .................................................................................................................... 37
1.4 視角 .................................................................................................................... 38
1.5 性能工程是充滿挑戰(zhàn)的 .................................................................................... 39
1.5.1 主觀性 .................................................................................................... 39
1.5.2 復(fù)雜性 .................................................................................................... 39
1.5.3 多個(gè)原因 ................................................................................................ 40
1.5.4 多個(gè)性能問題 ........................................................................................ 40
1.6 延時(shí) .................................................................................................................... 40
1.7 可觀測性 ............................................................................................................ 41
1.7.1 計(jì)數(shù)器、統(tǒng)計(jì)數(shù)據(jù)和指標(biāo) .................................................................... 42
1.7.2 剖析 ........................................................................................................ 44
1.7.3 跟蹤 ........................................................................................................ 45
1.8 實(shí)驗(yàn) .................................................................................................................... 47
1.9 云計(jì)算 ................................................................................................................ 48
1.10 方法 .................................................................................................................. 49
1.10.1 Linux 性能分析 60 秒 .......................................................................... 49
1.11 案例研究........................................................................................................... 50
1.11.1 緩慢的磁盤 .......................................................................................... 50
1.11.2 軟件變更 .............................................................................................. 52
1.11.3 更多閱讀 .............................................................................................. 53
1.12 參考資料 .......................................................................................................... 53
第2章 方法..................................................................................................................55
2.1 術(shù)語 .................................................................................................................... 56
2.2 模型 .................................................................................................................... 57
2.2.1 受測系統(tǒng) ................................................................................................ 57
2.2.2 排隊(duì)系統(tǒng) ................................................................................................ 57
2.3 概念 .................................................................................................................... 58
2.3.1 延時(shí) ........................................................................................................ 58
2.3.2 時(shí)間量級 ................................................................................................ 59
2.3.3 權(quán)衡 ........................................................................................................ 60
2.3.4 調(diào)優(yōu)的影響 ............................................................................................ 61
2.3.5 合適的層級 ............................................................................................ 62
2.3.6 何時(shí)停止分析 ........................................................................................ 63
2.3.7 性能推薦的時(shí)間點(diǎn) ................................................................................ 63
2.3.8 負(fù)載與架構(gòu) ............................................................................................ 64
2.3.9 擴(kuò)展性 .................................................................................................... 65
2.3.10 指標(biāo) ...................................................................................................... 66
2.3.11 使用率 .................................................................................................. 67
2.3.12 飽和度 .................................................................................................. 68
2.3.13 剖析 ...................................................................................................... 69
2.3.14 緩存 ...................................................................................................... 69
2.3.15 已知的未知 .......................................................................................... 71
2.4 視角 .................................................................................................................... 71
2.4.1 資源分析 ................................................................................................ 72
2.4.2 工作負(fù)載分析 ........................................................................................ 73
2.5 方法 .................................................................................................................... 74
2.5.1 街燈訛方法 ............................................................................................ 76
2.5.2 隨機(jī)變動訛方法 .................................................................................... 76
2.5.3 責(zé)怪他人訛方法 .................................................................................... 77
2.5.4 Ad Hoc 核對清單法 ............................................................................... 77
2.5.5 問題陳述法 ............................................................................................ 78
2.5.6 科學(xué)法 .................................................................................................... 78
2.5.7 診斷循環(huán) ................................................................................................ 80
2.5.8 工具法 .................................................................................................... 80
2.5.9 USE 方法 ................................................................................................ 81
2.5.10 RED 方法 ............................................................................................. 87
2.5.11 工作負(fù)載特征歸納 .............................................................................. 88
2.5.12 向下鉆取分析 ...................................................................................... 89
2.5.13 延時(shí)分析 .............................................................................................. 90
2.5.14 R 方法 ................................................................................................... 91
2.5.15 事件跟蹤 .............................................................................................. 91
2.5.16 基礎(chǔ)線統(tǒng)計(jì) .......................................................................................... 93
2.5.17 靜態(tài)性能調(diào)優(yōu) ...................................................................................... 93
2.5.18 緩存調(diào)優(yōu) .............................................................................................. 94
2.5.19 微基準(zhǔn)測試 .......................................................................................... 94
2.5.20 性能箴言 .............................................................................................. 95
2.6 建模 .................................................................................................................... 96
2.6.1 企業(yè)與云 ................................................................................................ 96
2.6.2 可視化識別 ............................................................................................ 96
2.6.3 Amdahl 擴(kuò)展定律 .................................................................................. 98
2.6.4 通用擴(kuò)展定律 ........................................................................................ 99
2.6.5 排隊(duì)理論 .............................................................................................. 100
2.7 容量規(guī)劃 .......................................................................................................... 103
2.7.1 資源極限 .............................................................................................. 104
2.7.2 因素分析 .............................................................................................. 105
2.7.3 擴(kuò)展方案 .............................................................................................. 106
2.8 統(tǒng)計(jì) .................................................................................................................. 107
2.8.1 量化性能收益 ...................................................................................... 107
2.8.2 平均值 .................................................................................................. 108
2.8.3 標(biāo)準(zhǔn)方差、百分位數(shù)、中位數(shù) .......................................................... 109
2.8.4 變異系數(shù) .............................................................................................. 110
2.8.5 多重模態(tài)分布 ...................................................................................... 110
2.8.6 異常值 ...................................................................................................111
2.9 監(jiān)測 ...................................................................................................................111
2.9.1 基于時(shí)間的規(guī)律 ...................................................................................111
2.9.2 監(jiān)測產(chǎn)品 .............................................................................................. 113
2.9.3 自啟動以來的信息統(tǒng)計(jì) ...................................................................... 113目錄
XVI
2.10 可視化 ............................................................................................................ 113
2.10.1 線圖 .................................................................................................... 114
2.10.2 散點(diǎn)圖 ................................................................................................ 115
2.10.3 熱圖 .................................................................................................... 116
2.10.4 時(shí)間線圖 ............................................................................................ 117
2.10.5 表面圖 ................................................................................................ 118
2.10.6 可視化工具 ........................................................................................ 119
2.11 練習(xí)................................................................................................................. 119
2.12 參考資料 ........................................................................................................ 120
第3章 操作系統(tǒng).........................................................................................................123
3.1 術(shù)語 .................................................................................................................. 124
3.2 背景 .................................................................................................................. 125
3.2.1 內(nèi)核 ...................................................................................................... 125
3.2.2 內(nèi)核態(tài)與用戶態(tài) .................................................................................. 127
3.2.3 系統(tǒng)調(diào)用 .............................................................................................. 128
3.2.4 中斷 ...................................................................................................... 130
3.2.5 時(shí)鐘和空閑 .......................................................................................... 133
3.2.6 進(jìn)程 ...................................................................................................... 133
3.2.7 棧 .......................................................................................................... 136
3.2.8 虛擬內(nèi)存 .............................................................................................. 138
3.2.9 調(diào)度器 .................................................................................................. 139
3.2.10 文件系統(tǒng) ............................................................................................ 140
3.2.11 緩存 .................................................................................................... 142
3.2.12 網(wǎng)絡(luò) .................................................................................................... 143
3.2.13 設(shè)備驅(qū)動 ............................................................................................ 143
3.2.14 多處理器 ............................................................................................ 144
3.2.15 搶占 .................................................................................................... 144
3.2.16 資源管理 ............................................................................................ 144
3.2.17 可觀測性 ............................................................................................ 145
3.3 內(nèi)核 .................................................................................................................. 145
3.3.1 UNIX .................................................................................................... 146
3.3.2 BSD....................................................................................................... 147
3.3.3 Solaris ................................................................................................... 148
3.4 Linux ................................................................................................................. 148
3.4.1 Linux 內(nèi)核開發(fā) .................................................................................... 149
3.4.2 systemd ................................................................................................. 154
3.4.3 KPTI（meltdown） ............................................................................... 155
3.4.4 eBPF ..................................................................................................... 155
3.5 其他主題 .......................................................................................................... 156
3.5.1 PGO 內(nèi)核 ............................................................................................. 156
3.5.2 unikernel ............................................................................................... 157
3.5.3 微內(nèi)核和混合內(nèi)核 .............................................................................. 157
3.5.4 分布式操作系統(tǒng) .................................................................................. 157
3.6 內(nèi)核比較 .......................................................................................................... 158
3.7 練習(xí) .................................................................................................................. 158
3.8 參考資料 .......................................................................................................... 159
3.8.1 延伸閱讀 .............................................................................................. 161
第4章 觀測工具.........................................................................................................163
4.1 工具范圍 .......................................................................................................... 164
4.1.1 靜態(tài)性能工具 ...................................................................................... 164
4.1.2 危機(jī)處理工具 ...................................................................................... 165
4.2 工具類型 .......................................................................................................... 167
4.2.1 固定計(jì)數(shù)器 .......................................................................................... 167
4.2.2 剖析 ...................................................................................................... 169
4.2.3 跟蹤 ...................................................................................................... 170
4.2.4 監(jiān)測 ...................................................................................................... 171
4.3 監(jiān)測來源 .......................................................................................................... 172
4.3.1 /proc ...................................................................................................... 174
4.3.2 /sys ........................................................................................................ 177
4.3.3 延時(shí)核算 .............................................................................................. 179
4.3.4 netlink ................................................................................................... 179
4.3.5 tracepoint .............................................................................................. 180
4.3.6 kprobes .................................................................................................. 185
4.3.7 uprobes .................................................................................................. 187
4.3.8 USDT .................................................................................................... 189
4.3.9 硬件計(jì)數(shù)器 .......................................................................................... 190
4.3.10 其他觀測源 ........................................................................................ 193
4.4 sar ...................................................................................................................... 194
4.4.1 sar(1) 的覆蓋范圍 ................................................................................ 195
4.4.2 sar(1) 監(jiān)測 ............................................................................................ 195
4.4.3 sar(1) 實(shí)時(shí)報(bào)告 .................................................................................... 199
4.4.4 sar(1) 文檔 ............................................................................................ 199
4.5 跟蹤工具 .......................................................................................................... 200
4.6 觀測工具的觀測 .............................................................................................. 201
4.7 練習(xí) .................................................................................................................. 202
4.8 參考資料 .......................................................................................................... 202
第5章 應(yīng)用程序.........................................................................................................205
5.1 應(yīng)用程序基礎(chǔ) .................................................................................................. 206
5.1.1 目標(biāo) ...................................................................................................... 207
5.1.2 常見情況的優(yōu)化 .................................................................................. 208
5.1.3 可觀測性 .............................................................................................. 208
5.1.4 大 O 標(biāo)記法 ......................................................................................... 209
5.2 應(yīng)用程序性能技術(shù) .......................................................................................... 210
5.2.1 選擇 I/O 尺寸 ....................................................................................... 210
5.2.2 緩存 ...................................................................................................... 210
5.2.3 緩沖區(qū) .................................................................................................. 211
5.2.4 輪詢 ...................................................................................................... 211
5.2.5 并發(fā)和并行 .......................................................................................... 211
5.2.6 非阻塞 I/O ............................................................................................ 215
5.2.7 處理器綁定 .......................................................................................... 215
5.2.8 性能箴言 .............................................................................................. 216
5.3 編程語言 .......................................................................................................... 216
5.3.1 編譯型語言 .......................................................................................... 217
5.3.2 解釋型語言 .......................................................................................... 218
5.3.3 虛擬機(jī) .................................................................................................. 219
5.3.4 垃圾回收 .............................................................................................. 219
5.4 方法 .................................................................................................................. 220
5.4.1 CPU 剖析.............................................................................................. 221
5.4.2 off-CPU 分析 ........................................................................................ 223
5.4.3 系統(tǒng)調(diào)用分析 ...................................................................................... 226
5.4.4 USE 方法 .............................................................................................. 227
5.4.5 線程狀態(tài)分析 ...................................................................................... 227
5.4.6 鎖分析 .................................................................................................. 232
5.4.7 靜態(tài)性能調(diào)優(yōu) ...................................................................................... 232
5.4.8 分布式跟蹤 .......................................................................................... 233
5.5 觀測工具 .......................................................................................................... 233
5.5.1 perf ........................................................................................................ 234
5.5.2 profifile .................................................................................................... 237
5.5.3 offcputime ............................................................................................. 238
5.5.4 strace ..................................................................................................... 239
5.5.5 execsnoop ............................................................................................. 241
5.5.6 syscount ................................................................................................ 242
5.5.7 bpftrace ................................................................................................. 243
5.6 明白了 .............................................................................................................. 247
5.6.1 缺少符號 .............................................................................................. 248
5.6.2 缺少棧 .................................................................................................. 249
5.7 練習(xí) .................................................................................................................. 250
5.8 參考資料 .......................................................................................................... 251
第6章 CPU................................................................................................................253
6.1 術(shù)語 .................................................................................................................. 254
6.2 模型 .................................................................................................................. 255
6.2.1 CPU 架構(gòu).............................................................................................. 255
6.2.2 CPU 內(nèi)存緩存...................................................................................... 255
6.2.3 CPU 運(yùn)行隊(duì)列...................................................................................... 256
6.3 概念 .................................................................................................................. 257
6.3.1 時(shí)鐘頻率 .............................................................................................. 257
6.3.2 指令 ...................................................................................................... 257
6.3.3 指令流水線 .......................................................................................... 258
6.3.4 指令寬度 .............................................................................................. 258
6.3.5 指令尺寸 .............................................................................................. 258
6.3.6 SMT ...................................................................................................... 259
6.3.7 IPC 和 CPI ............................................................................................ 259
6.3.8 使用率 .................................................................................................. 260
6.3.9 用戶時(shí)間 / 內(nèi)核時(shí)間 ........................................................................... 260
6.3.10 飽和度 ................................................................................................ 260
6.3.11 搶占 .................................................................................................... 261
6.3.12 優(yōu)先級反轉(zhuǎn) ........................................................................................ 261
6.3.13 多進(jìn)程和多線程 ................................................................................ 261
6.3.14 字長 .................................................................................................... 263
6.3.15 編譯器優(yōu)化 ........................................................................................ 263
6.4 架構(gòu) .................................................................................................................. 263
6.4.1 硬件 ...................................................................................................... 264
6.4.2 軟件 ...................................................................................................... 275
6.5 方法 .................................................................................................................. 278
6.5.1 工具法 .................................................................................................. 279
6.5.2 USE 方法 .............................................................................................. 279
6.5.3 負(fù)載特征歸納 ...................................................................................... 280
6.5.4 剖析 ...................................................................................................... 281
6.5.5 周期分析 .............................................................................................. 285
6.5.6 性能監(jiān)測 .............................................................................................. 285
6.5.7 靜態(tài)性能調(diào)優(yōu) ...................................................................................... 286
6.5.8 優(yōu)先級調(diào)優(yōu) .......................................................................................... 286
6.5.9 資源控制 .............................................................................................. 287
6.5.10 CPU 綁定............................................................................................ 287
6.5.11 微基準(zhǔn)測試 ........................................................................................ 287
6.6 觀測工具 .......................................................................................................... 288
6.6.1 uptime ................................................................................................... 289
6.6.2 vmstat .................................................................................................... 292
6.6.3 mpstat .................................................................................................... 293
6.6.4 sar .......................................................................................................... 294
6.6.5 ps ........................................................................................................... 294
6.6.6 top ......................................................................................................... 295
6.6.7 pidstat .................................................................................................... 296
6.6.8 time 和 ptime ........................................................................................ 297
6.6.9 turbostat ................................................................................................ 298
6.6.10 showboost ........................................................................................... 299
6.6.11 pmcarch ............................................................................................... 299
6.6.12 tlbstat................................................................................................... 300
6.6.13 perf ...................................................................................................... 301
6.6.14 profifile .................................................................................................. 311
6.6.15 cpudist ................................................................................................. 312
6.6.16 runqlat ................................................................................................. 313
6.6.17 runqlen ................................................................................................ 314
6.6.18 softirqs ................................................................................................ 315
6.6.19 hardirqs ............................................................................................... 316
6.6.20 bpftrace ............................................................................................... 316
6.6.21 其他工具 ............................................................................................ 319
6.7 可視化 .............................................................................................................. 322
6.7.1 使用率熱圖 .......................................................................................... 322
6.7.2 亞秒級偏移量熱圖 .............................................................................. 323
6.7.3 火焰圖 .................................................................................................. 323
6.7.4 FlameScope........................................................................................... 326
6.8 實(shí)驗(yàn) .................................................................................................................. 327
6.8.1 Ad Hoc .................................................................................................. 327
6.8.2 SysBench .............................................................................................. 328
6.9 調(diào)優(yōu) .................................................................................................................. 328
6.9.1 編譯器選項(xiàng) .......................................................................................... 329
6.9.2 調(diào)度優(yōu)先級和調(diào)度類 .......................................................................... 329
6.9.3 調(diào)度器選項(xiàng) .......................................................................................... 329
6.9.4 調(diào)節(jié)調(diào)速器 .......................................................................................... 331
6.9.5 能耗狀態(tài) .............................................................................................. 331
6.9.6 CPU 綁定.............................................................................................. 331
6.9.7 獨(dú)占 CPU 組......................................................................................... 332
6.9.8 資源控制 .............................................................................................. 332
6.9.9 安全啟動選項(xiàng) ...................................................................................... 332
6.9.10 處理器選項(xiàng)（BIOS 調(diào)優(yōu)） ................................................................ 333
6.10 練習(xí) ................................................................................................................ 333
6.11 參考資料......................................................................................................... 334
第7章 內(nèi)存................................................................................................................337
7.1 術(shù)語 .................................................................................................................. 338
7.2 概念 .................................................................................................................. 339
7.2.1 虛擬內(nèi)存 .............................................................................................. 339
7.2.2 換頁 ...................................................................................................... 340
7.2.3 按需換頁 .............................................................................................. 341
7.2.4 過度提交 .............................................................................................. 342
7.2.5 進(jìn)程交換 .............................................................................................. 342
7.2.6 文件系統(tǒng)緩存用量 .............................................................................. 343
7.2.7 使用率和飽和度 .................................................................................. 343
7.2.8 分配器 .................................................................................................. 343
7.2.9 共享內(nèi)存 .............................................................................................. 344
7.2.10 工作集大小 ........................................................................................ 344
7.2.11 字長 .................................................................................................... 344
7.3 架構(gòu) .................................................................................................................. 345
7.3.1 硬件 ...................................................................................................... 345
7.3.2 軟件 ...................................................................................................... 349
7.3.3 進(jìn)程虛擬地址空間 .............................................................................. 353
7.4 方法 .................................................................................................................. 357
7.4.1 工具法 .................................................................................................. 357
7.4.2 USE 方法 .............................................................................................. 358
7.4.3 描述使用情況 ...................................................................................... 359
7.4.4 周期分析 .............................................................................................. 360
7.4.5 性能監(jiān)測 .............................................................................................. 360
7.4.6 泄漏檢測 .............................................................................................. 360
7.4.7 靜態(tài)性能調(diào)優(yōu) ...................................................................................... 361
7.4.8 資源控制 .............................................................................................. 362
7.4.9 微基準(zhǔn)測試 .......................................................................................... 362
7.4.10 內(nèi)存收縮 ............................................................................................ 362
7.5 觀測工具 .......................................................................................................... 362
7.5.1 vmstat .................................................................................................... 363
7.5.2 PSI......................................................................................................... 364
7.5.3 swapon .................................................................................................. 365
7.5.4 sar .......................................................................................................... 365
7.5.5 slabtop ................................................................................................... 367
7.5.6 numastat ................................................................................................ 368
7.5.7 ps ........................................................................................................... 369
7.5.8 top ......................................................................................................... 370
7.5.9 pmap ..................................................................................................... 371
7.5.10 perf ...................................................................................................... 372
7.5.11 drsnoop ................................................................................................ 376
7.5.12 wss ...................................................................................................... 376
7.5.13 bpftrace ............................................................................................... 377
7.5.14 其他工具 ............................................................................................ 381
7.6 調(diào)優(yōu) .................................................................................................................. 384
7.6.1 可調(diào)參數(shù) .............................................................................................. 384
7.6.2 多種頁面大小 ...................................................................................... 386
7.6.3 分配器 .................................................................................................. 387
7.6.4 NUMA 綁定 ......................................................................................... 387
7.6.5 資源控制 .............................................................................................. 387
7.7 練習(xí) ................................................................................................................. 388
7.8 參考資料 .......................................................................................................... 389
第8章 文件系統(tǒng).........................................................................................................393
8.1 術(shù)語 .................................................................................................................. 394
8.2 模型 .................................................................................................................. 395
8.2.1 文件系統(tǒng)接口 ...................................................................................... 395
8.2.2 文件系統(tǒng)緩存 ...................................................................................... 395
8.2.3 二級緩存 .............................................................................................. 396
8.3 概念 .................................................................................................................. 396
8.3.1 文件系統(tǒng)延時(shí) ...................................................................................... 396
8.3.2 緩存 ...................................................................................................... 397
8.3.3 隨機(jī)與順序 I/O .................................................................................... 397
8.3.4 預(yù)取 ...................................................................................................... 398
8.3.5 預(yù)讀 ...................................................................................................... 399
8.3.6 回寫緩存 .............................................................................................. 399
8.3.7 同步寫 .................................................................................................. 400
8.3.8 裸 I/O 與直接 I/O ................................................................................. 400
8.3.9 非阻塞 I/O ............................................................................................ 400
8.3.10 內(nèi)存映射文件 .................................................................................... 401
8.3.11 元數(shù)據(jù) ................................................................................................ 401
8.3.12 邏輯 I/O 與物理 I/O ........................................................................... 402
8.3.13 操作并不平等 .................................................................................... 404
8.3.14 特殊的文件系統(tǒng) ................................................................................ 405
8.3.15 訪問時(shí)間戳 ........................................................................................ 405
8.3.16 容量 .................................................................................................... 405
8.4 架構(gòu) .................................................................................................................. 406
8.4.1 文件系統(tǒng) I/O 棧 ................................................................................... 406
8.4.2 VFS ....................................................................................................... 407
8.4.3 文件系統(tǒng)緩存 ...................................................................................... 407
8.4.4 文件系統(tǒng)特性 ...................................................................................... 409
8.4.5 文件系統(tǒng)種類 ...................................................................................... 411
8.4.6 卷和池 .................................................................................................. 416
8.5 方法 .................................................................................................................. 417
8.5.1 磁盤分析 .............................................................................................. 418
8.5.2 延時(shí)分析 .............................................................................................. 418
8.5.3 負(fù)載特征歸納 ...................................................................................... 420
8.5.4 性能監(jiān)測 .............................................................................................. 422
8.5.5 靜態(tài)性能調(diào)優(yōu) ...................................................................................... 423
8.5.6 緩存調(diào)優(yōu) .............................................................................................. 423
8.5.7 負(fù)載分離 .............................................................................................. 423
8.5.8 微基準(zhǔn)測試 .......................................................................................... 424
8.6 觀測工具 .......................................................................................................... 425
8.6.1 mount .................................................................................................... 426
8.6.2 free ........................................................................................................ 426
8.6.3 top ......................................................................................................... 427
8.6.4 vmstat .................................................................................................... 427
8.6.5 sar .......................................................................................................... 427
8.6.6 slabtop ................................................................................................... 428
8.6.7 strace ..................................................................................................... 429
8.6.8 fatrace ................................................................................................... 429
8.6.9 LatencyTOP .......................................................................................... 430
8.6.10 opensnoop ........................................................................................... 431
8.6.11 fifiletop .................................................................................................. 432
8.6.12 cachestat .............................................................................................. 433
8.6.13 ext4dist（xfs、zfs、btrfs、nfs） ........................................................ 433
8.6.14 ext4slower（xfs、zfs、btrfs、nfs） ................................................... 435
8.6.15 bpftrace ............................................................................................... 436
8.6.16 其他工具 ............................................................................................ 443
8.6.17 可視化 ................................................................................................ 444
8.7 實(shí)驗(yàn) .................................................................................................................. 445
8.7.1 Ad Hoc .................................................................................................. 445
8.7.2 微基準(zhǔn)測試工具 .................................................................................. 446
8.7.3 緩存刷新 .............................................................................................. 448
8.8 調(diào)優(yōu) .................................................................................................................. 448
8.8.1 應(yīng)用程序調(diào)用 ...................................................................................... 449
8.8.2 ext4 ....................................................................................................... 450
8.8.3 ZFS ....................................................................................................... 452
8.9 練習(xí) .................................................................................................................. 453
8.10 參考資料 ........................................................................................................ 454
第9章 磁盤................................................................................................................457
9.1 術(shù)語 .................................................................................................................. 458
9.2 模型 .................................................................................................................. 459
9.2.1 簡單磁盤 .............................................................................................. 459
9.2.2 緩存磁盤 .............................................................................................. 459
9.2.3 控制器 .................................................................................................. 460
9.3 概念 .................................................................................................................. 461
9.3.1 測量時(shí)間 .............................................................................................. 461
9.3.2 時(shí)間尺度 .............................................................................................. 463
9.3.3 緩存 ...................................................................................................... 464
9.3.4 隨機(jī) I/O 與連續(xù) I/O ............................................................................. 464
9.3.5 讀 / 寫比 ............................................................................................... 465
9.3.6 I/O 大小 ................................................................................................ 466
9.3.7 IOPS 并不平等 ..................................................................................... 466
9.3.8 非數(shù)據(jù)傳輸磁盤命令 .......................................................................... 466
9.3.9 使用率 .................................................................................................. 467
9.3.10 飽和度 ................................................................................................ 468
9.3.11 I/O 等待 .............................................................................................. 468
9.3.12 同步與異步 ........................................................................................ 468
9.3.13 磁盤 I/O 與應(yīng)用程序 I/O ................................................................... 469
9.4 架構(gòu) .................................................................................................................. 469
9.4.1 磁盤類型 .............................................................................................. 469
9.4.2 接口 ...................................................................................................... 476
9.4.3 存儲類型 .............................................................................................. 477
9.4.4 操作系統(tǒng)磁盤 I/O 棧 ........................................................................... 480
9.5 方法 .................................................................................................................. 483
9.5.1 工具法 .................................................................................................. 484
9.5.2 USE 方法 .............................................................................................. 484
9.5.3 性能監(jiān)測 .............................................................................................. 486
9.5.4 負(fù)載特征歸納 ...................................................................................... 486
9.5.5 延時(shí)分析 .............................................................................................. 488
9.5.6 靜態(tài)性能調(diào)優(yōu) ...................................................................................... 489
9.5.7 緩存調(diào)優(yōu) .............................................................................................. 490
9.5.8 資源控制 .............................................................................................. 490
9.5.9 微基準(zhǔn)測試 .......................................................................................... 490
9.5.10 伸縮 .................................................................................................... 491
9.6 觀測工具 .......................................................................................................... 492
9.6.1 iostat ...................................................................................................... 493
9.6.2 sar .......................................................................................................... 497
9.6.3 PSI......................................................................................................... 498
9.6.4 pidstat .................................................................................................... 498
9.6.5 perf ........................................................................................................ 499
9.6.6 biolatency .............................................................................................. 502
9.6.7 biosnoop ................................................................................................ 504
9.6.8 iotop、biotop ........................................................................................ 506
9.6.9 biostacks ............................................................................................... 508
9.6.10 blktrace ............................................................................................... 509
9.6.11 bpftrace ............................................................................................... 513
9.6.12 MegaCli .............................................................................................. 518
9.6.13 smartctl ............................................................................................... 518
9.6.14 SCSI 日志 ........................................................................................... 520
9.6.15 其他工具 ............................................................................................ 521
9.7 可視化 .............................................................................................................. 521
9.7.1 折線圖 .................................................................................................. 521
9.7.2 延時(shí)散點(diǎn)圖 .......................................................................................... 522
9.7.3 延時(shí)熱圖 .............................................................................................. 522
9.7.4 偏移量熱圖 .......................................................................................... 523
9.7.5 使用率熱圖 .......................................................................................... 524
9.8 實(shí)驗(yàn) .................................................................................................................. 524
9.8.1 Ad Hoc .................................................................................................. 524
9.8.2 自定義負(fù)載生成器 .............................................................................. 525
9.8.3 微基準(zhǔn)測試工具 .................................................................................. 525
9.8.4 隨機(jī)讀示例 .......................................................................................... 525
9.8.5 ioping .................................................................................................... 526
9.8.6 fifio .......................................................................................................... 527
9.8.7 blkreplay ............................................................................................... 527
9.9 調(diào)優(yōu) .................................................................................................................. 527
9.9.1 操作系統(tǒng)可調(diào)參數(shù) .............................................................................. 527
9.9.2 磁盤設(shè)備可調(diào)參數(shù) .............................................................................. 528
9.9.3 磁盤控制器可調(diào)參數(shù) .......................................................................... 528
9.10 練習(xí) ................................................................................................................ 529
9.11 參考資料......................................................................................................... 530
第10章 網(wǎng)絡(luò)..............................................................................................................533
10.1 術(shù)語 ................................................................................................................ 534
10.2 模型 ................................................................................................................ 535
10.2.1 網(wǎng)絡(luò)接口 ............................................................................................ 535
10.2.2 控制器 ................................................................................................ 535
10.2.3 協(xié)議棧 ................................................................................................ 536
10.3 概念 ................................................................................................................ 537
10.3.1 網(wǎng)絡(luò)和路由 ........................................................................................ 537
10.3.2 協(xié)議 .................................................................................................... 538目錄
XXVIII
10.3.3 封裝 .................................................................................................... 538
10.3.4 包的大小 ............................................................................................ 538
10.3.5 延時(shí) .................................................................................................... 539
10.3.6 緩沖 .................................................................................................... 541
10.3.7 連接積壓隊(duì)列 .................................................................................... 541
10.3.8 接口協(xié)商 ............................................................................................ 542
10.3.9 避免阻塞 ............................................................................................ 542
10.3.10 使用率 .............................................................................................. 542
10.3.11 本地連接 .......................................................................................... 543
10.4 架構(gòu) ................................................................................................................ 543
10.4.1 協(xié)議 .................................................................................................... 543
10.4.2 硬件 .................................................................................................... 549
10.4.3 軟件 .................................................................................................... 551
10.5 方法 ................................................................................................................ 558
10.5.1 工具法 ................................................................................................ 559
10.5.2 USE 方法 ............................................................................................ 560
10.5.3 工作負(fù)載特征歸納 ............................................................................ 561
10.5.4 延時(shí)分析 ............................................................................................ 562
10.5.5 性能監(jiān)測 ............................................................................................ 563
10.5.6 數(shù)據(jù)包嗅探 ........................................................................................ 564
10.5.7 TCP 分析 ............................................................................................ 565
10.5.8 靜態(tài)性能調(diào)優(yōu) .................................................................................... 565
10.5.9 資源控制 ............................................................................................ 566
10.5.10 微基準(zhǔn)測試 ...................................................................................... 567
10.6 觀測工具 ........................................................................................................ 567
10.6.1 ss ......................................................................................................... 568
10.6.2 ip ......................................................................................................... 570
10.6.3 ifconfifig ................................................................................................ 571
10.6.4 nstat ..................................................................................................... 572
10.6.5 netstat .................................................................................................. 573
10.6.6 sar ........................................................................................................ 577
10.6.7 nicstat .................................................................................................. 579
10.6.8 ethtool ................................................................................................. 580
10.6.9 tcplife .................................................................................................. 582
10.6.10 tcptop ................................................................................................ 583
10.6.11 tcpretrans ........................................................................................... 583
10.6.12 bpftrace ............................................................................................. 584
10.6.13 tcpdump ............................................................................................ 592
10.6.14 Wireshark .......................................................................................... 594
10.6.15 其他工具 .......................................................................................... 594
10.7 實(shí)驗(yàn) ................................................................................................................ 596
10.7.1 ping ..................................................................................................... 596
10.7.2 traceroute ............................................................................................ 597
10.7.3 pathchar............................................................................................... 598
10.7.4 iperf ..................................................................................................... 598
10.7.5 netperf ................................................................................................. 599
10.7.6 tc ......................................................................................................... 600
10.7.7 其他工具 ............................................................................................ 601
10.8 調(diào)優(yōu) ................................................................................................................ 601
10.8.1 系統(tǒng)級可調(diào)參數(shù) ................................................................................ 601
10.8.2 套接字選項(xiàng) ........................................................................................ 607
10.8.3 配置 .................................................................................................... 608
10.9 練習(xí) ................................................................................................................ 608
10.10 參考資料 ...................................................................................................... 609
第11章 云計(jì)算...........................................................................................................613
11.1 背景................................................................................................................. 614
11.1.1 實(shí)例類型 ............................................................................................ 615
11.1.2 可擴(kuò)展的架構(gòu) .................................................................................... 615
11.1.3 容量規(guī)劃 ............................................................................................ 616
11.1.4 存儲 .................................................................................................... 618
11.1.5 多租戶 ................................................................................................ 619
11.1.6 編排（Kubernetes） ............................................................................ 620
11.2 硬件虛擬化..................................................................................................... 621
11.2.1 實(shí)現(xiàn) .................................................................................................... 622
11.2.2 系統(tǒng)開銷 ............................................................................................ 623
11.2.3 資源控制 ............................................................................................ 629
11.2.4 可觀測性 ............................................................................................ 631
11.3 操作系統(tǒng)虛擬化............................................................................................. 639
11.3.1 實(shí)現(xiàn)方式 ............................................................................................ 641
11.3.2 系統(tǒng)開銷 ............................................................................................ 644
11.3.3 資源控制 ............................................................................................ 647
11.3.4 可觀測性 ............................................................................................ 651
11.4 輕量虛擬化..................................................................................................... 664
11.4.1 實(shí)現(xiàn) .................................................................................................... 665
11.4.2 開銷 .................................................................................................... 666
11.4.3 資源控制 ............................................................................................ 666
11.4.4 可觀測性 ............................................................................................ 666
11.5 其他類型......................................................................................................... 668
11.6 比較................................................................................................................. 668
11.7 練習(xí)................................................................................................................... 670
11.8 參考資料......................................................................................................... 671
第12章 基準(zhǔn)測試.......................................................................................................675
12.1 背景 ................................................................................................................ 676
12.1.1 原因 .................................................................................................... 676
12.1.2 有效的基準(zhǔn)測試 ................................................................................ 677
12.1.3 基準(zhǔn)測試失敗 .................................................................................... 679
12.2 基準(zhǔn)測試的類型 ........................................................................................... 685
12.2.1 微基準(zhǔn)測試 ........................................................................................ 685
12.2.2 模擬 .................................................................................................... 687
12.2.3 回放 .................................................................................................... 688
12.2.4 行業(yè)標(biāo)準(zhǔn) ............................................................................................ 688
12.3 方法 ................................................................................................................ 690
12.3.1 被動基準(zhǔn)測試 .................................................................................... 690
12.3.2 主動基準(zhǔn)測試 .................................................................................... 691
12.3.3 CPU 剖析............................................................................................ 694
12.3.4 USE 方法 ............................................................................................ 695
12.3.5 工作負(fù)載特征歸納 ............................................................................ 696
12.3.6 自定義基準(zhǔn)測試 ................................................................................ 696
12.3.7 逐漸增加負(fù)載 .................................................................................... 696
12.3.8 合理性檢查 ........................................................................................ 698目錄
XXXI
12.3.9 統(tǒng)計(jì)分析 ............................................................................................ 699
12.3.10 基準(zhǔn)測試檢查清單 .......................................................................... 700
12.4 基準(zhǔn)測試問題 ................................................................................................ 701
12.5 練習(xí) ................................................................................................................ 702
12.6 參考資料 ........................................................................................................ 703
第13章 perf...............................................................................................................705
13.1 子命令概覽 .................................................................................................... 706
13.2 單行命令 ........................................................................................................ 708
13.3 perf事件 .......................................................................................................... 713
13.4 硬件事件 ........................................................................................................ 715
13.4.1 頻率采樣 ............................................................................................ 716
13.5 軟件事件 ........................................................................................................ 717
13.6 tracepoint事件 ................................................................................................ 718
13.7 探針事件 ........................................................................................................ 719
13.7.1 kprobe ................................................................................................. 719
13.7.2 uprobe ................................................................................................. 721
13.7.3 USDT 探針 ......................................................................................... 724
13.8 perf stat ........................................................................................................... 725
13.8.1 選項(xiàng) .................................................................................................... 726
13.8.2 周期統(tǒng)計(jì)信息 .................................................................................... 727
13.8.3 CPU 均衡............................................................................................ 727
13.8.4 事件過濾器 ........................................................................................ 727
13.8.5 隱藏統(tǒng)計(jì)信息 .................................................................................... 728
13.9 perf record ....................................................................................................... 728
13.9.1 選項(xiàng) .................................................................................................... 729
13.9.2 CPU 剖析............................................................................................ 729
13.9.3 棧遍歷 ................................................................................................ 730
13.10 perf report ..................................................................................................... 730
13.10.1 TUI .................................................................................................... 731
13.10.2 STDIO............................................................................................... 731
13.11 perf script ...................................................................................................... 732
13.11.1 火焰圖 .............................................................................................. 734
13.11.2 跟蹤腳本 .......................................................................................... 734目錄
XXXII
13.12 perf trace ....................................................................................................... 735
13.12.1 內(nèi)核版本 .......................................................................................... 736
13.13 其他命令 ...................................................................................................... 736
13.14 perf文檔 ........................................................................................................ 737
13.15 參考資料 ...................................................................................................... 737
第14章 Ftrace............................................................................................................739
14.1 功能概述 ........................................................................................................ 740
14.2 tracefs（/sys） ............................................................................................... 742
14.2.1 tracefs 的內(nèi)容 ..................................................................................... 743
14.3 Ftrace函數(shù)剖析器 .......................................................................................... 745
14.4 Ftrace函數(shù)跟蹤 .............................................................................................. 747
14.4.1 使用 trace............................................................................................ 747
14.4.2 使用 trace_pipe ................................................................................... 749
14.4.3 選項(xiàng) .................................................................................................... 750
14.5 跟蹤點(diǎn) ............................................................................................................ 751
14.5.1 過濾器 ................................................................................................ 751
14.5.2 觸發(fā)器 ................................................................................................ 752
14.6 kprobes ............................................................................................................ 753
14.6.1 事件跟蹤 ............................................................................................ 753
14.6.2 參數(shù) .................................................................................................... 754
14.6.3 返回值 ................................................................................................ 755
14.6.4 過濾器和觸發(fā)器 ................................................................................ 755
14.6.5 kprobe 剖析 ........................................................................................ 756
14.7 uprobes ............................................................................................................ 756
14.7.1 事件跟蹤 ............................................................................................ 756
14.7.2 參數(shù)和返回值 .................................................................................... 757
14.7.3 過濾器和觸發(fā)器 ................................................................................ 757
14.7.4 uprobe 剖析 ........................................................................................ 757
14.8 Ftrace function_graph ..................................................................................... 758
14.8.1 圖表跟蹤 ............................................................................................ 758
14.8.2 選項(xiàng) .................................................................................................... 759
14.9 Ftrace hwlat .................................................................................................... 760
14.10 Ftrace hist觸發(fā)器 .......................................................................................... 761
14.10.1 單關(guān)鍵字 .......................................................................................... 761
14.10.2 字段 .................................................................................................. 762
14.10.3 修飾器 .............................................................................................. 763
14.10.4 PID 過濾器 ....................................................................................... 763
14.10.5 多關(guān)鍵字 .......................................................................................... 764
14.10.6 棧蹤跡關(guān)鍵字 .................................................................................. 764
14.10.7 綜合事件 .......................................................................................... 765
14.11 trace-cmd....................................................................................................... 768
14.11.1 子命令概述 ...................................................................................... 768
14.11.2 trace-cmd 單行命令 ......................................................................... 770
14.11.3 trace-cmd 和 perf(1) 的比較 ............................................................ 772
14.11.4 trace-cmd function_graph ................................................................. 773
14.11.5 KernelShark ...................................................................................... 773
14.11.6 trace-cmd 文檔 ................................................................................. 774
14.12 perf ftrace ...................................................................................................... 775
14.13 perf-tools ....................................................................................................... 775
14.13.1 工具覆蓋 .......................................................................................... 776
14.13.2 單用途的工具 .................................................................................. 777
14.13.3 多用途工具 ...................................................................................... 778
14.13.4 perf-tools 單行命令 .......................................................................... 779
14.13.5 示例 .................................................................................................. 781
14.13.6 perf-tools 與 BCC/BPF 的對比........................................................ 781
14.13.7 文檔 .................................................................................................. 782
14.14 Ftrace文檔 .................................................................................................... 782
14.15 參考資料 ...................................................................................................... 783
第15章 BPF...............................................................................................................785
15.1 BCC ................................................................................................................ 787
15.1.1 安裝 .................................................................................................... 788
15.1.2 工具范圍 ............................................................................................ 788
15.1.3 單用途工具 ........................................................................................ 789
15.1.4 多用途工具 ........................................................................................ 791
15.1.5 單行命令 ............................................................................................ 791
15.1.6 多用途工具示例 ................................................................................ 793
15.1.7 BCC 與 bpftrace 的比較 .................................................................... 794
15.1.8 文檔 .................................................................................................... 794
15.2 bpftrace ........................................................................................................... 795
15.2.1 安裝 .................................................................................................... 796
15.2.2 工具 .................................................................................................... 796
15.2.3 單行命令 ............................................................................................ 797
15.2.4 編程 .................................................................................................... 800
15.2.5 參考 .................................................................................................... 808
15.2.6 文檔 .................................................................................................... 815
15.3 參考資料 ........................................................................................................ 816
第16章 案例研究.......................................................................................................817
16.1 無法解釋的收益 ............................................................................................ 817
16.1.1 問題陳述 ............................................................................................ 817
16.1.2 分析策略 ............................................................................................ 818
16.1.3 統(tǒng)計(jì)數(shù)據(jù) ............................................................................................ 818
16.1.4 配置 .................................................................................................... 820
16.1.5 PMC .................................................................................................... 822
16.1.6 軟件事件 ............................................................................................ 823
16.1.7 跟蹤 .................................................................................................... 824
16.1.8 結(jié)論 .................................................................................................... 826
16.2 其他信息 ........................................................................................................ 726
16.3 參考資料 ........................................................................................................ 827
附錄A USE方法：Linux............................................................................................829
附錄B sar總結(jié)...........................................................................................................835
附錄C bpftrace單行命令............................................................................................837
附錄D 精選練習(xí)題答案..............................................................................................843
附錄E 系統(tǒng)性能名人錄..............................................................................................845