本書圍繞圖像場景內容理解這個核心,從圖像場景的語義理解、圖像空間的幾何理解、對象級場景解析三個方面進行詳細闡述。從章節(jié)結構來說,第1章緒論部分概述了圖像場景內容理解的背景與意義以及發(fā)展歷程;第2章、第3章的內容分別對應場景語義和場景幾何的理解,是從場景級圖像內容理解入手;在第4章轉入對象級圖像內容理解;第5章概述了對象級場景理解在人工智能中的應用。
本書適合人工智能、智能車輛、視覺處理等領域的專業(yè)技術人員閱讀使用。
計算機視覺是研究如何讓計算機像人一樣看并理解世界的科學,所處理的多為圖像、視頻或三維信息等數據類型,所涵蓋的研究點涉及很多方面,例如物體檢測與識別、語義分割、運動檢測與跟蹤、三維重建等。隨著技術的發(fā)展,計算機視覺與人工智能、醫(yī)學影像、公共安全、數字媒體等領域實現多學科交叉融合,衍生出了很多新的研究熱點和技術應用。在這些行業(yè)快速發(fā)展的大背景下,計算機視覺相關領域的科研和技術也取得了較大的進步,并在這些行業(yè)應用中發(fā)揮了重要的作用。尤其是在圖像、視頻采集設備(如照相機、攝像機、手機等)較為普及的情況下,圖像、視頻數據越來越容易獲得,計算機視覺相關的應用也逐漸進入到社會生活的方方面面。
在計算機視覺領域眾多的研究熱點中,圖像場景內容理解是基礎且重要的研究問題。場景的內容包含場景的環(huán)境、物體、人物等,場景的理解不僅包括對場景內容的識別和理解,還包括對場景內容所蘊含的更深層次信息的理解,例如場景的三維信息、物體或對象的屬性信息等。這些更深層次信息的理解,可以為計算機視覺的其他研究熱點或者是多學科的交叉應用提供更多的技術支撐。
作者多年從事圖像場景內容理解方面的研究工作,總結自己多年科研工作的成果撰寫此書。本書圍繞圖像場景內容理解這個核心,從圖像場景的語義理解、圖像空間的幾何理解、對象級場景解析三個方面詳細闡述。從章節(jié)結構來說,第1章緒論部分概述了圖像場景內容理解的背景與意義以及發(fā)展歷程;第2章、第3章的內容分別對應場景語義和場景幾何的理解,是從場景級圖像內容理解入手;在第4章轉入對象級圖像內容理解;第5章概述了對象級場景理解在人工智能中的應用。在一定程度上來說,場景級圖像內容理解是基礎,對象級圖像內容理解是提升。因此,本書從場景級圖像內容理解入手,分析了難點與存在的問題,并給出了自己的解決方法;其后,轉為對象級圖像內容理解,并分析了場景級與對象級圖像內容理解的不同。
本書所介紹的工作得到了國家自然科學基金青年科學基金項目(61502036)、北京市科技計劃一般項目(KM201611417015)以及北京聯合大學科研項目(ZK50202002)的資助。在本書的撰寫過程中,作者得到了一些專家的支持,他們對本書提出了寶貴意見,在此表示感謝!本書涉及相關專業(yè)背景知識,對于一些專業(yè)術語也給出了相應解釋。由于水平有限,書中難免存在差錯或疏漏,歡迎廣大讀者批評指正。
作者
2022年1月
前言
第1章緒論1
1.1圖像場景內容理解的背景與意義1
1.2圖像場景理解的發(fā)展歷程3
1.2.1圖像場景語義分割與標記3
1.2.2圖像場景幾何結構估計11
1.2.3圖像場景對象理解與解析20
1.3小結32
參考文獻33
第2章圖像場景的語義理解46
2.1問題與分析46
2.2圖像場景內容上下文指導的場景語義分割47
2.2.1相似圖像檢索48
2.2.2測地線距離49
2.2.3基于測地線距離的圖結構定義49
2.2.4基于上下文信息的傳播指示器51
2.2.5上下文指導的測地線傳播52
2.2.6實驗與分析54
2.3時空域聯合上下文指導的視頻場景語義分割58
2.3.1空間域測地線傳播59
2.3.2時間域測地線傳播60
2.3.3實驗與分析61
2.4小結63
參考文獻63
第3章圖像空間的幾何理解67
3.1問題與分析67
3.2場景空間的遮擋與層次關系分析69
3.2.1層次線索描述70
3.2.2圖像內容表達73
3.2.3遮擋判定74
3.2.4層次推理76
3.2.5實驗與分析77
3.3小結83
參考文獻83
第4章對象級場景解析86
4.1問題與分析87
4.2對象級場景語義解析88
4.2.1基于目標識別與顯著性檢測的圖像場景多對象分割88
4.2.2基于深度識別框架的多實例對象分割93
4.2.3實驗與分析96
4.3場景與對象布局關系遷移及生成100
4.3.1單幅圖像內容驅動的三維室內場景布局遷移生成101
4.3.2基于圖像序列的三維室內場景布局遷移生成106
4.3.3實驗與分析111
4.4小結117
參考文獻118
第5章對象級場景理解在人工智能中的應用124
5.1對象級場景理解與人-物交互124
5.2對象級場景理解與自動駕駛系統128
5.3對象級場景理解與智能安防132
參考文獻137
附錄144