立體成像技術(shù)的迅速發(fā)展使得立體視覺(jué)信號(hào)成為人們生活中重要的多媒體數(shù)據(jù)，立體成像技術(shù)也給人們的日常生活帶來(lái)了巨大的變化。多媒體立體視覺(jué)技術(shù)在服務(wù)人們?nèi)粘Ｉ�活及提升生活質(zhì)量的同時(shí)，也帶來(lái)了多媒體信息管理的難題。比如，海量的立體視覺(jué)信號(hào)的質(zhì)量參差不齊，如何準(zhǔn)確地預(yù)測(cè)立體視覺(jué)信號(hào)的質(zhì)量并篩選出低質(zhì)量立體視覺(jué)信號(hào)是十分必要的，該操作可以有效地節(jié)約存儲(chǔ)空間并提高多媒體資源的利用率。另外，隨著人們對(duì)多媒體立體視覺(jué)技術(shù)帶來(lái)的視覺(jué)體驗(yàn)要求逐漸增加，如何提升多媒體立體視覺(jué)技術(shù)成為學(xué)術(shù)界和工業(yè)界追求的目標(biāo)。立體視覺(jué)信號(hào)質(zhì)量評(píng)價(jià)旨在準(zhǔn)確地預(yù)測(cè)立體視覺(jué)信號(hào)的質(zhì)量，是海量立體視覺(jué)信號(hào)篩選的重要手段。同時(shí)，它可為立體視覺(jué)信號(hào)處理算法優(yōu)化和立體視覺(jué)系統(tǒng)優(yōu)化提供直接的優(yōu)化目標(biāo)。因此，立體視覺(jué)信號(hào)質(zhì)量評(píng)價(jià)在多媒體信息管理中不可或缺，具有重要的研究?jī)r(jià)值和應(yīng)用價(jià)值。 本書(shū)面向三維圖像、合成圖像和自由視點(diǎn)視頻三種立體視覺(jué)信號(hào)，論述立體視覺(jué)信號(hào)質(zhì)量評(píng)價(jià)研究工作，旨在讓讀者了解新式媒體應(yīng)用中的視覺(jué)質(zhì)量度量問(wèn)題，從而進(jìn)一步了解當(dāng)前科技發(fā)展的前沿，如虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)、人機(jī)交互等。本書(shū)的主要內(nèi)容如下： （1）針對(duì)大部分現(xiàn)有三維圖像質(zhì)量評(píng)價(jià)模型僅考慮高級(jí)語(yǔ)義特征融合問(wèn)題，本書(shū)提出融合多層級(jí)語(yǔ)義特征的三維圖像質(zhì)量評(píng)價(jià)模型，它包含一個(gè)權(quán)值共享的特征提取模塊、一個(gè)特征融合模塊和一個(gè)質(zhì)量回歸模塊。首先，受多層級(jí)視覺(jué)感知機(jī)制啟發(fā)，使用一個(gè)權(quán)值共享的深度卷積神經(jīng)網(wǎng)絡(luò)，提取左右視圖低級(jí)、中級(jí)和高級(jí)語(yǔ)義特征。其次，考慮到雙目視覺(jué)特性，構(gòu)建特征融合模塊。該模塊先分別融合左右視圖的不同層級(jí)語(yǔ)義特征，再通過(guò)兩個(gè)卷積操作進(jìn)一步融合多層級(jí)語(yǔ)義特征。最后，構(gòu)建包含多個(gè)全連接網(wǎng)絡(luò)的質(zhì)量回歸模塊，輸出三維圖像的質(zhì)量分?jǐn)?shù)。本書(shū)在兩個(gè)常用的三維圖像質(zhì)量評(píng)價(jià)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明所提出的模型性能超過(guò)了其他對(duì)比的模型。 （2）針對(duì)當(dāng)前公開(kāi)的三維圖像質(zhì)量評(píng)價(jià)數(shù)據(jù)集規(guī)模過(guò)小導(dǎo)致模型性能比較可信度不足的問(wèn)題，本書(shū)開(kāi)展基于弱監(jiān)督學(xué)習(xí)的三維圖像質(zhì)量評(píng)價(jià)研究。首先，構(gòu)建首個(gè)大規(guī)模三維圖像質(zhì)量評(píng)價(jià)數(shù)據(jù)集，并自動(dòng)生成三維圖像對(duì)的相對(duì)質(zhì)量作為粗粒度標(biāo)簽，生成單一視圖質(zhì)量作為偽標(biāo)簽。其次，利用構(gòu)建的三維圖像質(zhì)量評(píng)價(jià)數(shù)據(jù)集，重新訓(xùn)練當(dāng)前主流的三維圖像質(zhì)量評(píng)價(jià)模型，以更加公平的方式比較不同的模型，并探索網(wǎng)絡(luò)框架、輸入尺寸和額外的監(jiān)督信號(hào)對(duì)模型性能的影響。所有的測(cè)試模型均在當(dāng)前公開(kāi)的數(shù)據(jù)集上測(cè)試，實(shí)驗(yàn)結(jié)果證明了本書(shū)構(gòu)建的三維圖像數(shù)據(jù)集的必要性，并獲得了關(guān)于三維圖像質(zhì)量評(píng)價(jià)模型多維度的比較。 （3）針對(duì)DIBR過(guò)程引入的非均勻失真難度量問(wèn)題，本書(shū)提出結(jié)合局部變化感知和全局自然性建模的合成圖像質(zhì)量評(píng)價(jià)方法。首先，使用局部高斯導(dǎo)數(shù)計(jì)算圖像的局部泰勒展開(kāi)，用于表征圖像局部結(jié)構(gòu)信息。進(jìn)一步地，使用局部二值模式表示初始結(jié)構(gòu)特征，并使用局部結(jié)構(gòu)特征幅值對(duì)初始結(jié)構(gòu)特征進(jìn)行加權(quán)，得到最終的結(jié)構(gòu)特征。同時(shí)，計(jì)算圖像的色度信息和顏色角度信息。類似地，計(jì)算得到顏色特征。結(jié)構(gòu)特征和顏色特征共同用于感知局部變化。其次，使用全局自然性度量全局變化，包括亮度自然性和結(jié)構(gòu)自然性。其中，亮度圖通過(guò)局部歸一化操作獲得；結(jié)構(gòu)圖通過(guò)計(jì)算合成圖與其低通濾波圖的差異圖得到。最后，結(jié)合局部變化和全局自然性共同度量合成圖像質(zhì)量。實(shí)驗(yàn)證明，本書(shū)提出的方法能夠有效地度量合成圖像的質(zhì)量。并且，通過(guò)剝離實(shí)驗(yàn)證明了局部感知和全局建模在度量合成圖像質(zhì)量變化上的有效性和互補(bǔ)性。 （4）針對(duì)當(dāng)前自由視點(diǎn)視頻體驗(yàn)質(zhì)量評(píng)價(jià)研究中內(nèi)容簡(jiǎn)單、數(shù)據(jù)量少的問(wèn)題，開(kāi)展自由視點(diǎn)視頻體驗(yàn)質(zhì)量評(píng)價(jià)研究�？紤]到應(yīng)用場(chǎng)景僅有兩種（中國(guó)男子籃球聯(lián)賽和綜藝節(jié)目），本書(shū)提出有限場(chǎng)景內(nèi)的多樣化數(shù)據(jù)收集策略，構(gòu)建首個(gè)大規(guī)模自由視點(diǎn)視頻體驗(yàn)質(zhì)量評(píng)價(jià)數(shù)據(jù)集。其次，提出從粗至細(xì)的兩階段主觀數(shù)據(jù)標(biāo)注法。第一階段為挑出確定的樣本，即受試者對(duì)此類樣本的評(píng)分一致性概率較高；第二階段則繼續(xù)為不確定的樣本打分。通過(guò)深入分析主觀數(shù)據(jù)，研究深度信息和人物聚集程度對(duì)自由視點(diǎn)視頻體驗(yàn)的影響。另外，考慮到模型性能和效率的平衡，設(shè)計(jì)快速、有效的自由視點(diǎn)視頻體驗(yàn)質(zhì)量預(yù)測(cè)基準(zhǔn)模型。率先探索幀稀疏采樣對(duì)模型性能的影響，測(cè)試多種稀疏采樣策略。實(shí)驗(yàn)證明，僅使用自由視點(diǎn)視頻的部分幀，就可以準(zhǔn)確地預(yù)測(cè)整個(gè)自由視點(diǎn)視頻的體驗(yàn)質(zhì)量。 本書(shū)各章之間的關(guān)系如圖1所示，內(nèi)容圍繞立體視覺(jué)信號(hào)展開(kāi)，具體組織結(jié)構(gòu)如下。第1章是導(dǎo)論，首先介紹立體視覺(jué)信號(hào)質(zhì)量評(píng)價(jià)的作用，然后分別介紹二維圖像質(zhì)量評(píng)價(jià)、三維圖像質(zhì)量評(píng)價(jià)、合成圖像質(zhì)量評(píng)價(jià)、合成視頻質(zhì)量評(píng)價(jià)研究，最后詳細(xì)介紹立體視覺(jué)信號(hào)質(zhì)量評(píng)價(jià)方法性能度量。第2章提出融合多層級(jí)語(yǔ)義特征的三維圖像質(zhì)量評(píng)價(jià)框架�？紤]雙目視覺(jué)特性和多層級(jí)視覺(jué)感知特性，設(shè)計(jì)融合多層級(jí)語(yǔ)義特征的三維圖像質(zhì)量評(píng)價(jià)模型。該模型使用孿生網(wǎng)絡(luò)分別提取三維圖像左右視圖的低、中和高級(jí)語(yǔ)義特征，再分別融合不同層級(jí)語(yǔ)義特征，最后融合不同層級(jí)交互特征，通過(guò)非線性映射，得到三維圖像質(zhì)量分?jǐn)?shù)。第3章提出基于弱監(jiān)督學(xué)習(xí)的三維圖像質(zhì)量評(píng)價(jià)框架。針對(duì)有限訓(xùn)練集容易造成模型過(guò)擬合問(wèn)題，進(jìn)而降低模型的可擴(kuò)展能力，且難以確定不同模型真正的優(yōu)劣，提出基于弱監(jiān)督學(xué)習(xí)的三維圖像質(zhì)量評(píng)價(jià)框架。為了解決數(shù)據(jù)量少的問(wèn)題，構(gòu)建大型三維圖像質(zhì)量評(píng)價(jià)數(shù)據(jù)集（僅包含粗粒度標(biāo)簽和偽標(biāo)簽），并在該數(shù)據(jù)集上使用排序?qū)W習(xí)訓(xùn)練不同的基準(zhǔn)模型，探究當(dāng)前主流三維圖像質(zhì)量評(píng)價(jià)模型性能優(yōu)劣。進(jìn)一步地，研究輸入大小對(duì)模型的影響，以及三維圖像對(duì)之間的視覺(jué)偏好約束和單視圖預(yù)測(cè)約束對(duì)模型性能的影響。第4章提出融合局部感知和全局建模的合成圖像質(zhì)量評(píng)價(jià)方法。針對(duì)虛擬合成圖像非均勻失真度量難問(wèn)題，分別使用局部感知度量局部失真引起的質(zhì)量變化和全局建模度量全局質(zhì)量變化。其中，使用局部二值模式表征結(jié)構(gòu)信息和顏色信息，感知局部變化；使用全局自然性度量全局變化；結(jié)合局部和全局變化度量，計(jì)算虛擬合成圖像質(zhì)量分?jǐn)?shù)。第5章開(kāi)展體驗(yàn)質(zhì)量研究。本書(shū)考慮有限應(yīng)用場(chǎng)景內(nèi)的數(shù)據(jù)多樣性，收集多視角合成視頻數(shù)據(jù)，構(gòu)建一個(gè)大規(guī)模真實(shí)場(chǎng)景下的體驗(yàn)質(zhì)量評(píng)價(jià)數(shù)據(jù)集；提出從粗至細(xì)的兩階段主觀數(shù)據(jù)標(biāo)注法，節(jié)省約17%標(biāo)注人力；結(jié)合多種稀疏采樣策略，設(shè)計(jì)快速、有效的體驗(yàn)質(zhì)量預(yù)測(cè)基準(zhǔn)模型。其中，第2、3章的研究對(duì)象是三維圖像，第4章的研究對(duì)象是合成圖像，第5章的研究對(duì)象是自由視點(diǎn)視頻。第6章提出方法總結(jié)與潛在的研究方向，總結(jié)本書(shū)的研究工作，并指出未來(lái)潛在的發(fā)展方向。 在本書(shū)編寫(xiě)過(guò)程中，參考了國(guó)內(nèi)外眾多研究者的工作，在此衷心感謝他們對(duì)立體視覺(jué)信號(hào)質(zhì)量評(píng)價(jià)工作的貢獻(xiàn)。 衷心希望本書(shū)能夠給讀者帶來(lái)啟發(fā)，引發(fā)更多有意義的研究工作。著者相信，立體視覺(jué)技術(shù)將得到進(jìn)一步的發(fā)展，造福社會(huì)。由于著者水平有限，書(shū)中不妥和疏漏之處在所難免，歡迎廣大讀者批評(píng)指正。 著者 2023年6月