第一章緒論

1.1選題背景

漢字是漢語(yǔ)書寫用的文字，狹義指以正楷作為標(biāo)準(zhǔn)寫法的漢字。因形狀方正，漢字有“方塊字”之稱。從結(jié)構(gòu)上來(lái)看，漢字字體規(guī)整，每個(gè)字占據(jù)幾乎同樣的空間。由表意象形字根如金、木、水、火、土等，像積木一樣組合而成。漢字包括獨(dú)體字和合體字，獨(dú)體字不能分割，合體字由部件組合構(gòu)成，占漢字?jǐn)?shù)量的90%以上。漢字的部件包括獨(dú)體字、偏旁部首和其他不成字部件。漢字的合體結(jié)構(gòu)有12種，分為：左右、上下、左中右、上中下、左上包、右上包、左三包、左下包、上三包、下三包、全包圍和鑲嵌結(jié)構(gòu)。

筆畫是漢字的最小構(gòu)成單位，指一次連續(xù)寫成的線條。筆畫分為橫、豎、撇、捺、點(diǎn)、提等31個(gè)基本種類。書寫漢字時(shí)，筆畫出現(xiàn)的先后順序，即“筆順”，是比較固定的，其基本規(guī)則是，先橫后豎，先撇后捺，從上到下，從左到右，先外后內(nèi)，先外后內(nèi)再封口，先中間后兩邊。筆畫的數(shù)目、形狀、空間組合關(guān)系等因素構(gòu)成了漢字形體區(qū)別特征，這是文字形體的一個(gè)基本屬性。

在漢語(yǔ)國(guó)際教育逐步推廣的背景下，漢語(yǔ)教學(xué)往往把培養(yǎng)留學(xué)生的交際能力放在首位，同時(shí)使其具備運(yùn)用漢語(yǔ)進(jìn)行聽說(shuō)讀寫的能力，其中的讀和寫會(huì)涉及漢字。從書寫元素看，在組成常用漢字的筆畫中，橫、豎、撇、點(diǎn)、捺、提的使用頻率為77.82%，而書寫元素的重復(fù)率、結(jié)構(gòu)單位的相似度越高,結(jié)構(gòu)方式的一致性越大,漢字形體所提供的區(qū)分度就越小，書寫的錯(cuò)誤率也就會(huì)越高。所以，筆畫的書寫錯(cuò)誤將直接導(dǎo)致部件乃至整字的錯(cuò)誤。

對(duì)于留學(xué)生書寫漢字最早采用紙筆的傳統(tǒng)模式進(jìn)行采集和記錄，授課教師通過(guò)課上實(shí)時(shí)觀察進(jìn)行指導(dǎo)或課后收取紙質(zhì)作業(yè)進(jìn)行評(píng)判教學(xué)。然而，在傳統(tǒng)的課堂教學(xué)中，教師即便積極觀察，也很難全面了解到學(xué)生在課堂上的學(xué)習(xí)情況，尤其是漢字書寫的具體情況，更難以對(duì)每個(gè)學(xué)生的漢字書寫過(guò)程進(jìn)行及時(shí)指導(dǎo)。不僅如此，在課后作業(yè)的評(píng)改中，傳統(tǒng)紙筆的記錄方式難以讓教師直觀了解學(xué)生漢字書寫的動(dòng)態(tài)過(guò)程，因而無(wú)法全面知曉學(xué)生在課后的漢字掌握情況。同時(shí)，通過(guò)教師在批改中批注給學(xué)生的反饋糾正，如漢字書寫的示范，學(xué)生也無(wú)法去準(zhǔn)確地了解筆畫的書寫順序和特點(diǎn)，只能看到一個(gè)完成版的“畫像”。

在將學(xué)生書寫的漢字記錄輸入計(jì)算機(jī)的時(shí)候，早期研究者將紙版記錄通過(guò)照相、掃描等方式轉(zhuǎn)為數(shù)字圖像文件，并保存在計(jì)算機(jī)中。后來(lái)，有學(xué)者使用攝像機(jī)對(duì)學(xué)生的書寫過(guò)程進(jìn)行實(shí)時(shí)拍攝，將形成的視頻文件保存于計(jì)算機(jī)中。該方法可以較完整地記錄學(xué)生的書寫過(guò)程，但不足之處在于視頻文件往往容量較大，不利于保存和傳輸。

數(shù)字墨水的出現(xiàn)，有效地解決了這些不足，它利用手寫板、數(shù)碼筆等筆式輸入設(shè)備書寫文字，書寫軌跡通過(guò)定時(shí)采樣輸入計(jì)算機(jī)中。

近些年不少學(xué)者在漢字智能教學(xué)方面一直在不停探索[7-9]，開發(fā)出了一些可以應(yīng)用于實(shí)際的漢字教學(xué)軟件系統(tǒng)[10-14]。常見的練字系統(tǒng)通常采用的是漢字處理機(jī)制，即用戶輸入一個(gè)漢字，軟件系統(tǒng)對(duì)用戶輸入的每一筆或?qū)φ�字進(jìn)行處理反饋。

隨著數(shù)據(jù)采集設(shè)備的升級(jí)和大數(shù)據(jù)量處理的需要，數(shù)字墨水?dāng)?shù)據(jù)批量采集和處理分析的處理流程和練字系統(tǒng)有較大不同。因此，本書提出的漢字書寫的分析系統(tǒng)總體來(lái)說(shuō)，首先使用數(shù)據(jù)采集設(shè)備批量采集數(shù)字墨水?dāng)?shù)據(jù)后輸入計(jì)算機(jī)系統(tǒng)，再對(duì)筆畫數(shù)據(jù)進(jìn)行單字分割和漢字識(shí)別提取出書寫字，在模板庫(kù)中檢索出對(duì)應(yīng)的模板字，再將書寫字與模板字進(jìn)行筆畫匹配，進(jìn)行人機(jī)交互校正后，根據(jù)匹配結(jié)果進(jìn)行分析、檢測(cè)書寫錯(cuò)誤，如圖1所示。

對(duì)以西文為母語(yǔ)的留學(xué)生來(lái)說(shuō)，尤其是初學(xué)者，對(duì)于漢字的結(jié)構(gòu)特征和書寫習(xí)慣不熟悉不了解，把漢字當(dāng)作符號(hào)進(jìn)行勾畫，畫出來(lái)的字千差萬(wàn)別，這屬于系統(tǒng)前階段的錯(cuò)誤。而漢字教學(xué)經(jīng)常是重理?yè)?jù)而輕字形，導(dǎo)致一些中高級(jí)階段的留學(xué)生仍有很多書寫錯(cuò)誤，從而影響整體的漢語(yǔ)水平。因此，對(duì)于書寫錯(cuò)誤的研究，尤其是筆畫錯(cuò)誤的研究很有必要。

1.2研究問(wèn)題

在對(duì)留學(xué)生數(shù)字墨水漢字書寫錯(cuò)誤的研究中，雖然前人已經(jīng)做了大量的工作和嘗試，但仍存在一些需要優(yōu)化和急需解決的問(wèn)題，在單字分割、漢字識(shí)別、筆畫匹配、人機(jī)交互校正和錯(cuò)誤提取等方面都有一些需要優(yōu)化的地方。本書研究的問(wèn)題涵蓋以下內(nèi)容。

（1）針對(duì)數(shù)字墨水漢字的自動(dòng)分割技術(shù)。在數(shù)字墨水的計(jì)算技術(shù)中，墨水的分割技術(shù)非常重要，是數(shù)字墨水的結(jié)構(gòu)化編輯和識(shí)別的基礎(chǔ)。它包括自動(dòng)分割、分割結(jié)果的可視化和校正。自動(dòng)分割指從原始筆跡中快速準(zhǔn)確地提取單字、文本行和文本段。在中文數(shù)字墨水文本的分割技術(shù)中，由于文本行和文本段之間一般有天然的間隔，分割處理中對(duì)于行提取和段提取相對(duì)容易。本書將研究重點(diǎn)放在單字提取上，重點(diǎn)研究單字提取方法、單字提取結(jié)果的可視化方法及針對(duì)單字提取結(jié)果的交互式校正方法。

（2）存在書寫錯(cuò)誤的留學(xué)生手寫漢字的識(shí)別。漢字的識(shí)別是書寫漢字智能分析的基礎(chǔ)，雖然中文漢字識(shí)別技術(shù)已經(jīng)實(shí)現(xiàn)了較高的識(shí)別率，但現(xiàn)有的方法從特征提取到分類器的訓(xùn)練，從訓(xùn)練樣本到測(cè)試數(shù)據(jù)，大都以中文母語(yǔ)者為研究對(duì)象。而留學(xué)生所寫的漢字和母語(yǔ)者在筆畫結(jié)構(gòu)特征和書寫習(xí)慣上有很多不同[16]，特別是當(dāng)出現(xiàn)書寫的錯(cuò)誤的情況時(shí)，漢字結(jié)構(gòu)特征的改變會(huì)增加識(shí)別的難度。因此，需要提出針對(duì)留學(xué)生書寫特點(diǎn)和存在書寫錯(cuò)誤的手寫漢字的識(shí)別方法。

（3）面向書寫錯(cuò)誤提取的筆畫匹配方法。筆畫匹配是書寫錯(cuò)誤分析的主流方法和前提條件，基于模板字的筆畫匹配本身可看作一種組合優(yōu)化問(wèn)題。留學(xué)生書寫質(zhì)量的千差萬(wàn)別使得問(wèn)題的規(guī)模和復(fù)雜程度增大，尤其是存在書寫錯(cuò)誤的筆畫，無(wú)論是整個(gè)筆畫錯(cuò)誤還是筆畫局部錯(cuò)誤，都使得筆畫匹配問(wèn)題不僅僅是一種組合優(yōu)化問(wèn)題，還需要考慮問(wèn)題所處理數(shù)據(jù)的級(jí)別。因此，需要提出自適應(yīng)的筆畫匹配方法，使得匹配結(jié)果對(duì)于不同類型的書寫錯(cuò)誤都有較好的針對(duì)性。

（4）針對(duì)筆畫匹配結(jié)果的可視化及人機(jī)交互校正方法。由于系統(tǒng)自動(dòng)方法難以得到完全正確的數(shù)據(jù)結(jié)果，所以作為評(píng)價(jià)所提方法性能的必要條件，需要進(jìn)行人機(jī)交互校正得到正確的數(shù)據(jù)進(jìn)行對(duì)比實(shí)驗(yàn)。有效的人機(jī)交互方法，可以減少時(shí)間成本，提高效率。人機(jī)交互之前，需要針對(duì)筆畫匹配結(jié)果進(jìn)行可視化表示，才能使校正者進(jìn)行視覺(jué)感知，完成校正。有效的可視化方法可以減輕認(rèn)知負(fù)擔(dān)，同時(shí)準(zhǔn)確表示需要顯示的信息。因此，需要設(shè)計(jì)針對(duì)筆畫匹配結(jié)果的可視化方法并在此基礎(chǔ)上進(jìn)行人機(jī)交互校正。

（5）留學(xué)生書寫筆畫錯(cuò)誤提取的方法。在漢語(yǔ)教學(xué)研究中，針對(duì)漢字書寫錯(cuò)誤研究，前人做出了大量的工作。然而，研究對(duì)象多以中文母語(yǔ)者為主，與之相比留學(xué)生的書寫習(xí)慣和特點(diǎn)差異較大；此外，研究對(duì)于書寫錯(cuò)誤的分類大都以專家系統(tǒng)為主的經(jīng)驗(yàn)規(guī)則展開，方法的主觀性及書寫數(shù)據(jù)的隨意性的矛盾使提取結(jié)果難以穩(wěn)定。因此，需要從書寫數(shù)據(jù)本身出發(fā)，通過(guò)動(dòng)態(tài)生成的筆畫匹配結(jié)果提取筆畫錯(cuò)誤。

1.3本書工作

本書針對(duì)上述問(wèn)題，做了以下的工作。

（1）面向中文數(shù)字墨水文本的單字提取技術(shù)。從分割算法、可視化方法和交互校正三個(gè)方面對(duì)數(shù)字墨水的單字提取問(wèn)題進(jìn)行討論，針對(duì)中文數(shù)字墨水文本中單字特點(diǎn)，提出了遞歸分割方法；針對(duì)單字提取結(jié)果中的錯(cuò)誤類型，提出了面向錯(cuò)誤分類的分割方法；針對(duì)單字提取結(jié)果的重疊問(wèn)題，提出了自適應(yīng)可視化方法；為提高校正提取結(jié)果的效率，提出了單字提取結(jié)果的可信度評(píng)價(jià)指標(biāo)和基于可信度的可視化方法；通過(guò)分析用戶的校正意圖并結(jié)合可視化的圖形，提出了以可視化圖形為參考對(duì)象和輔助工具，符合用戶意圖的交互式校正方法。

（2）采用書寫層次模型的漢字識(shí)別方法及其改進(jìn)方法。本書針對(duì)留學(xué)生書寫習(xí)慣及特點(diǎn)，從筆畫、部件結(jié)構(gòu)及整字筆畫名稱序列等書寫元素出發(fā)，根據(jù)不同層次結(jié)構(gòu)特點(diǎn)進(jìn)行優(yōu)化，進(jìn)而識(shí)別漢字。首先以整字中心線為依據(jù)將書寫字的部件結(jié)構(gòu)按上下、左右及其他進(jìn)行分類；根據(jù)部件分類結(jié)果對(duì)在候選字庫(kù)中進(jìn)行篩選；再通過(guò)7900余份手寫數(shù)據(jù)訓(xùn)練了一個(gè)基于隱馬爾可夫模型的筆畫分類器；接著使用這個(gè)分類器將書寫漢字中每個(gè)筆畫進(jìn)行識(shí)別，根據(jù)書寫時(shí)序信息組成筆畫名稱序列；最后在篩選庫(kù)中根據(jù)筆畫名稱序列進(jìn)行二次篩選，給出識(shí)別備選字。此外，書中還進(jìn)一步改進(jìn)了筆畫分類器，采用隱條件隨機(jī)場(chǎng)模型進(jìn)一步提升了識(shí)別率。