大幅面報紙掃描儀：歷史古舊報刊數(shù)字化搶救的核心是技術(shù)
歷史古舊報刊數(shù)字化流程概述：歷史古舊報刊數(shù)字化技術(shù)與最近十多年普通的報刊數(shù)字化技術(shù)不盡相同。自從報業(yè)實現(xiàn)數(shù)字化工作流程以來，報紙的采編發(fā)排都采用計算機技術(shù)，其信息已經(jīng)實現(xiàn)了數(shù)字化，而歷史報刊由于早期使用鉛字印刷或者石印、油印等，沒有對應(yīng)的數(shù)字信息，因此需要通過相應(yīng)的技術(shù)手段將紙質(zhì)信息數(shù)字化提取到計算機當(dāng)中。
歷史報刊特別是早期報紙是歷史文檔的重要資料，雖然人們對報紙的格式十分熟悉和認(rèn)可，但從數(shù)字化處理的角度來看，報紙的格式是相當(dāng)復(fù)雜的：文章長短不一，早期報紙有豎排版面、繁體字等，字體也不是當(dāng)代的標(biāo)準(zhǔn)化字庫里的字體，有照片圖表，長篇的文字分布在不同的版面或頁面中。另外，早期報紙的印刷質(zhì)量和紙張質(zhì)量不是很好，隨著時間推移，有的字體可能會模糊，紙質(zhì)會變得非常脆、易碎，難于處理，還有一些報紙只能在縮微膠片上找到。所有這些因素都使歷史報刊的數(shù)字化面臨很多困難，需要進行一些特殊處理。
目前，歷史報刊數(shù)字化有比較標(biāo)準(zhǔn)的制作流程和技術(shù)工藝，不同的廠商可能會有自己的特點，不過制作流程一般會包括以下幾個步驟：
1.報刊的清點。按照日期、版面清點數(shù)量，確認(rèn)其完整性、可識別性、可掃描性。由于報刊一般都有一定的發(fā)行量，不止一個復(fù)本，應(yīng)盡可能尋找最佳的一份，如果現(xiàn)實中找不到可用的報刊實體，可以用縮微膠片替代。
2.掃描和修圖。利用大幅面掃描儀掃描紙質(zhì)報刊，用膠片掃描儀掃描縮微膠片。對掃描得到的TIF圖片進行修正，去除污漬、裂紋等。
3.OCR文字識別與校對。OCR(光學(xué)字符識別)是一種通過計算機自動識別圖片上文字的技術(shù)，標(biāo)準(zhǔn)印刷漢字的OCR識別正確率可達(dá)到99%以上。由于早期報刊印刷技術(shù)簡單和保存環(huán)境的原因，識別率可能稍低一些，需要進行多次校對以保證最終的質(zhì)量。校對包括人工校對和智能化自動校對。
4.版面分析和劃分。將修正后的版面掃描圖片按照主題文章進行區(qū)域劃分和標(biāo)識。
5.制作版式文件。根據(jù)步驟2、3、4得到的信息制作可檢索的數(shù)字版式文件，比如PDF等。
6.數(shù)字?jǐn)?shù)據(jù)驗收。對上述步驟得到的文字、圖片、版式文件等數(shù)字?jǐn)?shù)據(jù)進行再檢驗，以確保完整性和正確性。
7.數(shù)據(jù)入庫。文字入全文數(shù)據(jù)庫，圖片入圖片數(shù)據(jù)庫，版式文件入版面數(shù)據(jù)庫，三種數(shù)據(jù)庫是相關(guān)聯(lián)的，可以聯(lián)合檢索。
8.建立雙平臺檢索系統(tǒng)。一般采用B/S架構(gòu)，用戶通過瀏覽器即可檢索上述三種數(shù)據(jù)庫。
經(jīng)過上述步驟的處理加工后，最終的產(chǎn)品是一個完整的系統(tǒng)，其中包括：包含全部報刊文字和元數(shù)據(jù)的全文數(shù)據(jù)庫、包含報紙照片和版面掃描圖片的圖片、可檢索的PDF版式文件、基于B/S架構(gòu)的雙平臺檢索系統(tǒng)等。此外，為了支持高質(zhì)量的再印刷，也包括修正后的版面掃描TIF圖片。
歷史報刊數(shù)字化關(guān)鍵技術(shù)研究
歷史報刊數(shù)字化的關(guān)鍵技術(shù)包括：
1.圖像獲?。褐饕ㄟ^掃描，包括紙質(zhì)掃描和膠片掃描等。
2.OCR文字識別與校對、版面分析和劃分等：將修正后的版面掃描圖片按照主題文章進行區(qū)域劃分，目前有自動識別主題文章區(qū)域的技術(shù)。
3.元數(shù)據(jù)抽取和分類標(biāo)引：文章的元數(shù)據(jù)抽取包括對文章主題、副題、引題、作者、來源、關(guān)鍵詞、摘要、引文、外部特征等信息的自動識別和自動抽取;分標(biāo)引類是按照國家新聞標(biāo)準(zhǔn)分類法對文章進行分類標(biāo)識。
4.全文數(shù)據(jù)庫和圖片數(shù)據(jù)庫：全文數(shù)據(jù)庫是實現(xiàn)全文檢索的數(shù)據(jù)庫系統(tǒng)，為按關(guān)鍵字檢索整篇文章帶來很大便利;圖片數(shù)據(jù)庫一般按照文件存儲、按照標(biāo)引檢索。
5.數(shù)字版式文件的制作、檢索技術(shù)：制作數(shù)字化版式文件是為了能夠展現(xiàn)歷史報刊的原始風(fēng)貌，使讀者能直觀地感受到是在閱讀一份早期的報刊，更具有視覺震撼力。目前報刊的數(shù)字版式文件一般采用Adobe的PDF格式，根據(jù)掃描圖像制作成可檢索PDF一般采用雙層和重構(gòu)技術(shù)。
下面進行更詳細(xì)的闡述。
1.掃描技術(shù)
掃描是歷史報刊數(shù)字化制作流程中的關(guān)鍵，因為后續(xù)工作完全基于掃描后得到的TIF圖片，其掃描質(zhì)量、分辨率的選擇、所使用的設(shè)備和參數(shù)設(shè)定都對后期制作有重要影響。特別是分辨率的選擇，需要考慮到當(dāng)代印刷術(shù)和近代的印刷術(shù)，當(dāng)代彩色報刊的印刷一般要求彩色圖片在200～300dpi即可，既不宜過低也不宜過高，而近代的印刷主要是以鉛印、油印等為主，歷史報刊的掃描精度一般采用300～600dpi，其目的是為了保存更多的細(xì)節(jié)，更具參考和研究價值。掃描精度越高，所得到掃描圖片的容量也越大，因此，在選擇掃描精度的時候也需要考慮硬件方面的存儲容量。
由于報刊在印刷時是靠細(xì)小點陣來顯示圖像，并不是連續(xù)的色彩，高精度掃描會掃描出網(wǎng)狀條紋，這種情況可能會降低OCR軟件的處理速度?，F(xiàn)在許多掃描儀有去除網(wǎng)紋的功能，可以解決此類問題。對于沒有去除網(wǎng)紋功能的掃描儀，如對圖像要求不高的話，可用降低掃描分辨率的辦法。因此，如果考慮到下一步的文字識別率， 5號以上字體使用300dpi掃描，6號、7號字體使用400～600dpi掃描。綜合考慮上述因素，可以統(tǒng)一使用400dpi左右的掃描精度。
紙質(zhì)報紙和縮微膠片掃描所使用的設(shè)備和參數(shù)設(shè)定也有所差別，紙質(zhì)報紙一般使用大幅面的快速掃描設(shè)備，而縮微膠片掃描儀在掃描前需要進行預(yù)先光學(xué)處理，目的是為了達(dá)到和紙質(zhì)掃描相同的分辨率。
2.OCR技術(shù)與校對
OCR技術(shù)原理是對光學(xué)儀器產(chǎn)生的影像(比如掃描圖片)進行處理，消除一些影響識別的可忽略因素(自動或者手工)，將影像進行區(qū)域分割，使之成為可以獨立識別的單元，然后從這些影響單元中提取形態(tài)特征，再與標(biāo)準(zhǔn)特征庫中的數(shù)據(jù)進行對比，根據(jù)對比的結(jié)果決定該單元的識別結(jié)果。由于不確定因素較多，比如掃描設(shè)備的質(zhì)量、掃描資料的質(zhì)量、掃描精度、識別軟件、學(xué)習(xí)和測試樣本等都會影響到識別的準(zhǔn)確率。
文字識別之前的影像預(yù)處理是該過程中需要處理問題最多的階段，其中包括影像的正規(guī)化、除噪聲、圖像矯正、圖文分析、文字行與字分離等步驟。舉例說明，對于歷史報刊而言，如果其掃描圖片出現(xiàn)傾斜，超出計算機自動識別的誤差范圍，就需要就行圖像旋轉(zhuǎn)矯正;如果原始報刊本身由于存放時間過長，出現(xiàn)污點裂痕較多，影響到正常文字的識別，那么就需要將掃描圖片上的這些污點裂痕去除、背景化;此外，早期報紙有豎排版，在行、字分離上需要進行特殊處理。
從識別技術(shù)的難度角度來看，印刷體識別相對要容易、正確率更高一些，因此對于歷史報刊而言，只要預(yù)處理做得比較完善，其自動識別不會產(chǎn)生過多的錯誤。為了保證更高的文字正確率(比如差錯率在萬分之一以下)，需要進行校對。校對包括軟件自動校對和人工校對，自動校對是根據(jù)自然語言處理技術(shù)對識別出的文字語句的正確性進行判斷和標(biāo)注，然后進行糾錯;人工校對是完全依賴校對員的判斷。OCR的校對一般都是結(jié)合自動和人工兩種方式進行反復(fù)多遍的排查糾錯。
3.元數(shù)據(jù)抽取和標(biāo)引技術(shù)
在建立全文數(shù)據(jù)庫、圖片數(shù)據(jù)庫和版式文件數(shù)據(jù)庫之前，需要對文章進行元數(shù)據(jù)抽取和標(biāo)引，其目的是從多角度對文章、圖片和版面文件進行標(biāo)注說明，以完善檢索系統(tǒng)。文章的元數(shù)據(jù)主要包括題名信息、作者信息、來源信息、關(guān)鍵詞信息、摘要信息、引文信息、外部特征信息等。對于報刊而言，題名信息、作者信息、來源信息一般都在版面上明確標(biāo)出，在OCR識別的版面區(qū)域劃分過程中獲得相應(yīng)的信息;而對于其他元數(shù)據(jù)，比如關(guān)鍵詞信息、摘要信息、引文信息等，因為沒有明確標(biāo)出，需要從報刊正文中提取，由于歷史報刊數(shù)字化需要在短時間內(nèi)處理海量的報刊文章，依靠人工無法完成，所以必須要進行元數(shù)據(jù)的自動抽取，需要結(jié)合自然語言處理、機器學(xué)習(xí)等技術(shù)。
在文本中抽取元數(shù)據(jù)標(biāo)引，可分為全關(guān)鍵詞標(biāo)引和主關(guān)鍵詞標(biāo)引。自動標(biāo)引過程與人工標(biāo)引過程相似，其特點是標(biāo)引速度快，標(biāo)引的前后一致性好，在隨機存儲介質(zhì)容量允許、軟件檢索功能具備的情況下，可以實現(xiàn)文摘、甚至全文的無人工標(biāo)引自動檢索。目前自動標(biāo)引系統(tǒng)抽出的表述文獻(xiàn)主題的主關(guān)鍵詞準(zhǔn)確性較差，還不能完全代替人工標(biāo)引。
4.版式文件制作技術(shù)
版式文件是一種具有版權(quán)保護、加密、防止非法復(fù)制、防止屏幕拷貝、能夠全面展示版面多媒體內(nèi)容和樣式、并且能夠精確輸出到打印設(shè)備的文件格式，目前比較流行的版式文件是Adobe公司的PDF，國內(nèi)北大方正采用了CEB，另外還有epub等。報刊的版式文件一般采用PDF格式。
制作版式文件是歷史報刊數(shù)字化的一項重要工作，其意義有以下幾個方面：(1)首先通過版式文件能夠直觀地展示歷史報刊的外觀，包括版面布局、文字樣式和圖片等。(2)支持版面檢索，在雙平臺檢索平臺通過關(guān)鍵字檢索就能找到包含關(guān)鍵字的版面。(3)支持再印刷，矢量字體的版式文件能夠進行更大幅面的印刷輸出，不會有字體的變形。(4)標(biāo)準(zhǔn)化的文件格式便于存儲和交換。
目前歷史報刊數(shù)字化的PDF版式文件制作有兩種技術(shù)：雙層和重構(gòu)。對于前期歷史報刊而言，因為沒有對應(yīng)的電子版面文件，所以需要制作雙層或者重構(gòu)PDF。制作雙層PDF的重點在于掃描圖片處理成合適清晰度的壓縮圖片用于雙層PDF的上層圖片層，并將文本按照原始版面結(jié)構(gòu)重排并與圖片層對應(yīng)，形成隱藏的下層文字層;重構(gòu)PDF則是利用圖片和文本數(shù)據(jù)按照原始版面結(jié)構(gòu)進行整版的圖文混合重排，是單層結(jié)構(gòu)。這兩種PDF的主要區(qū)別有以下幾方面：
(1)在PDF文件結(jié)構(gòu)方面：雙層PDF，顧名思義，該PDF邏輯上具有兩層(一層純圖片層、一層純文本層)，上層是用于瀏覽的可視圖片層(為了避免文件體積過大，該圖片層一般使用高清掃描圖片的壓縮格式)，能夠瀏覽版面掃描原貌;下層是用于文字檢索的隱藏文本層(瀏覽時不可見)，文本層中的文字就是版式圖片經(jīng)OCR識別校正后的文本，它與上層圖片層版式圖片中的文字是一一對應(yīng)的，一個是圖片化文字、一個是文本化的文字。這樣形成的雙層PDF既可以100%保留原始版面效果，又可以通過下層的文字信息支持選擇、復(fù)制、文字檢索等功能。重構(gòu)PDF，是當(dāng)代流行的單層圖文混排結(jié)構(gòu)。
(2)在PDF版式重排方面：對于歷史報刊而言，雙層和重構(gòu)PDF都要進行相應(yīng)的版面重排，但是雙層PDF僅對其文字層的文字按照原始版面位置進行重排和對應(yīng);而重構(gòu)PDF則要按照當(dāng)今的圖文混排方式重現(xiàn)原始版面的樣貌，所以制作方面工作量要大一些。對于組版出版數(shù)字化之后的近期歷史報刊而言，由于已經(jīng)存在可印刷的數(shù)字PS版面文件和對應(yīng)的數(shù)字矢量字庫，而且這些PS版面文件可以精確地批量生成當(dāng)今流行的圖文混排的PDF版，不必再進行版面重排，就沒有制作雙層或者重構(gòu)PDF之說了。
(3)在視覺瀏覽方面：雙層PDF是100%保留掃描版面視覺效果，但受圖片層的精度所限，其中的文字縮至較小時會產(chǎn)生字體變形，而放大到一定程度字體會產(chǎn)生馬賽克模糊;重構(gòu)PDF中的文字是矢量字體，可對字體進行任意縮放，保持字體邊緣依然光滑，字體色素不會丟失，因此不會變形和模糊。但是，重構(gòu)PDF中的文字字體可能與原始字體有所差別。特別是早期鉛字或者油印的報刊，由于沒有對應(yīng)的數(shù)字矢量字庫，所以無法100%保留原始效果。但數(shù)字化以后的歷史版面，就不存在這個問題。
(4)在用于印刷方面：同視覺瀏覽方面相類似，雙層PDF是100%保留掃描版面視覺效果(原汁原味)，但受圖片層的精度所限，不能進行大幅的放大印刷，字體會產(chǎn)生馬賽克模糊。對此可以直接使用修正后的高清TIF掃描圖片進行大幅面的印刷。重構(gòu)PDF支持任意放大的印刷，字體邊緣光滑清晰，不會產(chǎn)生變形和模糊，印刷質(zhì)量好于雙層PDF。
(5)在版式文字檢索和定位方面：雙層和重構(gòu)PDF都支持版面文字檢索和定位，在檢索速度上，雙層的速度慢于重構(gòu)，因為雙層PDF的文件較大。
(6)在存儲容量方面：重構(gòu)PDF文件的存儲容量比雙層PDF文件小得多，一般是其1/4至1/6左右。因此重構(gòu)PDF文件的打開和網(wǎng)絡(luò)傳輸都要比雙層PDF快，更適合于網(wǎng)絡(luò)瀏覽。
(7)在文字差錯率方面：理論上，歷史報刊數(shù)字化的文字差錯率和PDF采用雙層和重構(gòu)并無關(guān)系，差錯率只和OCR識別準(zhǔn)確率和人工校正等有關(guān)。在這方面，雙層和重構(gòu)的差別在于：對于雙層PDF來說，即使文字層有錯字，由于其本身是隱藏的(上層是可視圖片)，也不會被看見，但會在文本檢索和復(fù)制過程中體現(xiàn)出來;對于重構(gòu)PDF來說，文字如果有錯誤，則直接能看到。出錯率的產(chǎn)生，很大程度上取決于原始掃描圖的修正、文字識別準(zhǔn)確率、校改人員的責(zé)任心、新聞常識、歷史經(jīng)驗和承接公司的項目管理經(jīng)驗等。
(8)在發(fā)布渠道方面：雙層PDF適合在本地電腦和局域網(wǎng)上瀏覽，重構(gòu)PDF除本地電腦和局域網(wǎng)上之外，也適合在互聯(lián)網(wǎng)上、手機、平板電腦、戶外大屏上瀏覽。
(9)在專輯出品方面：這兩種技術(shù)都能夠滿足個性化專輯出品的需求。
(10)費用方面：由于重構(gòu)PDF的制作工作量相對大一些，所以制作重構(gòu)PDF的費用比雙層PDF高15%～20%左右。
總的來說，實施歷史報刊數(shù)字化項目，如果僅從保護、存檔的角度考慮，那么掃描歷史報版面建立圖片數(shù)據(jù)庫，進而進行文字識別、校正、標(biāo)引、入庫、建立全文數(shù)據(jù)庫和檢索網(wǎng)站即可;如果進一步從滿足版式檢索和PDF瀏覽功能考慮，可采用雙層PDF技術(shù);如果考慮未來媒體終端的應(yīng)用(例如蘋果的iPhone手機、iPad平板電腦)、開發(fā)更多的衍生產(chǎn)品，那么可采用重構(gòu)PDF的技術(shù)方案。
德國Book2net報紙大幅面掃描儀系列：Flash報紙專業(yè)大幅面掃描儀?？蔀槌珹1幅面的古籍、字畫、古舊報紙數(shù)字化提供仿真級別數(shù)字化。
德國Book2net書刊掃描儀Flash報紙專業(yè)大幅面掃描儀圖解：
德國Book2net書刊掃描儀產(chǎn)品參數(shù)：
北京方圓慧圖科技有限公司(以下簡稱“方圓慧圖”)是中國最具規(guī)模的集檔案數(shù)字化設(shè)備銷售、檔案管理系統(tǒng)研發(fā)、業(yè)務(wù)咨詢服務(wù)、數(shù)字化加工建設(shè)的整體解決方案提供商，總部位于北京。自成立以來，一直專注于檔案圖書數(shù)字化和文檔信息資源管理領(lǐng)域幫助用戶獲得成功,是的檔案圖書數(shù)字化方案提供商。
方圓慧圖是檔案圖書數(shù)字化領(lǐng)域最專業(yè)的掃描設(shè)備提供商。是多款高端掃描設(shè)備的中國地區(qū)總代理，包括德國Book2net書刊掃描儀全國總代理，德國Proserv書刊掃描儀亞太地區(qū)總代理，奧地利奇能書刊掃描儀全國總代理......。公司主要經(jīng)營的數(shù)字化掃描設(shè)備有全自動書刊掃描儀、非接觸式古籍掃描儀、零邊距檔案專用掃描儀、報紙數(shù)字用化專掃描儀、縮微膠片掃描儀、工業(yè)探傷膠片掃描儀、醫(yī)療膠片掃描儀、高速文件掃描儀等?？梢詾槟峁┳顚I(yè)的數(shù)字化掃描設(shè)備方案。
德國Book2net書刊掃描儀Flash報紙專業(yè)大幅面掃描儀圖解：
