第十一篇最終成果展示與展望——文淵慧典能做什么不能做什么——大胖老師“咱們的系統(tǒng)從第一行代碼到現(xiàn)在快三年了。是不是該來(lái)個(gè)階段總結(jié)”——二黑從抽屜里掏出一份厚厚的報(bào)告封面印著“文淵慧典1.0版本發(fā)布與評(píng)估報(bào)告”往桌上一放“早就準(zhǔn)備好了。成績(jī)單和體檢報(bào)告都在這。好的壞的一目了然?！薄〔藴愡^(guò)去看只見(jiàn)目錄上寫(xiě)著功能清單、性能指標(biāo)、用戶分布、典型案例、已知缺陷、未來(lái)路線圖。“二黑你這是把咱們扒光了給人看啊”——二黑推了推眼鏡“開(kāi)源項(xiàng)目透明是底線。能做什么不能做什么都得說(shuō)清楚。讓用戶自己判斷比自吹自擂管用一萬(wàn)倍。”——大胖老師端起保溫杯滿意地點(diǎn)了點(diǎn)頭“那就開(kāi)誠(chéng)布公地講。今天咱們既報(bào)喜也報(bào)憂。喜的是我們真的做出了一點(diǎn)能用的東西憂的是還有太多書(shū)等著我們?nèi)フJ(rèn)而我們做得還不夠快、不夠好?！币?、文淵慧典1.0一份遲到但誠(chéng)懇的“成績(jī)單”大胖老師把二黑的報(bào)告投在屏幕上翻到“功能清單”那一頁(yè)。上面密密麻麻列了幾十項(xiàng)他挑重點(diǎn)念核心功能PDF自動(dòng)拆頁(yè)支持加密PDF密碼輸入圖像自適應(yīng)二值化、展平糾偏、手機(jī)拍照梯形校正基于PPStructure的古籍專用版面分析正文、夾注、眉批、標(biāo)題、印章自動(dòng)分離豎排/橫排/混合排版方向自動(dòng)檢測(cè)與旋轉(zhuǎn)校正閱讀順序智能重建從右到左、從上到下、夾注插入正文基于PaddleOCR的繁體中文識(shí)別字庫(kù)3.5萬(wàn)覆蓋康熙字典常用字避諱字自動(dòng)補(bǔ)全清代、宋代規(guī)則可配置異體字標(biāo)準(zhǔn)化可選輸出原字/標(biāo)準(zhǔn)字雙版本置信度標(biāo)注與校對(duì)輔助低置信度自動(dòng)標(biāo)黃古文語(yǔ)言模型上下文糾錯(cuò)輸出格式雙層PDF可搜索、純文本TXT、帶格式Word、ALTO XML完全離線運(yùn)行純CPU推理支持Windows/Linux雙平臺(tái)一鍵安裝Web圖形界面拖拽上傳小菜看著這一長(zhǎng)串感嘆“不知不覺(jué)我們已經(jīng)做了這么多功能了?！薄暗匾氖沁@些數(shù)字?！倍诜较乱豁?yè)屏幕上出現(xiàn)一張數(shù)據(jù)表性能指標(biāo)基于i5-8500/8G內(nèi)存/機(jī)械硬盤(pán)辦公電腦實(shí)測(cè)平均識(shí)別速度7.8秒/頁(yè)A4古籍300DPI綜合識(shí)別準(zhǔn)確率刻本93.2%石印本89.7%手抄本72.5%版面分析正確率單欄豎排98.5%雙欄帶夾注91.3%復(fù)雜混合版式82.6%內(nèi)存占用峰值1.2GB處理300頁(yè)P(yáng)DF崩潰率0.05%連續(xù)處理1000頁(yè)以上“這些數(shù)字不是實(shí)驗(yàn)室里跑出來(lái)的是二十家試點(diǎn)圖書(shū)館的真實(shí)使用數(shù)據(jù)匯總?！倍趶?qiáng)調(diào)“每個(gè)數(shù)字背后都有原始記錄可查。我們還在GitHub上公開(kāi)了測(cè)試集和復(fù)現(xiàn)方法任何人都可以驗(yàn)證?！倍?、三年二十家圖書(shū)館一千萬(wàn)字大胖老師又翻到“用戶分布與使用統(tǒng)計(jì)”那一頁(yè)。地圖上釘著二十顆圖釘從湖南到甘肅從東北到云南。旁邊是一組累計(jì)數(shù)據(jù)累計(jì)處理古籍頁(yè)數(shù)約21萬(wàn)頁(yè)累計(jì)識(shí)別總字?jǐn)?shù)約1.08億字用戶覆蓋圖書(shū)館數(shù)20家縣級(jí)館18家市級(jí)館1家高校館1家開(kāi)源社區(qū)Star數(shù)5.2k貢獻(xiàn)者數(shù)37人核心團(tuán)隊(duì)3人社區(qū)貢獻(xiàn)者34人被引用次數(shù)12次學(xué)術(shù)論文及技術(shù)報(bào)告“一億字什么概念”二黑打了個(gè)比方“《四庫(kù)全書(shū)》總共約八億字。我們這一年多識(shí)別的字?jǐn)?shù)已經(jīng)相當(dāng)于《四庫(kù)全書(shū)》的八分之一了。當(dāng)然這不是說(shuō)我們處理了《四庫(kù)全書(shū)》而是我們處理的那些地方志、家譜、契約加起來(lái)達(dá)到了這個(gè)體量。在以前這些文字要靠館員一個(gè)字一個(gè)字敲可能要敲幾百年?，F(xiàn)在二十臺(tái)老電腦一年多就做到了。”小菜插嘴“最有意思的不是總量是那些‘意外發(fā)現(xiàn)’。”他翻出幾個(gè)案例湖南王姐發(fā)現(xiàn)的“憋死縣令”——康熙年間縣令帶頭吃觀音土便秘幾死成為當(dāng)?shù)匚氖啡衢T(mén)趣聞。甘肅某館從一份民國(guó)契約里發(fā)現(xiàn)了當(dāng)?shù)刈钤绲摹肮煞葜啤彪r形——幾個(gè)村民合伙買(mǎi)水車按股分紅。一位研究生用文淵慧典搜索“女”“妻”“妾”等關(guān)鍵詞從幾千頁(yè)清代契約中定位到三份女性作為獨(dú)立賣(mài)方的契約寫(xiě)出了一篇核心期刊論文?！斑@些故事”大胖老師說(shuō)“比任何benchmark都更能說(shuō)明系統(tǒng)的價(jià)值。技術(shù)指標(biāo)是骨用戶故事是肉。骨肉都擺出來(lái)別人才能看清你到底做了個(gè)什么東西?！比⑻拐\(chéng)的“體檢報(bào)告”文淵慧典目前做不到的事說(shuō)完成績(jī)二黑翻到了報(bào)告最扎心的一頁(yè)——“已知缺陷與局限性”?！白鲩_(kāi)源項(xiàng)目最忌諱的就是吹牛?！倍谡Z(yǔ)氣嚴(yán)肅“我們有什么短板必須老老實(shí)實(shí)寫(xiě)出來(lái)讓用戶有預(yù)期讓社區(qū)知道該往哪兒發(fā)力?！彼饤l念1. 手寫(xiě)體識(shí)別能力有限。當(dāng)前版本對(duì)印刷體刻本和石印本的識(shí)別較好但對(duì)潦草的手抄本準(zhǔn)確率只有70%左右尤其是行書(shū)、草書(shū)以及個(gè)人風(fēng)格極強(qiáng)的字跡錯(cuò)誤率較高。這不是短期內(nèi)能根本解決的需要更多手寫(xiě)體標(biāo)注數(shù)據(jù)。2. 特殊版式仍有盲區(qū)。三欄以上、側(cè)批、版心外密集批注、卷軸裝、經(jīng)折裝等非常規(guī)版式版面分析正確率下降明顯。我們的閱讀順序算法對(duì)常見(jiàn)版式有效但對(duì)罕見(jiàn)的古籍排版仍會(huì)出現(xiàn)順序錯(cuò)誤。3. 生僻字覆蓋不全。雖然字庫(kù)已擴(kuò)展到3.5萬(wàn)但Unicode擴(kuò)展B區(qū)以后的漢字、部分異體字、俗字、避諱改字、缺筆字仍可能識(shí)別錯(cuò)誤或輸出亂碼。遇到甲骨文、金文、小篆等古文字系統(tǒng)完全無(wú)能為力。4. 表格識(shí)別不夠精準(zhǔn)。古籍中的表格如譜牒世系表、田畝清冊(cè)識(shí)別率不高表格結(jié)構(gòu)恢復(fù)不完整需要人工后期整理。5. 標(biāo)點(diǎn)符號(hào)和句讀。當(dāng)前版本僅輸出純文本不自動(dòng)添加標(biāo)點(diǎn)。古文句讀是一個(gè)獨(dú)立且高難度的NLP任務(wù)我們目前只做了基礎(chǔ)的語(yǔ)言模型糾錯(cuò)尚未整合句讀功能。6. 多文種支持缺失。目前僅支持中文漢字對(duì)滿文、蒙文、藏文、彝文、西夏文等少數(shù)民族文字以及日文、韓文、越南喃字等東亞文字沒(méi)有支持。7. 對(duì)極端硬件仍有門(mén)檻。雖然我們做了大量?jī)?yōu)化但在10年以上的老爺機(jī)2G內(nèi)存、單核CPU上仍然運(yùn)行緩慢體驗(yàn)不佳?！斑@七條”大胖老師總結(jié)“就是我們下一階段要攻克的山頭。我們不回避也不焦慮。羅馬不是一天建成的古籍OCR的完全體也不是三年能干完的。坦誠(chéng)面對(duì)不足是進(jìn)步的開(kāi)始。”四、展望文淵慧典的未來(lái)路線圖講完不足二黑又翻到了最后一頁(yè)——“未來(lái)路線圖”。上面畫(huà)著一條時(shí)間軸從2026年延伸到2029年標(biāo)注了幾個(gè)關(guān)鍵節(jié)點(diǎn)。2026-2027夯實(shí)基礎(chǔ)擴(kuò)大覆蓋收集更多手寫(xiě)體標(biāo)注數(shù)據(jù)將手抄本準(zhǔn)確率提升至80%以上支持滿文、蒙文識(shí)別與相關(guān)高校合作整合自動(dòng)句讀模塊基于大語(yǔ)言模型微調(diào)推出在線體驗(yàn)版僅作演示核心功能仍保持離線用戶擴(kuò)展到100家圖書(shū)館2027-2028架構(gòu)升級(jí)端到端探索端到端的統(tǒng)一古籍OCR大模型輸入圖像直接輸出按閱讀順序排列的帶標(biāo)點(diǎn)文本減少對(duì)分模塊流水線的依賴降低級(jí)聯(lián)誤差引入多模態(tài)能力圖文聯(lián)合理解印章釋讀、批注筆跡分析啟動(dòng)“古籍知識(shí)圖譜”項(xiàng)目從識(shí)別文字到提取人物、地名、事件、職官等實(shí)體2028-2029生態(tài)構(gòu)建走向智能打造古籍?dāng)?shù)字化開(kāi)放平臺(tái)館員上傳圖像系統(tǒng)自動(dòng)完成識(shí)別、校對(duì)、實(shí)體提取、知識(shí)關(guān)聯(lián)生成結(jié)構(gòu)化數(shù)據(jù)庫(kù)與中華古籍資源庫(kù)、高校數(shù)字人文平臺(tái)對(duì)接實(shí)現(xiàn)數(shù)據(jù)互通社區(qū)貢獻(xiàn)者超過(guò)500人形成可持續(xù)的開(kāi)源生態(tài)探索輕量化移動(dòng)端部署讓王大姐用手機(jī)拍照就能現(xiàn)場(chǎng)OCR“這個(gè)路線圖很激進(jìn)”二黑坦誠(chéng)“但我們有信心。因?yàn)楝F(xiàn)在站在我們身邊的已經(jīng)不只是我們?nèi)齻€(gè)人了。有37個(gè)社區(qū)貢獻(xiàn)者有20家圖書(shū)館的用戶有PaddleOCR背后的百度團(tuán)隊(duì)有千千萬(wàn)萬(wàn)關(guān)心古籍?dāng)?shù)字化的人。力量在匯聚。”五、王大姐的一句話大胖老師關(guān)掉投影從抽屜里拿出一張明信片遞給小菜?！斑@是上周王姐寄來(lái)的。她在上面寫(xiě)了一句話我看了之后覺(jué)得我們這幾年的辛苦被這句話總結(jié)了?！毙〔私舆^(guò)明信片念道“以前我覺(jué)得古籍?dāng)?shù)字化是國(guó)家大事跟我沒(méi)關(guān)系?，F(xiàn)在我覺(jué)得我能干一點(diǎn)我的同事能干一點(diǎn)我們縣的書(shū)就能早一天被看到。謝謝你們把大事變成了小事?！倍诔聊藥酌肴缓笳f(shuō)“把大事變成小事把高不可攀的技術(shù)變成雙擊就能用的工具讓最普通的館員也能參與到文化傳承里來(lái)——這就是文淵慧典存在的全部意義?！绷?、尾聲這不是結(jié)束甚至不是結(jié)束的開(kāi)始窗外2026年的陽(yáng)光正好。實(shí)驗(yàn)室的白板上那張從2023年畫(huà)到現(xiàn)在的項(xiàng)目時(shí)間線已經(jīng)被各種顏色的筆跡填滿。大胖老師拿起板擦沒(méi)有擦掉任何東西而是在時(shí)間線的末端畫(huà)了一個(gè)箭頭箭頭下面寫(xiě)了一行字“下一個(gè)三年?！薄拔臏Y慧典1.0今天就正式發(fā)布了?！彼f(shuō)“但你們知道我最喜歡哪個(gè)版本號(hào)嗎”小菜猜“2.0”二黑猜“3.0”大胖老師搖頭“都不是。我最喜歡的版本號(hào)是‘正在更新中’。因?yàn)槟且馕吨覀冞€在路上王大姐們還在用古籍還在被一本一本地喚醒?！彼似鸨乇瓕?duì)著窗外舉了一下“致三千年簡(jiǎn)牘致八百萬(wàn)線裝。你們的遺囑我們收到了。下一程繼續(xù)?！毕缕陬A(yù)告小菜合上筆記本“老師這篇寫(xiě)完了咱們的系列是不是該收尾了”二黑接口“應(yīng)該還有一篇。所有做開(kāi)源項(xiàng)目的人最后都要感謝一圈——感謝開(kāi)源社區(qū)感謝用戶感謝那些貼膏藥標(biāo)注數(shù)據(jù)的同學(xué)感謝每一個(gè)提bug的人?！贝笈掷蠋熜Φ馈皩?duì)。做了三年欠了無(wú)數(shù)的人情。最后一篇咱們不寫(xiě)技術(shù)專門(mén)寫(xiě)感謝?！薄爸黝}就叫——”《謝天謝地謝開(kāi)源文淵慧典背后的那些“巨人的肩膀”和“王大姐的橘子”》小菜已經(jīng)開(kāi)始翻通訊錄準(zhǔn)備致謝名單了。窗外二十顆圖釘依舊釘在地圖上每一顆都閃閃發(fā)光。而大胖老師的保溫杯里今天泡的是王姐從湖南寄來(lái)的新茶——茶葉不貴但特別解渴。本文為注水技術(shù)版您看看即可不必當(dāng)真寫(xiě)此文字就是圖一樂(lè)-