央廣網西安12月11日消息(記者蘇睿楠 通訊員王格)點擊上傳一張左下角缺損的永樂宮《朝元圖》壁畫中諸神持笏朝拜的局部圖,僅大約5秒鐘后,系統(tǒng)就可將缺損處修補完好,肉眼難以看出補全痕跡。這便是西安電子科技大學人工智能學院焦李成教授團隊研發(fā)的“絲路逸旅:文旅資源修復與生成基礎模型”。

生成式大模型知識引導壁畫補全流程示意圖(央廣網發(fā) 西安電子科技大學供圖)
對于毫無歷史、考古等專業(yè)背景的團隊來說,在沒有高質量原圖參考的情況下,如何將壁畫修補正確且具有歷史性、藝術性,是面臨的第一個難題。
要想修補得好,首先就得對壁畫有正確的“診斷”。
為解決傳統(tǒng)病害勘察依賴人工、效率低且診斷難的痛點,“絲路逸旅”模型搭載了端到端“壁畫病害檢測與分析”方案,從壁畫病害的檢測、分析到修復方案的生成,全過程都可實現無人工干預的自動化智能處理。

高效壁畫病害檢測示例圖(央廣網發(fā) 西安電子科技大學供圖)
當把有所殘缺的《唐惠妃武氏墓山水屏風》和《韓休墓山水圖》電子版依次上傳到系統(tǒng)中,便可一鍵生成圖文并茂的文物“體檢報告”。在這份“報告”中可以很清晰地看到系統(tǒng)用藍色、紫色、白色和黑色在原圖中標注出的代表剝落、褪色、霉斑、裂縫等病害,對相應區(qū)域給出壁畫病害類別定義、病害程度分析,并提出“霉斑去除”“補充線條”等對策,甚至可給出使用何種礦物顏料進行填補的精細化建議。團隊成員、博士二年級的高子涵熟練地進行著演示,“這個方案以視覺分割網絡和多模態(tài)基礎模型為內核,能夠實現對裂縫、剝落等病害區(qū)域的像素級精準識別,并通過知識檢索增強技術關聯考古文獻,給出分析和應對建議,不僅為數字化修復開出‘藥方’,還能為現實中的壁畫修補提供一定的輔助”。
基于這樣一份全面的“體檢報告”,系統(tǒng)不僅能對因病害而導致的褪色、模糊等問題進行修復,還可對缺損的部分進行補全。

壁畫修復整體流程示意圖(央廣網發(fā) 西安電子科技大學供圖)
“我們國家的歷史朝代多,且有的朝代歷時長,不同時期的壁畫、器物等都具有不同的歷史特征,所以我們前期花費了大量的時間用于數據和信息的收集,整個過程需要反復驗證,以保證修復后的準確度”,團隊成員、博士二年級的王子韜介紹道,“對于壁畫文物中無法考證的缺失部分,我們和華清宮文保中心聯合提出了基于生成式大模型知識引導的壁畫補全方法”。生成式大模型就像一位善于學習的優(yōu)秀學生,可以廣泛涉獵、準確理解學習到的歷史文獻和考古資料,并把所學到的內容進行結構化梳理,應用到模型對壁畫的修補過程中,從而確保補全內容在藝術風格、器物形制等方面均符合歷史事實與審美規(guī)范。
在進行壁畫“查-修-補”的過程中,團隊成員開始越來越多地了解陜西歷史文化,也開始思考如何能讓游客擁有更好的文旅體驗。

結合Deepseek文化領域理解與生成大模型的旅游規(guī)劃示例圖(央廣網發(fā) 西安電子科技大學供圖)
“請幫助我搜集信息給出完整的旅游規(guī)劃,我想在西安安排三天的旅游行程,我患有三高,同時有兩個孩子,我又想在西安這個碳水之城盡可能的玩得痛快,我應該如何安排我們的飲食呢?并且通過協調的路徑規(guī)劃安排適當又不累,同時孩子也可以接受的城市Citywalk,然后讓文化體驗、科技體驗都拉滿。”在輸入這樣的需求后,“絲路逸旅”大模型不僅會從行程總覽、飲食建議、行程特色、交通建議、注意事項等方面生成一份定制的旅行攻略,“我們相比于其他大模型會更精準一些,因為我們是跟當地文旅部門合作的,獲取到的信息更加全面準確”,團隊成員、博士二年級的張潔解釋道,“除了可以用文字提問,也可以上傳照片,我們的模型都可以為大家進行多語種的解答”。

以瓊漿為例的模型流程示意圖(央廣網發(fā) 西安電子科技大學供圖)
上傳一張黑神話悟空游戲中的瓊漿道具的圖片,模型即可通過圖片檢索,發(fā)現其類似來通杯,指出在陜西歷史博物館中有相似展品“鑲金獸首瑪瑙杯”,定位出其珍藏于博物館負一層四號并給出路徑規(guī)劃建議,還可對來通杯的歷史來源進行問答和講解。
這一模型將“人找信息”變?yōu)椤靶畔⒄胰恕,為游客提供高質量的定制化伴隨化的智能服務,“經過與陜旅集團深度合作,我們面向游客需求,不斷地更新模型,不僅可以為游客旅行前和旅行中提供攻略、文博知識講解,還與西安市漢服文化協會、陜西國博政通信息科技有限公司聯合打造AI古風換裝、AI盲盒設計等服務”,團隊指導老師劉旭介紹道。

古畫換裝與3D生成示意圖(央廣網發(fā) 西安電子科技大學供圖)
基于團隊在智能感知與影像解譯方面30余年的積累,“絲路逸旅”模型的研發(fā)不僅有著扎實的技術支撐,還匯集了文化遺產保護專家、旅游規(guī)劃專家等提供文博專業(yè)領域知識支持,經過2年多持續(xù)的調研、分析、研發(fā)、優(yōu)化,這一模型從最初的構想終于落地應用。
未來,團隊將立足陜西深厚的歷史文化底蘊與豐富的旅游資源,面向文化傳承與智慧文旅需求開展系統(tǒng)研究。依托人工智能、大數據與多模態(tài)感知等技術,圍繞歷史文化遺產數字化保護、文旅資源智能推薦、沉浸式交互體驗等方向展開創(chuàng)新探索。通過將科技創(chuàng)新與文化內涵深度融合,不斷拓展與更多地方文旅部門的合作,用“西電方案”助力智能化文物修復,助力陜西打造具有國際影響力的智慧文旅示范高地,推動優(yōu)秀歷史文化的創(chuàng)新傳播與可持續(xù)發(fā)展。
長按二維碼關注精彩內容





