大數據下的檔案管理數據化轉型

前言：想要寫出一篇引人入勝的文章？我們特意為您整理了大數據下的檔案管理數據化轉型范文，希望能給你帶來靈感和參考，敬請閱讀。

互聯網時代，大數據正在引領各領域和各行業的變革與轉型。被譽為“大數據之父”的美國數據科學家維克托•邁爾•舍恩伯格將大數據概括為“一場生活、工作與思維的大變革”。2014年3月，大數據被首次寫入政府工作報告；2015年8月，國務院《促進大數據發展行動綱要》；2015年10月，黨的十八屆五中全會正式提出“實施國家大數據戰略，推進數據資源開放共享”，這表明中國已將大數據視作戰略資源并上升為國家戰略。在大數據浪潮洶涌而至的時代，檔案部門應順勢而為，推進大數據時代檔案管理事業轉型升級。2019年4月，國家檔案局與財政部、國家稅務總局聯合開展電子發票電子化報銷、入賬、歸檔管理試點工作并確定了7家試點企業，此次試點的成功意味著未來大量原生數據態的檔案資源將成為檔案部門的主要管理對象。“萬物皆數”的思維潛移默化地使得過去以傳統載體形式存在的事物在未來將會以數據的形式存在，這也預示著未來檔案與數據之間的邊界會日益模糊。狹義來看，檔案管理數據化大致包括傳統紙質檔案和電子檔案的數據化處理和原生數據態檔案管理。廣義來看，檔案管理數據化是檔案管理數字化的深化與升級，是未來檔案信息化建設的發展方向。檔案管理工作正在經歷從數字化到數據化的轉變，是對紙質檔案數字化工作的推進，也是對檔案利用的深層次開發，更是推動檔案服務升級的新契機。本文認為，大數據背景下檔案管理數據化的轉型主要體現在以下方面：

面向未來，大數據引領檔案管理數據化思維轉變

在檔案管理從數字化向數據化轉變的過程中，面臨管理對象變化帶來的諸多問題與挑戰，思維創新是引領檔案管理數據化轉型的關鍵要素。檔案管理數據化思維轉變首先要理清檔案和數據的關系，大數據時代對于檔案的定義將進一步鞏固大檔案觀，檔案的內涵和外延都將有所擴展。從大數據的視角看，檔案是蘊含豐富數據資源的寶庫，可以將檔案轉變成便于計算機處理的數據，也可以將檔案變成用戶利用的數據；數據也是檔案，數據承載著信息社會人類記錄的印記。面對紛繁復雜的數據，檔案部門應加強數據歸檔意識，及時轉變傳統檔案思維，樹立以數據為導向的檔案思維，把握檔案管理數據化發展方向，并能夠積極應對檔案管理數據化帶來的一系列挑戰。舍恩伯格認為，大數據對人的思維變革主要體現在3個方面：開啟全數據模式、包容混雜性、注重相關關系。事實上，這些思維可以映射到檔案管理數據化的思維轉變。首先，樹立全數據思維有助于利用海量檔案數據，這個利用是指從開發到使用檔案資源。當前，檔案數字化全文開發利用工作剛剛步入正軌。2020年6月，上海市檔案館數字檔案公共查閱平臺可實現在線查閱館藏開放檔案的案卷級目錄93萬余條并可以提出部分檔案原件的預約調檔申請，同時也可瀏覽2.3萬余件檔案及部分史料編研成果的數字化全文。然而，查詢數字化全文只到檔案文件級層面，尚未深入到檔案的內容層面，因此，還未脫離將文件作為整體的管理思維。大數據技術不斷革新，海量檔案數據將形成龐大的檔案數據庫，檔案信息資源的開發利用將更加多元。其次，包容混雜性并不表明檔案數據的質量和真實性會有所下降，而是意味著對于不同格式的檔案數據的兼容度的提高，紛繁復雜的檔案數據雖然對檔案管理工作形成了挑戰，但不同格式的檔案數據卻能超越傳統檔案管理的思維局限，開啟縱觀檔案全貌的新視角。最后，注重相關關系可視為檔案管理數據822021•1化的最終目標，檔案數據化后可隨著粒度減小而變得分散，注重檔案數據間的相關關系是將零散的檔案數據通過關聯而進行聚合聯結，不再僅僅以案卷和全宗為開發單位，而是在更細小的粒度層面挖掘出更廣泛的檔案利用價值。電子發票是踐行數據化思維的典型案例。電子發票應用的是類似于關系數據庫的文件結構，這類文件只需要定義其關鍵元數據，定義好打印的版式，所有的發票元數據信息都以數據庫形式存儲和管理，用戶購買商品的發票數據自動寫入數據庫中，成為關系數據庫表文件中的一條數據記錄，當用戶需要下載并打印發票時，數據庫表中的這條數據記錄可以轉換為PDF或者JPG發票文檔。以京東集團為例，消費者購物后填寫單位名稱、手機號碼、郵件地址等電子發票相關信息，收貨確認后申請開具電子發票，經過一系列上傳審核程序，電子發票服務平臺按電子發票機制和要求生成帶開票方簽章的電子發票及其版式文件，消費者可以自行下載。數據時代，很多電子文件的生成、存儲、保管、利用等生命周期內的管理環節不適合再遵從數字時代的思維模式，而須在數據思維框架下重新構建。數據的廣泛應用不僅改變了人們的記錄方式，更革新著人們看待世界的思維和視角。傳統檔案思維也需面向未來進行變革，即在重新審視檔案與數據關系的基礎上，樹立以數據為導向的檔案思維，站在數據管理視角思考檔案管理問題。思維先行是檔案部門應對大數據挑戰的首要準備。

面向發展，需求倒逼和現實瓶頸驅動檔案資源數據化

推動檔案管理數字化向數據化轉變的原因不僅僅是現代科技的迭代更新，更主要的原因是來自信息化時代檔案信息資源利用的現實瓶頸，即現有的數字化檔案資源已無法滿足檔案用戶的多元現實需求。我國檔案數字化工作方興未艾，雖擺脫了紙質檔案遠程在線利用的困境，但還未實現計算機可讀、可理解的數據粒度（指數據倉庫中數據的細化和綜合程度。根據數據粒度細化標準，細化程度越高，粒度越小；細化程度越低，粒度越大）層級的管理與開發，尤其研究型用戶全面多元的利用需求仍無法滿足。任越等學者在對黑龍江省地市級綜合檔案館進行深入調研的基礎上，總結出檔案信息資源開發利用過程中存在的數據化處理深度不夠、檔案機構數據意識不強、檔案數據關聯度不高等現實問題。青島市檔案館副館長楊來青同樣立足于檔案工作實踐，提出針對檔案內容的細粒度管理與開發，即檔案“再信息化”戰略的重要內容之一。利用需求和現有數字化檔案開發成果的不匹配促使檔案開發向數據層級轉向，這使得檔案管理數據化成了大數據時代檔案事業發展的新方向。檔案數據化的主要任務是檔案內容的數據化，將檔案內容智能地碎片化分解成計算機可讀可處理的數據形式，通過碎片化的數據與數據集合實現數據之間的關系建構與重組，最后對檔案數據進行語義加工處理并進行可視化展示。檔案內容數據化具體表現為：檔案管理層級的遞進、檔案開發粒度的細化、檔案內容語義關聯的加強。首先，檔案管理從數字化到數據化的轉變帶來最顯著的變化是檔案管理層級的遞進和檔案管理對象的轉變，即從傳統的管理文件到管理數據，數據化處理后的檔案與原生數據態的電子檔案對傳統以“案卷”為管理單位的檔案管理系統形成了挑戰。其次，相比于傳統紙質檔案與電子檔案的開發，數據化后檔案資源的開發單位將從文件細化到內容，將內容語義化為數據，檔案開發的顆粒度不斷細化，分散在海量文件中的檔案數據通過本體、語義分析等技術，更大限度地實現檔案價值的深度開發。最后，檔案內容數據化的最終目的是利用檔案數據實現海量檔案間跨文件、跨卷宗的相關內容關聯，利于用戶檢索并最終提供更優更全的檔案服務。碎片化后的檔案數據需借助語義處理等技術對零散的檔案數據基于語義進行分類、合并，旨在突顯出檔案數據間的語義相關關系，進而在優化檔案檢索結果的同時可以發掘隱含在檔案間的深層聯系。檔案內容數據化可視為檔案管理數據化轉變的核心內容，不僅是檔案部門在大數據時代立足實踐所作出的適應性戰略轉變，更是信息時代檔案用戶利用需求的倒逼和檔案部門突破工作瓶頸實現自我升級的完美契合點。目前，真正實現檔案內容數據化的典型例子是各個國家或地區的數字人文項目，在數據化的基礎上，對檔案內容文本進行分類、聚合、關聯等處理，利用GIS、VR、AR等技術展示檔案內容。例如，1993年美國弗吉尼亞大學數字歷史研究中心啟動的以美國南北戰爭時期平民生活檔案為主題的“影谷項目”，將眾多平民在南北戰爭期間的信件、日記、報表、公告、報紙、演講稿等原始記錄進行數據化并加以展示，“影谷項目”的網頁所展示內容都是檔案資源內容數據化的成果。

面向用戶，數據賦能升級檔案服務多樣化

檔案管理數據化最終受益于檔案用戶，數據態的檔案資源、數據處理技術以及可視化技術等多方因素的碰撞都將使未來的檔案服務體驗迥然區別于傳統的檔案利用服務，數據是升級檔案服務的關鍵因素。第一，數據賦能檔案服務知識化。數據態的檔案資源為檔案服務知識化提供了源源不斷的原料和堅實的數據基礎，檔案管理數據化則是推動這一發展的強大動力。近幾年，我國相關領域學者開始嘗試從理論層面探索歷史文獻等檔案資料的數據化工作。比如王開隊在借鑒CDBD和CHGIS技術思路的基礎上，將徽州族譜中人物和地理信息數據化。檔案服務知識化的實現需借助語義、本體、知識圖譜等技術對檔案內容進行語義拆分、清洗、合并、可視化處理，最終呈現出豐富全面的檔案知識成果。隨著技術的不斷發展，檔案資源數據化程度也將不斷提升，檔案服務在滿足檔案用戶日常查閱需求的同時，必將在數據的驅動下不斷邁向知識化。第二，數據驅動檔案部門跨領域合作。在這個“數據為王”的時代，數據是組織間相互競爭的重要資源，但數據同樣也是實現不同組織機構間戰略合作的基礎。2017年，《文化部“十三五”時期文化科技創新規劃》提出：“依托數字文化資源元數據倉儲建設，匯集數據并進行組織與關聯。研究用戶數據采集標準，促進全國圖書館、博物館、文化館、美術館采集與共享用戶數據。與社會力量共同開發利用文化資源數據，選擇優質社會數據與文化資源數據融合”。檔案部門保管著大量歷史文化資源，然而，此規劃并沒有明確提到檔案部門應如何參與其中，我國目前尚未有國家層面的檔案部門跨領域合作的戰略規劃，這說明我國檔案部門的跨領域合作還有很大的發展空間。在2020年新修訂的《中華人民共和國檔案法》中明確提出：“國家推進檔案信息資源共享服務平臺建設，推動檔案數字資源跨區域、跨部門共享利用”。利用檔案數據促進檔案部門跨機構、跨領域合作并通過不同領域海量數據的關聯聚合，積極借鑒國外圖檔博等領域合作聯盟的相關經驗，持續推進與圖書館、博物館、美術館、文化館等文化遺產機構間的合作并不斷擴充檔案數據資源庫，是檔案部門實現檔案資源信息化建設發展的必經之路。可以預見的是，圖檔博等機構間的數據共享以及數字人文項目等領域合作在新技術的支撐下將會給檔案用戶帶來更加立體化的利用體驗。第三，檔案用戶數據收集及利用優化檔案服務。除了前文提到的檔案內容數據化之外，以往不被留意的檔案用戶數據的收集與利用也是檔案管理數據化表現之一。在保護隱私和保障安全的前提下，借助用戶利用所產生的大數據可提供更個性化、更精準的檔案服務。檔案學界有學者提出，利用用戶個體所形成的“小數據”，實現檔案信息資源的精準化服務。換句話說，就是利用用戶個體形成的用戶習慣、資源需求等數據勾勒“用戶畫像”，實現檔案用戶的靶向服務，這與開發用戶利用所累積形成的大數據并不矛盾。檔案用戶個體所形成的“小數據”是形成檔案用戶大數據的數據基礎，海量的檔案用戶數據有益于把握大多數用戶利用檔案的總體情況、檔案資源的利用率以及檔案用戶的滿意度及反饋等。對檔案用戶數據的利用，可采用“小數據”與大數據相結合的方式，在對檔案用戶利用情況有總體把握的前提下，進一步突出個性化服務。總的來說，檔案管理從數字化到數據化的跨越是大數據時代檔案部門信息化發展的題中之義，檔案管理數據化也是在大數據時代檔案部門面向未來、面向自身發展以及面向用戶的重要發展戰略轉型。檔案管理數據化的未來不僅要實現檔案數字化到內容數據化的知識組織轉型，更應實現數字資源從內容數據化到數據智能化的價值開發和智慧洞見。隨著大數據的不斷發展，智能數據將會是未來影響檔案管理數據化的又一變革因素，隨著檔案管理數據化工作逐步推進，智能數據將會在海量檔案數據的基礎上完成原始數據積累，未來的檔案信息化建設將在數據化時代邁上新臺階。

作者：于英香 滕玉潔 單位：上海大學圖書情報檔案系