2024年1月16日，美國(guó)商務(wù)部商業(yè)數(shù)據(jù)治理委員會(huì)發(fā)布《生成型AI和開(kāi)放數(shù)據(jù)：指南和最佳實(shí)踐》，為發(fā)布供生成式AI系統(tǒng)使用的開(kāi)放數(shù)據(jù)提供指導(dǎo)，確保商務(wù)部數(shù)據(jù)在生成式AI時(shí)代能有效利用。

一、背景

商務(wù)部與開(kāi)放數(shù)據(jù)資產(chǎn)：美國(guó)商務(wù)部是主要的開(kāi)放數(shù)據(jù)生產(chǎn)者，其數(shù)據(jù)涵蓋人口、經(jīng)濟(jì)、環(huán)境等多領(lǐng)域，有超15萬(wàn)個(gè)開(kāi)放數(shù)據(jù)集，包括文本、表格、地理空間等多種格式。長(zhǎng)期以來(lái)，商務(wù)部致力于提高數(shù)據(jù)質(zhì)量和可訪問(wèn)性，如40年前將數(shù)據(jù)電子化，近年依據(jù)法案以機(jī)器可讀格式發(fā)布數(shù)據(jù)。如今，為適應(yīng)生成式AI應(yīng)用發(fā)展，持續(xù)改進(jìn)數(shù)據(jù)發(fā)布實(shí)踐。

人工智能與生成式人工智能發(fā)展：人工智能旨在使計(jì)算機(jī)算法具備類(lèi)人智能行為，機(jī)器學(xué)習(xí)和深度學(xué)習(xí)是其重要分支，生成式AI則是深度學(xué)習(xí)中的模型子集，可生成新內(nèi)容。生成式AI應(yīng)用有潛力使開(kāi)放數(shù)據(jù)更易用，但也存在如編造虛假信息等問(wèn)題，且其基礎(chǔ)模型訓(xùn)練資源消耗大。商務(wù)部希望通過(guò)本指南使開(kāi)放數(shù)據(jù)適配生成式AI系統(tǒng)，降低創(chuàng)新成本。

指南制定過(guò)程：鑒于生成式AI發(fā)展，商務(wù)部數(shù)據(jù)治理委員會(huì)于2023年成立工作組。因現(xiàn)有數(shù)據(jù)存在格式、元數(shù)據(jù)、文檔和可訪問(wèn)性不一致及許可等問(wèn)題，工作組發(fā)布信息請(qǐng)求（RFI）并舉辦研討會(huì)，收到37份來(lái)自各界的提交內(nèi)容。本指南參考RFI回應(yīng)及專(zhuān)家意見(jiàn)，雖主要針對(duì)商務(wù)部，但對(duì)其他數(shù)據(jù)發(fā)布者也有價(jià)值，且定義了相關(guān)術(shù)語(yǔ)如生成式模型、系統(tǒng)和應(yīng)用等，并分析了商務(wù)部開(kāi)放數(shù)據(jù)在生成式 AI 系統(tǒng)中的訓(xùn)練、測(cè)試驗(yàn)證、微調(diào)及數(shù)據(jù)檢索和實(shí)時(shí)響應(yīng)等應(yīng)用方式。

二、指南與最佳實(shí)踐

1、文檔記錄

提供全面數(shù)據(jù)資產(chǎn)背景：全面記錄數(shù)據(jù)集信息至關(guān)重要，包括數(shù)據(jù)用途、限制、偏差、數(shù)據(jù)字典、來(lái)源及處理步驟等，有助于深入理解數(shù)據(jù)，提升AI模型訓(xùn)練與數(shù)據(jù)檢索的準(zhǔn)確性和可靠性。實(shí)施持久標(biāo)識(shí)符（PID）可確保數(shù)據(jù)及相關(guān)文檔的穩(wěn)定引用，即便數(shù)據(jù)更新也能準(zhǔn)確追蹤。每次數(shù)據(jù)發(fā)布后及時(shí)更新文檔并進(jìn)行版本控制，詳細(xì)記錄數(shù)據(jù)變化情況，同時(shí)提供數(shù)據(jù)處理的開(kāi)源代碼，增強(qiáng)數(shù)據(jù)處理過(guò)程的透明度與可重復(fù)性。

最大化文檔可用性和可訪問(wèn)性：采用人類(lèi)和機(jī)器可讀的雙格式提供文檔，人類(lèi)可讀格式便于研究人員等理解數(shù)據(jù)，機(jī)器可讀格式則利于自動(dòng)化數(shù)據(jù)處理。在合適場(chǎng)景下優(yōu)先選用開(kāi)源軟件格式，如R或Python，避免使用專(zhuān)有軟件，以增強(qiáng)數(shù)據(jù)的可獲取性、透明度和互操作性，促進(jìn)生成式AI系統(tǒng)對(duì)數(shù)據(jù)的有效利用。

2、數(shù)據(jù)和元數(shù)據(jù)格式

發(fā)布全面結(jié)構(gòu)化數(shù)據(jù)和元數(shù)據(jù)：在數(shù)據(jù)集元數(shù)據(jù)中納入如發(fā)布者、來(lái)源、權(quán)限、更新日期等與生成式AI相關(guān)的關(guān)鍵信息，同時(shí)添加詳細(xì)的變量級(jí)元數(shù)據(jù)，涵蓋應(yīng)用邏輯、依賴(lài)信息、分布信息等，提升數(shù)據(jù)的機(jī)器可理解性，為AI模型訓(xùn)練和數(shù)據(jù)處理提供有力支持。遵循常用元數(shù)據(jù)模式和標(biāo)準(zhǔn)（如DCAT-US、Schema.org等）發(fā)布數(shù)據(jù)和元數(shù)據(jù)，確保數(shù)據(jù)在不同系統(tǒng)間的互操作性。使用標(biāo)準(zhǔn)缺失數(shù)據(jù)值，避免因缺失值表示不一致導(dǎo)致的誤解，并確保文件命名規(guī)范、清晰，便于數(shù)據(jù)管理和檢索。

最大化數(shù)據(jù)和元數(shù)據(jù)可用性：以機(jī)器可讀格式生成數(shù)據(jù)和元數(shù)據(jù)，滿(mǎn)足開(kāi)放數(shù)據(jù)法案要求，采用如CSV、JSON等常用開(kāi)放數(shù)據(jù)格式，確保數(shù)據(jù)傳播不受特定軟件限制。對(duì)于地理空間數(shù)據(jù)、圖像和視頻數(shù)據(jù)等，分別選用合適的開(kāi)放格式（如 shapefiles、GeoPackages、標(biāo)準(zhǔn)化圖像和視頻格式）進(jìn)行發(fā)布，避免使用PDF和過(guò)度依賴(lài)專(zhuān)有軟件格式（如XLSX），以提高數(shù)據(jù)的可訪問(wèn)性和互操作性。

3、數(shù)據(jù)存儲(chǔ)和傳播

以一致格式傳播開(kāi)放數(shù)據(jù)：考慮到生成式AI系統(tǒng)對(duì)大量數(shù)據(jù)的需求，壓縮或提供便捷下載方式以減少大型數(shù)據(jù)集的訪問(wèn)障礙，采用ZIP、Apache Parquet等開(kāi)源且語(yǔ)言無(wú)關(guān)的文件格式進(jìn)行壓縮，提高數(shù)據(jù)訪問(wèn)效率。在數(shù)據(jù)發(fā)布中附帶詳細(xì)的書(shū)面文檔，為生成式AI模型訓(xùn)練和微調(diào)提供豐富背景信息，增強(qiáng)數(shù)據(jù)的實(shí)用性。

將開(kāi)放數(shù)據(jù)存儲(chǔ)在易于檢索位置：提供多種數(shù)據(jù)檢索方式，如RESTful API和直接下載。RESTful API便于數(shù)據(jù)科學(xué)家和開(kāi)發(fā)者編程檢索特定數(shù)據(jù)子集，提高數(shù)據(jù)檢索的靈活性和效率；直接下載則適用于需要完整數(shù)據(jù)集進(jìn)行本地處理的用戶(hù)。確保數(shù)據(jù)網(wǎng)站定期更新，優(yōu)化網(wǎng)站結(jié)構(gòu)（如設(shè)置合理的sitemaps、一致的URL命名）、保證安全證書(shū)有效、合理配置robots.txt文件以及采用HTML格式發(fā)布文檔等，提高網(wǎng)站的可爬取性，方便搜索引擎和自動(dòng)化工具發(fā)現(xiàn)和索引數(shù)據(jù)。

4、數(shù)據(jù)許可和使用

以易懂格式發(fā)布開(kāi)放數(shù)據(jù)權(quán)利和許可：明確界定并以機(jī)器可讀格式發(fā)布生成式AI相關(guān)的數(shù)據(jù)使用政策，涵蓋專(zhuān)利、隱私等限制條件，協(xié)調(diào)部門(mén)間制定統(tǒng)一的知識(shí)產(chǎn)權(quán)聲明和許可模板，確保數(shù)據(jù)使用的一致性和規(guī)范性。在商務(wù)部網(wǎng)站根目錄設(shè)置robots.txt文件，規(guī)范網(wǎng)絡(luò)爬蟲(chóng)對(duì)數(shù)據(jù)的訪問(wèn)行為，同時(shí)結(jié)合其他機(jī)制（如API密鑰、訪問(wèn)控制）有效管理數(shù)據(jù)檢索。在數(shù)據(jù)集元數(shù)據(jù)中準(zhǔn)確鏈接數(shù)據(jù)許可證和權(quán)利信息，區(qū)分開(kāi)放數(shù)據(jù)許可證和版權(quán)許可證，避免數(shù)據(jù)使用的混淆，確保數(shù)據(jù)使用符合法律規(guī)定和用戶(hù)預(yù)期。

協(xié)作開(kāi)發(fā)和更新數(shù)據(jù)許可證和使用政策：商務(wù)部?jī)?nèi)部各實(shí)體應(yīng)與法律部門(mén)緊密合作，共同制定和更新數(shù)據(jù)許可證和使用政策，加強(qiáng)部門(mén)間溝通協(xié)作，避免政策不一致。在更新政策時(shí)及時(shí)共享信息，提高政策的透明度和一致性。具體措施包括更新許可模板、制定詳細(xì)的元數(shù)據(jù)和機(jī)器可讀許可證應(yīng)用指南，以及在商務(wù)部現(xiàn)有知識(shí)產(chǎn)權(quán)資源中設(shè)立專(zhuān)門(mén)的“IP 和數(shù)據(jù)許可”部分，為數(shù)據(jù)使用提供全面的模板和最佳實(shí)踐參考。

5、數(shù)據(jù)質(zhì)量和完整性

為高質(zhì)量數(shù)據(jù)檢索準(zhǔn)備開(kāi)放數(shù)據(jù)：在數(shù)據(jù)集元數(shù)據(jù)中明確指示數(shù)據(jù)質(zhì)量評(píng)估情況，便于用戶(hù)篩選和理解數(shù)據(jù)可靠性。建立自動(dòng)化數(shù)據(jù)質(zhì)量控制流程，檢查數(shù)據(jù)缺失值、類(lèi)型一致性和格式問(wèn)題，并確保AI相關(guān)元數(shù)據(jù)完整，結(jié)合手動(dòng)審查確保數(shù)據(jù)質(zhì)量。優(yōu)化API設(shè)計(jì)，確保其高效返回相關(guān)信息，數(shù)據(jù)格式符合模型要求，提供豐富的元數(shù)據(jù)和上下文信息，并具備高并發(fā)處理能力和良好的文檔及工具支持，為基于檢索增強(qiáng)生成（RAG）架構(gòu)的AI模型提供高質(zhì)量數(shù)據(jù)。

持續(xù)評(píng)估開(kāi)放數(shù)據(jù)準(zhǔn)確性：開(kāi)發(fā)針對(duì)AI/ML應(yīng)用領(lǐng)域的基準(zhǔn)數(shù)據(jù)集，用于評(píng)估模型性能和數(shù)據(jù)檢索、解釋效果，克服現(xiàn)有基準(zhǔn)數(shù)據(jù)集的局限性。提供針對(duì)商務(wù)部常用數(shù)據(jù)集的提示庫(kù)，指導(dǎo)生成式AI模型如何與實(shí)時(shí)數(shù)據(jù)交互，提高模型響應(yīng)的準(zhǔn)確性和可靠性。與生成式AI應(yīng)用開(kāi)發(fā)者合作，通過(guò)優(yōu)化模型訓(xùn)練和調(diào)整，確保在生成響應(yīng)時(shí)優(yōu)先使用商務(wù)部的權(quán)威數(shù)據(jù)，避免因數(shù)據(jù)來(lái)源問(wèn)題導(dǎo)致的錯(cuò)誤信息傳播。

三、未來(lái)工作

1、探索數(shù)字簽名

在開(kāi)放的商務(wù)部數(shù)據(jù)環(huán)境中，強(qiáng)烈建議實(shí)施數(shù)字簽名。數(shù)字簽名作為一種加密機(jī)制，能夠有效驗(yàn)證數(shù)據(jù)來(lái)源的可信度，確保數(shù)據(jù)在傳輸和存儲(chǔ)過(guò)程中未被篡改。這對(duì)于維護(hù)數(shù)據(jù)集的完整性和準(zhǔn)確性至關(guān)重要，因?yàn)楸淮鄹幕騻卧斓臄?shù)據(jù)可能會(huì)給機(jī)器學(xué)習(xí)模型帶來(lái)嚴(yán)重的偏差和漏洞。通過(guò)采用數(shù)字簽名，商務(wù)部可以增強(qiáng)其數(shù)據(jù)集的真實(shí)性和可靠性，營(yíng)造一個(gè)更安全的數(shù)據(jù)生態(tài)系統(tǒng)，提升用戶(hù)對(duì)使用開(kāi)放數(shù)據(jù)進(jìn)行AI/ML系統(tǒng)開(kāi)發(fā)（包括生成式AI應(yīng)用）的信任度。

2、創(chuàng)建AI就緒性評(píng)估指標(biāo)

盡管商務(wù)部期望在整個(gè)部門(mén)內(nèi)推行現(xiàn)有的指南，但目前缺乏評(píng)估數(shù)據(jù)資產(chǎn)是否符合生成式AI就緒性的具體指標(biāo)或清單。例如，需要建立一個(gè)技術(shù)標(biāo)準(zhǔn)來(lái)明確商務(wù)部應(yīng)努力達(dá)到的AI就緒性水平，以及制定網(wǎng)站可爬取性的檢查清單等。通過(guò)確立這些評(píng)估指標(biāo)，商務(wù)部將擁有清晰、可操作的目標(biāo)，以便衡量工作進(jìn)展并精準(zhǔn)識(shí)別需要改進(jìn)的領(lǐng)域，從而切實(shí)確保數(shù)據(jù)資產(chǎn)能夠滿(mǎn)足生成式AI的應(yīng)用需求。

3、開(kāi)發(fā)開(kāi)放數(shù)據(jù)使用教育材料

商務(wù)部雖然已經(jīng)擁有一定數(shù)量的教育資源，如各類(lèi)教育網(wǎng)站和培訓(xùn)項(xiàng)目，但隨著其開(kāi)放數(shù)據(jù)與AI模型開(kāi)發(fā)和使用的交集日益增多，仍需進(jìn)一步加強(qiáng)對(duì)學(xué)生、研究人員和公眾的教育資源建設(shè)。這包括開(kāi)發(fā)新的培訓(xùn)課程、教程、材料，以及舉辦更多的研討會(huì)和培訓(xùn)活動(dòng)，以提升用戶(hù)對(duì)商務(wù)部開(kāi)放數(shù)據(jù)在生成式AI應(yīng)用中的理解和使用能力。

4、與其他機(jī)構(gòu)合作開(kāi)展開(kāi)放數(shù)據(jù)和AI就緒性工作

商務(wù)部認(rèn)識(shí)到其他聯(lián)邦機(jī)構(gòu)也在積極探索實(shí)現(xiàn)AI就緒性，因此期待與這些機(jī)構(gòu)分享自身經(jīng)驗(yàn)和成果。例如，國(guó)家科學(xué)基金會(huì)的NAIRR試點(diǎn)項(xiàng)目就是一個(gè)正在進(jìn)行的合作案例，該項(xiàng)目整合了商務(wù)部下屬的NOAA和USPTO的AI就緒數(shù)據(jù)資產(chǎn)。通過(guò)與其他機(jī)構(gòu)的合作，商務(wù)部能夠促進(jìn)開(kāi)放數(shù)據(jù)和AI就緒性工作在更廣泛范圍內(nèi)的協(xié)同發(fā)展，實(shí)現(xiàn)資源共享和優(yōu)勢(shì)互補(bǔ)。

5、與AI和開(kāi)放數(shù)據(jù)專(zhuān)家協(xié)作進(jìn)行迭代

當(dāng)前的指南僅僅是一個(gè)迭代過(guò)程的開(kāi)端，為了持續(xù)改進(jìn)商務(wù)部的開(kāi)放數(shù)據(jù)以更好地適應(yīng)生成式AI應(yīng)用，需要與AI和開(kāi)放數(shù)據(jù)專(zhuān)家進(jìn)行定期的、廣泛的反饋交流。商務(wù)部歡迎來(lái)自公眾、政府、學(xué)術(shù)界、工業(yè)界和其他利益相關(guān)者的反饋意見(jiàn)，涵蓋數(shù)據(jù)和元數(shù)據(jù)格式、數(shù)據(jù)存儲(chǔ)和傳播、數(shù)據(jù)許可和使用以及數(shù)據(jù)完整性和質(zhì)量等各個(gè)方面，以便不斷優(yōu)化指南內(nèi)容，使其始終保持相關(guān)性和有效性。

6、創(chuàng)建與數(shù)據(jù)用戶(hù)溝通的標(biāo)準(zhǔn)渠道

商務(wù)部應(yīng)建立標(biāo)準(zhǔn)化的方式向數(shù)據(jù)用戶(hù)傳達(dá)數(shù)據(jù)集的變更信息，例如創(chuàng)建一個(gè)可供用戶(hù)跟蹤的標(biāo)準(zhǔn)頁(yè)面或設(shè)立電子郵件列表。同時(shí)，提供通用的反饋機(jī)制（如在線表單）也至關(guān)重要，以便數(shù)據(jù)用戶(hù)能夠就數(shù)據(jù)變更提出疑問(wèn)、報(bào)告問(wèn)題或?yàn)榧磳l(fā)布的數(shù)據(jù)提供建議。此外，還應(yīng)積極培育開(kāi)放數(shù)據(jù)用戶(hù)社區(qū)，鼓勵(lì)用戶(hù)參與數(shù)據(jù)的改進(jìn)和優(yōu)化工作，例如通過(guò)舉辦類(lèi)似Census Bureau 的 The Opportunity Project或NOAA的Open Data Dissemination Office Hours等活動(dòng)，為數(shù)據(jù)用戶(hù)提供交流和反饋的平臺(tái)。

關(guān)注“廣東技術(shù)性貿(mào)易措施”，獲取更多服務(wù)。