史丹佛大學研究揭示：AI 模型透明度不足
引言
史丹佛大學基礎模型研究中心（CRFM）近日針對各種大型語言模型的透明度進行了評估，並發布了一份全新的基礎模型透明度指數。這一舉措旨在解決一個現象：隨著人工智慧對社會的影響日益增大，語言模型（LLMs）的公開透明度卻在下降，這對於公眾問責、科學創新和有效治理至關重要。然而這份指數的結果令人警覺：根據研究人員的說法，沒有一家主要的基礎模型開發商提供足夠的透明度，其中最高得分僅為 54%，揭示了人工智慧產業中根本性的透明度缺失。相較之下，開放模型表現出色，Meta 公司的 Llama 2 和 Hugging Face 公司的 BloomZ 獲得最高分。然而一家專有模型 OpenAI 的 GPT-4 名列第三，超過了 Stability 公司的 Stable Diffusion。透明度不同於開放或專有
CRFM 中心的研究團隊，包括 CRFM 的總監 Percy Liang 在內，對包括 OpenAI、Anthropic、Google、Meta、Amazon、Inflection、AI21 Labs、Cohere、Hugging Face 和 Stability 在內的 10 家主要基礎模型開發商進行了評估。他們選擇了每家開發商的一個旗艦模型，並根據這些模型的透明性、構建方式以及使用情況進行評價。團隊將評分分為數十個類別，包括資料、勞動力、計算能力和對下遊的影響。換句話說，Liand 指出，這份指數注重的是一個“更廣義的透明度概念”，而不僅僅是模型是專有還是開放的問題。他解釋道：“並不是說開源模型的得分是 100%，其他公司都得到了零分，實際情況有很多細微差異。原因是我們考慮到了整個生態系統，包括模型建立過程中所使用的上遊依賴、資料、勞動力和計算能力以及模型對下遊的影響。”LLM 公司之間的差異性
雖然 Amazon 的 Titan 模型得分最低，但 Bommasani 解釋說，這並不意味著該模型有什麼問題。他表示：“這些得分本來可以更高，只是 Amazon 進入這一領域的時間比 OpenAI 等公司晚。”他還補充說，迄今為止，對於透明度的一些專案可能還沒有明確的共識。他說：“希望一旦這份指數公開，這些公司的一些內部人士會意識到，由於我們的競爭對手都在做這些專案，我們也應該進行這些專案，我希望透明度能成為人們期望的基本要求。”他續說：“基本觀點是透明度至關重要”，並指出透明度並非一個固定的概念。“各公司在透明度方面也存在差異”，他說道，“並不是所有的公司擅於資料分析，卻不善於披露一些計算能力。”例如，他解釋說，Hugging Face 公司的模型 Bloom 進行了風險評估，“但當他們基於 Bloom 開發了 BloomZ 模型時，並沒有延續這種風險和緩解的分析。”透明度的“小考”
Liang 補充道，這份指數也是一個思考透明度的框架，而結果只是某一時刻的快照。“這是 2023 年的結果，這些公司沒有預見到這一情況。”他解釋說，“這實際上是一個小考，我相信在未來的幾個月內，情況會有所改善，對於透明度的壓力將會增加，公司自然會希望做更多正確的事情。”此外他指出，一些改變是容易實現的，“而其他一些則較難，但我認為有些低成本或中等程度的工作公司真的應該去做。”他說：“我對未來幾個月充滿樂觀。”社論
透明度：保護公眾利益的必要條件
這份研究報告揭示了人工智慧產業在透明度方面的明顯缺失，這是一個值得關注的問題。模型的透明度不僅關係到科學創新和治理的有效性，更關乎公眾利益的保護。當大規模的語言模型影響我們的生活和決策時，我們應該知道這些模型是如何建立的、使用什麼資料以及產生怎樣的結果。這份報告提醒我們，對這些問題的回答尚未足夠達到公眾的期望和需求。促進行業標準的建立
報告中提到的開源模型在透明度方面表現出色，這是一個鼓舞人心的現象。這表明，將透明度作為一種行業標準是可行的，並且開發商應將透明度納入到他們模型開發和使用的整個過程中。這不僅僅是為了迎合公眾的期望，還是為了促進整個行業的健康發展。當透明度成為行業的共識時，開發商將更加關注模型的建立過程、資料使用和潛在風險，這將提高整個行業的責任和效能。追求透明度的挑戰
然而實現透明度並不是一個容易的任務。報告中提到的一些開發商可能因為缺乏透明度標準而得分較低，這並不意味著他們的模型有缺陷。在推動透明度的過程中，需要考慮到不同開發商之間的差異、技術的快速發展以及商業利益的平衡。我們應該鼓勵行業內的互惠互利，透過分享最佳實踐、建立共同的標準和倡導透明度來推動行業的發展。建議
建立透明度機制
為了推進透明度，我們建議相關利益相關者採取以下具體措施： - 開發商應該制定明確的透明度政策，並及早與公眾分享這些政策。 - 開放模型的開發商應該分享更多關於資料集、算法和模型設計的細節。 - 專有模型的開發商應該建立透明度的標準和指標，以公開展示他們的透明度努力。 - 學術界和研究機構可以發起更多對透明度進行評估的研究專案，以推動整個行業的透明度水平。 - 政府應該制定相應的法規和監管機制，以確保人工智慧技術的透明度和負責任使用。促進跨行業合作
由於透明度是一個全球性問題，我們建議各利益相關者加固跨行業的合作。相關公司、學術機構、非營利組織和政府應該加固對話和合作，共同制定透明度標準和指南。這將有助於建立一個共享資源和最佳實踐的平臺，從而推動透明度在全球範圍內的普及和實施，並為人工智慧的可持續發展奠定基礎。教育公眾對透明度的重要性
最後我們強調教育公眾對透明度的重要性。公眾應該更加關注和理解人工智慧技術的執行原理、資料使用和潛在風險。媒體和教育機構可以發揮重要作用，透過提供相關的資訊、舉辦公眾講座和討論，幫助公眾更好地理解並參與到這一議題中來。結論
透明度是人工智慧發展的必然要求，是保護公共利益的必要條件。這份研究報告的結果提醒我們，透明度仍然面臨著巨大的挑戰，需各利益相關者共同努力。透過建立透明度機制、促進跨行業合作和加固公眾教育，我們可以實現更高水平的透明度，確保人工智慧的安全和可持續發展。Transparency-人工智慧,透明度,史丹佛研究,模型
