Meta 釋出資料集探測電腦視覺模型的偏見
概述
最近，Meta 釋出了一個名為 FACET 的新 AI 基準，旨在評估對照片和影片中的事物進行分類和檢測的 AI 模型的「公正性」，其中包括人類。這個資料集由 3.2 萬張影象組成，標記了 5 萬個人類，由人類註釋者進行標記。FACET 考慮了與職業和活動相關的類別，如「籃球選手」、「DJ」和「醫生」以及人口統計和身體特徵，使得 Meta 可以對這些類別的偏見進行「深入」評估。
Meta 在與 TechCrunch 分享的部落格中寫道："透過釋放 FACET，我們的目標是讓研究人員和實踐者能夠進行類似的基準測試，以更好地理解他們自己模型中存在的不平等情況，並監控已經實施的公平性改善措施的影響。我們鼓勵研究人員使用 FACET 來評估其他視覺和多模態任務中的公平性基準。
轉變中的基準
對於探測計算機視覺算法中的偏見，基準並不新鮮。Meta 自幾年前就釋出了一個基準，用於揭示計算機視覺和音訊機器學習模型中的年齡、性別和膚色歧視。許多研究也對計算機視覺模型進行了研究，以確保它們是否對某些人口統計群體存在偏見（結果往往是肯定的）。
然而 Meta 在負責任的 AI 方面並沒有良好的記錄。去年底，Meta 不得不在 AI 展示之後撤下來，原因是它寫下了種族主義和不準確的科學文獻。報導稱公司的 AI 倫理團隊基本上沒有實質作用，它釋出的反偏見工具也「完全不足夠」。與此同時學術界指責 Meta 在其廣告服務算法中加劇了社會經濟不平等，並對其自動化網路審查系統對黑人使用者存在偏見。
FACET 資料集的建立
為了建立 FACET 資料集，Meta 讓上述的註釋者為 3.2 萬張影象進行了標記，包括人口統計屬性（例如被攝者的外貌性別和年齡組）以及額外的身體特徵（例如膚色，光線，紋身，頭飾和眼鏡，髮型和臉髒）和類別。他們將這些標記與來自 Segment Anything 1 Billion 的人物，頭髮和服裝的其他標記結合起來。FACET 的影象來自於 Segment Anything 1 Billion，Meta 告訴我們，而這些影象則是從「一個照片供應商」購買得來的。但我們不清楚這些影象中的人是否知道這些照片將被用於這個目的。而且至少在部落格中，Meta 也沒有說明他們是如何招募註釋者團隊以及他們的薪酬狀況。
從歷史上看，甚至在今天用於為 AI 訓練和基準測試標記資料集的註釋者往往來自發展中國家，收入遠低於美國的最低工資。最近，《華盛頓郵報》報導稱，Scale AI，作為最大且資金充足的標記公司之一，向工人支付極低的薪酬，經常推遲或拒絕支付薪酬，並且為工人提供很少的追索渠道。Meta 在描述 FACET 的白皮書中說，註釋者是從「幾個地理區域」招募的「訓練有素的專家」，包括北美（美國）、拉丁美洲（哥倫比亞）、中東（埃及）、非洲（肯亞）、東南亞（菲律賓）和東亞（臺灣）。Meta 使用了一個「專有的註釋平臺」來源自第三方供應商，並給註釋者提供每個國家設定的「按時薪」作為薪酬。
FACET 的潛在問題
除了 FACET 的潛在問題外，Meta 還表示 FACET 可能無法充分捕捉真實世界的概念和人口統計群體。部落格中還指出，資料集中職業的許多描繪可能在 FACET 建立之後發生了變化。例如，FACET 中的大多數醫生和護士採取了更多的個人防護措施，這在 COVID-19 疫情之前是不會發生的。
Meta 在白皮書中寫道：“當前我們不計劃為這個資料集更新。我們將允許使用者標記可能含有不良內容的影象，並在發現不良內容時予以移除。”除了資料集本身外，Meta 還提供了基於 Web 的資料集探索工具。開發人員在使用這個工具和資料集時，必須同意不在 FACET 上訓練計算機視覺模型，只能進行評估、測試和基準測試。
評論和建議
Meta 釋出 FACET 資料集來評估 AI 模型在分類和檢測中的公正性，這是一個重要的舉措。這種基準測試對於揭示科技行業中的偏見和不平等問題至關重要。然而我們必須對這樣的資料集進行審慎評估，以確保它們的來源合法、註釋者得到了妥善的培訓和報酬。
釋出資料集的公司應該更加透明，充分公開資料集中照片的使用目的。此外這些公司應該確保註釋者的薪酬達到合理水平，並按照國際勞工標準保護其權益。從基礎資料採集到標記資料的整個過程都應該符合道德和法律的要求，以確保資料集的正當性和可靠性。
此外真正的公平性測試並不僅僅是基於視覺屬性，還應該考慮更廣泛的社會和文化因素。AI 模型的公正性評估應該是一個跨學科的組合，需要涉及專業的倫理學家、社會學家和法律專家的意見。
最後我們應該意識到，基準測試本身並不是解決偏見和不平等問題的終極解決方案。只有當科技公司在 AI 設計和執行的每一個方面都注重公正性和倫理性時，我們才能真正實現公平的 AI。這需要行業監管機構的參與，以制定明確的規則和標準，以確保科技發展符合社會價值和公共利益。
延伸閱讀
- 深度學習技術進步！Meta 推出廣告 AI 工具，能創造全新影象而非僅替換背景
- Meta 推出的 AI 工具現在能夠創造全新的影象，而非僅僅是更換背景
- 蘋果 iPad 活動 2024：立即觀看蘋果釋出最新 iPad
- Meta 在歐盟調查 Facebook 和 Instagram 的背景下應對選舉安全
- Meta 宣布為 Threads 上的創作者推出獎勵計劃
- 為何 Meta 看好 fediverse 作為社交媒體的未來
- 歐盟對 Meta 監視廣告模式實施更嚴格管制
- Meta 開放 Quest OS 給第三方耳機製造商，與聯想和 Xbox 合作夥伴關係
- 元宇宙新趨勢：Meta 推出全新 Llama 3 機型，為開源人工智慧注入動力
- Meta 將 Llama 3 智慧聊天機器人整合到其應用程式的搜尋欄位
