微軟推出新的人工智慧工具來篩選文字和圖片
微軟推出新的人工智慧（AI）工具，稱為 Azure AI Content Safety，此工具旨在促進更安全的線上環境。Azure AI Content Safety 透過 Azure AI 產品平臺提供一系列的 AI 模型，可用於偵測影象和文字中的「不當」內容。這些模型可以理解英語、西班牙語、德語、法語、日語、葡萄牙語、義大利語和中文的文字內容，並將嚴重程度分數分配給被標記的內容，讓管理員理解哪些內容需要採取行動。
語境和多語言支援
微軟發言人透過電子郵件表示：「微軟已經致力於應對線上社區中出現有害內容的挑戰超過兩年。我們認識到現有的系統未能有效考慮上下文或在多種語言中執行。」並指出：「新的 4AI 模型可以更好地理解內容和文化背景。它們從一開始就是多語言的...，並提供清晰易懂的解釋，讓使用者理解為什麼會被標記或刪除。」
Azure AI Content Safety 的使用方式
Azure AI Content Safety 可應用於非 AI 系統，例如線上社區和遊戲平臺，但也整合在 Azure OpenAI 服務中，可供企業使用。此外 Azure AI Content Safety 與其他基於 AI 的判斷服務非常相似，例如 Google 的 Counter Abuse Technology Team 和 Jigsaw 所維護的 Perspective 以及微軟自己的 Content Moderator 工具。與這些服務非常相似，Azure AI Content Safety 也提供從 0 到 100 的分數，表示新評論和影象與以前識別為有害的內容有多相似。
倫理和偏見遺留問題
雖然這些服務如 Azure AI Content Safety 能提供一定的篩選效果，但實際執行仍有很多弊端，如對特定使用者子集的偏見等問題。一些研究人員發現，對殘障人士的社交媒體帖文可能會被常用的公共情感和毒性偵測模型標記為更負面或有毒。另一項研究表明，上一版本的 Perspective 經常無法識別使用「重新歸回」詛咒的仇恨言論。
部分問題的原因是標註員（負責為訓練資料集新增標籤的人員）會將自己的偏見帶到工作中。為理解決這些問題，微軟允許 Azure AI Content Safety 的篩選器進行細調。Bird 解釋說：“例如，在遊戲中使用的詞語'跑上山並進攻'會被認為是中等程度的暴力，如果遊戲系統設定為阻止中等嚴重性內容，它將會被阻擋。接受中等暴力程度的調整將使 AI 模型容忍這個詞語。我們有一個語言學和公平專家團隊作業，根據文化，語言和上下文考慮制定指南，然後訓練 AI 模型以反映這些指南。AI 始終會犯錯，所以對於需要將錯誤降到幾乎不存在的應用程式，我們建議使用人工操作來取證結果。
價格
新 AI 工具的價格比其他同型別判斷服務高，從每 1,000 張圖片的 1.5 美元和每 1,000 條文字資料的 0.75 美元開始計算。儘管如此此工具仍然受到許多業內人士的歡迎，如印度班加羅爾的部落格平臺 Koo，該平臺的使用者使用超過 20 種語言。
總結
總體而言，Azure AI Content Safety 是一個值得期待的工具，因為它有助於提高線上社區和遊戲平臺的安全性。雖然有些弊端，但對於多語言使用者或製造商，它將會很有幫助。
然而必須關注的是還有偏見路在途中。微軟是否為將 AI 原則與產品設計緊密聯絡而放棄倫理和社會團隊的決定是否會影響此工具的效用，這是值得關注的重要問題。
此外就像任何其他 AI 工具一樣，AI 系統不是完美的。因此當應用程式需要非常低的錯誤率時，建議仍要使用人力取證。
