金融業專用語言模型 BloombergGPT 的誕生
在人工智慧的領域中，語言模型已成為相當熱門的研究議題，而 ChatGPT 更是一款能夠模仿人類文字的樣貌，引起許多關注。Bloomberg 則打造了 BloombergGPT，這是第一款針對金融業領域所打造的大型語言模型。BloombergGPT 可用於人工撰寫文章、回答問題以及完成各式各樣的文書處理任務，並協助多樣且獨特的自然語言處理工作。
Johns Hopkins 大學的 Whiting 工程學院 CS 副教授兼 Bloomberg 存取研究員 Mark Dredze 則是這項研究的團隊成員之一，同時也是 Johns Hopkins 新成立的「AI-X Foundry」研究團隊、「AI 基礎」領域的首任總監。The Hub 獲得了 Dredze 的專訪，談到了 BloombergGPT 和 Johns Hopkins 對於人工智慧研究的深遠影響。
BloombergGPT 的主要目標
ChatGPT 和其他大型語言模型的出現，帶來了強大的自然語言處理改變並擴大應用範圍的可能性。儘管普遍應用的模型應用範圍廣泛，但在許多專業領域中，如醫學和科學，還需要專門的模型來理解特定領域中的複雜性和細微差異。為解決這個問題，Bloomberg 與 Johns Hopkins 合作，著手打造一款針對金融領域的英語語言模型。
Dredze 的團隊透過建立包含金融相關文字和大量通用文字的資料集，該資料集的規模達到了約 7000 億個令牌，約是維基百科所有文字的 30 倍。他們利用這些資料在文書處理任務、主要是金融檔案上進行了測試。結果發現，BloombergGPT 在金融任務上的表現，比同等大小的現有模型表現要更為卓越。
對此 Dredze 表示現有的語言模型適用範圍廣泛，但金融領域獨特的術語和複雜性需要專門的模型才能進行有效處理。除提高現有的金融自然語言處理任務，例如情感分析、命名實體識別、新聞分類和問答等方面，專門的模型還具有開啟全新機會的可能。例如，BloombergGPT 有望將金融專業人員的自然語言查詢轉換為有效的 Bloomberg 查詢語言，使他們能夠快速鎖定並與不同類別的證券資料進行互動。
構建 BloombergGPT 的學習歷程
建立語言模型的過程並非易事，需要注意許多細節以使其達到充分發揮。在團隊中，Dredze 等人深入閱讀其他研究人員的論文，並負責撰寫超過 70 頁的論文，詳細介紹該模型是如何建置資料集、選取模型架構、訓練模型的以及對最終的模型進行詳細的評估。此外他們還公開了「訓練編年史」，載有模型訓練過程的敘述。Dredze 強調公開模型構建的相關細節，有助於其他研究小組建造他們自己的模型。
在進行打造 BloombergGPT 的過程中，Dredze 在 Bloomberg 的 AI 工程團隊與 ML 產品和研究團隊的技術長合作，進行資料和模型等各種決策以及進行模型的詳細評估。他們遵循多篇其他研究小組的研究論文，並共同作出決定。整個模型培養的過程非常困難，需要周期性檢查模型的多項指標，以達到進行最佳的模型訓練。
結語
BloombergGPT 的出現，成為了金融領域的一大突破。透過研發出專門用於金融領域的語言模型，金融業的各類自然語言處理任務將能夠得到更好的提升，並有機會探索新的應用前景。Dredze 闡述了團隊完成該語言模型的整個製作過程，並提醒其他研究小組，應公開模型相關細節以造福更多人工智慧的研究者、開發人員。人工智慧在金融科技領域中扮演著越來越重要的角色，建立專門的語言模型能夠有助於發揮更多的應用成果。
