中國搜尋引擎先驅揭開開源大型語言模型，與 OpenAI 競爭
Rita Liao，發表於 7 小時之前
今年 2 月，搜狗創辦人王小川在微博上表示“中國需要自己的 OpenAI。”這位中國企業家如今離夢想更近了一步，他的新創公司百川智慧今天推出了其下一代大型語言模型百川 13B。百川被譽為中國最有潛力的語言模型開發者之一，得益於其創辦人作為清華大學的電腦科學天才和建立搜尋引擎提供者搜狗（後來被騰訊收購）的豐富經歷。王小川在 2021 年末辭去了搜狗的職位。隨著 ChatGPT 風靡全球，這位企業家於今年 4 月創立了百川，並迅速從一群天使投資者手中籌集了 5000 萬美元的資金。像中國其他本土語言模型一樣，百川是基於 Transformer 架構（也是 GPT 的基礎）的一個 130 億引數模型，其受訓於中文和英文資料。該模型是開源的並且經過商業應用最佳化，根據其 GitHub 頁面的說法。百川 13B 模型分類於 1.4 萬億個 tokens。相比之下，Meta 的 LLaMa 在其 130 億引數模型中使用了 1 萬億個 tokens。王小川此前在接受存取時表示他的新創公司正在按計劃於今年年底前發布一個與 OpenAI 的 GPT-3.5 相媲美的大規模模型。百川僅在三個月內開始，已經實現了顯著的快速發展。到 4 月底，團隊已增至 50 人，並在 6 月推出了第一個語言模型-百川 7B，擁有 70 億引數。如今基礎模型百川 13B 對於已獲官方批準的學者和開發者是可以免費使用的商業用途模型。值得注意的是，在美國對中國實施人工智慧晶片制裁的時代，該模型提供可執行在消費級硬體上的變異，包括 Nvidia 的 3090 顯示卡。在大型語言模型上投資巨額的其他中國公司包括搜尋引擎巨頭百度，由唐傑教授帶領的清華大學創業公司之一-智蒲.AI 以及由 Harry Shum 領導的 IDEA 研究所，他曾共同創立 Microsoft Research Asia。隨著中國準備實施一些世界上最嚴格的人工智慧法規，該國的大型語言模型正在迅速崛起。根據《金融時報》的報道，中國有望制定對生成性人工智慧的法規，特別注重內容，這表明比今年 4 月引入的規則更加固調管控。公司在發布大型語言模型之前可能還需要獲取許可證，這可能會減緩中國在新興行業中與美國競爭的努力。中國禁止“顛覆國家政權”的人工智慧可能會影響其新興行業。
發展背景
搜狗創辦人王小川已經創立了一家新創公司百川智慧，並推出了下一代大型語言模型百川 13B。該模型被認為是中國最有潛力的語言模型開發之一。百川 13B 模型基於 Transformer 架構，是一個開源模型，可商業應用。該模型已經受過 1.4 萬億 tokens 的訓練，並且在效能上與 OpenAI 的 GPT-3.5 相媲美。
中國的大型語言模型發展
百川智慧只創立了三個月，已經實現了顯著的快速發展。該公司聚集了一支 50 人的團隊，在六月份推出了首個語言模型百川 7B。如今他們已經推出了基礎模型百川 13B，並允許學者和開發者免費使用。與此同時百度、智蒲.AI 和 IDEA 等中國公司也已投資大量資金進行大型語言模型的研發。
人工智慧法規對中國發展的影響
中國正準備實施一些世界上最嚴格的人工智慧法規，其中包括對生成性人工智慧的規定。《金融時報》報導稱，中國有望制定關於內容的規定，因此公司在發布大型語言模型之前可能需要獲得許可證。這可能會影響中國競爭美國在這一新興行業中的努力。此外中國禁止“顛覆國家政權”的人工智慧可能對中國的新興行業產生影響。
社論和建議
中國語言模型的快速發展顯示出其在人工智慧領域的競爭力和創新能力。百川 13B 模型的推出為中國在語言模型領域取得了重大進展。然而中國所面臨的法規約束可能會對其在這一領域中的發展產生一定程度的阻礙，尤其是在獲取許可證和內容規定方面。為了實現更大的成功，中國政府需要考慮如何平衡創新和監管，以促進人工智慧的發展。
同時中國的語言模型開發者也需要不斷提升技術水平，並加固與國際領先企業的競爭。他們應該尋找機會與其他國際領先的研究機構和大學合作，進行技術交流和合作專案，以加快創新速度。
