Inflection 推出自家基於人工智慧的 AI 模型，與 Google 和 OpenAI 爭鋒
Inflection 是一家備受資助的人工智慧新創公司，旨在為每個人打造「個人人工智慧」。最近，他們公開了支援其 Pi 對話代理的大型語言模型。要對這些模型的質量進行評估，特別是客觀系統地評估，是非常困難的，但競爭對於這個領域來說是一件好事。Inflection 這一模型被稱為 Inflection-1，大致與 GPT-3.5（即 ChatGPT）在訓練所使用的計算能力方面相當。公司聲稱，這一模型在與同級的其他模型相比時表現出色甚至優越，並以一份描述其模型在 GPT-3.5、LLaMA、Chinchilla 和 PaLM-540B 上執行一些基準測試結果的「技術備忘錄」作為支援。根據他們公布的結果，Inflection-1 在中小學水平的考試任務（例如生物學 101）和「常識」基準測試（例如「如果傑克把球扔到屋頂上，吉爾把球扔回來，球在哪裡？」）上表現良好。不過在編碼方面，Inflection-1 落後於 GPT-3.5，而與之相比，GPT-4 則更勝一籌；OpenAI 的巨大模型在這方面的質量飛躍已廣為人知，所以這並不令人驚訝。Inflection 表示他們預計將公布與 GPT-4 和 PaLM-2(L)類似的更大型模型的結果。不過毫無疑問，他們正在等待值得公布的結果。不管怎樣，Inflection-2 或 Inflection-1-XL 或其他未提及的模型正在醞釀當中，但尚未成熟。至今，AI 模型的社區還沒有正式將其分類為機器學習中的拳擊分量級，但這些概念實際上相當相似。就像不會指望一位蠅量級選手與重量級選手進行對抗，因為它們實際上是兩種不同運動。同樣，AI 模型也是如此：小型模型的能力不如大型模型，但前者在手機上執行效率高，而後者則需要資料中心。這就是一個蘋果與橘子的比較。然而由於這個領域相對年輕，對於應該被認為是相當的 AI 模型的大小和形狀，還沒有真正的共識，所以現在嘗試這樣的努力仍然為時尚早。
一口咬定未開放評測的模型可信度需謹慎對待
當然對於這些模型來說試喫之後才能見真章，直到 Inflection 將其模型開放給廣大使用者使用並接受獨立評估，他們吹噓的基準測試必須謹慎對待。如果你想試試 Pi，你可以在你的一個即時通訊應用程式中新增它，或者在這裡線上與它對話。
評論與建議
Inflection 公佈的大型 AI 模型 Inflection-1 旨在成為一種個人化 AI 助手，並經過一些基準測試的取證。然而由於他們還沒有將模型開放給廣大使用者使用，因此我們必須謹慎對待他們所提供的評估結果。基於此，有幾個問題值得關注：
1. 模型的可靠性
在進行評估時，一個重要的考慮因素是模型的可靠性。Inflection-1 的表現可能在他們選擇的基準測試上非常出色，但這是否能夠反映模型在現實世界中的表現，尚有待觀察。此外重要的是要進一步理解 Modle Overfitting 和 Bias 等問題，以確保模型的公正性和準確性。
2. 當前的評估標準
當前 AI 模型的評估標準仍然在不斷發展中。在 Inflection-1 提供的“技術備忘錄”中，他們提及了一些基準測試，但這些測試是否能夠全面評估模型的能力和應用場景，仍有待商榷。為了得出更客觀和全面的評估結果，我們需要建立更廣泛和統一的標準。
3. 透明度和開放性
在 AI 模型的世界中，透明度和開放性是至關重要的。Inflection 當前尚未公開其模型的內部結構和訓練方法，這導致我們無法進一步評估其模型的可靠性和效能。作為一個科技公司，Inflection 有責任向公眾提供更多訊息，以建立信任。
建議
對於 Inflection 和其他 AI 公司來說考慮到評估的重要性和模型的透明度，以下是一些建議：
- 開放模型：Inflection 應該積極考慮公開其模型，並允許獨立的評估機構對其進行測試和評估。
- 合作研究：與其他 AI 研究機構合作，進行模型比較和基準測試。這樣可以確保評估的客觀性和多樣性。
- 進一步透明化：向使用者和公眾公開 Inflection-1 的內部執行和訓練方法以及模型將如何應用於實際場景。
這些建議有助於確保 Inflection-1 以及類似的 AI 模型的公正性、可靠性和可持續發展。
延伸閱讀
- 史嘉蕾喬韓森表示 OpenAI 想使用她的聲音
- Google 推出全新 Android 功能，鼓勵使用者回到他們已安裝的應用程式
- OpenAI 宣布移除 ChatGPT 的像 Scarlett Johansson 一樣的聲音
- OpenAI 與 Google 擺出競爭的 AI 願景
- OpenAI 設立超智慧 AI 團隊，卻任由其荒廢，訊息來源指稱
- 本週人工智慧大事記：OpenAI 轉向非安全應用
- OpenAI 成立團隊控制「超智慧」AI，卻任憑其枯萎——訊息來源指出
- Netflix 將建立自己的廣告伺服器挑戰 Google 和 Amazon
- Google 仍未修復 Gemini 偏見影像生成器
- Google 在 Android 上新增實時威脅檢測和螢幕分享保護
