Nvidia 釋出新工具
Nvidia 近期宣布釋出新工具「Chat with RTX」，此工具讓使用者能夠在 Windows PC 上使用 GeForce RTX 30 系列和 40 系列顯示卡執行 AI 智慧聊天機器人。這項工具允許使用者自定一款 GenAI 模型，類似於 OpenAI 的 ChatGPT 模型，並透過存取檔案、檔案和筆記，以進行查詢。Nvidia 在部落格文章中寫道：「使用者無需再搜尋筆記或已儲存的內容，只需輸入查詢即可。例如，一個使用者可能會問：'在拉斯維加斯時，我的伴侶推薦的那家餐廳是什麼？'，而 Chat with RTX 將掃描使用者指定的本地檔案並提供帶有上下文的答案。」
支援開放原始碼模型及檔案格式
Chat with RTX 預設使用 AI 新創公司 Mistral 的開源模型，並支援其他基於文字的模型，包括 Meta 的 Llama 2。Nvidia 警告說，下載所有必要的檔案將佔用相當大的儲存空間，取決於所選模型的大小，大約需 50GB 到 100GB。當前 Chat with RTX 支援文字、PDF、.doc、.docx 和 .xml 格式。使用者將應用程式指向包含任何支援檔案格式的檔案夾，將這些檔案載入到模型的微調資料集中。此外 Chat with RTX 也能夠接受 YouTube 播放列表的 URL 以載入影片的譯稿，使所選的模型可以查詢其內容。
使用約束及潛在影響
Nvidia 社承認 Chat with RTX 存在一些使用約束，並在使用指南中詳細說明。例如，Chat with RTX 無法記住上下文，這意味著該應用在回答後續問題時不會考慮到任何先前的問題。另外應用的回應相關性可能受到多種因素影響，包括問題形式、所選模型的效能以及微調資料集的大小。Nvidia 表示要求檔案中包含的事實很可能會產生比請求對檔案或一組檔案進行總結更好的結果。此外回應的質量通常會隨著資料集的增大而改善。
國際經濟論壇報告及相關展望
隨著越來越多的應用程式使本地執行 AI 模型變得更加容易，國際經濟論壇最近的報告預測了離線執行 GenAI 模型的裝置（包括 PC、智慧手機、物聯網裝置和網路裝置）將會「顯著」增長。此舉的原因在於明顯的優勢：離線模型本質上更加私密，其處理的資料永不離開執行的裝置，同時比雲端模型具有更低的延遲和更具成本效益。當然民主化執行和訓練模型的工具也為惡意行為者敞開了大門，這一事實無可否認。但像 Chat with RTX 這樣的應用程式的支援者主張其好處大於壞處。
結語
無疑，Nvidia 的新工具 Chat with RTX 為本地執行 AI 模型提供了便利。然而在使用這樣的工具時，我們也應警惕其潛在的不足之處以及對於隱私和資料安全的風險。雖然 GenAI 技術帶來了便捷和樂趣，但我們也需謹慎使用，避免不當的使用和濫用。
延伸閱讀
- 新加坡逮捕涉嫌走私 Nvidia 晶片的犯罪集團！背後真相大揭露！
- Nvidia 執行長黃仁勳輕鬆應對 DeepSeek 挑戰，銷售額飆升！
- Nvidia 執行長黃仁勳：市場對 DeepSeek 影響的看法大錯特錯！
- Nvidia 支援臺灣新創 MetAI，打造 AI 驅動的數位雙胞胎技術！
- Nvidia 的 AI 帝國：揭開其頂尖新創企業投資的神祕面紗！
- Nvidia 的 AI 虛擬角色擲地有聲，讓我不寒而慄的經歷！
- Nvidia CEO 驚爆！AI 晶片進步速度超越摩爾定律！
- 「CES 2025：Uber 攜手 Nvidia，推進自駕技術革命！」
- Nvidia 推出 Project Digits：個人 AI 超算的未來來臨！
- 豐田攜手 Nvidia 打造未來智慧車輛：超級計算機與新作業系統的革命!
