# Nvidia 釋出新工具，讓您在電腦上執行 GenAI 模型
## Nvidia 釋出新工具
Nvidia 近期宣布釋出新工具「Chat with RTX」，此工具讓使用者能夠在 Windows PC 上使用 GeForce RTX 30 系列和 40 系列顯示卡執行 AI 智慧聊天機器人。這項工具允許使用者自定一款 GenAI 模型，類似於 OpenAI 的 ChatGPT 模型，並透過存取檔案、檔案和筆記，以進行查詢。Nvidia 在部落格文章中寫道：「使用者無需再搜尋筆記或已儲存的內容，只需輸入查詢即可。例如，一個使用者可能會問：'在拉斯維加斯時，我的伴侶推薦的那家餐廳是什麼？'，而 Chat with RTX 將掃描使用者指定的本地檔案並提供帶有上下文的答案。」
## 支援開放原始碼模型及檔案格式
Chat with RTX 預設使用 AI 新創公司 Mistral 的開源模型，並支援其他基於文字的模型，包括 Meta 的 Llama 2。Nvidia 警告說，下載所有必要的檔案將佔用相當大的儲存空間，取決於所選模型的大小，大約需 50GB 到 100GB。當前 Chat with RTX 支援文字、PDF、.doc、.docx 和 .xml 格式。使用者將應用程式指向包含任何支援檔案格式的檔案夾，將這些檔案載入到模型的微調資料集中。此外 Chat with RTX 也能夠接受 YouTube 播放列表的 URL 以載入影片的譯稿，使所選的模型可以查詢其內容。
## 使用約束及潛在影響
Nvidia 社承認 Chat with RTX 存在一些使用約束，並在使用指南中詳細說明。例如，Chat with RTX 無法記住上下文，這意味著該應用在回答後續問題時不會考慮到任何先前的問題。另外應用的回應相關性可能受到多種因素影響，包括問題形式、所選模型的效能以及微調資料集的大小。Nvidia 表示要求檔案中包含的事實很可能會產生比請求對檔案或一組檔案進行總結更好的結果。此外回應的質量通常會隨著資料集的增大而改善。
## 國際經濟論壇報告及相關展望
隨著越來越多的應用程式使本地執行 AI 模型變得更加容易，國際經濟論壇最近的報告預測了離線執行 GenAI 模型的裝置（包括 PC、智慧手機、物聯網裝置和網路裝置）將會「顯著」增長。此舉的原因在於明顯的優勢：離線模型本質上更加私密，其處理的資料永不離開執行的裝置，同時比雲端模型具有更低的延遲和更具成本效益。當然民主化執行和訓練模型的工具也為惡意行為者敞開了大門，這一事實無可否認。但像 Chat with RTX 這樣的應用程式的支援者主張其好處大於壞處。
## 結語
無疑，Nvidia 的新工具 Chat with RTX 為本地執行 AI 模型提供了便利。然而在使用這樣的工具時，我們也應警惕其潛在的不足之處以及對於隱私和資料安全的風險。雖然 GenAI 技術帶來了便捷和樂趣，但我們也需謹慎使用，避免不當的使用和濫用。
ArtificialIntelligence-Nvidia,GenAI,模型執行,電腦工具
延伸閱讀
- Uber 和 Nvidia 支援的 Serve Robotics 以 4,000 萬美元的鉅額進軍公開市場
- Nvidia 下一代 Blackwell 平臺將於 2025 年初登陸 Google 雲端
- Nvidia 挑起 AI 晶片新創公司的投資風暴，Hailo 仍堅守戰場
- 海洛科技獲得 1.2 億美元融資，持續與 Nvidia 角力，在多數 AI 晶片新創公司陷入困境的情況下
- Nvidia 或成下一個 AWS 霸主？
- Nvidia 攜手人形機器人頂尖品牌打造全新 AI 平臺「GR00T」
- Nvidia GTC 2024：AI 世界齊聚的關鍵活動
- 歐盟加固對大型平臺在選舉前的 GenAI 風險審查
- Aethero 想要成為太空產業的英特爾或 Nvidia
- Adobe 發布音樂創作的 GenAI 工具
