Spellburst：大型語言模型驅動的互動畫布，為生成藝術家帶來新靈感
導言
生成藝術家們利用程式設計語言，例如 Processing 或 AI 文字到影象工具，將表達性的語義轉化為一行行的程式碼，創作出繚繞迴旋、斑斕多彩的圖案或超現實的風景。但編寫藝術作品是一個耗時且復雜的過程。儘管一支鉛筆的橡皮擦可以修正錯誤的線條，或者一些黃色可以為畫作中的黑暗天際線增添亮點，然而改進生成藝術作品需要經歷多次試誤，通常還會遇到讓人沮喪的介面。 在訪談專業的數位藝術家們時，斯坦福大學的學者們開發了一種名為 Spellburst 的工具，旨在改進生成藝術的創意形成和編輯過程。從語義空間到程式碼的無縫切換
Spellburst 使用大型語言模型 GPT-4，讓藝術家們輸入一個初始提示，例如“一幅美麗而明亮的彩色花束的玻璃窗影象”。然後，該模型將生成程式碼以呈現這個概念。但如果花朵顏色太粉，或者玻璃窗看起來不太正確呢？藝術家們可以透過開啟一個由前一個提示生成的動態滑塊面板來更改影象的任何方面，或者新增修改筆記（例如“使花朵變成深紅色”）。這些創作者還可以合併不同的版本（例如“將第 4 版的花朵顏色與第 9 版的花瓶形狀結合”）。該工具還允許藝術家們從基於提示的探索轉換到程式設計編輯，他們可以點選影象以顯示程式碼，以便進行更細微的微調。更好的創意突破
為了更好地設計 Spellburst，研究團隊訪談了 10 位專業的創意編碼者，理解他們如何發展概念、創作流程以及遇到的最大挑戰。隨後，團隊將該工具與專業的生成藝術家進行了測試。Subramonyam 教授表示：“整體上反饋非常積極。大型語言模型能夠幫助藝術家們更快地從語義空間轉換到程式碼，而且它還能夠幫助他們探索許多不同的變化，實現更大的創意突破。” 當然該工具也有約束。研究團隊在某些提示中發現了錯誤和意外的結果，特別是在合併版本方面，並且仍不清楚哪些提示可以獲得期望的結果。此外提供反饋的藝術家樣本數量並不能代表整個生成藝術家社區。但希望是，這個工具將對編碼藝術家們甚至更廣泛的觀眾有所幫助。Subramonyam 教授說：“我們希望在今年晚些時候將這個工具作為開源發布，以便藝術家們可以開始使用它，同時我們也希望研究這樣的工具如何幫助新手學習使用程式碼創作藝術。”結論
斯坦福大學的研究團隊開發的 Spellburst 為生成藝術家們帶來了更好的創意形成和編輯過程。透過大型語言模型驅動，這個工具提供了無縫切換的功能，使藝術家們能夠在語義空間和程式碼之間輕鬆切換。該工具還允許藝術家們探索不同的變化，並進行更精細的微調，從而實現更大的創意突破。 儘管該工具存在一些約束和不完善之處，但它仍然被認為對編碼藝術家和可能更廣泛的觀眾是有用的。希望在未來能進一步改進這個工具，讓更多的生成藝術家和新手藉此學習和創作出令人驚艷的作品。參考資料：
Tyler Angert 等人，《Spellburst: A Node-based Interface for Exploratory Creative Coding with Natural Language Prompts》，arXiv（2023 年）。DOI：10.48550/arxiv.2308.03921 提供者：斯坦福大學 引文：Spellburst: A large-language-model-powered interactive canvas for generative artists（2023 年 9 月 15 日），取自 https://techxplore.com/news/2023-09-spellburst-large-language-model-powered-interactive-canvas-generative.html 注意：此文稿受版權保護，僅供私人研究或研究目的使用，未經許可，不得全部或部分複製。本內容僅供訊息參考之用。Art-wordpress,讀心術,大型語言模型,互動畫布,創作藝術家
延伸閱讀
- 大型語言模型可幫助家庭機器人在無需人類幫助的情況下恢復錯誤
- 機敏行動：Agility 使用大型語言模型與其人形機器人進行溝通
- 好舊式人工智慧依然強大：即使大型語言模型崛起
- 使用大型語言模型實現開放式、互動式和個性化機器人導航
- AI 研究人員揭露主要大型語言模型中的致命漏洞
- Mistral AI 推出首個大型語言模型，免費提供給所有人使用
- 鼓勵之下，大型語言模型設計出更有效的提示方式
- 讀心術！Chan Zuckerberg Initiative 為醫學研究打造昂貴的 AI GPU 叢集
- DeepMind 發現 AI 大型語言模型能夠最佳化自身提示
- MLPerf 3.1 引入大型語言模型基準測試，挑戰推理能力
