鼓勵下，大型語言模型共同開發出更有效的提示方式
簡介
在最近的一項研究中，Google 旗下的 DeepMind 研究團隊提出了一種名為「OPRO」（Optimization by PROmpting）的新方法，利用大型語言模型（LLM）幫助構建提示方式。這一方法在最佳解的找尋中取得了顯著的進展，並與傳統的人類設計提示方式相比，取得了更好的結果。
提示方式的重要性
提示方式是確保 LLM 有效執行任務的重要因素之一。研究人員會投入大量資源確保提示方式能夠針對特定任務進行最佳化。而不正確使用關鍵字、笨拙的措辭、模糊的指示或缺乏適當的背景知識等，都可能影響結果的質量。因此計算機程式設計人員一直在努力開發更好的提示方式的方法。
利用 LLM 構建提示方式的優勢
DeepMind 的研究人員提出的 OPRO 方法充分利用了大型語言模型獨特的能力，即理解自然語言指令。它建立了具有明確挑戰定義的提示方式，並提供了類似問題的示例和迴圈處理解決方案的指示。換句話說，在 LLM 為每個最佳化步驟提出解決方案時，提示方式會相應修改以納入這些結果。該過程一直重複進行，直到達到最優解。
OPRO 的應用與成果
研究人員將 OPRO 方法應用於兩種常見的挑戰型別：線性回歸和旅行推銷員問題。結果表明，OPRO 方法取得了令人振奮的成果，其表現與某些人工設計的啟發式演算法相當。然而加入鼓勵的提示則使結果得到了顯著改善，有時甚至超過 50%的提升。
加入鼓勵性提示的效果
該研究團隊發現，當提示中包含鼓勵性語句時，可以獲得更好的結果。這些鼓勵性語句包括「深呼吸，一步步解決這個問題」、「讓我們用一個一步一步的方式解決這個問題，確保我們得到正確答案」和「讓我們透過計算找到解決方案」等。研究人員並未進一步解釋為什麼這些鼓勵性表達會帶來更好的結果，但可以假設 LLM 在訓練中接觸到大量包含這些表達的資料，從而能夠更仔細地處理和分析相關資料。
結語
鼓勵是一個強大的因素，可以幫助大型語言模型更有效地解決問題。這項研究為 LLMs 在各個領域的效能提供了印證，並揭示了他們在最佳化問題上的潛力。然而這也引發了一些哲學上的問題，例如在人類設計提示方式時應該如何平衡人工智慧和人類參與以及如何確保鼓勵性提示的應用不會引發其他潛在問題。儘管如此隨著提示技術的不斷進步，我們可以期待 LLMs 在更多領域實現卓越的表現。
