別再手動調優了！微軟 PromptWizard 實現大規模提示優化，節省時間與成本！

近日，微軟 AI 研究團隊發佈了開源工具 PromptWizard，這是一種基於反饋驅動的 AI 框架，旨在高效優化大型語言模型（LLM）的提示設計。提示的質量對於模型輸出的優劣至關重要，然而，創建高質量的提示往往需要耗費大量的時間和人力資源，尤其是在複雜或特定領域的任務中。

傳統的提示優化方法多依賴人工經驗，這種方式不僅耗時，而且難以擴展。現有的優化技術分爲連續和離散兩種。連續技術如軟提示需要大量的計算資源，而離散方法如 PromptBreeder 和 EvoPrompt 則通過生成多種提示變體來進行評估，儘管這些方法在某些情況下表現良好，但缺乏有效的反饋機制，往往導致結果不盡如人意。

PromptWizard 通過引入反饋機制，採用批判與綜合的方式來反覆優化提示指令和示例，顯著提升任務性能。其工作流程主要分爲兩個階段:生成階段和測試推理階段。在生成階段，系統利用大型語言模型生成多種基於基礎提示的變體，並對其進行評估，以找到表現優異的候選項。同時，框架內置的批判機制會分析每個提示的優缺點，提供反饋以指導後續的優化。經過多輪優化，系統能提升提示的多樣性和質量。

在測試推理階段，優化後的提示和示例會被應用於新的任務，確保性能的持續提升。通過這種方法，PromptWizard 在45個任務上進行了廣泛實驗，並在無監督和有監督的設置下取得了優異的成績。例如，它在 GSM8K 數據集上實現了90% 的無監督準確率，在 SVAMP 上達到了82.3%。此外，相較於離散方法如 PromptBreeder，PromptWizard 的 API 調用和令牌使用量減少了多達60倍，顯示出其在資源受限環境下的高效性。

PromptWizard 的成功在於其創新的序列優化、引導性批判和專家角色整合，使其能夠有效適應特定任務並具備良好的可解釋性。這一進展預示着自動化框架在自然語言處理工作流中的重要性，有望促進高級 AI 技術的更有效和經濟的應用。

博客:https://www.microsoft.com/en-us/research/blog/promptwizard-the-future-of-prompt-optimization-through-feedback-driven-self-evolving-prompts/

項目代碼:https://github.com/microsoft/PromptWizard?tab=readme-ov-file

論文:https://www.microsoft.com/en-us/research/publication/promptwizard-task-aware-agent-driven-prompt-optimization-framework/

劃重點:

🌟 PromptWizard 是一種新型的 AI 框架，用於優化大型語言模型的提示，提升模型性能。  

🔍 該框架結合批判機制和反饋循環，能夠高效生成和評估多種提示變體。  

💰 PromptWizard 在多個任務中顯示出卓越的準確率，並大幅降低資源消耗和成本。