對於任何企業來說,最重要的問題是:如何利用 LLM 進行更進階的商務應用變得非常重要。但是目前在打造以 LLM 的應用並不只是單純將原本開發傳統應用系統一樣:指定任務 -> 交給 LLM 回答,然後期望它完成任務那麼容易掌握。
尤其在更大規模,而且有效的利用 LLM 在商業應用時,需要一個更有效率,易於客製化的程式設計框架。另一個進階情境是通常需要維護多個 LLM 對話,每個對話以不同的方式指示,並且負責任務的不同方面。
Agent 是一個抽象化的概念,封裝了 LLM 對話狀態,以及對長期記憶(向量存儲)和工具(即函數或插件)的訪問。而 Multi-Agent Framework 就是針對更複雜的技術趨勢。
AutoGPT
AutoGPT 的核心 機制 — 反饋循環(feedback loop)
1.1. 計畫 Plan
1.2. 評論 Criticize
1.3. 行動 Act
1.4. 閱讀反饋 Read Feedback
1.5. 重新計劃 Plan (Revised)
通過這五個步驟,AutoGPT反饋循環不斷優化計劃並提高成果質量,使AutoGPT成為一個強大而有效的AI工具。
License: MIT
優點: Star 159k, Autonomy, Versatility
缺點: 需要透過 LangChain-serve 作為 Serving Runtime, 而且目前看起來 repo 是 archived 的狀態。另一種方式就是用 Docker
Landroid
Landroid 目的是提供更輕量方便客製化的 Agent Framework, 提供了各種 end-to-end 範例,包括 Questiong-Answering、ChatBot 和 Agent 等。Ref
Agent as first-class citizens
Task 的概念
LLM 支援了 OpenAI GPT-3.5 and GPT-4, 以及透過 LiteLLM 支援多種可能 (之後會另外寫一篇介紹這個)
Caching of LLM prompts, responses
Vector-store
針對外部文件有 Grounding and source-citation
支援 Obeservibility, Logging, Lineage
Tools/Plugins/Function-Calling 的概念與封裝
AutoGen
AutoGen 是微軟的推出的 No-Code Agent Framework, 透過 AutoGen 可以快速建立一個 Agent,並且可以透過 GUI 進行訓練,部署,以及監控。(Ref)
License: CC 4
Star: 22L
優點: No-Code
缺點: 受限客製化的可能性,目前僅支援 OpenAI, Azure OpenAI
關於 AutoGen,之後另外介紹。
底下這張圖覺得不錯,也分享一下 (來自 VICTOR DIBIA 的文章 - Multi-Agent LLM Applications | A Review of Current Research, Tools, and Challenges. source link)
References
Peter Chang: 深入瞭解AutoGPT:顛覆遊戲規則的意識自主AI
Multi-Agent LLM Applications | A Review of Current Research, Tools, and Challenges: link
Langroid substack