Anything LLM 是由 Mintplex 開發的一款整合多種大型語言模型 (LLM) API 的開源平台。不論是 OpenAI、Azure AOAI、Gemini、Huggingface 或 Ollama 等,皆能透過這個平台直接使用。此外,它還整合了多種向量資料庫(如 Chroma、Qdrant、Pinecone、Weaviate、Milvus),甚至內建 PDF 解析、網頁爬蟲、YouTube 影片分析功能,真正做到全方位的資料處理(真佛心)。
![](https://i0.wp.com/guenterchao.net/wp-content/uploads/image-490.webp?resize=800%2C450&ssl=1)
功能與優勢
Anything LLM 的出現大大降低了 AI 應用的門檻。即便是沒有程式設計經驗的人,也能利用這個平台實現複雜的 RAG(檢索增強生成)功能。Mintplex 的設計理念非常佛心,讓非技術專業人士也能最大化地應用 LLM 功能。然而,對於依賴這項技術維生的工程師而言,這也可能帶來挑戰,因為基本技能的門檻被大幅降低。
降低技術門檻,促進AI普及
在 AI 領域的競爭中,主要參與者往往是大型企業。但對於不需要參與競爭的工程師來說,Anything LLM 無疑是一大福音。接下來,我們將詳細介紹如何從零開始搭建 Anything LLM 平台。
由於 Anything LLM 是透過 API key 呼叫各個 LLM,因此不需要強大的 GPU,即使在普通的電腦上也能運行(真的是太棒了)。
![](https://i0.wp.com/guenterchao.net/wp-content/uploads/Clip_2024-06-14_03-28-15.webp?resize=980%2C496&ssl=1)
安裝與設定
Anything LLM 提供多種啟動專案的方式,我選擇使用 Docker 來執行。我的電腦是一台 2015 年的 MacBook,因此以下將以我的環境做示範及記錄。
首先,下載適用於 Windows、Mac、Linux 的 Anything LLM: 下載連結