開源社區(qū)是技術發(fā)展的一個重要部分，對于AI大模型來說，也是如此。
我們在這篇文章中來嘗試通過開源工具來構建AI大模型的底座，涉及到的技術包括：
- Langchain
- OpenAI
- Flowise
- LocalAI
- Llama
使用Langchain構建第一個對話應用
如果你使用過ChatGPT，你應該知道它是一個基于大語言模型的應用程序，可以與人類進行多輪對話。
為了讓大語言模型能夠與人類友好的多輪對話，我們需要引入兩個額外組件：
- ConversationBufferMemory，它幫助LLM記錄我們的對話過程。
- ConversationChain，它幫我們管理整個繪畫過程，通過調用BufferMemory中的對話信息，它可以讓無狀態(tài)的LLM了解我們的對話上下文。
我們可以使用下面的代碼來通過Langchain實現一個簡易版的ChatGPT：
from langchain.llms import OpenAI
from langchain.chains import ConversationChain
from langchain.memory import ConversationBufferMemory
import os
os.environ["OPENAI_API_KEY"] = '...'
llm = OpenAI(temperature=0)
mem = ConversationBufferMemory()
# Here it is by default set to "AI"
conversation = ConversationChain(llm=llm, verbose=True, memory=mem)
conversation.predict(input="Hi there!")
通過Flowise零代碼搭建LLM應用平臺
Flowise官網：https://flowiseai.com/
Flowise is a low-code/no-code drag & drop tool with the aim to make it easy for people to visualize and build LLM apps.
我們可以在Windows/Mac/Linux中安裝Flowise，以Linux為例，安裝Flowise步驟如下：
- 安裝NodeJS
- 安裝Docker和Docker compose
- 運行下面的腳本安裝和啟動Flowise
npm install -g flowise
npx flowise start
我們可以通過http://{server}:3000 來訪問Flowise，截圖如下：
[圖片上傳失敗...(image-d57e95-1693743658308)]
通過Flowise Portal，我們可以創(chuàng)建新的Chatflow，在打開的flow頁面，我們可以通過拖拽的方式，來構建flow：
[圖片上傳失敗...(image-be6683-1693743658309)]
例如，我們上面提到的通過Langchain來構建簡易ChatGPT應用，創(chuàng)建出來的flow如下截圖：
[圖片上傳失敗...(image-a9307d-1693743658309)]
我們可以通過頁面右上角的對話按鈕，對我們的flow進行測試：
[圖片上傳失敗...(image-e0c82b-1693743658309)]
在LLM應用中引入領域知識庫
在實際應用中，我們可以為模型增加外部記憶，在提示詞中引入一些領域知識，來幫助模型提升回答質量。
這種方式的具體步驟如下：
- 對輸入文檔進行切片，生成語義向量（Embedding），存入向量數據庫作為外部記憶。
- 根據所提的問題，檢索向量數據庫，獲取文檔中的內容片段。
- 把文檔片段和所提的問題一并組織成提示詞，提交給大語言模型，讓其理解文檔內容，針對問題生成恰當的答案。
為了實現這個應用，我們需要引入以下組件：
- Docx File Loader，負責加載外部輸入的文檔。
- Recursive Character Text Splitter，用來對文檔內容進行斷句切片。
- OpenAI Embeddings，負責將斷句后的內容切片映射成高維Embedding。
- In-Memory Vector Store，負責將Embedding存入數據庫中，供LLM作為外部記憶。
- Conversational Retrieval QA Chain，負責根據問題，獲得外部知識，在LLM思考生成答案后返回給用戶。
使用Flowise構建上述的應用，截圖如下：
[圖片上傳失敗...(image-41d95c-1693743658309)]
使用LocalAI做可用LLM應用
我們前面做的LLM應用都依賴于OpenAI API，會有一些風險，我們可以考慮構建本地大模型。
我們可以基于LocalAI開源應用來實現這一點。
下面是搭建過程：
$ git clone https://github.com/go-skynet/LocalAI
$ cd LocalAI
我們使用一個小模型進行部署。
$ wget https://gpt4all.io/models/ggml-gpt4all-j.bin -O models/ggml-gpt4all-j
$ cp -rf prompt-templates/ggml-gpt4all-j.tmpl models/
然后我們可以加載models并將其封裝為API服務。
$ docker-compose pull
$ docker-compose up -d
接下來是獲取model列表進行驗證。
$ curl http://localhost:8080/v1/models
{"object":"list","data":[{"id":"ggml-gpt4all-j","object":"model"}]}
這樣我們可以修改Flowise，使用本地模型代替OpenAI。
[圖片上傳失敗...(image-2d39a5-1693743658309)]
使用Llama2構建LLM應用
我們還可以使用Llama2來構建LLM應用，這在應用許可上更加友好。
我們可以下載Llama2模型文件。
$ wget -c "https://huggingface.co/TheBloke/Llama-2-7B-chat-GGML/resolve/main/llama-2-7b-chat.ggmlv3.q4_0.bin" ./models
然后重啟LocalAI，查看Llama2是否被正常部署。
$ curl -v http://localhost:8080/v1/models
{"object":"list","data":[{"id":"llama-2-7b-chat.ggmlv3.q4_0.bin","object":"model"}]}
我們可以返回Flowise flow，將模型名字修改為llama-2-7b-chat.ggmlv3.q4_0.bin，這樣我們就可以使用Llama2來回答我們的問題。
再進一步，我們還可以嘗試使用AutoGPT或者AgentGPT來構建更加負責的LLM應用，幫助我們完成更有挑戰(zhàn)性的事情。
