LangChain?是什么
首先?LangChain?是一個框架,這個框架是用來讓開發(fā)者進行?LLMs?(大語言模型)應(yīng)用開發(fā)的。
可以理解是為各種?LLM?開發(fā)的腳手架,將?LLM?的各個組件進行封裝和鏈接。把?LLMs?相關(guān)的組件“鏈接”在一起,簡化?LLMs?應(yīng)用的開發(fā)難度,方便開發(fā)者快速地開發(fā)復雜的?LLMs?應(yīng)用。
舉一個不是很恰當?shù)睦踝樱瑥?Java?工程師的角度來看?LangChain?更像是?Spring?或者?SpringBoot?這種框架,幫助開發(fā)人員更快的進行應(yīng)用開發(fā)。
LangChain?框架組件
Models(I/O):各種類型的模型集成。
Outline概要
? ? · Prompts:模板化、動態(tài)選擇和管理模型輸入
? ? · Language models:通過通用接口調(diào)用語言模型
? ? · Output parsers:從模型輸出中提取信息
Prompts組件:包含Prompt templates和Example selectors。
Prompt templates:
? ·? ?對語言模型的指令
? ·? ?一組幾個鏡頭示例來幫助語言模型生成更好的響應(yīng)
? ·? ?對語言模型的一個問題
分別舉例:TemplateFormat、MessageTemplate、FewShotPromptTemplate、Example selectors
TemplateFormat:
MessageTemplate:
FewShotPromptTemplate:
Example selectors:
Language models:
? ·? ?LLMs
? ·? ?Chat models
LLMs:采用文本字符串作為輸入并返回文本字符串的模型。
gpt-3.5-turbo:
Streaming:
Chat models:聊天模型是語言模型的變體。
Caching:
outputparser
? ·? ?獲取格式指令
? ·? ?解析
? ·? ?帶有提示的解析
分別舉例:DateTimeParser、EnumParser、ListParser、OutputParser
DateTimeParser:
EnumParser:
ListParser:
OutputParser:
Memory:記憶涉及在用戶與語言模型的交互過程中保留狀態(tài)概念。用戶與語言模型的交互是在 ChatMessages 的概念中捕獲的,因此這可以歸結(jié)為從一系列聊天消息中攝取、捕獲、轉(zhuǎn)換和提取知識。一般來說,對于每種類型的記憶,都有兩種理解使用記憶的方法。這些是從一系列消息中提取信息的獨立函數(shù),然后您可以通過一種方式在鏈中使用這種類型的內(nèi)存。內(nèi)存可以返回多條信息(例如,最近的 N 條消息和所有先前消息的摘要)。
Outline概要
? ? · ConversationBufferMemory
? ? · ConversationBufferWindowMemory
? ? · ConversationTokenBufferMemory
? ? ·?ConversationSummaryMemory
ConversationBufferMemory:
ConversationBufferWindowMemory:
ConversationTokenBufferMemory:
ConversationSummaryMemory:
Chains:
Outline概要
? ? · LLMChain
? ? · SequentialChain
? ? ? ? ? ? ? ?· SimpleSequentialChain
? ? ? ? ? ? ? ?· SequentialChain
? ? · RouterChain
LLMChain:
SimpleSequentialChain:一般序列鏈可以將前一個鏈的輸出結(jié)果,作為后一個鏈的輸入。一般序列鏈有唯一輸入和輸出變量。
SequentialChain:序列鏈中包含多個鏈,其中一些鏈的結(jié)果可以作為另一個鏈的輸入。序列鏈可以支持多個輸入和輸出變量。
RouterChain:路由鏈類似一個while else的函數(shù),根據(jù)輸入值,選擇對應(yīng)的路由(路徑)進行后續(xù)的鏈路。整個路由鏈一般一個輸入,一個輸出。
Agents:某些應(yīng)用程序需要根據(jù)用戶輸入對 LLM 和其他工具進行靈活的調(diào)用鏈。代理接口為此類應(yīng)用程序提供了靈活性。代理可以訪問一套工具,并根據(jù)用戶輸入確定使用哪些工具。代理可以使用多種工具,并使用一個工具的輸出作為下一個工具的輸入。
Outline概要
? ? ·?動作代理:在每個時間步,使用所有先前動作的輸出來決定下一個動作
? ? ·?計劃并執(zhí)行代理:預先決定完整的操作順序,然后執(zhí)行所有操作而不更新計劃
分別舉例:MathAndWikiAgent、PythonREPLAgent、MultiFunctionsAgent
MathAndWikiAgent:
PythonREPLAgent:
MultiFunctionsAgent:
索引(index):索引是指以最佳方式對文檔進行結(jié)構(gòu)化,以便語言模型(LLMs)能夠與其進行最佳交互。這個模塊包含了處
理文檔的實用函數(shù)。
Outline概要
? ? ·?嵌入(Embeddings):嵌入是對信息(例如文本、文檔、圖像、音頻等)的數(shù)值表示。通過嵌入,可以將信息轉(zhuǎn)換為向量形式,以便計算機能夠更好地理解和處理。
? ? ·?文本拆分器(Text Splitters):當需要處理較長的文本時,有必要將文本分割成多個塊。文本拆分器是用于將長文本分割成更小片段的工具。
? ? ·?向量數(shù)據(jù)庫(Vectorstores):向量數(shù)據(jù)庫存儲和索引來自自然語言處理模型的向量嵌入,用于理解文本字符串、句子和整個文檔的含義和上下文,從而獲得更準確和相關(guān)的搜索結(jié)果。請參閱可用的向量數(shù)據(jù)庫。
代碼示例如下:
應(yīng)用實例langchain-chatglm-6B流程圖如下:
evaluation:
Outline概要
? ? ·?示例生成:Example generation
? ? ·?手動評估(和調(diào)試):Manual evaluation (and debugging)
? ? ·?LLM輔助評估:LLM-assisted evaluation
Example generation:
Manual evaluation (and debugging):
LLM-assisted evaluation:
開源項目:
最近開源的新作品,主要目標是想通過自然語言操作數(shù)據(jù)庫替換傳統(tǒng)企業(yè)管理后臺web,有興趣的同學歡迎加入開源,覺得不錯的可以點個小??,感謝大家~
項目地址如下:
https://github.com/sql-agi/DB-GPT
作者簡介:
AI_皮皮蝦、卷過大廠、貢獻過開源、參與多次大模型比賽并??多次參加AIGC交流會(微軟AIGC等)、一直走在AIGC最前沿!