????????接觸大模型有一段時間了，最近學習了一下使用LLaMA-Factory來對開源大模型進行微調，LLaMA-Factory是一個非常好用的開源微調大模型工具，GitHub:LLaMA-Facotry，相關的介紹可以直接去官方網站上去查看。
????????本文基于Ubuntu系統對使用LLaMA-Factory來對qwen2-1.5B模型進行微調；
1.安裝部署
1.1.下載LLaMA-Factory
1.2.安裝conda
????????在Ubuntu上安裝Conda，可以使用Miniconda，這是Conda的一個輕量級版本。以下是安裝Miniconda的步驟：
????下載Miniconda安裝腳本：
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
????腳本可執行：
chmod +x Miniconda3-latest-Linux-x86_64.sh
????運行安裝腳本：
./Miniconda3-latest-Linux-x86_64.sh
????安裝完成后，會在home下會創建miniconda3目錄，然后會自動在.bashrc下面加入PATH
export PATH="/home/user/miniconda3/bin:$PATH"
????????重啟終端或重新加載配置文件（例如，使用source ~/.bashrc）以激活Conda環境，安裝完成后，您可以通過運行conda --version來檢查Conda是否正確安裝。
????????ubuntu中安裝好conda之后，系統終端界面前面出現（base)字樣，永久取消base字樣辦法：
1、在新終端中輸入：vim ～/.bashrc
2、在打開的文件最后加上一句命令：conda deactivate
3、重新打開終端即可消除base字樣。
1.3.創建虛擬環境
????創建一個名字為llama_factory的虛擬環境，只需創建一次
conda create --name llama_factory python=3.10
????激活虛擬環境
conda activate llama_factory
????進入LLaMA-Factory文件夾
cd LLaMA-Factory
????安裝配置文件
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -e .[torch,metrics]
1.4.下載開源大模型
????????可以選擇自己常用的 LLM，包括 ChatGLM，BaiChuan，Qwen，LLaMA 等，把下載好的模型保存到LLaMA-Factory文件夾下。
????????下載 qwen2-1.5B模型的命令：
git lfs install
git clone https://huggingface.co/Qwen/Qwen2-1.5B # huggingface下載
git clone https://www.modelscope.cn/qwen/Qwen2-1.5B.git # modelscope下載
????下載不下來的話，直接翻墻到對應目錄，點擊下載也可以；
????下載完，新建Qwen/Qwen2-1.5B模型文件夾，將下載內容放入該文件夾，然后將模型文件夾放在LLaMA-Factory目錄下，供后面訓練的時候使用；
2.訓練
????????在LLaMA-Factory項目中，單顯卡可以用命令或web頁面訓練，多顯卡只能用用命令的方式，當前系統是單顯卡，所以使用的web頁面訓練，另外web頁面也比較直觀，在LLaMA-Factory目錄下，執行以下命令：
python3 src/webui.py
????執行完后，終端會顯示如下：
Web界面如下
????界面分上下兩部分：
????上半部分是模型訓練的基本配置，有如下參數：
模型名稱：可以使用常用的模型，包括 ChatGLM，BaiChuan，Qwen，LLaMA 等
模型路徑：輸入框填寫我們之前下載的模型的地址。
微調方式：
????full：將整個模型都進行微調。
????freeze：將模型的大部分參數凍結，只對部分參數進行微調。
????lora：將模型的部分參數凍結，只對部分參數進行微調，但只在特定的層上進行微調。
????模型斷點（適配器）：在未開始微調前為空，微調一次后可以點擊刷新斷點（適配器）按鈕，會得到之前微調過的斷點（適配器）。
下半部分是一個頁簽窗口，分為Train、Evaluate、Chat、Export四個頁簽，
????微調先看Train界面：
訓練階段：選擇訓練階段，分為預訓練（Pre-Training）、指令監督微調（Supervised Fine-Tuning）、獎勵模型訓練（Reward Modeling）、PPO 、DPO 五種
這里我們選擇指令監督微調（Supervised Fine-Tuning）。
數據集
????數據格式：
[
????{
????????"instruction": "用戶指令（必填）",#通常用于存儲指示模型生成輸出的指令
????????"input": "用戶輸入（選填）",
????????"output": "模型回答（必填）",
????????"system": "系統提示詞（選填）",
????????"history": [
????????????????["第一輪指令（選填）", "第一輪回答（選填）"],
????????????????["第二輪指令（選填）", "第二輪回答（選填）"]
????????]
????}
]
????????如果采用自行準備的數據集，要在 LLaMA Factory目錄下data目錄下的dataset_info.json添加新數據集信息，llm_data.json是按照上面的數據格式構造的訓練樣本數據。
"llm_type":{
????"file_name":"llm_data.json"
}
????????以上都設置及準備好后，點擊開始就開始微調訓練了，輸出目錄為：
LLaMA-Factory/saves/Qwen2-1.5B/lora/train_2024-07-16-14-53-45
????????訓練過程中可以在終端下看到詳細日志輸出：
訓練完成后，會在webui界面顯示訓練完畢。
3.驗證推理
????1.在網頁界面，選擇Chat，加載模型，檢查點路徑：train_2024-07-16-14-53-45，推理數據類型：bfloat16，加載完成后，就可以進行聊天了
????2.導出模型，選擇Export選項，導出目錄/home/LLM/QwenSft
然后可以通過代碼來進行驗證，實現如下：
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
torch.manual_seed(0)
path = '/home/LLM/QwenSft'
def chat_with_qwen(content):
tokenizer = AutoTokenizer.from_pretrained(path)
model = AutoModelForCausalLM.from_pretrained(path, torch_dtype=torch.bfloat16, device_map='cpu', trust_remote_code=True)
messages = [
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": content}
]
text = tokenizer.apply_chat_template(messages,tokenize=False,add_generation_prompt=True)
model_inputs = tokenizer([text], return_tensors="pt").to("cpu")
generated_ids = model.generate(**model_inputs,max_new_tokens=512)
generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(response)
????本文簡單總結了一下使用LLaMA-Factory開源工具來訓練開源大模型的一個基本流程，后面會繼續深入了解，有新的收獲會繼續更新文章，感謝https://zhuanlan.zhihu.com/p/691239463
