參考文獻
在 Android 設備上運行自己的 AI 聊天機器人-CSDN博客
https://zhuanlan.zhihu.com/p/710841174
https://zhuanlan.zhihu.com/p/717439543
<font style="color:#DF2A3F;"></font>
手機安裝 Termux 應用
https://github.com/termux/termux-app/releases/tag/v0.118.1
下載llama.cpp源碼
git clone https://gitee.com/xuyangyan/llama.cpp.git
下載MiniCPM模型
https://huggingface.co/runfuture/MiniCPM-2B-dpo-fp16-gguf
量化模型
#使用本行代碼執行成功后，/models/Minicpm/下將存在 ggml-model-Q4_K_M.gguf的4bit量化文件
./llama-quantize ./models/Minicpm/ggml-model-f16.gguf ./models/Minicpm/ggml-model-Q4_K_M.gguf Q4_K_M
推理
# 將電腦端量化后的模型推到手機上
adb push ggml-model-Q4_K_M.gguf /sdcard/Download
# 手機打開termux，輸入termux-setup-storage
termux-setup-storage
# 手機端下載llama.cpp
git clone https://gitee.com/xuyangyan/llama.cpp.git
# 編譯llama.cpp
cmake -B build
cmake --build build --config Release
# cmake生成成功后再make一下，可運行的二進制文件就會出現在build/bin文件夾中.
cmake
cd /build/bin
# 問答
./llama-cli -m /sdcard/Download/ggml-model-Q4_K_M.gguf --prompt "<用戶>你知道openmbmb么<AI>"
推理結果
image.png
啟動llama.cpp的web服務進行問答
# llama.cpp 最新指令集
https://github.com/ggerganov/llama.cpp/blob/master/examples/deprecation-warning/README.md
# 啟動llama.cpp的webservice 16 指的是內核數減一
./llama-server -m models/minicpm/MiniCPM-2B-dpo-fp16-gguf-Q4_K_M.gguf -t 16
推理結果
image.png
圖片推理
<font style="color:#DF2A3F;">MINICPMV2.6 下載鏈接</font>
image.png
example usage:
./llama-minicpmv-cli -m <llava-v1.5-7b/ggml-model-q5_k.gguf> --mmproj <llava-v1.5-7b/mmproj-model-f16.gguf> --image <path/to/an/image.jpg> --image <path/to/another/image.jpg> [--temp 0.1] [-p "describe the image in detail."]
./llama-minicpmv-cli -m ./models/minicpm-2.6/ggml-model-f16.gguf --mmproj ./models/minicpm-2.6/mmproj-model-f16.gguf -c 4096 --temp 0.7 --top-p 0.8 --top-k 100 --repeat-penalty 1.05 --image ./mmexport1717057349584.jpg -p "What is in the image?"
推理結果
image.png
mmap結果
/**
*
* normal 不執行模型推理時內存占用
* ~ $ free -h
* total used free shared buff/cache available
* Mem: 10Gi 3.9Gi 2.3Gi 7.0Mi 4.8Gi 6.6Gi
* Swap: 13Gi 1.1Gi 12Gi
*
*
* mmap = 1 使用 mmap：~730 MB/s
*~ $ free -h
* total used free shared buff/cache available
* Mem: 10Gi 7.8Gi 31Mi 5.0Mi 3.0Gi 2.7Gi
* Swap: 13Gi 6.8Gi 7.2Gi
*
*
* mmap = 0 不開啟 mmap --no-mmap：~6.4 GB/s
* ram Mem被占用滿了 發生崩潰
*
*
*
*/
Swap:
<font style="color:rgb(6, 6, 7);">在操作系統中，</font><font style="color:#DF2A3F;">當系統的物理內存（RAM）不足以容納當前運行的所有進程時，操作系統會使用硬盤上的一部分空間作為虛擬內存，這部分空間被稱為交換空間（Swap Space）。</font><font style="color:rgb(6, 6, 7);">對應的文件稱為交換文件（Swap File），它允許系統將一些不常用的內存頁移動到硬盤上，從而為需要更多內存的進程釋放空間。</font>
