参考链接
任意边缘设备部署大语言模型
一、部署模型
step.01：从github仓库下载llama.cpp项目源码
git clone https://github.com/ggml-org/llama.cpp
step.02：编译llama.cpp项目源码
cmake -B build
cmake --build build --config Release
step.03：安装HuggingFace_Hub Python环境，推荐使用env虚拟环境安装。
python3 -m venv .env
source .env/bin/activate
pip install huggingface_hub
step.04：从HuggingFace_Hub下载大模型到本地传输到开发板，以阿里的Qwen大模型为例。
https://huggingface.co/Qwen/Qwen3-0.6B-GGUF/
（这里我将本地大模型传输到开发板使用的是jupyter，当然网上又有很多传输方法，这里就不详细说明）
step.05：使用llama.cpp加载Qwen3大模型，并生成Restful服务。
注意把模型权重仿真llama.cpp文件目录下
./build/bin/llama-cli -m ./Qwen3-0.6B-Q8_0.gguf -c 2048 -t 4 -cnv
二、模型运行
这里由于Qwen3-0.6B只支持LLM大语言模型，所以这里只展示语言模型输出，其他模型可以自行到Hugginghub下载，再部署到开发板即可。
