Llama：Meta 开源大语言模型，近 6 万 Star

Llama：Meta 开源大语言模型，近 6 万 Star

Meta 的开源大语言模型 Llama，在 GitHub 上拿到了 59,453 个 Star。

Llama 是 Meta 发布的开源大语言模型，提供 7B、13B、70B 三种参数规模，包含预训练和微调两个版本。模型权重和推理代码完全公开，研究者和企业都可以直接使用。

这个仓库目前已标记为废弃。Meta 在 Llama 3.1 发布时将项目拆分为多个独立仓库，分别负责模型本体、安全工具、推理微调工具链、智能体系统和社区示例。

模型获取

到 Meta 官网提交申请并同意许可协议后，会收到包含下载链接的邮件。链接有效期 24 小时，配合仓库中的 download.sh 脚本即可拉取模型权重和 tokenizer。

Hugging Face 上也提供了下载渠道。在模型卡片页面确认许可后，大约一小时内可以访问同版本的全部模型。

快速上手

本地运行需要 PyTorch 和 CUDA 环境。克隆仓库后执行 pip install -e . 安装依赖，再用 torchrun 启动推理：

torchrun --nproc_per_node 1 example_chat_completion.py \ --ckpt_dir llama-2-7b-chat/ \ --tokenizer_path tokenizer.model \ --max_seq_len 512 --max_batch_size 6

不同规模的模型需要不同的并行度。7B 用 1 张卡，13B 用 2 张，70B 需要 8 张。序列长度最长支持 4096 token，缓存空间根据 max_seq_len 和 max_batch_size 预分配。

预训练和微调

预训练模型没有针对对话做过调优，需要通过 prompt 引导自然续写。微调后的 chat 模型使用特定的格式化标签，包括 INST、SYS 标签以及 BOS 和 EOS token，仓库中有对应示例代码。

许可证

Llama 的模型和权重对研究者和商业实体均可使用，附带 LICENSE 文件和使用政策。Meta 还提供了负责任使用指南，帮助开发者应对模型可能带来的风险。

用政策。Meta 还提供了负责任使用指南，帮助开发者应对模型可能带来的风险。