如何安全下载 Llama 3 模型权重?官方脚本与 Hugging Face 双渠道完整指南
【免费下载链接】llama3The official Meta Llama 3 GitHub site项目地址: https://gitcode.com/GitHub_Trending/ll/llama3
本文以 Meta 的 Llama 3 开源项目为例,讲清通过官方 download.sh 脚本与 Hugging Face 两条渠道获取模型权重的完整流程,以及下载后如何确认文件没有损坏。
两种下载渠道怎么选
| 对比维度 | 官方 download.sh 脚本 | Hugging Face |
|---|---|---|
| 准入条件 | 需先在 Meta 官网申请,拿到邮件里的 Presigned URL | 需要 Hugging Face 账号并申请模型访问令牌 |
| 适用场景 | 生产环境部署,可一次拉取全部四个规格 | 开发调试、快速跑通验证 |
| 得到内容 | .pth分片文件,附带checklist.chk校验清单 | safetensors 等分片文件 |
官方 download.sh 脚本执行步骤
准备工作
🔑 开始之前,确认三件事:
- 已在 Meta 官网完成访问申请,并从邮件中拿到 Presigned URL
- 机器上装有
wget和md5sum - 磁盘空间留够:8B 模型 ≥ 20GB,70B 模型 ≥ 140GB
拉取仓库并运行脚本
把仓库克隆到本地,然后直接执行下载脚本:
git clone https://gitcode.com/GitHub_Trending/ll/llama3 cd llama3 bash download.sh脚本是交互式的,依次填入邮件里的 URL 和想下载的规格(8B、8B-instruct、70B、70B-instruct,回车则全部下载):
Enter the URL from email: https://download.llamameta.net/... Enter the list of models to download without spaces (8B,8B-instruct,70B,70B-instruct), or press Enter for all: 8B-instruct每下载完一个模型,脚本会自动执行一次 MD5 校验。如果看到checklist.chk: FAILED这类输出,说明该模型文件损坏:删掉对应的模型目录(如Meta-Llama-3-8B-Instruct)后重新运行脚本即可,wget会接着断点续传。
通过 Hugging Face 获取模型权重
这条渠道不需要 Presigned URL,适合开发测试。先装项目依赖并登录账号:
pip install -r requirements.txt huggingface-cli login登录时输入你的访问令牌。之后在 Python 里调用snapshot_download拉取 8B 指令版模型:
from huggingface_hub import snapshot_download snapshot_download( repo_id="meta-llama/Llama-3-8B-Instruct", local_dir="./Meta-Llama-3-8B-Instruct" )如果只需要部分文件,比如想跳过体积大的分片,给snapshot_download加一个ignore_patterns=["*.safetensors"]即可按需过滤。
下载后如何确认模型文件完好
三条路径,从快慢、成本高低排列:
跑 MD5 校验(仅官方渠道有效)。进入模型目录执行:
cd Meta-Llama-3-8B-Instruct md5sum -c checklist.chk预期结果是每个
.pth文件各输出一行OK,没有任何FAILED。核对 params.json 关键参数。打开模型目录下的
params.json,8B 规格下dim应为 4096、n_layers应为 32、n_heads应为 32、vocab_size应为 128256,一致说明配置文件完整。运行官方示例做端到端验证:
python example_chat_completion.py \ --ckpt_dir ./Meta-Llama-3-8B-Instruct \ --tokenizer_path ./Meta-Llama-3-8B-Instruct/tokenizer.model预期是程序对内置问题(如"mayonnaise 的配方是什么")输出正常的模型回复,说明权重可加载、可生成。
常见下载故障排查
| 现象 | 原因 | 处理 |
|---|---|---|
| 下载中途报 403 Forbidden | Presigned URL 已过期或权限失效 | 回官网重新申请,换用新 URL |
md5sum -c校验失败 | 网络传输导致文件不完整 | 删除对应.pth文件重新下载;反复失败则删掉整个模型目录重跑脚本 |
| 加载 70B 模型时内存溢出 | 70B 规格显存/内存需求过高 | 改用 8B 模型,或为机器扩容、增加 swap |
✅ 三条渠道的坑基本就这些:官方渠道重点盯 URL 时效与校验输出,Hugging Face 渠道重点确认令牌权限。
部署前请先阅读 USE_POLICY.md,按条款使用模型,避免涉足军事、医疗等受限领域。
接下来你可以:
- 跑通 example_chat_completion.py,直观感受 8B 模型的对话效果
- 查看 MODEL_CARD.md,确认模型的能力边界后再决定用途
- 先用 8B 在本地验证校验流程无误,再向目标环境迁移 70B 等大规格
【免费下载链接】llama3The official Meta Llama 3 GitHub site项目地址: https://gitcode.com/GitHub_Trending/ll/llama3
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考