企业官网建设流程全解析

Flower Model 文档体系解读：Endeavor 1.0 与 Lizzy 7B 的模型指南、运行部署与 GGUF 量化实践

【免费下载链接】flowerFlower: A Friendly Federated AI Framework项目地址: https://gitcode.com/GitHub_Trending/flo/flower

Flower（A Friendly Federated AI Framework）在构建协作式 AI 工具与模型的基础上，推出了独立的模型项目（Flower Model program），并配套了完整的模型文档体系。本文以仓库中 model/docs/source/index.rst 的文档索引为骨架，系统梳理 Flower Labs 当前公开的两个模型——frontier-class 通用模型 Endeavor 1.0 与面向英国（UK）场景的 7B 级开源模型 Lizzy 7B——的模型规格、训练评估方法、本地与 GPU 运行方式、GGUF 量化选型、硬件规划、企业部署路径以及常见故障排查要点。读完本文，你将掌握如何在 Transformers、vLLM、llama.cpp 等运行时中运行 Lizzy 7B，如何为 Endeavor 1.0 配置 Codex 与 OpenCode 客户端，并能依据硬件需求表格为不同模型格式规划内存与磁盘。

Flower Model 文档体系：一个模型导向的文档导航

model/docs/source/index.rst 是 Flower Model 文档的入口页。它明确了这套文档的目标读者与用途：Flower 模型既包括开源权重（open-weight）发布，也包括通过 Flower 托管（Flower-managed）或受支持私有部署（private deployments）提供的模型。文档页面描述模型的能力（capabilities）、发布格式（release formats）、部署选项（deployment options）、评估结果（evaluation results）、安全信息（safety information）与局限（limitations）。

通过该文档体系，读者可以：

• 了解 Flower Labs 模型发布的预期用途与局限；
• 在可用情况下，在全精度（full-precision）与量化（quantized）模型产物之间做选择；
• 通过 Python 库与 serving 运行时在本地运行受支持模型，或通过 Flower 托管与私有部署使用模型；
• 查阅架构、评估与安全信息。

索引页将全部子文档组织为三大类：

• 模型指南（Model guides）：介绍各模型本身，包括 endeavor 与 lizzy-7b；
• How-to 指南（How-to guides）：提供分步操作说明，包括 enterprise（企业合作）与 how-to-run-lizzy（如何运行 Lizzy）；
• 说明文档（Explanations）：介绍评估、发布格式与部署权衡的背景知识，包括 lizzy-training-and-evaluation、lizzy-gguf 与 troubleshooting。

索引页还明确给出了当前模型项目的时间线：最新的模型是Endeavor 1.0（正处于 preview 阶段的 frontier-class 通用模型），第一个有完整文档的模型则是Lizzy 7B（面向英国的 7B 级助手模型，同时提供 BF16 Safetensors 检查点与 GGUF 量化版本）。

Endeavor 1.0：面向推理、编码与长程 Agent 任务的通用模型

endeavor.rst 详细介绍了 Flower Labs 的 frontier-class 语言模型。Endeavor 1.0 被定位为跨产品、跨 Agent、跨复杂工作流的核心通用模型，而非为单一 benchmark 家族做窄优化。它是 Flower 模型项目中的第二个模型，紧随面向英国场景的 sovereign 7B 模型 Lizzy 7B 之后。

关于发布状态，文档使用了两个关键限定词：

• production-ready：描述的是受支持的托管（managed）与私有（private）部署路径；
• preview：描述的是当前限量、需申请的可用性。

Endeavor 1.0 提供两种运行模式：

1. Flower 托管服务（Flower-managed service）：通过熟悉的模型 API 与响应格式，从现有应用与 Agent 框架中调用 Endeavor 1.0；
2. 私有部署（Private deployment）：在自己的环境中自托管，Flower 在你的数据、基础设施与系统上提供支持。

需要特别注意的是：私有部署是受支持的运行方式，但Endeavor 1.0 当前不以公开开源权重（open-weight）形式发布。

模型速览

获取访问权限

preview 期间，Endeavor 1.0 的访问是**按请求（by request）**提供的，团队会 onboarding 有限数量的组织与合作伙伴。拿到 Flower API key 后，即可将 Endeavor 接入 ChatGPT/Codex 或 OpenCode，两份指南覆盖了使用 Flower 托管服务的 CLI 与桌面端用法。

在集成之前，已获批准的参与方应在 onboarding 期间确认部署相关细节：endpoint 与凭据、模型标识符、支持的 API 与响应格式、上下文限制、工具与流式支持、用量限制以及支持渠道。这些细节在 Flower 托管服务与私有部署之间可能不同。完整的技术契约仅在 onboarding 期间提供给已批准的参与方，不随公开文档发布。

架构与配置思路

Endeavor 1.0 是作为一个完整的 AI 系统而非一组权重来优化的：它针对模型在推理时的推理方式、上下文构建与维护方式、工具使用方式，以及步骤失败时的检查、修正与恢复方式进行调优。这些行为在多个自定义编码与 Agent harness 中开发与评估，覆盖不同的工具集、交互格式与执行环境，从而保证性能迁移到真实工作流，而非依赖单一 benchmark 设置。

在托管服务中，Flower 负责部署、扩缩容与模型运维；在私有部署中，你在自己的环境运行 Endeavor 1.0，并可自行决定何时采纳升级，保留独立于任何单一供应商运营 Endeavor 1.0 的选项。

训练方法：成熟基础加 Flower 专属能力

Endeavor 1.0 的构建起点与 Lizzy 不同：它建立在成熟、广泛可用的领先开源权重模型能力之上，再加上 Flower 模型项目开发的能力。文档归纳为四个要点：

• 成熟基础（Mature foundation）：来自领先开源权重模型的通用语言理解、公共知识与常见编码模式，不从头重建生态已有的能力；
• Flower 专属能力（Flower-specific capabilities）：从 Lizzy 继承的英国专家知识与推理能力，加上为 Endeavor 1.0 开发的新模型行为、专业能力与训练进展；
• 持续预训练、定向后训练与模型集成：这些阶段将两部分优势整合，并允许 Endeavor 1.0 随时间精炼；
• 真实企业工作流信号：FlowerBench可在不移动底层专有数据的前提下，对真实的高价值企业工作流进行可重复评估。任务由加入 Flower Enterprise Evaluation Network 的组织贡献，并在它们自己的环境中运行，端到端信号指导 Endeavor 1.0 的评估设计、harness 开发、后训练与系统级改进。

评估亮点（跨来源对比，仅供参考）

文档将 Endeavor 1.0 在四个核心评估上的结果，与分别报告的领先闭源与开源权重模型分数并列（包括 GPT-5.6 Sol、Claude Fable 5、Kimi K3、Nemotron 3 Ultra）：

文档对此对比做了严谨的限定：Endeavor 1.0 的 HumanEval 分数是这组跨来源对比中最高的；AIME 2026 分数与 GPT-5.6 Sol、Claude Fable 5 报告值持平；在 HumanEval、IFEval、AIME 2026 三项上超过 Kimi K3 报告值，并在全部四项上超过 Nemotron 3 Ultra 报告值；而在 GPQA 上落后于 GPT-5.6 Sol、Claude Fable 5 与 Kimi K3，IFEval 上落后于 GPT-5.6 Sol。由于对比模型分数来自各供应商与第三方评估（不同 harness、不同设置），跨模型对比应视为指示性的，而非受控的正面较量。Endeavor 1.0 的分数反映的是 Flower 对 2026 年 8 月 31 日可用 launch 配置的内部评估。

安全与局限

Endeavor 1.0 可能出错：可能产生不正确、过时、不完整或过度自信的响应。重要输出需在使用前验证，不应将其作为医疗、法律、金融、安全关键或其他高影响决策的唯一依据；高风险工作流需要适当的人工监督、领域审查、访问控制、监控与下游内容审核。作为通用模型，其语气、假设与响应仍可能反映训练数据与系统设计中的局限或偏差。

Lizzy 7B：面向英国场景的开源 7B 语言模型

lizzy-7b.rst 是第一个被完整记录在案的 Flower 模型。Lizzy 7B 是 Flower Labs 的开源权重语言模型，面向通用助手、推理、编码辅助以及英国导向（UK-oriented）的语言与知识场景，在 Hugging Face 上以两种格式发布：

• BF16 Safetensors 检查点：面向 Transformers、vLLM、SGLang 及其他 GPU serving 技术栈；
• GGUF 量化版本：面向支持 Lizzy GGUF 架构的本地推理运行时（当前已冒烟测试通过relogu/llama.cpp的lorenzo-dev分支与Q4_K_M文件）。

模型速览

架构与配置

Lizzy 7B 是 32 层 decoder-only transformer，支持长上下文。发布版本使用 32 个注意力头、滑窗/局部注意力行为、自定义 chat/control tokens，以及部署相关的 serving 配置。GGUF 发布报告的服务导向配置如下：

• 32 层，post-norm 架构；
• hidden size 4096；
• 滑窗注意力：4096-token 窗口加上全注意力行为；
• YaRN RoPE 缩放，factor 8.0，original context 8192；
• 词汇表 100,278 tokens；
• 上下文 65,536 tokens。

训练方法

Lizzy 7B 通过多阶段训练流程产生：

1. 预训练：大规模公开文本、文档、代码、数学与百科语料；
2. 监督微调：指令跟随、对话、推理与工具使用示例；
3. 直接偏好优化（DPO）：使用偏好对提升有用性、风格与回答质量；
4. 带可验证奖励的强化学习（RLVR）：针对目标行为进行定向精炼。

训练数据来源包括广泛的公开文本与知识源、指令与偏好数据，以及英国特定示例与偏好信号。

评估亮点

发布文档将 Lizzy 7B 与 EuroLLM 9B、Apertus 8B 在英国导向 benchmark 与更广泛的公开 benchmark 上做了对比。英国导向基准（Britishness 系列）结果：

推理、数学、知识与编码基准结果：

总结：Lizzy 7B 在 Britishness MCQ 这类 recall 型探测上落后于对比组，但在 Britishness CoT、Britishness 领域推理以及所列的大多数推理、数学、知识与编码 benchmark 上领先。

安全评估与局限

Lizzy 7B 应被视为可能出错的助手模型：可能产生不正确、过时或过度自信的响应，高风险工作流需要人工监督、领域审查与下游内容审核。英国导向的调优改善了本地风格与文化对齐，但也可能使语气与假设偏向英国惯例。

安全评估摘要（评估信号，非保证）：

运行 Lizzy：Transformers、vLLM 与 GGUF 本地推理全路径

how-to-run-lizzy.rst 给出了从 Hugging Face 运行 Lizzy 7B 的最常见方式。选型原则很清晰：需要全精度、Transformers/vLLM serving、张量并行或微调时用 BF16 检查点；使用支持 Lizzy GGUF 架构的本地运行时、想要更小文件或本地推理时用 GGUF。动手前先参考 hardware-requirements 做内存、磁盘与长上下文规划。

用 Transformers 运行（BF16，全精度）

需要 Python 3.10+，并安装 PyTorch、Transformers 5.x、jinja2与protobuf。Transformers 5.x 包含 Lizzy tokenizer 元数据所用的TokenizersBackendtokenizer 类：

pip install "transformers>=5,<6" torch accelerate jinja2 protobuf

加载基础检查点（必须trust_remote_code=True）：

import torch from transformers import AutoModelForCausalLM, AutoTokenizer repo_id = "flwrlabs/Lizzy-7B" tokenizer = AutoTokenizer.from_pretrained(repo_id, trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained( repo_id, trust_remote_code=True, torch_dtype=torch.bfloat16, device_map="auto", ) messages = [ {"role": "system", "content": "You are Lizzy 7B."}, {"role": "user", "content": "Summarise why queue etiquette matters in the UK."}, ] prompt = tokenizer.apply_chat_template( messages, tokenize=False, add_generation_prompt=True, ) inputs = tokenizer(prompt, return_tensors="pt").to(model.device) output_ids = model.generate( **inputs, max_new_tokens=512, do_sample=False, ) response = tokenizer.decode( output_ids[0][inputs["input_ids"].shape[-1] :], skip_special_tokens=True, ) print(response)

该路径已在 macOS 上使用 Python 3.13、torch==2.12.0、transformers==5.9.0与 BF16 检查点验证：AutoTokenizer、chat-template 渲染与默认缓存生成均返回预期的短响应。

用 vLLM 运行（GPU serving，OpenAI 兼容 API）

vLLM 暴露 OpenAI 兼容 API，适合 Linux GPU 服务器：

pip install vllm vllm serve "flwrlabs/Lizzy-7B" --trust-remote-code

创建request.json：

{ "model": "flwrlabs/Lizzy-7B", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }

调用服务器：

curl -X POST "http://localhost:8000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data @request.json

该路径已用vllm==0.21.0与torch==2.11.0+cu130在单张 NVIDIA A40 与 H100 上冒烟测试：H100 上 OpenAI 兼容服务器正常响应，进程内生成在max_model_len=32768内通过短测试。张量并行方面，tensor_parallel_size=2（双 H100）与tensor_parallel_size=4（四 A40）的进程内生成通过（Lizzy 的 attention reshape 逻辑已更新为使用本地张量并行头数）；但tensor_parallel_size=8与"OpenAI 兼容 serving + 张量并行"在此轮测试未完成，生产环境依赖多 GPU serving 前务必单独验证确切的 vLLM 服务器配置。运行时支持可能随 vLLM 版本、GPU 代际与后端而变化。

用 llama.cpp 运行 GGUF 模型

GGUF 发布版为支持 Lizzy GGUF 架构的本地运行时提供量化文件。下方命令使用当前经测试的 Lizzy 兼容 llama.cpp fork 与分支；一旦上游 llama.cpp 或打包运行时支持general.architecture = lizzy，即可改用之：

git clone --branch lorenzo-dev https://github.com/relogu/llama.cpp.git cd llama.cpp cmake -B build -DCMAKE_BUILD_TYPE=Release cmake --build build --config Release --target llama-completion llama-server ./build/bin/llama-server \ -hf flwrlabs/Lizzy-7B-GGUF:Q4_K_M \ -c 1024

若运行时报告unknown model architecture: 'lizzy'，说明其不含 Lizzy GGUF 支持，应改用 Lizzy 兼容构建，或改用 Transformers 运行 BF16 检查点（详见 troubleshooting）。

终端直接补全：

./build/bin/llama-completion \ -hf flwrlabs/Lizzy-7B-GGUF:Q4_K_M \ -p "Q: 2+2? A:" \ -n 16 \ -c 1024

在受限的 macOS、虚拟化或沙箱环境中，Metal 设备初始化可能失败。强制使用小规模 CPU-only 冒烟测试：

./build/bin/llama-completion \ -hf flwrlabs/Lizzy-7B-GGUF:Q4_K_M \ -p "Q: 2+2? A:" \ -n 16 \ -c 1024 \ -t 2 \ -dev none \ -ngl 0 \ --no-op-offload

用 llama-cpp-python 运行 GGUF 模型

该路径需要链接到支持 Lizzy GGUF 架构的 llama.cpp 版本的 llama-cpp-python 构建，且可能要求其对 Lizzy 内嵌 chat template 的支持。若初始化时报未知 Jinjageneration标签错误，可改用 llama.cpp server 路径或参考 troubleshooting。兼容性 shim 示例：

import llama_cpp.llama_chat_format as chat_format from llama_cpp import Llama original_init = chat_format.Jinja2ChatFormatter.__init__ def lizzy_chat_template_init( self, template, eos_token, bos_token, add_generation_prompt=True, stop_token_ids=None, ): template = template.replace("{% generation %}", "") template = template.replace("{% endgeneration %}", "") return original_init( self, template, eos_token, bos_token, add_generation_prompt, stop_token_ids, ) chat_format.Jinja2ChatFormatter.__init__ = lizzy_chat_template_init llm = Llama( model_path="/path/to/lizzy-7b-q4_k_m.gguf", n_ctx=1024, n_gpu_layers=-1, ) output = llm.create_chat_completion( messages=[ {"role": "system", "content": "/no_think"}, {"role": "user", "content": "Reply with exactly: ok"}, ], max_tokens=16, temperature=0, ) print(output["choices"][0]["message"]["content"])

用 Ollama 与桌面 GGUF 应用运行

Ollama 支持处于开发中：当前公开构建可能尚未包含 Lizzy GGUF 架构的后端支持。在此支持可用前，优先使用上述 Lizzy 兼容 llama.cpp 路径：

ollama run hf.co/flwrlabs/Lizzy-7B-GGUF:Q4_K_M

LM Studio、Jan 等桌面 GGUF 应用同样处于开发中。使用前先确认应用版本自带的 llama.cpp 后端能识别general.architecture = lizzy；若应用允许自定义后端，可指向 Lizzy 兼容的 llama.cpp 构建并导入flwrlabs/Lizzy-7B-GGUF量化文件之一；若报告unknown model architecture: 'lizzy'，请更新应用后端或直接使用 llama.cpp。

运行时选型速查

生成设置建议

GGUF 示例使用temperature=0.6、top_p=0.95。对确定性强的文档、编码或抽取任务，从更低温度如0.2起步；对更口语化的对话输出，可逐步提高温度并评估事实性与风格。

硬件规划：按格式、上下文与批处理规划内存和磁盘

hardware-requirements.rst 给出 Lizzy 7B 的硬件规划指南。硬件需求取决于模型格式、运行时、上下文长度与批处理，文中的数字是规划参考，生产环境须在确切运行时与提示长度上验证。

推荐起点

磁盘空间

规划模型文件、缓存重复与临时下载文件。GGUF 仓库的变体从 Q4_K_M 约 4.5 GB 到 f16 文件约 14.6 GB；BF16 Safetensors 检查点占用比 GGUF 量化版更多磁盘。舒适本地配置建议至少保留所选模型大小 2 倍的可用空间，以容纳 Hugging Face 缓存、部分下载与运行时元数据。

上下文长度与 KV cache

长上下文即使在模型权重装下后仍会增加内存使用。Lizzy 使用 32 层、hidden size 4096、32 个注意力头；BF16/FP16 KV cache 下，batch size 1 的粗略上限约为每 token 0.5 MB：

批处理与并发请求会成倍增加 KV cache 用量。若运行时使用 KV cache 量化或 paged attention，内存可能更低，但依赖前须验证实际配置。

CPU、内存与运行时支持

GGUF 本地推理优先选择内存带宽高的现代 CPU。Apple Silicon 机器在运行时支持该模型架构并可访问 Metal 设备时能有效利用统一内存；在虚拟化、沙箱或受限 macOS 环境中，先做 CPU-only 冒烟测试再启用 GPU 卸载。在 Apple M3 Ultra Mac Studio 上，Lizzy 兼容 llama.cpp 分支将 Q4_K_M 全部 33 层卸载到 Metal 并完成短补全与 server 测试——这属于能力检查而非吞吐量保证。GPU serving 方面，vLLM 优先选择支持 CUDA 的 Linux 系统。最后强调：硬件是必要但不充分条件，GGUF 运行时还必须支持general.architecture = lizzy，否则参考 troubleshooting。

GGUF 量化选型：从 Q4_K_M 到 f16

lizzy-gguf.rst 专门讲解 GGUF 量化文件的选择。GGUF 版本适用于需要 CPU 推理、灵活 GPU 层卸载、更小模型文件、支持 Lizzy GGUF 架构的本地运行时，以及快速本地加载的场景。

可用变体

所有列出的 GGUF 文件均使用 Lizzy 兼容的relogu/llama.cpp分支在 commit991a41b上以 CPU-only 推理、n_ctx=512、短提示完成冒烟测试。推荐默认：质量优先且希望模型紧凑时用 Q5_K_M；内存或磁盘紧张时用 Q4_K_M；质量敏感基准测试或本地资源宽裕时用 Q8_0 或 f16。

架构细节

GGUF 发布报告：基础模型 Lizzy 7B；32 层 post-norm；hidden size 4096；滑窗注意力 4096 加全注意力；YaRN RoPE 缩放 factor 8.0、original context 8192；词汇表 100,278 tokens；上下文 65,536 tokens；tensors 355 个（含attn_post_norm与ffn_post_norm）。

推理行为与格式选择

Lizzy 7B 在最终答案前可能发出推理 tokens（reasoning tokens），直接暴露模型输出的应用应根据产品与安全要求决定展示、隐藏或后处理推理痕迹。何时用 GGUF：CPU 推理、灵活 GPU 层卸载、更小文件、支持 Lizzy GGUF 架构的本地运行时、快速加载。何时用 BF16 Safetensors 检查点：需要全精度、使用 Transformers 或 vLLM、需要 GGUF 运行时不具备的 serving 功能、想微调模型。

GGUF 示例（llama.cpp server）

git clone --branch lorenzo-dev https://github.com/relogu/llama.cpp.git cd llama.cpp cmake -B build -DCMAKE_BUILD_TYPE=Release cmake --build build --config Release --target llama-server ./build/bin/llama-server \ -hf flwrlabs/Lizzy-7B-GGUF:Q5_K_M \ -c 1024

之后即可使用 llama.cpp Web UI 或llama-server暴露的 OpenAI 兼容本地 API。

Lizzy 训练与评估方法

lizzy-training-and-evaluation.rst 对 Lizzy 7B 的方法做了高层总结（不依赖非公开实现细节）：

• 预训练：大规模公开文本、文档、代码、数学与百科语料；
• 监督微调：指令跟随、对话、推理与工具使用示例；
• 直接偏好优化：偏好对用于改进有用性、风格与回答质量；
• 带可验证奖励的强化学习：使用可验证奖励信号做定向行为精炼。

数据混合：广泛公开文本与知识源、指令与偏好数据、英国特定示例与偏好信号；完整训练数据混合不随公开检查点再分发。评估覆盖英国导向 benchmark、通用知识与推理、编码、数学、指令跟随与安全评估；对比组为 EuroLLM 9B 与 Apertus 8B。发布与服务工作流：GGUF 发布为 llama.cpp 兼容的本地部署文件；BF16 Safetensors 发布是全精度 GPU serving、微调与 Transformers/vLLM 工作流的目标。

将 Endeavor 接入 ChatGPT/Codex 与 OpenCode

endeavor-chatgpt-codex.rst 与 endeavor-opencode.rst 分别给出用 Codex 与 OpenCode 接入flower-endeavor（endpoint 为https://api.flower.ai/v1）的步骤（命令以 macOS 默认 shell zsh 为例）。前置条件均为拥有 Endeavor 访问权限的 Flower API key。

Codex CLI 与 ChatGPT/Codex 桌面端

第 1 步：保存模型目录。将文档附带的 flower-models.json 下载到Downloads目录（保持文件名），它让Endeavor出现在模型选择器中并定义其能力：

mkdir -p "$HOME/.codex" cp "$HOME/Downloads/flower-models.json" "$HOME/.codex/flower-models.json" printf 'model_catalog_json = "%s/.codex/flower-models.json"\n' "$HOME"

第 2 步：配置 Codex。CLI 与桌面端共享~/.codex/config.toml。创建/备份后编辑，前四个设置保持在顶层（任何[section]之前），将model_catalog_json替换为第 1 步打印的行，并更新已有 key 而非添加重复项：

model = "flower-endeavor" model_provider = "flower" model_reasoning_effort = "low" model_catalog_json = "/Users/YOUR_USERNAME/.codex/flower-models.json" [model_providers.flower] name = "Flower Labs" base_url = "https://api.flower.ai/v1" wire_api = "responses" env_key = "FLOWER_API_KEY"

第 3 步：设置 Flower API key。输入隐藏、不写入 shell 历史：

read -rs 'FLOWER_API_KEY?Flower API key: ' echo export FLOWER_API_KEY

第 4 步：开始使用。CLI 在同一终端进入项目目录后运行codex，Endeavor 默认被选中；新终端会话需重复第 3 步。桌面端需完全退出应用，在同一终端运行launchctl setenv FLOWER_API_KEY "$FLOWER_API_KEY"使 key 对从 Dock 打开的应用可用，重开后新建本地 Codex 任务并在模型选择器中选Endeavor。退出/重启 macOS 后需重复第 3 步与launchctl命令；移除 key 使用launchctl unsetenv FLOWER_API_KEY。

OpenCode CLI 与 OpenCode Desktop

第 1 步：配置 OpenCode。创建~/.config/opencode目录并将以下内容保存为opencode.json（已有文件则备份后合并，保留无关配置）。@ai-sdk/openai必须保持原样，因为它使用本设置所需的 Responses API：

{ "$schema": "https://opencode.ai/config.json", "model": "flower-labs/flower-endeavor", "provider": { "flower-labs": { "npm": "@ai-sdk/openai", "name": "Flower Labs", "options": { "baseURL": "https://api.flower.ai/v1", "apiKey": "{env:FLOWER_API_KEY}" }, "models": { "flower-endeavor": { "name": "Endeavor" } } } } }

第 2 步：与 Codex 相同的read -rs方式设置并导出FLOWER_API_KEY。第 3 步：CLI 用opencode --model flower-labs/flower-endeavor启动；桌面端先完全退出，运行launchctl setenv FLOWER_API_KEY "$FLOWER_API_KEY"，重开后新建会话并从Flower Labs下选择Endeavor。

企业部署与定制

enterprise.rst 说明 Flower Labs 与希望评估、部署、适配或集成 Flower 模型（含 Endeavor 1.0 与 Lizzy）的组织合作。企业合作范围包括：领域特定提示/策略/工作流上的机密评估；Flower 托管与私有 Endeavor 部署的访问规划、集成与部署指导；发布兼容产物的模型的 GPU serving、本地推理与量化部署指导；语气、术语、检索与任务表现的模型适配；生产使用的安全、监控与质量审查；与现有应用、数据系统与治理流程的集成。

典型合作对应关系：

故障排查要点

troubleshooting.rst 汇总了文档运行时无法干净启动或返回加载错误时的排查方案。核心要点如下：

• GGUF 运行时报告未知架构：报错unknown model architecture: 'lizzy'表示运行时不支持 Lizzy GGUF 架构。冒烟测试结论：stock llama.cpp 9330 与 llama-cpp-python 0.3.23 均因架构不支持在加载时失败；使用relogu/llama.cpp的lorenzo-dev分支（commit991a41b）后，llama-completion、-hf快捷方式、Metal 卸载、CPU-only 推理与llama-server均成功；Ollama 0.23.4 会下载后返回unable to load model（需包含 Lizzy 架构支持的后端，开发中）；LM Studio/Jan 等桌面应用开发中，使用前检查其后端 llama.cpp 版本。
• Metal 初始化失败（macOS）：报错ggml_metal_init: error: failed to create command queue属于环境或设备访问问题，可用 CPU-only 冒烟测试规避：-t 2 -dev none -ngl 0 --no-op-offload。
• Hugging Face 快捷方式缓存问题：可用HF_HOME=/tmp/... LLAMA_CACHE=/tmp/...设置临时缓存；离线模式下若缺失预设/元数据文件，可先不带--offline跑一次填充缓存；探测期间的非致命HEAD failed, status: 404不影响最终加载。
• llama-cpp-python 解析 chat template 失败：报错Encountered unknown tag 'generation'时，在构造Llama前应用去除{% generation %}/{% endgeneration %}标签的 shim（上文代码）。
• vLLM 安装或 serving 本地失败：vLLM 面向受支持的加速器环境（常见为 Linux GPU 服务器），应先在与目标相同的 GPU 环境测试。单 A40（FlashAttention 2）与 H100（FlashAttention 3）上用vllm==0.21.0、torch==2.11.0+cu130通过短生成测试；gpu_memory_utilization=0.72下 H100 报告约 50.7 GiB 可用 KV cache，最大并发约 100x（1024 tokens）至 4x（32768 tokens）——均为冒烟观察而非生产容量保证。张量并行在tensor_parallel_size=2（H100）与=4（A40）通过（需较新模型快照，包含modeling_lizzy.py的本地张量并行头数处理）；旧快照可能报shape '[1, 16384, 32, 128]' is invalid，可清缓存或固定到新 revision。tensor_parallel_size=8与 vLLM serving + 张量并行尚未验证。其他环境陷阱：H100 Slurm 节点上 FlashInfer 采样 JIT 需要ninja在PATH；Triton/CUDA 工具编译失败需检查编译器、CUDA 驱动库、Python 头与TMPDIR；V100（compute capability 7.0）不支持torch==2.11.0+cu130内核（可用vllm==0.10.2、torch==2.8.0+cu128、transformers==5.9.0、dtype=float16、max_model_len=1024、VLLM_USE_V1=0的 XFormers 回退路径，并需all_special_tokens_extended兼容 shim）。
• Transformers AutoTokenizer 失败：报错Tokenizer class TokenizersBackend does not exist or is not currently imported表示 Transformers 版本不含TokenizersBackend，请用 Python 3.10+ 并安装"transformers>=5,<6" jinja2 protobuf（transformers==5.9.0+ Python 3.13 已验证）。
• Transformers 生成报 token_type_ids 或 cache 错误：推荐路径（Transformers 5.x）无需任何 workaround；若被锁定在 Transformers 4.x 或使用手动PreTrainedTokenizerFast方案，生成前移除token_type_ids并向generate传use_cache=False。
• RoPE 缩放警告：加载 Transformers config 时可能提示显式 RoPE factor 与隐式 factor 不同，来自模型配置，请在目标运行时验证生成质量并固定部署所用 revision。
• 下载体积大：最小 GGUF 变体也有数 GB，BF16 检查点更大；受限机器在运行时支持 Lizzy GGUF 后从 Q4_K_M 起步。
• curl 无法连接：确认 OpenAI 兼容服务器已在localhost:8000启动、端口正确、请求体中的模型名与所服务模型一致。

结语：从文档到实践的完整闭环

Flower Model 文档体系以 index.rst 为入口，围绕 Endeavor 1.0 与 Lizzy 7B 两条主线提供了从模型规格、训练方法、评估数据到运行部署、硬件规划、量化选型、客户端集成与企业合作的完整闭环。对开发者而言，最实用的路线是：先用 hardware-requirements 规划资源，再按 how-to-run-lizzy 在 Transformers/vLLM/llama.cpp 中跑通 BF16 或 GGUF 版本，遇到问题时查阅 troubleshooting；对希望在企业中评估或部署 Flower 模型的团队，则可结合 enterprise 与 Endeavor 的客户端接入指南（ChatGPT/Codex、OpenCode）推进。文档构建配置位于 conf.py，整套 RST 源文件均在 model/docs/source 目录下，方便按需深读与复现。

【免费下载链接】flowerFlower: A Friendly Federated AI Framework项目地址: https://gitcode.com/GitHub_Trending/flo/flower