Fay 数字人框架实战上手:克隆、选型到部署,讲清带货、助理与 Agent 三版
【免费下载链接】Fayfay是一个帮助数字人(2.5d、3d、移动、pc、网页)或大语言模型(openai兼容、deepseek)连通业务系统的agent框架。项目地址: https://gitcode.com/GitHub_Trending/fay/Fay
直播间的弹幕刚飘过"有货吗",屏幕里的虚拟导购就该开口接话了。Fay 是一个开源数字人 agent 框架,把 2.5D、3D 数字人与 OpenAI 兼容的大语言模型连通,再对接弹幕、知识库、设备控制等业务系统。
定位与选型
Fay 一句话定位:给数字人或大语言模型套上能接业务的 agent 外壳,按你要它"卖货、办事、还是替你盯事"来选分支。
| 版本(分支名) | 核心能力 | 适用人群 |
|---|---|---|
| 带货版(fay-sales-edition) | 监听 B 站、微信视频号弹幕,情感分析后实时回应、推荐商品 | 直播间运营、虚拟销售 |
| 助理版(fay-assistant-edition) | 语音交互、执行任务、开关设备、查询知识库 | 个人助理、客服、演示环境 |
| Agent 版(fay-agent-edition) | 自主决策、调用工具、主动联系 | 自动化办公、智能代理 |
三个版本共用同一套模型与 TTS 配置思路,差别只在业务编排,选错顶多多跑一次依赖安装。
第一次跑起来
最短路径是:克隆仓库 → 进入目标分支 → 按分支清单装依赖,3 条命令就能看到效果。
环境门槛一句话:一台能装 Python 的电脑,加上一个大模型接入方式——云端 API 或 vllm 本地部署都可以,本地模型还能走 fastchat 降低显存。
# 克隆仓库并直接进入助理版分支(换版本只需改分支名) git clone -b fay-assistant-edition https://gitcode.com/GitHub_Trending/fay/Fay cd Fay分支内附安装说明与依赖清单,装完按分支说明启动,网页端即可与数字人对话。带货版、Agent 版同理,把分支名换成fay-sales-edition、fay-agent-edition即可。
功能按场景讲
带货:弹幕进来,导购接话 🎬
用起来是这样:开播后 Fay 持续监听弹幕,先做格式过滤与违禁词检查,再经百度情感分析判断观众情绪,最后由数字人开口回应并带出商品。要改的配置集中在三处:GPT 兼容接口(模型地址、密钥与 gpt 代理)、TTS 引擎、弹幕平台参数;本地违禁词表与违规处理方式在带货版配置里也单独可调。
助理:语音唤醒,开口办事
助理版把数字人当成一个能听会说的终端:说"开灯"它下发设备指令,查天气、问资料走 LLM,接上 langchain 本地 PDF 知识库还能做 RAG 问答。要改的配置两处就够:ASR 侧打开 funasr 热词提升识别命中率;模型侧填 LLM 接口,OpenAI 兼容、DeepSeek、moonshot、vllm 本地部署都支持。
Agent:从聊天到替你办事
Agent 版没有"人问它答"的预设:数字人自己决定调哪个工具——执行 Python、检索网页、查本地知识库,甚至按日程主动发微信消息。要改的主要是工具开关:知识库工具需在工具内部自行配置后才生效,面板消息、日程等工具按场景启停。
配置与进阶
三个版本的配置可以归为三类,改完基本不用动代码。
- 模型类:GPT 兼容接口(含 gpt 代理配置),可接 DeepSeek、moonshot,或用 vllm/fastchat 部署本地模型;
- 音频类:TTS 支持阿里云、Azure、GPT-SoVITS(2024.07 新增),ASR 用 funasr,支持热词;
- 业务类:百度情感分析、langchain 本地 PDF 知识库、Agent 工具集。
各配置项的具体字段以 README 指向的框架文档为准,这里不逐条展开。
从本地到生产
本地验证用单分支单机跑通即可;生产环境建议把渲染、推理、业务三条线拆开部署,互不抢资源。
# 同一仓库内切换版本,无需重新克隆 git checkout fay-sales-edition本地就是"克隆 + 装依赖 + 启动分支服务",一台机器跑全部组件;数字人形象可先跑网页 2.5D,也支持对接 UE5/MetaHuman(metahuman-stream 已修复连接不稳定问题)。
带货场景观众多时,弹幕监听与情感分析可以独立扩进程;推理走 vllm 集群,渲染端与推理端分开后,延迟和显存都更好控。
排障速查 🔧
README 更新日志基本把常见的坑都覆盖到了,对照版本号升级是最快的解法。
| 现象 | 常见原因 | 解决办法 |
|---|---|---|
| 页面白屏 | 早期版本已知问题 | 升级到 2024.04 之后的分支代码 |
| TTS 前几个字不读 | TTS 引擎已知 bug | 升级到 2024.07.03 之后的版本 |
| gpt 代理部分 base_url 报错 | 代理兼容问题 | 升级 2024.07.10 修复版,或将代理置空 |
| Agent 历史记录为空时报错 | 记录初始化/存储逻辑 | 升级 Agent 版 2024.07.10 修复 |
| metahuman-stream 连接不稳定 | 对接层已知问题 | 升级 2024.07.10 修复版 |
| 语音识别偶发不准 | 通用 ASR 表现 | 开启 funasr 热词识别 |
Fay 的更新节奏很快,近期集中在 GPT-SoVITS 接入、Agent 工具调用逻辑优化和多 TTS 引擎对接;想深入可以看 README 里的完整更新日志,把实际场景问题反馈给社区也是最快的参与方式。
【免费下载链接】Fayfay是一个帮助数字人(2.5d、3d、移动、pc、网页)或大语言模型(openai兼容、deepseek)连通业务系统的agent框架。项目地址: https://gitcode.com/GitHub_Trending/fay/Fay
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考