Vision-Agents 实时视频风格迁移:从摄像头到动画风只要一段代码
2026/9/20 14:36:02 网站建设 项目流程

Vision-Agents 实时视频风格迁移:从摄像头到动画风只要一段代码

【免费下载链接】Vision-AgentsOpen Vision Agents by Stream. Build voice and vision agents quickly with any model or video provider. Uses Stream's edge network for ultra-low latency.项目地址: https://gitcode.com/GitHub_Trending/vi/Vision-Agents

Vision-Agents 的实时视频风格迁移功能可以把你的摄像头画面变成动画风格。链路不复杂:本地摄像头画面发给 Decart 的实时换风格服务,转换后回来。画面里的人不卡顿,变的只是观感。

左侧画面是帧经过 Decart 实时换风格服务之后的结果,右侧是原始画面,对比一目了然。

帧的链路:从哪来、经过什么、到哪去

三步说清。你的本地视频轨道先被 Decart 插件里的换帧组件RestylingProcessor接住,它把帧通过 WebSocket 逐帧推到 Decart 的实时 API,等转换后的帧回来,再作为一个新的视频轨道发布出去。mirage_v2是为实时视频风格迁移专门调过的模型,帧流进来就有产出。

这就是 Decart 视频风格化的全部动作:帧推出去,风格化帧收回来。风格一变,背景和画面里的人一起变,因为风格化作用于整帧。

配好密钥,写一段代码,跑通第一个风格

准备工作一句话:uv sync装依赖,.env里填DECART_API_KEYSTREAM_API_KEYSTREAM_API_SECRET三个密钥。

processor = decart.RestylingProcessor( initial_prompt="Studio Ghibli animation style", model="mirage_v2" )

这里只指定风格提示词和模型,mirage_v2负责实际的帧转换。

把处理器挂到 agent 上就能跑:

agent = Agent( edge=getstream.Edge(), agent_user=User(name="Styled AI"), # ... 省略无关配置 processors=[ decart.RestylingProcessor( initial_prompt="Studio Ghibli animation style", model="mirage_v2" ) ] )

agent 走 Stream 边缘网络收送音视频,处理器挂在视频链路上顺路完成实时视频风格转换。

可直接运行的完整版本在 plugins/decart/example/decart_example.py,照抄、替换密钥即可运行。

让 LLM 自己决定什么时候换风格

初始风格在启动时定好,但没必要永远不动。把change_prompt注册给 LLM:

@llm.register_function( description="This function changes the prompt of the Decart processor which in turn changes the style of the video and user's background" ) async def change_prompt(prompt: str) -> str: await processor.update_prompt(prompt) return f"Prompt changed to {prompt}"

这样对话中由 LLM 自己决定何时换风格,故事讲到黑暗的暴风雨夜晚,视频风格就跟着切过去,不用重启进程。

把 demo 往三个方向再玩一玩

initial_prompt换成别的美术风格,画面就是另一套。风格化作用于整帧,背景和人物会同步切换风格。同一条链路换到视频通话或直播场景也能用,入口换个采集源就行。

效果不对时,先检查initial_prompt的措辞和model参数;确认链路细节就去读 plugins/decart/example/decart_example.py,看它是怎么把整条流程接起来的。

【免费下载链接】Vision-AgentsOpen Vision Agents by Stream. Build voice and vision agents quickly with any model or video provider. Uses Stream's edge network for ultra-low latency.项目地址: https://gitcode.com/GitHub_Trending/vi/Vision-Agents

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询