企业官网建设流程全解析

MuJoCo 可视化 3 个场景实操指南：从跑通第一帧到离屏批量渲染

【免费下载链接】mujocoMulti-Joint dynamics with Contact. A general purpose physics simulator.项目地址: https://gitcode.com/GitHub_Trending/mu/mujoco

MuJoCo 是一个带接触求解的多体物理仿真器，它的可视化系统内建在 C API 里——不写一行 OpenGL，你既能在窗口里拖着一个气球模型看它飘，也能在云端的无头机器上批量渲染出合成图像。这篇文章按"交互窗口 → 自定义渲染程序 → 离屏录数据"三个真实场景走一遍，顺带把黑屏、掉帧、相机失控这几个最常见的坑一次讲清。

先用 simulate 应用把第一帧跑出来

仓库里带了官方的交互式应用，在 simulate/ 目录下编译后（cmake -B build && cmake --build build），一条命令就能开窗口：

./build/simulate model/balloons/balloons.xml

窗口里是几个氦气球拖着一个重物悬在斜坡上方，鼠标左键旋转、中键缩放、右键平移；按住 Ctrl 点住任意物体可以手动拽它，配合空格暂停，单步执行，直接"手感调试"你的模型。这是最快的上手方式，也是后面所有自定义程序的参照系。

想确认自己理解对了它的行为，可以试着暂停后按退格键重置仿真，观察气球回到初始姿态——这就是mj_resetData干的事。

搞懂 mjvScene：仿真状态和渲染之间隔了什么

自己写渲染程序之前，先明白 MuJoCo 可视化是分两级的，这是整个体系的核心设计：

• 抽象层（mjv 前缀）：mjv_updateScene每帧把当前mjModel/mjData里的物体姿态、光照、相机塞进一个中间结构体mjvScene（场景容器，存所有待渲染的几何体和参数）。这一层不碰任何图形库，纯 CPU。
• 渲染层（mjr 前缀）：mjr_render拿mjvScene画到 OpenGL 缓冲区。

说白了，仿真引擎只负责"世界长什么样"，渲染器只负责"画出来"。好处是你可以只取抽象层、自己接别的渲染引擎，也可以两个都用。

相机同理，也分两层：mjvCamera是抽象相机，分自由（鼠标随便转）、跟踪（锁定某个 body 的质心）、固定（用模型 XML 里定义的<camera>）等模式；渲染时它会自动换算成底层的双目 OpenGL 相机。你平时只需要操作抽象层这层。

所以一个最小渲染程序的主循环长这样（取自 sample/basic.cc，去掉了初始化部分）：

while (!glfwWindowShouldClose(window)) { // 仿真追到 1/60 秒为止，通常比实时快，所以内层循环跑好几步 mjtNum simstart = d->time; while (d->time - simstart < 1.0 / 60.0) { mj_step(m, d); } mjrRect viewport = {0, 0, 0, 0}; glfwGetFramebufferSize(window, &viewport.width, &viewport.height); mjv_updateScene(m, d, &opt, NULL, &cam, mjCAT_ALL, &scn); // 刷新场景 mjr_render(viewport, &scn, &con); // 画到屏幕 glfwSwapBuffers(window); glfwPollEvents(); }

跑起来你会看到窗口以 60fps 稳定刷新，模型运动连续不跳帧。注意内层那个while：仿真和渲染是不同节奏的，用"追时间"的方式对齐，而不是靠渲染卡到实时。

排查窗口不显示或画面发黑的三个原因

1. 拿错尺寸函数。在高分屏（尤其 macOS 缩放）上，glfwGetWindowSize拿到的是窗口逻辑尺寸，实际帧缓冲可能是它的 2 倍，用错就会画面只占一角或发黑。渲染视口一律用glfwGetFramebufferSize；反过来，鼠标交互的坐标归一化才用窗口尺寸。

2. 上下文创建顺序反了。mjr_makeContext是上传 GPU 资源（网格、纹理、字体位图）的，它必须在一个"已 make current 的 OpenGL 上下文"之后调用。GLFW 创建窗口 →glfwMakeContextCurrent→ 再建mjrContext，顺序别跳。另外换模型时必须重新调一次mjr_makeContext，旧的会被自动释放。

3. 渲染效果被 flags 关了。mjvScene.flags里按mjtRndFlag索引着一组开关——线框、阴影、反射、雾效。阴影和反射各多一个渲染 pass，复杂模型上如果掉帧，先把这两个关掉再排查。

离屏渲染：在无显示器机器上批量出图

上面所有窗口操作在云服务器上都不存在——没有显示，GLFW 开不了窗口。这时换后端就行，MuJoCo 支持三套上下文创建方式：GLFW（有窗口）、EGL（无头硬加速）、OSMesa（纯 CPU 软渲染），编译时用-DMUJOCO_EGL=1或-DMUJOCO_OSMESA=1切换。

关键 API 是mjr_setBuffer：把活动缓冲区从窗口切到离屏（离屏尺寸由模型里vis设置决定），渲染后mjr_readPixels把 RGB 和深度读回 CPU 内存。完整可运行的例子在 sample/record.cc，主循环骨架是：

mjr_setBuffer(mjFB_OFFSCREEN, &con); // 切到离屏缓冲 mjrRect viewport = mjr_maxViewport(&con); // 离屏缓冲的实际尺寸 while (d->time < duration) { mjv_updateScene(m, d, &opt, NULL, &cam, mjCAT_ALL, &scn); mjr_render(viewport, &scn, &con); mjr_readPixels(rgb, depth, viewport, &con); // 取回像素和深度 // ... 写盘、按 fps 节流 mj_step(m, d); }

跑完你会得到一个按帧顺序写好的 RGB 文件（外加深度图），用ffmpeg一拼就是视频。Python 绑定里对应mujoco.Renderer，云端跑合成数据、机器人策略评测基本都走这条路。

让可视化服务于调试：相机、标注和柔性体

锁目标用跟踪相机。自由相机追快速移动的物体很费劲。把mjvCamera.type设为mjCAMERA_TRACKING并填上目标 body 的 id，相机就自动锁定它质心的运动子树（带平滑滤波），距离和角度仍可鼠标调。simulate 应用里按住 Ctrl 双击某物体就能切到跟踪模式，Esc 切回。

往场景里加自己的几何。mjvScene.geom是开放列表，你可以用mjv_addGeom手动追加标注用的线、框、箭头，或者反过来——渲染轨迹时只加mjCAT_DYNAMIC类别，省掉每帧重复画静止的地板，既快又不闪。

柔性体的渲染细节看 flexcomp。仓库model/flex/下的软盒子、布料都是flexcomp定义的，visual子标签控制渲染外观，半透明设置能让内部网格形变直接可见，调参数时非常直观：

<flexcomp name="softbox" type="box" count="7 7 7" spacing=".04" radius="0.01" rgba="0 .7 .7 1" dof="radial"> <visual stiffness="50" rgba="0 .7 .7 .8"/> <contact internal="true" friction="1"/> </flexcomp>

放进 simulate 里拖一下，你会看到形变、颜色、内部网格随你调整这三个标签实时变化。

最后一个动手任务：clone 仓库git clone https://gitcode.com/GitHub_Trending/mu/mujoco，编译 simulate 后用./build/simulate model/flex/softbox.xml打开柔性体，按住 Ctrl 按住软盒子往地面上压，暂停时按 F 键调出帮助面板对照各操作；然后打开 sample/basic.cc 对照主循环，把注释里"仿真追时间"那段逐行读一遍，你今天就同时拿下了交互窗口和自定义渲染两条线。

【免费下载链接】mujocoMulti-Joint dynamics with Contact. A general purpose physics simulator.项目地址: https://gitcode.com/GitHub_Trending/mu/mujoco