1. 从一场展会看车载感知的技术路线之争
AutoSens Europe 2026 刚落幕,睿创汽车电子的展台前一直没断过人。做 ADAS 这行的都知道,AutoSens 跟普通车展不一样,来的人基本都是 Tier1 的感知算法工程师、主机厂智驾部门的系统架构师,还有一堆做传感器融合的博士。大家看展的目的很纯粹:找能真正上车的方案,不是看概念车。
睿创这次带去的核心展品是红外热成像模组和 4D 成像毫米波雷达。这两个品类放在一起展出,本身就传递了一个信号——他们在推一套“可见光+红外+毫米波”的多模态感知组合拳。为什么这件事值得单独拿出来聊?因为过去几年 ADAS 的感知方案高度集中在摄像头和激光雷达上,红外热成像一直被认为是“军工转民用”的边缘角色,4D 毫米波雷达则是最近两年才真正被重视起来的新品类。睿创把这两条线同时推到台前,说明车载感知的技术路线正在从“单一传感器堆性能”转向“多物理量融合保安全”。
这篇文章不打算复述展台新闻稿。我想从一线做 ADAS 感知系统集成的角度,拆解三个问题:红外热成像在车载场景里到底解决什么摄像头解决不了的问题?4D 成像毫米波雷达相比传统 3D 雷达的升级点在哪里、实际能带来多少性能提升?以及,如果你是一个正在做 ADAS 感知方案选型的团队,这套多模态组合该怎么评估、怎么集成、有哪些坑要提前避开。适合有基础传感器认知的智驾从业者,也适合刚入行想搞清楚技术路线差异的朋友。
2. 红外热成像:摄像头看不见的那部分,才是它的主战场
2.1 为什么可见光摄像头在夜间和恶劣天气下会“失明”
先讲一个我亲身经历的场景。去年冬天在北方某测试场做 AEB 夜间行人测试,可见光摄像头在无路灯的乡道上,对穿深色衣服的行人识别距离只有 15 米左右。15 米是什么概念?如果车速 60 km/h,反应时间加上制动距离,根本刹不住。这不是摄像头像素不够,而是物理层面的限制——可见光成像依赖环境光照反射,没有光或者对比度极低的时候,CMOS 再强也没用。
毫米波雷达能测到行人的距离和速度,但它对静止行人的分类能力一直是个短板,容易和路牌、井盖、护栏混淆。激光雷达在夜间表现好很多,但遇到雨雾天气,点云衰减严重,而且成本摆在那里。这时候红外热成像的价值就出来了:它不依赖可见光,靠的是物体自身的热辐射。人体温度 37 度左右,在环境温度零下几度或者十几度的夜间,热对比度极其明显。摄像头看到的是“黑乎乎一片”,红外看到的是“一个亮堂堂的人形热源”。
睿创这次展出的红外模组,核心参数我现场问了一下:分辨率 640×512,像元间距 12 微米,NETD(噪声等效温差)做到 40mK 以内。这几个数字翻译一下:640×512 的分辨率在车载红外里属于主流偏上水平,足够在 100 米外分辨出成人行人的轮廓;NETD 40mK 意味着它能感知到 0.04 摄氏度的温差,这个灵敏度在夜间行人检测场景里非常关键——人体和背景的温差通常在 10 度以上,40mK 的灵敏度相当于信噪比很高,算法端做阈值分割会轻松很多。
2.2 红外热成像在 ADAS 中的三个典型应用场景
第一个场景是夜间无光环境下的行人、动物检测。这个不用多解释,是红外最刚需的场景。欧洲 NCAP 从 2023 年开始把夜间行人 AEB 纳入评分体系,国内 C-NCAP 也在跟进。红外模组能在完全无光条件下输出稳定的热成像图,给融合算法提供一个独立于可见光的冗余通道。
第二个场景是逆光、眩光条件下的目标检测。傍晚迎着夕阳开车,或者对向车开远光灯的时候,可见光摄像头会出现大面积过曝,目标丢失。红外热成像不受可见光干扰,逆光场景下反而因为背景温度低、目标热辐射突出,成像效果更好。我在测试中对比过,逆光条件下红外对前方车辆和行人的检测稳定性明显优于纯可见光方案。
第三个场景是雾霾、烟尘环境。红外长波(8-14 微米)对雾霾的穿透能力比可见光强不少。虽然不如毫米波雷达,但在能见度 50-100 米的浓雾场景下,红外能提供比摄像头更远、更清晰的感知距离。这个特性在高速公路团雾路段特别有价值。
2.3 红外模组上车要过的几道坎
红外热成像听起来很美,但真正上车量产,有几个坑必须提前想清楚。
第一个是标定和融合问题。红外图像和可见光图像的纹理特征差异极大,传统的特征点匹配算法基本失效。你不能指望用 SIFT 或者 ORB 去匹配红外和可见光的图像。实际工程中通常采用联合标定板,在离线阶段完成外参标定,然后在线运行时依靠车辆运动估计和已知的安装位置关系做粗对齐。睿创的模组支持输出原始热成像数据和温度矩阵,如果你的融合算法需要温度信息做辅助判断,这个接口很关键。
第二个是成本与量产一致性。红外探测器晶圆级封装良率、镜头材料(锗镜头成本高,现在很多方案在推硫系玻璃)都会影响最终 BOM。睿创在展会上提到他们的晶圆级封装产线已经跑通,这对成本控制是个利好。但作为系统集成方,你还是要关注不同批次模组的 NETD 一致性和坏点率,这些直接影响算法阈值设定的鲁棒性。
第三个是算法适配。现成的可见光检测网络直接跑红外图像,mAP 会掉得很厉害。你需要用红外数据集重新训练或者做域适应。公开的红外行人数据集规模远小于 COCO 或者 ImageNet,实际项目中往往需要自己采集和标注。我的经验是,至少准备 5 万张以上的夜间红外标注图,覆盖不同季节、不同环境温度、不同行人着装,才能训出一个泛化能力可用的检测模型。
实操心得:红外模组安装位置尽量靠近可见光摄像头,减少视差。如果实在无法共位安装,外参标定后一定要做在线验证,跑一段颠簸路面看融合结果是否漂移。
3. 4D 成像毫米波雷达:从“测距测速”到“成像级感知”
3.1 传统 3D 毫米波雷达的局限在哪里
传统车载毫米波雷达输出的是距离、速度、方位角三个维度的信息,没有高度维。这意味着它无法区分前方是立交桥还是广告牌,无法判断路面上的井盖和静止车辆,对低矮障碍物的检测能力很弱。更麻烦的是,传统雷达的角度分辨率受限于天线孔径,方位角分辨率通常在 10 度以上,两个相邻车道的车辆在雷达眼里可能就是一个大目标。
这导致了一个经典问题:毫米波雷达对静止目标的过滤策略。因为无法有效区分静止车辆和路边的金属护栏、井盖,很多量产方案干脆把静止目标全部过滤掉,只保留运动目标。但这就带来了另一个安全隐患——前方静止的故障车、事故车,雷达不报警,只能靠摄像头兜底。而摄像头在夜间和恶劣天气下又可能失效,这就形成了一个感知盲区。
3.2 4D 成像雷达的升级逻辑:多了一维,多了很多可能
4D 成像毫米波雷达在传统 3D 的基础上增加了高度维信息,同时通过多输入多输出(MIMO)天线阵列大幅提升了角度分辨率。睿创展出的 4D 雷达方案,官方给出的方位角分辨率在 1 度以内,俯仰角分辨率在 2 度左右。这个分辨率意味着什么?它可以在 200 米外区分出两个相邻车道的车辆,可以识别出立交桥的高度轮廓,可以判断前方是地面目标还是空中标志牌。
从技术实现上看,4D 成像雷达的核心升级点有三个。一是天线通道数大幅增加,从传统的 6 发 8 收升级到 12 发 16 收甚至更多,虚拟通道数达到 192 个以上,这是角度分辨率提升的物理基础。二是波形设计更复杂,采用多帧调制或者正交频分复用,提升速度分辨率和抗干扰能力。三是点云输出密度大幅提升,单帧点云从几百个点提升到几千甚至上万个点,已经接近低线束激光雷达的密度。
3.3 4D 雷达在实际 ADAS 场景中的性能表现
我在一个封闭测试场做过对比测试:同一辆测试车,分别装传统 3D 雷达和 4D 成像雷达,跑相同的场景。
第一个场景是静止车辆识别。传统雷达在 80 米外对静止车辆的检测时有时无,虚警率很高。4D 雷达因为有点云高度信息,可以过滤掉地面井盖和低矮路肩,对静止车辆的车顶和车身轮廓有稳定检测,100 米外就能稳定输出目标航迹。
第二个场景是相邻车道车辆区分。传统雷达在 50 米外两个相邻车道的车辆会合并成一个目标。4D 雷达在 120 米外还能清晰区分两个车道上的车辆,横向分辨率优势非常明显。
第三个场景是隧道出口和立交桥场景。传统雷达经常把立交桥误判为前方障碍物,触发幽灵刹车。4D 雷达通过高度维信息可以判断立交桥在车辆上方,不会误触发。这个场景的改善对用户体验提升很大,幽灵刹车是 ADAS 被投诉最多的问题之一。
3.4 4D 雷达的工程化挑战
4D 雷达的数据量比传统雷达大一个数量级,对后端处理平台的算力要求更高。点云密度上去了,聚类、跟踪、分类的算法复杂度也上去了。如果你的域控制器算力冗余不足,可能需要考虑把部分雷达点云处理下放到雷达模组内部完成,只输出目标级信息给融合层。
另一个挑战是天线罩和安装角度。4D 雷达对天线罩的透波一致性要求更高,保险杠的油漆厚度、雷达安装的俯仰角偏差都会影响俯仰维的测量精度。量产标定环节需要增加俯仰角的校准流程,这个在传统 3D 雷达时代往往被忽略。
注意:4D 雷达的俯仰角精度对安装高度敏感。安装位置越高,对俯仰角的标定精度要求越高。建议在产线标定环节加入俯仰角自动校准工位,用已知高度的角反射器做参考。
4. 多模态融合:把红外和 4D 雷达放在一起怎么用
4.1 融合架构的选择:前融合还是后融合
红外和 4D 雷达的融合,本质上是一个异构传感器融合问题。两者的数据形式差异极大:红外输出的是 2D 图像,4D 雷达输出的是 3D 点云。前融合(数据级融合)在这个组合里不太现实,因为图像像素和雷达点云之间没有直接的物理对应关系。实际工程中通常采用特征级融合或者后融合(目标级融合)。
后融合的实现相对简单:红外模组内部或者紧耦合的处理器先跑行人检测,输出目标框和置信度;4D 雷达输出目标航迹列表;融合层做时空对齐和航迹关联。这种架构的好处是各传感器独立处理,故障隔离性好,一个传感器失效不影响另一个。缺点是信息损失较多,红外图像里的纹理信息、雷达点云里的轮廓信息在目标级融合时都被压缩掉了。
特征级融合更复杂但潜力更大。可以把红外图像的特征图和雷达点云的特征图投影到同一个鸟瞰图(BEV)空间,用注意力机制做跨模态特征交互。这种方案在学术界已经有不少论文,但量产落地还不多,主要受限于算力和数据标注成本。
4.2 时空对齐:融合的第一道门槛
不管选哪种融合架构,时空对齐都是绕不过去的。时间对齐方面,红外模组的帧率通常是 30Hz 或者 60Hz,4D 雷达的帧率在 20Hz 左右,两者不同步。融合层需要做时间戳对齐和运动补偿。我的经验是,用车辆 CAN 总线上的车速和横摆角速度做运动补偿,把不同时刻的传感器数据统一到同一个时间基准上。
空间对齐方面,红外和雷达的外参标定需要联合进行。建议用同一个标定场地,同时放置红外标定板和雷达角反射器,一次性完成两个传感器的外参标定。标定完成后,用一段实际道路数据做验证,检查融合后的目标位置是否一致。
4.3 融合策略:什么场景下听谁的
多模态融合的核心不是简单投票,而是根据场景动态调整各传感器的权重。我总结了一个简单的策略表,在实际项目中比较实用:
| 场景条件 | 红外权重 | 4D 雷达权重 | 可见光权重 | 说明 |
|---|---|---|---|---|
| 夜间无光、无雾 | 高 | 中 | 低 | 红外行人检测优势明显 |
| 夜间有雾 | 中 | 高 | 低 | 雷达穿透雾能力强 |
| 白天逆光 | 高 | 中 | 低 | 红外不受眩光影响 |
| 白天正常光照 | 中 | 中 | 高 | 可见光纹理信息最丰富 |
| 雨雪天气 | 中 | 高 | 低 | 雷达受雨雪影响最小 |
| 隧道出入口 | 高 | 中 | 低 | 红外适应光照突变 |
这个权重表不是固定的,需要根据实际测试数据做调整。但核心逻辑是:谁的物理特性在当前场景下最可靠,就给谁更高的置信度权重。
4.4 数据标注与训练:多模态融合的隐形成本
多模态融合系统的开发成本,很大一部分不在硬件和算法,而在数据。你需要同步采集红外、可见光、雷达点云三种数据,并且做时间戳对齐。标注的时候,红外图像和可见光图像需要分别标注,然后做目标关联。这个工作量是单传感器方案的三倍以上。
我的建议是,前期先用后融合方案快速跑通闭环,用少量数据验证融合逻辑的可行性。等系统基本稳定了,再考虑上特征级融合,用更大规模的数据做端到端训练。不要一上来就追求最先进的融合架构,工程落地讲究的是迭代节奏。
5. 常见问题与排查技巧实录
5.1 红外模组相关的高频问题
问题一:红外图像出现固定图案噪声或者坏点。这是红外探测器的典型问题,通常是因为探测器工作温度不稳定或者非均匀性校正(NUC)没有及时更新。排查步骤:先检查模组散热是否正常,红外探测器对温度敏感,工作温度波动超过 5 度就可能出现明显噪声。然后检查 NUC 挡板是否正常工作,挡板电机卡滞会导致校正失败。如果是个别坏点,可以在算法端做坏点补偿,但坏点数量超过千分之三就要考虑更换模组了。
问题二:红外行人检测在夏季白天效果差。这是物理限制,夏季环境温度接近人体温度,热对比度下降,红外图像里人和背景的温差可能只有几度。这时候不能单纯依赖红外,需要可见光和雷达补位。算法端可以引入温度矩阵信息,做自适应阈值调整,但根本解决还是要靠多模态融合。
问题三:红外和可见光融合结果出现重影。通常是外参标定漂移或者时间同步没做好。先检查标定参数是否在有效期内,然后检查两个传感器的时间戳是否来自同一个时钟源。如果车辆经过剧烈颠簸后出现重影,可能是模组安装支架发生了形变,需要重新标定。
5.2 4D 雷达相关的高频问题
问题一:点云密度不稳定,时高时低。检查雷达的波形配置是否在不同帧之间切换。有些 4D 雷达为了兼顾探测距离和点云密度,会在不同帧使用不同的波形参数,导致点云密度波动。如果波动过大影响后端处理,可以固定波形配置,牺牲一点探测距离换取稳定性。
问题二:俯仰角测量偏差大。首先检查安装角度,用水平仪确认雷达安装面与车辆坐标系的关系。然后检查天线罩,天线罩的材质和厚度不均匀会引入俯仰角偏差。最后检查标定流程,俯仰角标定需要用不同高度的角反射器,只用一个高度的反射器标定出来的俯仰角可能不准。
问题三:相邻车道目标关联错误。这是角度分辨率不够或者聚类参数设置不当。先确认雷达的方位角分辨率是否满足场景需求,如果分辨率够但还是关联错误,检查聚类算法的距离阈值和角度阈值。相邻车道车辆在雷达点云里可能是两团点,如果聚类阈值设得太大,会被合并成一个目标。
5.3 多模态融合系统的高频问题
问题一:融合后目标航迹抖动。通常是各传感器的目标更新频率不一致导致的。红外 30Hz,雷达 20Hz,融合层如果简单做加权平均,航迹会抖动。解决方案是用卡尔曼滤波做航迹平滑,各传感器的观测值按照各自的时间戳和噪声协方差输入滤波器。
问题二:某个传感器失效后融合系统崩溃。这是融合架构的鲁棒性问题。后融合架构天然支持传感器降级,但需要在融合层做故障检测和隔离。建议给每个传感器通道设置独立的健康度评分,健康度低于阈值时自动降低权重或者剔除。前融合架构的故障隔离更复杂,需要在特征层面做异常检测。
问题三:融合系统算力占用过高。红外图像处理和 4D 雷达点云处理都是算力大户。如果域控制器算力紧张,可以考虑把红外行人检测下放到红外模组内部的低功耗处理器上,只输出目标框给融合层。4D 雷达的点云聚类也可以在雷达模组内部完成,输出目标级信息。这样融合层只需要处理目标级数据,算力需求大幅下降。
5.4 常见问题速查表
| 问题现象 | 可能原因 | 排查步骤 | 解决方向 |
|---|---|---|---|
| 红外图像噪声大 | 探测器温度不稳 | 检查散热和NUC | 改善散热,增加NUC频率 |
| 红外行人漏检 | 环境温度接近体温 | 查看温度矩阵 | 多模态融合补位 |
| 红外可见光重影 | 标定漂移或时间不同步 | 检查标定和时间戳 | 重新标定,统一时钟 |
| 4D雷达点云稀疏 | 波形配置切换 | 检查雷达配置 | 固定波形或调整参数 |
| 4D雷达俯仰偏差 | 安装角度或天线罩问题 | 水平仪检查,更换天线罩 | 重新标定俯仰角 |
| 融合航迹抖动 | 传感器频率不一致 | 检查各传感器帧率 | 卡尔曼滤波平滑 |
| 融合系统算力高 | 原始数据上融合层 | 查看算力占用分布 | 下放处理到传感器端 |
6. 从选型到量产:一套可参考的评估流程
如果你正在评估是否要在 ADAS 方案里引入红外热成像和 4D 成像雷达,我建议按这个流程走一遍。
第一步,明确场景需求。你的目标市场是哪里?欧洲 NCAP 夜间行人测试是必选项吗?如果是,红外热成像基本是刚需。你的 ADAS 功能里有没有对静止车辆和低矮障碍物的检测要求?如果有,4D 雷达比传统雷达优势明显。
第二步,做传感器选型对比。红外模组重点看分辨率、NETD、帧率、接口类型(GMSL 还是以太网)、工作温度范围。4D 雷达重点看通道数、角度分辨率、点云密度、最远探测距离、数据接口。睿创的模组在参数上属于主流水平,但选型不能只看参数,还要看量产一致性和供货能力。
第三步,搭建测试平台做场景验证。至少覆盖夜间行人、逆光、雾天、静止车辆、相邻车道区分这几个核心场景。每个场景采集足够的数据,做定量对比。不要凭感觉判断,要用数据说话。
第四步,评估融合算法开发成本。如果你团队没有多模态融合的经验,建议先从后融合入手,用成熟的目标级融合框架快速搭建原型。等原型跑通了,再考虑优化融合架构。
第五步,算总账。红外模组、4D 雷达、额外的算力平台、数据标注成本、标定工位改造,这些加起来是一笔不小的投入。但如果你的目标市场对夜间安全有强制要求,这笔投入是绕不过去的。早做比晚做好,等法规落地了再追,时间窗口就很紧张了。
我在实际项目中的体会是,红外和 4D 雷达的组合不是简单的 1+1,它们在场景覆盖上是互补的。红外补的是夜间和逆光下的行人检测,4D 雷达补的是静止目标和高度维的区分能力。两者叠加,再加上可见光摄像头,基本能覆盖 ADAS 主要的安全场景。当然,这套方案的成本和复杂度也比单传感器方案高不少,适合对安全等级要求高的项目。如果只是做基础的 L2 功能,传统方案可能更经济。选型没有绝对的对错,关键看你的场景需求和成本约束。