☰
低空场景多模态大模型实测:感知、思考与规划能力全解析
2026/10/17 12:40:31 网站建设 项目流程

低空无人机这个赛道热了有两三年了,各家方案商都在抢“低空大脑”这个制高点。我一直有个疑问:那些在地面Demo里跑得飞快的多模态大语言模型,到了真正需要无人机自主决策的复杂环境里,还能不能稳住?最近我搭了一套面向低空场景的任务测试集,把手头三款主流多模态大模型拉出来,围绕感知、思考、规划三个维度做了一轮集中大考。整个过程踩了不少坑,也发现了一些反直觉的现象,今天把完整的实测过程、考题设计、评分结果和我的看法全部分享出来。

先说结论:这批模型在低空场景下的表现差距很大,没有“全能王”。有的模型感知细节强悍但规划逻辑死板,有的模型思考链路完整但感知会漏掉关键目标。真正的问题是——没有一个模型能稳定地把“看见什么”和“下一步该做什么”连贯起来。这个结论不是我拍脑袋得出的,下面用完整的数据和案例说明白。

1. 为什么要专门设置“低空无人机场景”这道考题

日常测试多模态模型,跑的都是自驾车视角、街道识别、室内导航这些成熟任务,跟低空无人机的真实作业环境差得很远。我刚开始直接把通用测试集搬到无人机场景里跑,结果发现参考价值很低。后来根据实际项目场景重新设计了一整套低空专项题目,才把模型之间的真实差距暴露出来。

1.1 低空场景和通用场景在感知层面有哪些本质区别

地面自动驾驶看的是水平视角,物体出现在车行方向的前方和两侧,遮挡关系相对可控。低空无人机是俯瞰视角和斜视视角混合,目标尺寸变化剧烈、形态被拉扁,背景纹理复杂到能把目标完全“吃掉”。同一棵树在地面看是一棵树的形状,在100米高度往下看,它可能只是一团不规则的深绿色斑块,跟阴影、水洼、烂泥地的纹理高度相似。这个差异直接决定了——地面场景训练出来的感知能力,放到空中是会打折的。

另一个关键差异是运动状态。低空无人机是三维空间运动,目标在画面里的移动轨迹可能是斜向的、回旋的、突然放大缩小的,这跟地面目标的横向运动逻辑完全不同。模型的时序理解模块如果只有水平运动的先验,遇到无人机绕飞时目标快速切换位置,很容易误判。

1.2 我要模拟的典型低空作业任务有哪些

这套测试不追求覆盖所有低空业务,而是找最有代表性的三类典型场景来出题。第一类是低空巡检类任务,比如沿着河道飞、沿着输电线路飞,目标是发现异常物体、识别破损点;第二类是低空安防巡逻任务,在规定区域内盘旋搜索特定目标,比如找落水人员、找闯入车辆;第三类是低空物流末端场景,模拟小型无人机在小区、园区里飞行,需要理解复杂的多层空间结构,比如判断起降点是否被遮挡、规划悬停等待还是转移去备降点。

这三类场景覆盖了从静态目标识别到动态判断,再到多步骤决策的能力梯度,用来做横向评测比较合适。每个场景我都设计了固定机位的视频片段和让模型自己去选择下一步动作的开放性问答题,保证每道题都有明确的评分锚点。

1.3 被测模型怎么选,测试硬件怎么搭的

为了让对比结果有意义,我选了三款市场上开发者用得最多的多模态大模型,全部走API接口调用,不针对特定模型做任何微调,保证测试的是模型原生能力。三款模型我用代号区分:Model-A是侧重感知细节的模型,在传统视觉任务上口碑很好;Model-B是综合能力强、推理链路完整的模型;Model-C是响应速度快、上下文处理能力宽裕的模型。三款模型的参数规模都不小,但API化之后我无法确认具体参数,只能按实际表现说话。

硬件方面其实不需要堆配置,因为主要工作集中在数据准备和结果评测上。视频输入通过无人机模拟器生成,我自己写了一段脚本脚本控制飞行路径并把机载摄像头画面实时推流到本地服务器,服务器再调用API把视频切帧送进模型。本地只需要一块能跑视频预处理的GPU就够了,我用的是一张中端显卡,全程没有出现性能瓶颈。

2. 测试集设计:三个维度、九个细分项,模型我也一样考

这一环节是整个评测的核心工作。我花了大量时间在题目设计上,因为如果题目本身不科学,后面所有结论都是空中楼阁。

2.1 感知维度:考察低空环境下的“看见”能有多准

感知维度的题目我拆成了三个细分项。第一项是低空目标发现,基本要求是能在一段透传画面里找出指定的异常目标;第二项是弱纹理环境感知,打的是在草地、碎石地、水面波纹这些低对比度环境下找目标的能力;第三项是动态目标跟踪判断,要求模型结合多帧画面描述目标的移动趋势,区分“正在靠近”“正在远离”“贴着边缘绕行”等状态。

每道题都用视频流的方式喂给模型,避免用单张静态图测试。低空无人机作业时画面是连续变化的,单帧感知正确率再高,放到视频流里如果无法理解时间关系,实际价值就低。

2.2 思考维度:考察模型能不能“想明白”现场发生了什么

思考维度包含三方面内容——异常分析归因、风险优先级判断、空间位置理解。异常分析归因要求模型不仅能说出画面里有什么,还要能推测形成原因,比如发现河道漂着异物,得判断它是普通漂浮物还是泄漏污染源;风险优先级判断是给定多个异常同时出现,让模型分辨哪个威胁最大;空间位置理解是让模型根据画面估算目标相对无人机的方位和大致距离,看模型有没有三维空间概念。

2.3 规划维度:考核能不能把决策落地成可执行动作

规划维度我设的也是三个细分项——航路选择规划、突发任务调整、资源约束取舍。航路选择是给定起点和巡航点,模型要自行在多个候选航路里做取舍;突发任务调整是巡航途中突然发现新目标,模型要决定是中断当前任务还是先原地悬停确认;资源约束取舍最狠,我给定一个电量只够执行单一路线的限制条件,看模型能不能分辨哪些任务是主要目标哪些可以放弃。

2.4 评分标准怎么定才能相对公平

为了保证评分公平,每题设定了0到10分的评分规则。感知题的评分锚定目标检出数量和描述准确度,思考题重点看归因是否合理、分析有没有逻辑链,规划题则看动作步骤是否可行、有没有数量级的算错。为了避免主观偏差,我把每个模型的输出都匿名化处理,由三位有无人机项目经验的同事分别打分,最后取平均。题目顺序也做了多版乱序,排除模型记住上下文顺序的影响。

3. 感知能力实测:Model-A意外翻车,细节狂魔也有盲区

感知维度是第一个开考的项目,结果一出,我就发现事情比预想的复杂。

3.1 低空目标发现:大目标好抓,小目标一言难尽

第一道感知题是模拟巡检场景,无人机沿河道巡航,画面里有一个拦河渔网和一个靠近岸边的翻扣小船。Model-C表现最好,不仅快速识别出渔网,还准确说出翻扣小船的轮廓特征和大概位置;Model-B也识别到了两个目标,但对小船的描述比较含糊,只说“岸边有一个形状不规则物体”;Model-A最让人意外,它完整识别出了渔网,却完全漏掉了翻扣小船,后续追问才发现它把船体和岸边泥地融合识别成一片深色区域,彻底看走了眼。

这说明一个现象:感知细节强的模型在处理高空俯瞰画面时,反而容易在小目标上过度拟合背景纹理。Model-A可能太依赖局部纹理特征,船体纹理和泥沙地纹理太像,直接被它当成了同一类物体。Model-C因为综合能力强,反而在全局上下文里把小目标位置推出来了。

3.2 弱纹理环境感知:沙地迷彩效应难倒两员大将

第二道感知题是低空安防找闯入车辆,背景是成片枯萎的草地和干裂泥地,目标是一辆土黄色越野车。这个场景地面人眼看着都费劲,画面里目标亮度跟背景只差不到5个百分点。Model-B直接失败,给出的结论是“画面中没有明显的车辆目标”;Model-A稍微好一点,识别出一处“疑似车辆的矩形纹理区域”,但对置信度没有把握;Model-C是唯一给出正确定位和朝向描述的模型,它描述出“车辆停在一片干草边缘,车头朝向北偏东方向”,还特意提到车辆一侧有轻微阴影辅助判断。

3.3 动态目标跟踪判断:时间理解普遍弱于空间理解

第三题看的是动态判断能力,我用了一段无人机绕飞废弃厂房的画面,目标是画面里一辆正在缓慢移动的叉车。三款模型都准确识别出叉车位置,但在“运动趋势判断”上出了问题——Model-B说叉车正朝工厂大门行驶,实际上叉车是在原地装卸货;Model-A则判断叉车处于静止状态。只有Model-C给出了接近正确的描述,说叉车有缓慢的转向动作和一个短暂的平移过程。这道题暴露了行业普遍短板:模型对空间位置理解不错,但多帧时间序列的建模能力还远远不够,容易出现“看图说话式”的误判。

4. 思考能力实测:逻辑链完整不等于判断够准

感知考完,紧接着是思考维度。这个维度比感知更难量化,也更能拉开模型之间的层次。

4.1 异常归因:表面分析人人会,深层归因看功底

异常归因题我选了一个工业园区的俯拍画面,画面里一个冷却塔上方有异常烟雾。Model-A的分析是“冷却塔附近有烟雾,可能是蒸汽排放,建议检查设备”;Model-B更进一步,指出“烟雾颜色偏黄,不同于正常水蒸气,怀疑存在燃烧物”,但没给出证据链;Model-C给出了最完整的归因链条,它观察到烟雾颜色、扩散方向、塔顶设备异常的热信号位置,综合判断为“设备过热引发的局部燃烧,且正在向主导风向下风向扩散”。这道题Model-C胜出,靠的是把多个弱信号关联起来形成闭环推导的能力,另外两个模型都还停留在浅层关联。

4.2 风险优先级:谁先谁后,模型排序逻辑差异很大

风险优先级这道题,我设置了同时出现的三个问题——一处电线垂落、一处地面油污泄漏、一辆靠近禁飞区域边缘的自行车。Model-A把电线垂落排第一位,油污泄漏第二位,给出的理由是“电线有触电风险,油污是污染问题”。Model-B把油污泄漏排第一,理由是“油污扩散面积会迅速扩大且处置时间窗口短”。Model-C的排序是电线垂落、油污泄漏、自行车闯入,然后额外补充了一个关键点——它建议先通知地面安保处理自行车闯入,再用无人机持续监控油污,因为它识别出自行车正在以很快速度向禁飞区方向移动。这个细节让我眼前一亮,说明它不止在做排序,还在做动态推演。

4.3 空间位置理解:高度感和距离感普遍是弱项

空间位置题我选了无人机从高处俯瞰港口码头的画面,画面里有集装箱堆场和一艘靠泊货船,我问模型“货船大概在无人机的哪个方位、距离大概多少”。Model-A给出的回答是“货船在画面下方偏左,距离约200米”,实际距离接近450米;Model-B没有给数字,只说“距离中等”;Model-C估算为“距离400米左右,方位在东南方向”,接近真实值,但它也承认自己无法确认具体高度,只说“无人机高度可能在120米以上”。三款模型对平面方位的判断都过关了,问题出在垂直空间感上,低空场景恰恰高度信息最关键,这个短板对实际作业影响很大。

5. 规划能力实测:最能拉开差距的一项,也是最难用的一项

规划维度是三个维度里模拟真实作业最重要的,也是翻车最惨烈的。

5.1 航路规划:能找出可行路线,但缺乏取舍依据

航路规划题我模拟的是小型物流无人机要从园区A点送件到B点,中间有教学楼、运动场、停车场三个区域需要跨越。Model-A给的方案是直线飞越运动场和停车场,理由是“路径最短”;Model-B给的方案是绕过教学楼,沿主干道飞行,理由是“避开人流密集区域”;Model-C的方案是“沿运动场边缘飞行,经停车场北侧通道抵达B点”,它给出的理由是综合了“运动场此时段人少、停车场北侧无车辆活动、绕行距离只增加160米”。Model-C的规划最接近一名有经验的飞手会做的判断——它不是选最短路径,也不是无脑绕行,而是结合时间段人流特征做动态取舍。另外两个模型都停留在机械性规划上。

5.2 突发状况处理:暂停还是继续,模型倾向各不相同

突发状况题我模拟了无人机在巡检途中突然发现前方有大面积反光物体。Model-B的判断是“反光物体可能是大面积水面,存在较大安全风险,建议原路返航”;Model-A的判断是“反光可能是玻璃幕墙或水面,不影响飞行路径,继续执行原计划”;Model-C的处理方式不同,它先悬停观察反光区域的范围和位置,确认是反光水面而非地面障碍物后,建议小幅调整高度沿航线边缘继续前进,并保持对反光区域的持续关注。这道题三款模型都理解到了“有异常”,但对异常的风险后果判断分层明显。Model-B过于保守,把水面误判成高风险障碍,直接放弃任务;Model-A过于激进,没有对反光做进一步确认;只有Model-C的做法接近一名成熟飞手的选择——先了解风险再决定是否绕行。

5.3 资源约束下的取舍:只有一款模型算清了电量账

最后一题硬核题,我给了三款模型同一段任务需求——电量还剩38%,正在巡第三个目标点,返航点距离300米,但还有一个远端目标点距离600米没有巡。Model-A的选择是“先飞去远端目标点,再返航”,它没有计算电量换算;Model-B发现了问题,说“建议直接返航,不去远端目标点”,但没给具体计算;Model-C给出了完整计算链路——根据历史耗电速率推算,剩余电量最多支撑800米额外飞行,去远端来回需要1200米,无法安全返航,因此建议返航前将当前目标点巡查完毕,并通知地面人员增派第二架次去远端目标点。差距非常明显,只有Model-C的规划考虑到了电量这条硬约束,并由硬约束反推动作边界。这背后体现的是模型对“资源约束-目标价值-执行可行性”三层逻辑的综合推理能力。

6. 三个维度的横向对比:分数很直观,短板也很一致

三款模型在三个维度的得分差异不小,我把每项的平均分整理成了一张对比表。

测试维度Model-AModel-BModel-C权重
感知-目标发现6.87.58.620%
感知-弱纹理环境7.26.48.915%
感知-动态跟踪5.95.27.815%
思考-异常归因6.57.18.715%
思考-风险优先级6.97.89.110%
思考-空间位置5.46.27.010%
规划-航路选择6.06.88.215%
规划-突发任务6.26.98.810%
规划-资源约束4.87.09.310%
加权总分6.36.98.6100%

加权总分很残酷,Model-C领先第二名接近1.7分。三个维度的对比也指向一个共同结论——所有模型的空间位置理解和动态跟踪能力得分都偏低。这说明低空场景里的“实时动态建模”和“三维空间感知”是整个行业的共同软肋,不是哪一家单独的问题。

7. 低空场景下,多模态大模型到底行不行:我的判断和使用建议

这一轮大考做下来,我对多模态模型在低空场景的能力边界有了更清晰的认知。方向上绝对可行,三个维度的能力都已经达到“可参与实际决策”的及格线,尤其是Model-C这类综合型模型,在复杂场景里的判断已经接近新手飞手的水平。但用起来必须清楚它们的边界在哪。

7.1 能用在什么层级,不能用在什么层级

按照目前的表现,这类模型适合做“云端任务理解+决策建议”的角色,不适合直接嵌入飞控回路实时执行决策。你可以让模型去分析回传画面、生成巡检报告、标注重点目标、给出航路调整建议,但不要让它在没有任何人工复核的情况下直接改动飞行路径。受限于时间序列理解能力和空间位置估算准确度,模型可能会出现感知正确但规划错误,或者反过来规划正确但感知漏检的情况,直接闭环风险太大。我实测中确实出现过Model-B把水面反光当障碍导致路径规划过度保守的现象,人眼复核可能几秒钟就能纠正,机器自主决策就难说。

7.2 模型选型的参考框架

如果你想在低空项目里接入多模态模型,我的建议是先按任务类型选模型。如果你的任务是感知密集型,比如灾后搜救、目标侦查,优先选像Model-C这样综合能力强、小目标检出率高的模型;如果你的任务偏重例行巡检、固定航线打卡,心理预期要放低,Model-B这类模型可能经常给出保守结论,反而增加人工复核量;如果你的任务对实时性有要求,要注意Model-C因为思考链路完整,响应耗时明显比Model-A更长,在快速决策场景反而吃亏。

7.3 我踩过的坑和积累的经验

最后分享几条我实测过程中总结出来的经验。一是视频切帧的节奏很关键,不要每帧都送进模型,成本高而且效果没有明显提升,我实测2秒切一帧,模型表现几乎不下降,4秒切一帧就开始丢失关键动态信息了。二是给模型喂提示词的时候,尽量要求它先描述后判断,让模型先说“我看到了什么”再说“我建议怎么做”,输出质量明显提升。三是空中视角的低对比度场景,先做一次基础的亮度和对比度增强预处理,能让感知准确率上升好几个百分点,算力开销几乎为零。

这套测试我后续还打算扩充更多场景和模型版本,尤其是把目标运动建模这块单独做成专项题目测一下,那是当前所有模型都薄弱的地方,也是低空场景真正拉开实用价值差距的关键点。这次三个模型的表现已经说明,低空大脑的能力竞赛才刚刚开始,底子好的选手已经领先,但离真正可靠的全自主决策还有明显距离。

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询