企业官网建设流程全解析

本次测试基于***数据处理流程，涵盖数据上传、消息触发、脱敏脱密及数据存储四个核心模块。测试目标为验证各环节功能完整性、数据准确性及流程效率。

1. 测试基本信息

测试环境：Ubuntu 22.04、Kafka消息队列、OSS存储、Argo工作流引擎。
测试工具：smartmontools、Kafka CLI、ossutil、阿里云日志服务SLS。

2. 测试结果概览

2.1 总结

本测试报告主要针对ubm数据。目前在前几日的测试过程中已经基本验证了功能的正确性，无阻塞性问题。 但在后续的ubm效率压测及代码调优过程中， 发现了较多的问题，如单机io 限制，pod 调起失败，云盘挂载上限， pod pending， 表现为ubm 流程不通的问题。经过多次优化后，修改为软件解码后压测成功。

2.2 问题列表

无法展示此内容
另：argo问题， error 状态的pod删除后， pvc 不会自动删除， 需要手动清理。 需要注意。

2.3 功能测试结果

无法展示此内容
说明：
1、功能测试为单项对具体功能进行验证，不包含大压力情况下的表现。
2、性能测试持续进行中，过程中会修改代码，对于之前的功能结果可能造成影响。全部完成稳定后需要再次进行功能的回归验证。
3、非阻塞性问题： ubm 与 upm 日志情况不统一， 需要后续修改。
4、上传发kafka消息，目前是走不通的，内网不通，合规不允许。

2.4 性能测试结果

目前主要验证ubm数据
单盘上传效率：4机器插4盘同时上传，计算上传效率。
单盘上传脚本效率：约44M/s。
优化后：单盘上传脚本效率：约125M/s。

单节点压测方法：单节点5任务*8卡，预计应并发处理40任务。 配置环境为1个节点，然后达到上传数据使Running workflows 达到40任务左右，抽选任务统计处理时间，计算效率。

修改为软件解码后压测成功，输出单节点单卡效率为：
单卡处理量 = 单任务效率 * 任务数 / 卡数 * 1天时长 / 1024 / 1024
单卡任务效率 = 0.58T / day 8卡机=0.58*8=4.64T/day

过程中出现较多问题：
第一次：4盘同时上传数据，模拟压测情况。硬盘上传效率较低， 导致Running workflows 达不到40；运行过程中， pod出现报错Pod was rejected: Allocate failed due tono healthy devices present。
第二次：更换节点后，使用云筒内已有数据直接循环调用10个任务数据，一次性灌入超50个任务；Running workflows 达到40， 但任务执行日志内报错NVENCException，且报错后没有失败。
gpu负载较低， 云盘挂载数却打满。pod 启用也有限制， 实际仅支持 31-32个左右。
第三次： 修复报NVENCException但不失败的任务问题， 又调高显存到8G继续验证, 仍使用云筒内已有数据直接循环调用10个任务数据，一次性灌入超50个任务。 执行后，仍出现问题： ubm argo运行任务 出现云盘挂载上限pod报错的问题。 Unschedulable: 0/7 nodes are available: 1 node(s) exceed max volume count, 6 node(s) didn’t match Pod’s node affinity/selector；ubm argo运行任务出现长时间未结束问题,超过12小时；超时长任务15小时候失败，有出现报错的情况： pod出现报错Pod was rejected: Allocate failed due tono healthy devices present 。
第四次： 将硬件解码修改为软件解码，使用云筒内已有数据直接循环调用10个任务数据，一次性灌入超50个任务。任务正常运行，没有出现失败报错。 抽查结果脱敏加密正常。

3. 详细功能测试结果

上传四组数据，共计24628个数据包，抽样检查不同功能模块。测试数据集如下图所示。
抽样数量 数量
数据上传 10
消息触发 15
脱密脱密 3
数据存储 10

不同功能模块测试结果如下：

4. 建议与风险

• 确保ubuntu环境配置准确
• 云上环境的各种设置及机器配置环境都可能会导致性能瓶颈及问题，比如 机器io, 云盘挂载数， 节点健康程度等。
• 网络联通， docker控件续费等也可能会在运营过程中导致问题。

5. 附录

5.1 测试大纲

5.2 kafka消息示例
{
“task_id”: “GAC007_20250407_211940”,
“car_id”: “GAC007”,
“vin”: “LNAKLAA38P5S00515”,
“size”: 1665982809,
“upload_datetime”: “2025-05-14 11:00:20”,
“origin_storage_path”: “oss://kuandeng-input/agb/gpg/56/20240507/GAC007_LNAKLAA38P5S00515/adigobag_e2e/20250407_211940”,
“oss_storage_path”: “oss:gacrnd-source/ubm/source/20240507/GAC007_LNAKLAA38P5S00515/adigobag_e2e/20250407_211940”,
“data_type”: “UBM”,
“disk_sn”: “2348RJ400204”
}