☰
AI来了以后,数据岗位到底该往哪走?
2026/9/30 2:56:17 网站建设 项目流程

数据行业这几年有个挺别扭的现象:岗位分得越来越细,实际干活的边界却越来越模糊。招聘网站上,数据分析师、分析工程师、数据工程师、数据科学家、机器学习工程师、AI工程师,各有各的名字;进了公司,分析师在修管道,工程师在算业务指标,算法工程师在清洗数据,后端开发顺手做了个模型。AI工具普及以后,这种情况更明显了。原来不会写脚本的人,现在也能把脚本跑起来;原来不熟悉某个框架的人,花半天就能搭出一个看着像样的原型。

看着像样,和长期能用,中间隔着很远。一个人能让AI写出订单分析SQL,不代表他知道订单表与订单明细表关联后会不会把收入算重;能搭出一个“问公司制度”的聊天页面,不代表系统会区分新旧制度,也不代表它不会把人事材料发给没权限的人。数据工作过去有多少麻烦,今天大体还在,只不过写第一版代码不再是最慢的环节了。

所以,职业规划不能再只问“我要不要学AI”,也不能一句“以后都要全栈”了事。更有用的问题是:我所在岗位真正负责什么结果?这些结果里,哪些步骤已经更容易被工具完成,哪些难题仍然需要人长期负责?如果想往外走,应该先走向哪一个相邻岗位?

下面按岗位讲。职位名称各家公司会乱用,尤其是小公司,名片上写什么未必决定你每天做什么。我会尽量从实际交付物说起,而不是照着招聘网站上的缩写下定义。

一、数据分析师:别把自己活成公司的取数接口

先说数据分析师,因为这个岗位最容易同时受到两种误判。一种是外行觉得,AI会写SQL、会画图,那分析师没什么用了;另一种是分析师自己焦虑,赶紧去学数据工程、机器学习、大模型应用,最后把真正吃饭的本事搁在了一边。

如果一家公司的分析师主要工作是“业务发来需求,拉数,导出Excel,做图”,那这类工作确实会被压缩。过去稀缺的是有人会连数据库、写查询;现在这些动作的技术门槛下降了,业务人员也可能借助工具自己完成一部分。但分析师本来不该只是一双取数的手。一个好的分析师,应该对业务问题能否被正确地翻译成数据问题,以及数据结果能否支持某个决定负责。

拿“新用户转化率下降”来说,业务方丢过来的这句话,离可以动手算还很远。你首先要问:新用户按注册算,还是按第一次访问算?转化指首次下单、完成支付,还是过了退款期的有效订单?下降是跟上周比,还是跟去年同期比?产品有没有改埋点?渠道结构有没有变化?如果最近投了更多低意向流量,总体转化率下降,未必说明产品变差;如果转化只在安卓某个版本下降,可能不是运营的问题,而是支付页坏了。

这些问题不问,SQL写得再漂亮也只是把错误算得更快。分析师的第一门硬功夫,是把一个含混的业务说法拆成一组可验证的问题:变化发生在哪一天、哪类用户、哪个渠道、哪一步漏斗;是总量变了,还是人群结构变了;是数据记录出了问题,还是业务行为真的变了。这个过程很少有标准答案,靠的是对业务流程和数据生成过程足够熟悉。

第二门功夫是懂数据粒度。很多分析事故就发生在这里。订单表通常一行一个订单,订单明细表可能一行一个商品,支付表可能一笔订单对应多次支付尝试。三张表直接一关联,表变大了,金额也跟着“增长”。查出来的数有零有整,趋势也可能大致正常,最危险。分析师必须形成习惯:打开一张表,先问一行是什么;做一次关联,先问两边的键是不是唯一;算一个人数,先问用户ID能不能跨设备识别;看一个时间字段,先问它记录的是事件发生时间还是系统收到时间。这些常识不如高级模型听起来厉害,但每天都在决定分析是否可信。

第三门功夫是区分描述、解释与因果。看到活动期间销售额上涨,只能说明两件事同时发生。可能是活动有效,也可能那周本来就是旺季,或者公司同时增加了投放。做过AB实验的人知道,随机分组、样本量、实验周期、指标提前约定都有意义;没法做实验时,也至少要知道对照组为什么选、哪些因素没有控制。AI能很快给出“销量上涨可能由促销带动”的一段话,恰恰因为太容易生成,这类话现在更需要有人踩刹车。

数据分析师想往上走,不是必须立刻转岗。可以先看自己现在的工作有没有产生决策。如果一份周报连续半年没有人根据它调整动作,你要么没找到真正的决策问题,要么没把结果送到能决策的人面前。资深分析师与初级分析师的差距,往往不是SQL多写了几个窗口函数,而是前者能坐下来跟产品、运营、销售把问题谈清楚,做完分析后还能追问:采取行动了吗?结果变了吗?当初哪项判断是错的?

至于技能怎么补,建议按顺序来。SQL先练到能独立检查关联、分组、时间窗口和口径问题;然后补统计与实验设计,不需要上来就啃最抽象的推导,先把抽样偏差、置信区间、显著性、回归中的混杂因素弄懂;再学一点Python,让重复分析能自动运行;最后补基础数据建模,减少每次从脏的原始表重新开始。对大多数DA来说,学会把分析做成可重复、可复核的工作,比匆忙学一个新模型更有用。

如果你很喜欢业务讨论、实验、策略和人的行为,就沿分析路线走深,做产品分析、增长分析、商业分析或者某个行业的资深分析师。如果你越来越受不了大家各算各的指标,喜欢把公共逻辑整理成稳定的数据层,再考虑分析工程师。别因为岗位名里多了“工程”两个字,就觉得自己必须转过去才算进步。

二、商业智能与BI开发:不要只靠“会做看板”立身

有些公司把BI开发和数据分析混在一起,有些分得很开。分得开的地方,BI岗位更多负责指标体系、语义层、报表模型、权限和自助分析体验。业务想看收入、毛利、客户数、库存周转,BI把它们变成大家都能查、而且查出来尽量一致的东西。

这个岗位最常见的低水平状态,是“需求来了就加一个图”。图越来越多,没人知道哪个才是官方口径;同一项销售额,区域经理的看板、财务的月报、运营的周会上出现三个数。出问题后大家一起查SQL,查到最后发现有人按付款时间算,有人按下单时间算,有人扣了退款,有人没扣。这时真正缺的不是一张新看板,而是指标定义、模型层和变更机制。

做BI要懂的一个核心概念是语义一致性。业务方看到“活跃客户数”,不应该为了得到正确结果,自己记住应关联哪三张表、排除哪些测试账号、时间按哪个时区截断。公共定义应该尽量沉淀到可维护的数据模型或指标层里。这里并不是说所有指标都必须只有一种算法;收入完全可能同时有“下单收入”“实收收入”“财务确认收入”。问题在于每一种算法都要有准确的名字、适用场景和维护人,不能都叫“收入”。

另一个容易被忽略的东西是权限。区域销售经理能不能看到其他区域的客户明细?财务总额能不能下钻到个人薪酬?同一张报表发给管理层和一线员工,权限是否跟着变?自助分析越方便,越需要想清楚哪些数据可以查、可以聚合、不能导出。AI问数也是一样:用户用自然语言提问,不等于权限规则可以绕过。未来BI未必只是一块块固定仪表盘,也可能是自然语言查询、自动生成解释、异常主动提醒,但背后仍然要有稳定的数据定义和授权边界。

BI岗位的职业风险,不在于图表工具换代,而在于自己只会拖控件。一个能够梳理指标口径、设计可复用模型、理解业务决策、处理权限和性能问题的人,不会因为看板生成变容易就突然失去价值。反过来,只负责页面好不好看、不会追问数是怎么算出来的,确实容易被更便宜的工具或更综合的岗位替代。

发展方向有两条。一条往分析走,深入某条业务线,不满足于“看板上线”,而要解释变化、推动行动;一条往分析工程走,研究数据建模、指标层、质量测试和发布流程。选哪条,看你更愿意为“结论”负责,还是为“别人据以得出结论的数据产品”负责。

三、分析工程师:管的是原始数据到业务指标之间那层没人愿意收拾的地方

Analytics Engineer这个名字这些年出现得越来越多,但它不是把分析师和工程师的技能表各拿一半。它之所以会成为一个岗位,是因为很多企业在“数据已经进仓库”和“业务真的能放心用”之间,留了大片无人负责的地带。

业务系统同步进来的是订单、支付、退款、账户、行为日志;分析师希望拿到的是“有效订单”“净收入”“首次购买客户”“过去三十天活跃商家”。从前者到后者,隔着字段标准化、去重、历史处理、业务规则、模型设计、质量测试和文档。公司规模小的时候,分析师自己写几段SQL顶着;人一多,每人写一遍,口径就散了。分析工程师主要管这一层。

举个收入的例子。订单系统记录下单,支付系统记录收款,退款系统记录售后;如果有多币种,还要处理汇率。分析工程师不能直接把金额加一遍交差,得先跟财务和业务确定几个问题:一笔订单分两次付款怎么算?部分退款怎么算?汇率按下单日、支付日还是报表日?测试订单如何识别?历史退款发生在本月,但对应的是上月订单,管理报表应当怎么呈现?这些问题谈完,才轮到设计模型。

模型设计里有个很实际的要求:每一层最好有清楚的粒度和职责。清洗层处理字段类型、明显重复和来源差异;中间层统一实体关系,例如订单与支付、订单与退款;面向业务的模型提供稳定的事实与维度;最后供报表和分析直接使用。不是层越多越高级,层多到谁也找不到逻辑在哪里,同样是失败。好的模型应该让后来的分析师能看懂“为什么这么算”,而不是只能复制上一位同事的SQL。

dbt是这类岗位常见的工具,因为它能把SQL转换组织成有依赖、有测试、有文档的工程项目。Snowflake、BigQuery、Databricks或其他仓库、湖仓平台也经常出现在招聘要求中。但工具不等于工作能力。一个人很熟悉dbt命令,却不知道订单表为什么不能直接跟明细表关联求和,做出来的模型仍然不可靠。另一个人不熟悉dbt,但长期做口径治理、数仓建模、质量检查,上手工具通常不会太慢。

分析工程师还要理解历史会变。用户今天更换了所属销售区域,回头看去年收入,是按去年当时所属区域统计,还是按今天最新归属统计?两种都有业务场景,系统得留得出历史,而不是每次更新维度表就把过去的报表悄悄改写。订单状态也一样,昨天下单今天退款,昨天看到的收入与今天重算昨天收入,可能不同。什么时候允许回补,什么时候需要冻结,必须提前讲明白。

这类岗位很适合从DA或DE两边转入,但切入点不同。DA转过来,优势是懂口径、知道业务怎么使用数据,短板往往在版本管理、测试、任务依赖、性能和部署;DE转过来,优势是可靠性和工程流程,短板可能是不习惯花时间跟财务、产品反复确认定义。无论从哪边来,别只补工具。找一套已经被反复使用的指标,亲手把原始数据、业务定义、转换模型、质量测试和文档串起来,比做十个玩具模型更有说服力。

分析工程师往后可以做数据建模负责人、指标治理负责人,也可以进一步做数据平台或解决方案架构。值得警惕的是,有些公司招聘这个岗位,实际只是想找个人替所有分析师维护杂乱SQL,又不给改上游定义的权限。面试时问清楚:团队能否制定公共指标?业务口径冲突谁拍板?模型变更如何通知下游?如果这些问题完全没人管,岗位名字再新,工作也可能只是长期救火。

四、数据工程师:把数据搬过来,只是工作的开头

数据工程师最常被外行理解成“搬数据的”。这话也不是全错,很多系统的第一步确实是把业务库、日志、第三方接口和文件里的数据,稳定地送到可以加工使用的地方。但真正值钱的不只是“搬过来”,而是搬运过程中不丢、不重、可恢复、成本可控,并且让下游知道自己拿到的是什么。

看一条最普通的订单管道。白天业务系统持续产生订单,晚上同步到数据仓库,第二天早上报表更新。刚建好时可能很顺,运行三个月后,上游增加了新的订单状态,某些字段开始为空;一次网络故障导致任务重试,部分记录重复写入;月底促销订单暴涨,原来二十分钟跑完的任务开始跑三小时;有一天支付数据晚到,任务显示成功,金额却偏低。工程师要解决的不是单一报错,而是让整个流程在这些情况下仍然可控。

这里有几个硬概念,必须真的弄懂。幂等指的是同一批数据重跑后,不会无故产生第二份结果。很多管道平时正常,一重跑就重复计数,根源是写入方式没考虑幂等。增量处理指的是只处理新来或发生变化的数据,但“新增”怎么判断并不总是简单的时间大于上次时间:记录可能晚到,历史可能被修改,时间字段本身也可能不可靠。回填指的是规则修复后重算一段历史;如果系统从没设计过回填,一次口径调整就可能让几个月的报表新旧混杂。可观测性不只是任务失败发通知,还要知道数据量、延迟、关键字段缺失率和分布有没有异常。

“任务成功但数据错了”是数据工程里非常典型的事故。调度平台显示绿色,只说明代码按预定流程运行,不说明业务结果正确。所以质量检查不能只有数据库连得上、文件读得出来,还得看主键是否唯一、关键字段是否为空、记录量是否突然跌掉一半、业务金额能否对账、不同系统之间的数量关系是否合理。阈值也不是越严越好,节假日和促销可能真的带来剧烈波动;报警太频繁,最后谁都不看。工程能力的一部分就是在误报和漏报之间逐步校准。

往更深处走,会碰到批处理、流处理、仓库、湖仓、对象存储、消息队列等不同系统。这里很容易掉进“会的框架越多,能力越强”的误区。企业选择流处理,不该因为大家都在讲实时,而该因为业务决策确实需要低延迟;选择湖仓,不该因为架构图时髦,而要看现有数据规模、查询模式、团队维护能力和成本。一个资深工程师能说清楚为什么现在用每天一次的批处理更合适,也能说清楚当需求真的变成分钟级时,该在哪些地方付出代价。

实时系统里有几件事绕不开。事件发生时间和进入系统的时间可能不同;手机离线后补传,数据就会晚到;网络重试会带来重复;多条消息可能乱序。若一笔交易“只能算一次”,需要明确靠什么识别唯一事件,以及出错后怎样修复。流式处理不是让报表刷新频率从每天改成每秒那么简单,它还改变了系统对错误、延迟和结果修正的处理方式。老板说要实时,工程师得追问:延迟允许几分钟?数据晚到后要不要修改已展示结果?实时数和财务结算数不一致时,业务能否接受?这些问题问出来,不是推脱需求,而是在防止团队花大价钱做一个没人敢用的系统。

AI给DE带来的影响,不是“会写ETL代码的人失业”这么直线。简单同步任务、常规转换脚本、基础故障排查会越来越容易;另一头,企业又想把合同、邮件、客服对话、图片、音频放进数据和AI流程,数据源变得更不规整,版本、权限、解析质量都要管。原来DE面对的是数据库表,未来可能还要处理一份扫描件里识别错位的表格。模型可以辅助解析,但谁来判断解析结果有没有漏页、错列、引用了过期文件?这仍是工程问题。

DE的成长路线大致有三种。喜欢高吞吐、低延迟、故障恢复,可以往平台和基础设施走;喜欢建模、质量与下游消费,可以往数仓、分析工程和数据治理走;喜欢处理文档、检索、权限和模型评估,可以往AI数据基础设施走。最好选一条主线。什么都碰一点,很容易天天忙;对一种重要故障真正负责过,别人才能放心把更大系统交给你。

五、数据科学家:模型跑出分数,只完成了一小段

数据科学家是数据行业里职位名称最不统一的岗位。有的公司叫DS,实际做的是统计分析和实验;有的主要做预测建模;有的更接近算法研发。看岗位时别先被名字带跑,先看它交付什么:一份能指导决策的研究结论,还是一个上线运行的预测系统?

先说最常见的用户流失预测。业务方说“找出可能流失的用户”,听起来模型任务很清楚,实际第一步就会卡住:多久没回来算流失?七天、三十天还是合同到期未续?预测发生在什么时点?模型使用的字段,在那个时点是否已经存在?很多离线模型效果好得出奇,原因是训练时看到了未来的信息。比如用“最近一次客服挽回记录”预测此前是否会流失,看上去预测很准,实际业务上线那天根本拿不到这个字段。

这叫数据泄漏,也是很多初学者作品里最容易被忽略的问题。另一个问题是验证方式。用户行为有时间顺序,随意把全年样本打乱再随机分训练集、测试集,可能让模型借到未来时期的信息;而业务上线面对的是接下来的一个月。更贴近实际的做法,是用过去训练、用后续时间段检验,并观察产品、渠道、客户群变化以后效果如何。如果模型只在老用户上表现好,新用户上很差,而业务最想触达新用户,整体分数再漂亮也没用。

指标选择也不能离开业务动作。一个模型AUC很高,不代表它能赚钱。运营每天只能打电话给一千位客户,应该看前一千位名单里的效果;触达有成本,还要看预测出来的人是否真的能被挽回。某些用户本来就会留下,给他们发优惠券只是在送钱;某些人铁了心要走,再高的风险分也改变不了。这时问题从“谁可能流失”进一步变成“触达谁能带来增量收益”,需要实验或更合适的评估设计,而不只是换一个分类模型。

做推荐、定价、风控也一样。模型指标只是局部指标,业务结果是另一回事。风控模型提高拦截率,也可能误伤正常用户;推荐系统提高点击率,未必提高长期留存;动态定价提高短期收入,可能伤害用户信任。DS的硬功夫除了建模,还有理解数据怎么产生、目标怎么定义、实验怎么设计、系统上线后分布会不会变,以及某项提升是否真的由模型带来。

AI工具会进一步缩短常见模型的搭建时间。生成特征代码、解释指标、找一套基线模型,比过去容易得多。但建模速度加快,也让坏模型更容易快速投入使用。DS若只把价值放在“我能调出一个比别人高两个点的离线分数”,职业风险会变大。若能识别错误目标、发现数据泄漏、设计可靠实验,并在上线后解释效果为什么衰减,价值仍然很硬。

想从DA转DS,先补统计、实验设计和建模评估,别从背深度学习框架开始;想从开发或算法转DS,则要补业务问题定义、数据偏差和因果意识。两边都需要经历完整项目:明确预测时点,处理数据泄漏,用合理的时间切分验证,和简单基线比较,最后说明模型会如何被使用、如何监控。一个能把这些讲清楚的小模型,比一个没有业务边界的复杂模型更像工作经验。

六、机器学习工程师:把研究结果变成能运行的服务

DS和机器学习工程师常被混用。一个比较实用的区分是:前者更多研究“应该预测什么、怎样证明方法有效”,后者更多负责“怎样让有效的方法在真实系统里稳定运行”。现实中两者可能由同一个人承担,但责任性质确实不同。

离线实验里,研究人员从一份表里提取特征,训练模型,得到预测结果。上线以后,每个用户请求在有限时间内到来,系统要从现有服务取特征、完成推断、把结果返回。训练时使用的是上个月完整数据,上线时某个特征可能延迟几小时才到;训练时没有缺失,上线时接口超时;实验中只跑一批数据,上线时一天要处理数百万次请求。这时,所谓“模型效果好”,要先过稳定性这一关。

机器学习工程师要处理的一个核心问题是训练与服务不一致。例如离线计算“用户过去七天购买次数”,用的是完整结算数据;在线实时计算时,刚刚发生的交易还没有同步,两个值天然不同。差异小的时候可能可以接受,大的时候模型性能会明显下降。解决办法不一定是上复杂特征平台,先要明确特征的计算口径、更新时间和可用性,确保离线评估时模拟的是上线后真正拿得到的数据。

部署以后还需要看数据分布、预测分布和实际反馈。假设反欺诈模型的风险分突然整体上升,是欺诈变多了,还是上游一个设备字段改了编码?如果只监控接口存活率,系统每天正常返回分数,可能已经把大量正常用户误判。模型监控不能只看CPU和延迟,也要看输入字段缺失率、关键特征分布、输出变化,以及在标签到达之后的真实效果。有些场景标签要过几周才知道,那就要先监控可以更早发现异常的替代信号。

AI应用还把这一岗位往模型服务、提示词管理、评估与成本控制方向推。一次回答需要调用几个模型?超时如何降级?模型版本更新后效果变好了还是变差了?高峰期推断成本能否承受?敏感信息会不会出现在日志里?这些都不是“调用一下接口”可以解决的。岗位名可能叫ML Engineer、AI Engineer,也可能叫平台工程师,但共同点是要对生产系统负责。

如果你来自后端开发,这条路线有优势:懂服务稳定性、接口、延迟、部署和故障处理;短板常在数据偏差、离线评估和模型效果解释。如果你来自DS,优势相反;要补工程测试、服务架构、监控和发布流程。两边的转型项目都别停在Notebook里跑通,至少模拟一次模型上线:数据如何进入,失败后如何处理,版本怎么回滚,怎样知道它比旧版本好。

七、AI应用工程师:不要把“会接模型接口”当护城河

这个岗位眼下最热,也最容易名不副实。有的AI应用工程师做的是扎实的产品工程:把模型能力接进真实业务流程,解决权限、质量、时延、成本和用户体验;有的工作则只是改几句提示词,套个聊天框,演示时效果不错,接上真实用户很快露馅。

企业内部知识问答是一个典型例子。业务部门说,想要一个助手回答制度和产品问题。做演示,传几份PDF就够了;做产品,要先弄清资料由谁维护。文件夹里若同时有去年版和今年版制度,系统以哪个为准?同一份规定在不同地区适用条件不同,检索时怎么筛选?用户无权查看某份合同,模型检索到了相关内容,能不能在答案里透露?找不到依据时,系统应当明确说不知道,还是编一个看起来通顺的答案?

这里常会用到RAG,即检索增强生成:先找相关资料,再让模型基于资料作答。技术细节很多,拆文档、建索引、向量检索、关键词检索、重排、权限过滤,都可能影响结果。但别被组件名带着走。很多知识问答项目失败,不是因为没有使用最新的向量数据库,而是文档源头没人治理:旧文件没有下线,扫描件解析错误,制度更新后索引没刷新,权限没接到现有系统。

要让系统可靠,评估集比演示视频重要。准备一批真正来自用户的问题:材料里有明确答案的;答案分布在两份文档里的;不同部门答案不同的;只有旧版本有、当前版本没有的;用户无权查看的;资料根本没写、必须拒答的。然后分开看:检索有没有找对材料,模型有没有忠于材料,引用能不能对上,权限有没有守住。不要把所有失败笼统叫作“幻觉”;问题若出在文档解析,换再强的模型也难治。

除此之外,还要考虑产品设计。用户问“今年差旅住宿上限是多少”,如果他没说城市、职级和出差类型,系统应该追问,还是给出所有条件的对照?用户希望的是一个答案,还是一个能继续办理报销的入口?AI应用是否真的省了员工时间,还是只是把原来能搜索到的一页制度,改成等模型打字念一遍?这类判断需要理解流程,不是提示词技巧。

做这个岗位,后端基础、数据处理和产品意识都重要。安全边界也不能含糊:公司内部合同、客户记录、源代码能否送到外部模型服务,取决于公司授权和具体合同条款,不取决于“大家都在用”。日志里保留了哪些输入,谁能查看,多久删除,同样要设计。职业上想走得稳,不要只研究模型新功能,至少做过一个有真实数据、权限、评估和迭代机制的应用;否则一旦“接接口”越来越简单,自己也会越来越难解释为什么岗位非你不可。

八、数据治理与数据质量岗位:过去嫌它慢,现在发现绕不开

聊职业规划时,这类岗位经常被忽视,因为它不像建模和AI应用那样容易展示成果。很多公司也是系统乱到一定程度,才想起来招“数据治理”。结果把一个几乎不可能完成的任务交给一个人:请你把所有数据管好。

治理不是给每张表补一段描述,也不是装一个数据目录就结束。它首先要回答组织问题:哪项数据是谁产生的,谁有权改变字段,出了质量问题谁负责修,哪些数据属于敏感信息,保存多久,谁可以访问,口径变更要通知哪些使用者。平台能让规则执行起来,但平台本身不会替公司决定规则。

数据质量可以从一张关键表开始。假设每天财务都要核对实收金额。治理人员会跟业务确认口径、找出上游系统和负责人、建立字段定义,设置到达时间和对账规则;发现偏差后,不只是给表贴个“质量差”的标签,而是能追查是哪条接口延迟、哪个状态漏算、哪次发布改了定义。真正有效的质量工作应该缩短发现和修复问题的时间,而不只是让质量报表变漂亮。

血缘关系也值得说清楚。大家常说“我要知道一个指标从哪里来”,实际追踪时可能经过业务库、同步任务、清洗模型、公共模型、报表计算好几层。上游要改字段,先知道会影响谁;报表数字有问题,反过来能追到源头。血缘若只是工具自动画出的复杂箭头,没人维护含义,也很快沦为摆设。关键不是图有多全,而是核心指标出问题时,能不能用它定位和通知。

AI普及会增加治理的必要性。企业过去的数据使用者主要是分析师和工程师,至少知道部分表的限制;未来自然语言问数和智能助手可能让更多员工直接接触数据。使用门槛低了,错误口径和越权访问传播得也会更快。非结构化资料还有版本、保密级别、适用范围的问题。制度过期没标明,模型答得再流畅,也是在规模化传播旧规定。

做这类岗位需要耐心,技术上要懂基础架构、元数据、质量检查和权限,组织上还得会推动别人改变流程。它不是一条适合所有人的路线:如果公司领导嘴上说治理重要,却不愿意让业务系统承担字段变更责任,专职治理人员很容易天天催、天天被绕过。面试时要问清楚治理覆盖哪些核心数据,是否有上游负责人,出现冲突是否有决策机制。能把这些东西建立起来的人,会越来越值钱;被安排成“表名规范检查员”,则很难积累真正的影响力。

九、数据平台与解决方案架构师:不能只会把工具画进一张图

有些人做了一段时间DE或分析工程,开始想往架构师走。这里要先泼点冷水:知道S3、ADLS、GCS是什么,会用仓库、调度器和流计算框架,不自动等于能做架构。架构不是把熟悉的组件从左到右摆好,而是在限制条件里,设计一套组织真能付钱、能维护、出事能修的系统。

假设一家零售企业要求门店看到“接近实时”的库存,总部还要做长期补货分析。你可以画一个全流式方案,技术上很漂亮,账单也可能很漂亮;可以让门店直接查交易数据库,第一周简单,访问量上来后拖慢收银;也可以用批处理,便宜稳定,但某些高周转商品可能来不及补货。架构师得先问业务:允许库存延迟几分钟?缺货与库存错报哪个损失大?门店断网怎么办?库存变更能否从源系统可靠获取?现有团队有人能维护流式系统吗?两年运行预算是多少?

这些答案比“用哪家云”更早决定架构。还要考虑职责边界。哪个团队负责生产订单事件?数据平台负责从哪里开始接?结果由谁确认?出事后的恢复时限是什么?如果每个环节都在图上,却没人对环节之间负责,图画得越完整,故障时越容易互相甩锅。

解决方案架构师还需要知道什么时候不做。一个每天只使用一次的报表,不该为展示秒级数据搭一套高维护成本的系统;几百份短文档能靠关键词搜索解决,就不必先建复杂的AI检索平台。技术上更先进与业务上更合算,不总是同一件事。能公开、准确地解释“这里先用简单方案,哪些条件出现时再升级”,是成熟架构判断的一部分。

成长路径最好从真项目里来。先在一个方向上做深,经历过系统运行、业务变化和生产事故,再逐步负责跨系统设计。只负责过原型的人,通常低估数据回填、权限迁移、成本监控和老系统下线的麻烦。架构师最值钱的经验,一部分来自成功上线,另一部分来自曾经以为某个假设没问题,后来发现它让团队花了半年补救。

十、数据产品经理与数据团队负责人:别把“会提需求”当管理能力

数据工作规模上来后,总会出现产品和管理岗位。数据产品经理负责把多个业务方的需求整理成有优先级、可交付的数据产品;团队负责人则要决定招什么人、哪些系统值得建设、哪些需求不做,以及出了问题如何让组织恢复正常。这两个岗位对技术深度的要求各公司不同,但有一件事相同:不能只在会上重复“业务很着急”和“技术排不过来”。

数据产品最难的是找到可复用问题。销售要一张客户报表,运营要一个转化看板,财务要收入对账;表面看是三个需求,底下也许共享客户身份、订单状态、收入定义。一个会管理需求列表的人,可以安排三次开发;一个真正懂数据产品的人,会先看能否把公共数据模型和权限做好,让以后类似需求不必从头再来。但也别走向另一个极端:为了建设宏大的“统一平台”,让眼前急需解决的业务问题等一年。优先级就在公共能力和具体交付之间反复权衡。

数据团队负责人还要面对资源配置。分析师每天被临时取数打断,应该继续招人接单,还是建立自助能力并规范需求入口?关键指标老是出错,是测试不够,还是上游系统每次发布都不通知?AI工具省出的时间,是拿来让大家接更多零碎需求,还是允许团队还技术债?这些决策会影响团队两三年后的状态,比负责人自己能不能写最漂亮的SQL重要。

岗位设置也不宜跟风。一个还没把订单数据同步稳定的公司,急着招向量检索专家,可能找错了问题;一个收入定义天天打架的团队,只招更多分析师,不给指标治理和建模留人,人数增加也未必更快。管理者必须看清当前瓶颈在采集、建模、分析、算法还是协作,岗位才有可能招对。

十一、刚入行的人:先证明你能完成一件事,不要急着把所有缩写学一遍

新人最容易被职业规划文章吓住。打开招聘网站,一份岗位同时写SQL、Python、Spark、云平台、统计学、机器学习、沟通能力、行业知识;再看培训课程,每条方向都有一张巨大的技能树。照单全学,两年也学不完。更重要的是,企业招一个初级岗位,通常并不指望你对所有领域负责,而是希望你在明确范围里,能把一件事从头做到尾,知道哪里可能出错,遇到不会的会查、会问、会验证。

先选方向,不要先选工具。如果你愿意跟业务讨论、解释变化,选DA;如果你喜欢整理混乱数据、让别人的分析更可靠,可以研究分析工程;如果你喜欢系统运行、性能、任务调度和故障排查,选DE;如果你喜欢统计、实验、建模,选DS;如果你已经有软件工程基础,想做模型上线或AI产品,可以看ML工程或AI应用。方向不是终身契约,先选一个,才能决定下一步该学什么。

项目也别做成“下载一份干净数据,画几张图,最后总结用户更喜欢周末购物”。拿一份公开订单数据,先设定一个具体业务问题:新客复购为什么下滑?然后自己写明定义:新客按首次有效支付算,退款订单怎么处理,复购窗口是三十天还是自然月,跨币种如何比较。检查数据里有没有重复订单、缺失用户ID、异常时间;建立订单级和用户级结果;最后把结论、限制和建议写出来。这个项目可以很小,但要让人看到你做过判断。

如果想投DE,就给同一个项目加上自动导入、增量处理、失败重试、重复数据去重、关键字段检查和一次历史回填。想投分析工程,就把公共模型、测试、文档和口径变化做好。想投DS,就研究预测时点、时间切分、基线模型与数据泄漏。想投AI应用,就加入文本资料,做权限、版本和评估,不要只放一张聊天页面截图。**同一个题目按不同岗位做,交付物会完全不同。**这也能帮你看清自己究竟喜欢哪种工作。

求职时要读岗位,不要只读职位名。连续找十到二十份目标招聘,记录它们反复要求交付什么。两份都叫数据工程师,一份偏数据仓库和SQL建模,另一份偏实时计算和分布式系统,准备方法不能一样。面试里讲项目,别按“我用了哪些工具”流水账介绍。说清楚遇到什么问题、为什么这样定义、试过什么办法、怎么发现错误、最终还有什么限制,比一长串工具名更可信。

AI可以用,而且应该学着用。但不要把自己做过的项目解释成“我让AI生成了代码”。用它查文档、解释报错、写测试初稿都没问题,前提是你能回答代码为什么这么写,能用小样本核对关键结果,能在面试官改一个条件后自己调整。现在项目代码写得很顺的人不稀缺;别人一追问“退款晚到怎么办”“为什么这样关联不会重复”,你仍然答得出来,这才算本事。

十二、工作三到五年想转方向:别把以前的经验全部清零

到了这个阶段,很多人最难受的不是不会学,而是不知道该不该推翻重来。DA看到分析工程招聘,觉得自己没用过dbt;DE看到AI数据工程岗位,觉得自己没做过向量检索;后端开发看到ML工程,觉得自己没训练过大型模型。其实转型时最该做的,是把已有经验拆开,找到与新岗位相连的部分,再有针对性地补缺口。

DA转分析工程,可以回头梳理:有没有统一过部门口径?有没有把重复分析逻辑做成公共表?有没有为关键指标建立检查?如果有,这些就是经验,只是过去公司没叫这个名字。接下来补版本管理、模型组织、测试和部署,再找一个项目证明。DE转AI数据工程,原有的数据接入、权限、质量、任务监控经验不会作废;要补的是文件解析、文本切分、检索索引、资料版本和评估。后端开发转ML工程,服务稳定性、接口、发布与监控是优势;要补数据切分、训练服务一致性、模型指标和效果退化。

真正困难的是一次跨太多维。你原来做财务分析,下一份要去完全陌生的行业做流式平台,还要求负责大模型检索,这相当于岗位、技术和行业一起换。招聘方不愿意冒险,不一定是你能力差,而是难以判断你能多快交付。更稳妥的办法是一次主要跨一个边界:先在熟悉行业做相邻岗位,或者先在原岗位进入新行业,等有了落脚点再继续转。除非你有特别扎实的项目或内部机会,否则不要轻视跨度的成本。

简历也应该按岗位重写,不是换几个关键词。投分析工程,把你解决过的指标冲突、公共模型和质量问题写出来;投DE,把任务规模、故障恢复、成本优化和稳定运行写出来;投DA,把分析推动了什么决策、如何排除错误解释写出来。不是所有成果都能精确折算成收入金额,不能硬编;但至少要说明工作前的问题、你做了什么、交付后有什么变化。

十三、按岗位想规划,最后还要回到一件事:谁愿意把责任交给你

很多人在规划职业时,习惯从技能名词出发:今年学dbt,明年学流计算,再学RAG,最后想办法做架构。学这些当然可以,但它们不是规划本身。规划应该倒过来,从你想负责的结果出发。

DA负责的是可信判断。BI负责的是一致、好用且有边界的指标与报表。分析工程师负责的是可复用的数据模型。DE负责的是稳定、可恢复的数据链路。DS负责的是问题定义、方法有效性和模型带来的真实收益。ML工程师负责的是模型上线后的运行状态。AI应用工程师负责的是模型能力能否在真实流程中安全、可靠地使用。治理人员负责的是定义、责任、质量与权限能不能落地。架构师负责的是整套系统的取舍。

这些话听着简单,真去做,都会碰到麻烦。可信判断要承认数据不够;稳定链路要处理凌晨故障;公共模型要协调几拨人吵了半年的指标口径;AI应用要在演示很好看时,指出它还不该接触真实客户。职业发展的分水岭往往在这里:别人交给你一个不好收拾的问题,你能不能把它做到下一个人敢接着用。

AI会让很多动作更便宜,包括写初版SQL、生成脚本、搭分析页面、建立模型原型。这些东西便宜了,企业不会因此停止要数据,反而会提出更多问题:资料能不能也拿来用,结果能不能更快出,非技术人员能不能直接问,成本能不能更低,出了错能不能追责。不同岗位会继续交叉,岗位名字也还会变,但可靠、可解释、可维护的结果不会自动出现。

因此,不必把“数据全栈”当成唯一目标。一个人对整个链路有认识,是好事;在链路上的某一段真正有深度,并能与前后环节接得上,通常比每一段都只会演示一遍更有价值。先看清自己这个岗位应该负责什么,再决定往哪里补。技能可以慢慢添,责任得从做成一件具体的事开始积累。

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询