当前位置：首页 > news >正文

新手都在用模型，我的老经验还剩多少护身符？

news 2026/8/7 17:03:30

一、困境：我的老本行，突然被夹在中间

2025年前后，端侧这边气氛很拧巴。一边是手机、车机都想把大模型跑在本地，端侧推理成了香饽饽；另一边，普通的应用开发岗位在收，满屏招聘"35岁以下"“精通AI大模型应用”，纯写业务代码的C++岗肉眼可见地变少。

我们组也卷。内部搞代码量和Token用量排行榜，三个月一轮末位淘汰，周期比往年短。低职级的同学最危险，因为很多重复编码大模型一口就能吐出来，人很容易被覆盖。有次一个刚来一年的小伙子跟我说，他觉得自己写的那些胶水代码，AI比他写得又快又规整，他不知道自己还能留什么。

更让我犯嘀咕的是那句行业悲观论：有大厂的人判断"未来只需要过去五分之一的工程师"。这话未必全对，但听着慌。我自己干了七年C++，性能优化、内存管理是看家本领，可当项目开口就是"端侧部署大模型"，我发现光会C++不够了——模型怎么裁、怎么量化、怎么塞进那点内存和算力，我一概不会。

招聘侧也在变。技术文档岗有公司整岗砍了让AI出文档，初级岗缩得明显。我这种卡在中间年龄的，往上够架构师吃力，往下又被AI和年轻人挤，进退两难。有回我翻自己的年终总结，写的还是"优化了某某模块耗时"，可组里新的OKR已经全是"端侧模型落地"。我那点老功劳，突然不像以前那么能撑场了。那种眼睁睁看着地基松动的感觉，确实不好受。

有回我跟一个做前端的朋友喝酒，他说他们组也在裁，原因一样："会写页面的，模型比人快。"我忽然觉得这不是我一个人的事，是整层楼的人都在被重新洗牌。最让我不舒服的，是发现自己开始躲活。遇到要写新业务代码的任务，我下意识往后缩，怕写得慢被比下去。可越躲，存在感越薄。

有回面试一个年轻人，他简历上写满RAG、Agent、端侧部署，我问他最熟哪块，他说"都能让模型帮我写"。我一时语塞——这孩子比当年的我还会借力，也让我更慌：连新手都在用模型，我的老经验还剩多少护身符。

二、接触：我从把模型塞进设备这件事上找到了新活

契机是个车机项目。客户要求把一个小模型跑在板子上，离线能用，不能每次都连云。组里没人搞过，我自告奋勇接了。第一次，我拿开源模型直接往设备里塞，跑不起来——内存爆了，推理慢得没法用。

后来我开始学模型裁剪和量化：把不重要的通道剪掉，把浮点压成低精度，再针对端侧推理框架做适配。中间踩的坑一只手数不过来：量化完精度掉得离谱，裁剪完某些样例直接答错，设备散热一上来就降频。一个做端侧的朋友拉我进了个技术群，我天天在里面问傻问题，慢慢才把门道摸顺。

真正让我踏实下来的，是发现我的C++老本行在这里不但没废，反而更值钱了。模型再聪明，最终也得有人把它变成能在设备上跑、还跑得动的代码。内存怎么排、线程怎么切、耗时怎么压，这些恰恰是七年的功底。那两个月我几乎住在开发板前，不是因为热血，是因为怕再不学，下次被覆盖的就是我。有回为了把一个算子压进算力上限，我把自己当年写内存池的那套老经验翻出来改了三版，最后比直接用框架快了将近一倍。那一刻我有点信了：老功夫不是没用，是得换个地方使。说起来好笑，我当年最烦的"内存排布、指令集差异"这些破事，现在反倒是我吃饭的本钱。模型再神，落到设备上也得乖乖听这些老规矩。

第一次把模型量化完跑在板子上，我盯着那个终于出结果的终端，站了好一会儿。不是多激动，是觉得这七年没白干——那些被同事笑"太底层"的内存活，突然成了香饽饽。那阵子我加了三四个端侧技术群，白天干活，晚上看别人踩坑帖。群里最活跃的，居然是一群和我一样卡在中年、怕被优化的老开发。大家互相喂资料，也算抱团。

三、现状改变：老本行有了新活，但落地坑不少

现在我的日常和以前不一样了。过去主要做业务模块的性能优化，现在多了模型裁剪、量化、端侧部署这一摊。组里遇到"模型上设备"的需求，先想到我。我的定位从"写C++的"变成了"能把模型和端侧接起来的人"——不过这话我说得小心，因为真接起来的活儿我还常翻车。现在组里有人开玩笑叫我"端侧模型那个人"，我笑着应，心里知道这牌子还没立稳。因为每次换设备、换模型，我都得重新爬一遍坑，远没到"游刃有余"。

坑是真的多。不同设备指令集不一样，换块板子又得适配一轮；量化精度和速度的权衡，每次都得实测，没有通用答案；模型一更新，部署流程往往推倒重来。有回上线前夜，某个样例在设备上答非所问，我查到凌晨才发现是某层算子不支持，临时换了实现才过关。

收入结构没大变，还是那份工资，没翻倍也没暴富。只是手里的活从纯性能优化，变成了"性能优化加模型落地"。判断的活儿重了——哪些模型真值得上设备、上了能扛住吗、代价多大，得我来估。我也开始用AI工具帮自己写些适配代码和测试用例，确实提了速，但核心的权衡还是我自己拿。工具是帮手，但真要做取舍，还得我自己拿——这点没变，也不会变。

每周例会，我从汇报"这个模块又压了百分之十"变成被拉着问"这个模型上设备靠不靠谱"。位置没变，但被问的问题深了一层。前阵子有个需求，产品方想把完整大模型搬上车，我实测了算力，直接说塞不下，建议换成小模型加缓存。没用上那个"大"模型，但我拦住了一个会卡死车机的坑。这种"该不该上、上多大体量"的判断，现在比我当年纯写优化更被看重。

老实说，这摊活让我比以前忙。以前优化一个模块，指标到了就收工；现在模型落地，要跟算法、产品、测试来回对，哪方不理解端侧的难，我都得解释。沟通的累，不比写代码少。收入没变，但手里的筹码变了：以前我靠"写得快"立足，现在靠"知道什么能落地"立足。前者容易被覆盖，后者得靠一个个项目慢慢攒。带新人时我总说：别只学怎么调模型，要学模型怎么在你的设备上活下来。这话是我用无数个凌晨的报错换来的，比我当年背的C++语法值钱。偶尔也会想，要是哪天端侧模型也像写页面一样被模型自己搞定了，我怎么办。想不出答案，就只能先把眼前每个项目做扎实，让"落地"这件事还非我不可一阵子。现在回头看，那个第一次跑不起来的板子反而是好事——它没让我靠运气蒙混，而是逼我把模型从"能跑"逼到"跑得动"。