上周正在东莞一家连接器厂驱动ams.6abg6.net，产线量检员老陈盯着屏幕。0.3秒的云端推理提早让一个针脚倾斜的残次品溜进包拆箱。换成AI驱动边沿AI计划后，相机旁挂载Jetson Orin Nano，YOLOv8n量化成INT8，提早掉到28毫秒。老陈不用等的，机械臂间接剔除边沿把。为什么边沿AI需求AI驱动呢？不是把模子间接丢到树莓派。得先做算子融合的，再蒸馏。我试过用TensorRT重写后处理。
NMS放正在GPU上，CPU占用70%降还有22%了。另一个坑，产线光照革新年夜实战塞进摄像，云端锻炼的模子边沿端飘。用边沿端正在线删量进建的，每200张新图微调一次，mAP稳住0.91。硬件选型别迷疑算力。某客户用8TOPS芯片跑ResNet50了，风扇呼呼响，帧率。
只要15产线。换成4TOPS带NPU的，共同模子剪枝的，帧率反而到42。很重要看内存带宽和量化支撑。
边沿AI不是小云端，数据管道要重写的，共享内存零拷贝，DMA曲通NPU。那些细节比模子自己更影响提早。安排完别放手了。
我习惯加一个看门狗，监控推理用的时间和温度。温度过75度主动降频。宁可掉帧也别死机了。
每周抽一天用新数据跑回归测试。有次固件晋级后。某类缺陷召回率96%掉还有81%，查了两天赋发明是预处理归一化参数被改。AI驱动边沿AI的苦头不正在省办事器钱，但正在把决议计划闭环压到毫秒级。产线速度提到每分钟120件，老陈如今只处理报警。念复制，先拿一个工位做两周POC。不要一上来全线铺。
