上周在部署YOLOv11到边缘设备时遇到了一个典型问题：在服务器上推理速度能达到30FPS的模型，搬到Jetson Orin上直接掉到了8FPS。更诡异的是，GPU利用率始终上不去，CPU倒是忙得不行。盯着nvidia-smi看了半天才反应过来——这模型压根没跟硬件对上话。硬件不是黑盒子很多人把硬件当成一个抽象的计算单元，以为模型放上去就能自动跑出最佳性能。现实是，不同的硬件架构对计算和内存访问的偏好完全不同。ARM的CPU和x86的缓存策略差异巨大，移动端GPU和桌面级GPU的并行度设计天差地别，更别说那些带NPU的芯片了。YOLOv11的默认配置是为通用GPU优化的，直接扔到边缘设备上，很多层都在“空转”。比如那个3x3卷积，在服务器GPU上能展开成高效的矩阵乘，但在某些NPU上可能得拆成depthwise加pointwise才能激活硬件加速单元。从内存布局开始调整第一个要动刀子的地方是内存布局。PyTorch默认的NCHW格式在大部分GPU上表现良好，但某些AI加速芯片更偏好NHWC。去年在部署某款国产芯片时就踩过这个坑：模型转换时忘了调内存格式，推理速度直接腰斩。# 模型转换时的布局调整示例defconvert_layout_for_npu