给 48G 魔改 4090 解锁 PCIe P2P:动态 BAR1 映射的实现
手头攒了一批 48G 显存的魔改 4090。单卡推理一切正常,换成多卡训练,NCCL 却停在初始化阶段:社区里给消费卡解锁 PCIe P2P 的经典 mod,在这种卡上并不能工作。排查两天后,我改用动态 BAR1 逐分配映射,在不修改用户态的前提下保住了全部 48G 显存,P2P 带宽也能跑满 PCIe Gen4 x16。本文记录问题的成因、驱动修改和上机结果。 文末另有一节「AI 使用披露...
手头攒了一批 48G 显存的魔改 4090。单卡推理一切正常,换成多卡训练,NCCL 却停在初始化阶段:社区里给消费卡解锁 PCIe P2P 的经典 mod,在这种卡上并不能工作。排查两天后,我改用动态 BAR1 逐分配映射,在不修改用户态的前提下保住了全部 48G 显存,P2P 带宽也能跑满 PCIe Gen4 x16。本文记录问题的成因、驱动修改和上机结果。 文末另有一节「AI 使用披露...