给 48G 魔改 4090 解锁 PCIe P2P:动态 BAR1 映射的实现

手头攒了一批 48G 显存的魔改 4090。单卡推理一切正常,换成多卡训练,NCCL 却停在初始化阶段:社区里给消费卡解锁 PCIe P2P 的经典 mod,在这种卡上并不能工作。排查两天后,我改用动态 BAR1 逐分配映射,在不修改用户态的前提下保住了全部 48G 显存,P2P 带宽也能跑满 PCIe Gen4 x16。本文记录问题的成因、驱动修改和上机结果。 文末另有一节「AI 使用披露...

发布于 技术

Mellanox Connect-X 5 网卡 SN2700 交换机 NFS Over RDMA (RoCEv2) 配置指北

目前 CX555 网卡和 SN2700 交换机的价格已经能让 100G 以太网走进寻常百姓家。配置 RoCEv2 和 NFS Over RDMA 其实并不复杂,但网上的资料比较零散,而且有些已经过时。本文记录一下我个人的配置经验,供大家参考。 环境 网卡:所有服务器使用 Mellanox ConnectX-5 EN 网卡(本例中使用 惠普版 cx555a) 交换机:Mellanox Spe...

发布于 技术

HPE cx555a 100G 网卡刷入以太网固件指北

参考文献 https://forums.servethehome.com/index.php?threads/crossflash-oracle-cx556a-to-mellanox-oem.34293/post-463450https://forums.servethehome.com/index.php?threads/crossflash-oracle-cx556a-to-mellan...

发布于 技术