
怎么仅通过从网上下载一个公开的模型权重,就可以推断出DeepSeek-V4-Flash和Kimi K3在初始化阶段使用了受出口管制的NVIDIA Blackwell显卡呢? 11月中旬,Unemployment Labs发布的一份报告引发了不少讨论。如果忽略合规方面的争议,它的技术思路其实非常精妙:在训练启动前,显卡会用上面所有可用的计算单元SM向权重表中写入随机初始值。H100有132个SM,大约27万个线程同时在向表中填数;B200则有148个SM,大约30万个线程同时填数。即便随机种子相同,每个线程生成的随机数字序列也是固定的,一旦参与填数的线程数量发生变化,每一轮填数的跨度也不同,越往后错位越多。 但在大模型里,只有训练语料里真正出现过的词才会真的去改词表的那一行;词表末尾凑满 128 整数倍的空白行,或预留未来微调用的特殊标记,在整个预训练过程中一次没被更新过,就留着 0 秒填进去的随机数。外部研究者不用反推乱序,只要穷举 43 亿颗随机种子,分别用 H100 和 B200 的线程数正着重算一遍末尾未训练的行去对答案,一旦猜中,几千个浮点数就会逐位对上。开发者 Bojie Li 随后用这套方法扫了两百多个开源模型,找出了 185 个硬件指纹。 更有趣的问题是:如果厂商明天就把初始化改在 CPU 上,或者干脆不开源权重只提供在线 API,机房里的显卡还能藏得住吗? 顺着模型从出厂到上线的全生命周期看,硬件侧信道其实还有两条:一条是低精度训练时的分组缩放痕迹(比如 Blackwell 的原生 4-bit 每 16 个相邻参数共用一个缩放倍率,可惜目前信噪比还很低,容易被微调冲淡);另一条是直接试探在线黑盒接口——对于托管开源权重的服务,利用不同显卡并行求和的微小舍入差异,先在本地筛出两个候选词得分难分高下的临界提问去试探接口,在零温度下识别底层显卡型号的准确率可以达到 100%;对于纯闭源服务,吐字速度也依然绕不开显存带宽与量化压缩共同划出的物理边界。 我写了一篇文章,配上了一张 3 行 4 列的直观示意图,把这三条硬件侧信道的原理、实证成色和防堵成本都捋了一遍: yage.ai/share/gpu-side-chann…
