←
Wei9,129 posts
Wei avatar

Wei

@wei_wang

Home AI lab: 2× DGX Spark + RTX PRO 6000 Local LLM deploy · tuning · benchmarks · OSS contributor 本地大模型部署调优|AI 工具实测教程

◷ Joined April 2022▧ 603 Photos and videos
Wei avatar
Wei@wei_wang·Aug 30

我真的在家里装了一个数据中心。 Rackmate T1 机柜里放着两台 DGX Spark,再加一台 M4 Mac mini。 256GB 统一内存,TP=2,接近 Opus 的性能。 这几位随时都能听我调遣: GLM-5.3-Flash EXL3 Qwen3.8-Flash-Next DeepSeek V4 0731 Flash 没有机房噪音,没有五小时限额,也不会按 token 从银行卡里匡匡扣钱。 只有机柜、网线和电费。 它们随时接受我的命令,不会因为地区、账号和额度突然拒绝工作,也不会把我的代码、数据和隐私送上云端。 Codex 何时 reset 跟我无关,不用跪求 Tibo。 Claude 何时封号跟我无关,不用看 Dario 脸色。 可以把专注力集中起来, build 自己的东西。 模型出错了我自己修,机器和数据都掌握在自己手里。 从今天起,我的 AI 跑在自己家里。

Post attachment
Wei avatar
Wei@wei_wang·46m

原帖:x.com/KrakowiakK/status/2122… 我的测试数据:github.com/Lesilva/qwen38-fl…

Pushing Qwen Next Flash on my Mac Studio M5 Ultra (256GB) 🚀 🔥 17 concurrent requests (16 actively decoding) ⚡ 453 tokens/sec median aggregate decode 📈 ~438 tokens/sec sustained right now That's roughly 27–28 tok/s per request, with all 16 decoding in parallel. And the interesting part? This isn't a synthetic benchmark. It's a real workload, running continuously. Apple Silicon + MoE models are a pretty fascinating combination. 🍎

Post attachment
Wei avatar
Wei@wei_wang·46m

同一个 Qwen3.8 Flash-Next 开 16 路,M5 Ultra 256GB 合计 453 tok/s,我那张 RTX PRO 6000 是 1,092。 单看每一路,M5 Ultra 是 27 到 28 tok/s。我那张卡限在 350W,1 路 258,16 路平均每路 68。 两组数的口径不一样。他是真实负载,17 个请求加起来 8 万多 token 上下文,用的是自己写的引擎和 4/8 bit 量化。我这组是每路 400 token 的散文测试。 PRO 6000 卡在容量上。我的配置按 16 路、524K 上下文定的,整套测试跑下来显存最少只剩 2.7 GiB。 M5 Ultra 有 256GB,同样 16 路,每路能分到的上下文和缓存多得多。合计速度不到我的一半,换来的是能同时挂住更多长会话。

Post attachmentPost attachment
Wei avatar
Wei@wei_wang·1h

Claude Code 团队大约 90% 的代码是 Claude 写、Claude 审的。他们在自己仓库里给 agent 加的验证设置: 1. 在 .claude/skills/ 下建一个叫 verify 的 skill,写清楚怎么启动和冒烟测试,Claude 提交前会先跑它 2. 检查连续 3 轮还过不去,Claude 就停下来叫人 3. REVIEW.md 只从主分支读,改动改不了评判自己的规则 4. 新加的提交闸门先开 observe 模式,只记录不拦,看完误报再开 enforce 5. 不稳定的测试不准重跑、不准加 sleep,找不到原因就删掉并写明为什么 测试类型他们最推荐端到端测试,另外两种是属性测试和新旧系统对比测试。

Post attachment
Wei avatar
Wei@wei_wang·2h

Astra 的 API 降价 20%,每百万 token 输入 8 美元、输出 40 美元。Sol 不变,输入 2 美元、输出 10 美元。 官方自己写了一个毛病:两项测试里,这两个模型更容易不提挡住它的障碍,比如要改的文件不见了。Codex 里加了提示词来压,跑长任务还是要多看一眼结果。

Upgrades, people. Upgrades. The wait is over, you can now use GPT-6.2 Astra and GPT-6.2 Sol in Codex and the API.

1:22
Wei avatar
Wei@wei_wang·3h

NVIDIA 稀疏注意力设计指南:developer.nvidia.com/blog/co… 我的 decode 拆解:github.com/Lesilva/qwen38-fl… indexer split-K 补丁和数据:github.com/Lesilva/qwen38-fl…

Wei avatar
Wei@wei_wang·3h

稀疏注意力省下的计算,有一大块搬到了挑 token 的那一步。NVIDIA 这两天发了一篇稀疏注意力的设计指南,刚好能解释我那张 RTX PRO 6000 上长上下文的两组数。 稀疏注意力里,indexer 先给上下文里每个 key 打一个分,top-k 留下分数最高的几千个,正式的注意力只在这几千个上算。 正式注意力这一步不再随上下文变长,前两步还是要把全部 key 过一遍。DeepSeek V3.2 在 128K 输入时,indexer 加 top-k 占了一层 prefill 时间的 47%。 几家的 indexer 结构差不多,都只有 1 个 key 头。query 头 DeepSeek 是 64 个,GLM-5.3-Flash 是 32 个,Qwen 的 QSA 只有 4 个。GLM-5.3-Flash 和 QSA 都把 4 个 token 压成一个 indexer key,按 4 个一块来选。 decode 时 indexer 的瓶颈是读 key 缓存,算力用不满。所以 query 头多 16 倍,decode 时间只多 2%。 投机解码的草稿 token 也几乎白送。读一遍 key 缓存能顺带给大约 200 行打分,32 个 query 头时能塞进 6 个 token,8 个头时 26 个。工作量多了 6 倍和 26 倍,时间只多了 1.37 倍和 1.87 倍。 key 头就贵了。从 1 个加到 8 个,decode 慢 7.6 倍,每多一个 key 头就要把缓存多读一遍。上面这几家都只用 1 个,原因就在这。 top-k 的成本看打了多少个分,留多少反而影响不大。打分的 key 翻倍,decode 的 top-k 慢约 1.5 倍。留下的数量多 64 倍,时间只多到约 1.7 倍。 相邻两步选中的 key 变化不大。TensorRT LLM 里用上一步的结果当猜测,扫一遍验证,DeepSeek V3.2 和 V4 的 decode top-k 快了 2.1 到 2.4 倍。 我这边 decode 的数正好对上。Qwen3.8 Flash-Next 上下文拉到 250K,一轮 decode 只有 QSA 的两个 kernel 变慢: 1. top-k 从 0.016 ms 涨到 0.517 ms 2. 打分从 0.066 ms 涨到 0.296 ms top-k 涨得比打分还多。整轮从 9.94 ms 变成 10.70 ms,多了不到 8%。 prefill 那边我之前改过一处。QSA indexer 的分数先写进一块 128 MiB 的缓冲,480K 的时候一次只能放 256 行,只发出 8 个 CTA,这张卡有 188 个 SM,大部分闲着。 我把 key 切成几段分给更多 CTA,拆几段按形状自动选,结果逐位一致,思路来自 redashes1984。单次 launch 在 8K 快 1.6 倍,480K 快 8.5 倍,490K 找针的首 token 时间从 66.5 秒降到 52.4 秒。 NVIDIA 文章里给的方向是把 top-k 直接融进 indexer,分数不写回显存,FlashInfer 里已经有开源实现。 在我这张卡上,稀疏注意力模型拉长上下文,decode 多出来的时间主要在 top-k,prefill 多出来的主要在 indexer 打分。

Post attachmentPost attachment
Wei avatar
Wei@wei_wang·4h

我两台 Spark 跑 GLM-5.3-Flash 用的就是 TensorFold 加 EXL3,单路 62.2 tok/s,4 路合计 104.6。 昨天拆过的那份测试里,同样两台 Spark 从 vLLM 换到 TensorFold,4 路合计从 54.6 涨到 85.2。同一台机器,换个引擎差五成多,图像这条线等他调完再比。

DGX Spark vs Mac Studio M5 Ultra, comparing MiniMax-Image gen: Mac: 12.6s Spark: 80.6s You'd bet on the Spark, it's CUDA. But my Mac build of TensorFold is tuned and keeps the model loaded. The Spark port is brand new and spends half its time on setup. Rematching soon!

0:14
Wei avatar
Wei@wei_wang·12h

老板在群里发:从今天起,所有 agent 的 system prompt 第一行加上当前时间,精确到秒,让它有点紧迫感。 周一,财务在群里发:这周的 API 账单是上周的 5 倍。 老板回:说明它干活更卖力了,好事。 周二,CTO 悄悄把时间改成了只精确到天。 周三,账单回到了原来的水平。老板在周会上总结:agent 的紧迫感,一天提醒一次就够了。

Wei avatar
Wei@wei_wang·13h

我两台 Spark 从 8 月起就一直锁在 1800MHz。 和 2200MHz 比,单路 decode 还剩约 93%,4 路合计还剩 97.5%。平均功耗降了约 30%,峰值温度低了 5 到 7°C。 锁到现在一直很稳,没出过问题。

Mia@MiaAI_labNov 17

Did you know you can cap the GPU clock on your DGX Sparks easily with sparkDash? And yes, it survives reboots. Your sparks will run much cooler ❄️, with minimal performance lose! Just click Edit on your DGX Spark, set your target MHz, and click Apply. If you want it to be permanent, check "Keep after reboot (a system service)". Get sparkDash here: github.com/MiaAI-Lab/sparkDa…

Post attachment
Wei avatar
Wei@wei_wang·14h

NVIDIA 在 SC26 上出了 DGX Spark HPC 开发套件:4 台 Spark 用 ConnectX-7 直连成一个环,不用交换机,合起来 512GB 内存、20TB NVMe。 官方说用 NVFP4,4 台能跑到 700B 参数的模型,举的例子是 DeepSeek V4.1。 官方文档里,4 台以内都不用交换机: 1. 2 台,一根 QSFP 线直连 2. 3 台或 4 台,连成环,每台插两根线 3. 超过 4 台,要走交换机 套件就是 4 台 Spark 加 4 根线,送 90 天 NVIDIA AI Enterprise,价格要询价。HPC SDK 的部署手册还没出。 我两台 Spark 是 4,499 一台买的,两台 8,998。现在官网单台 6,950,再加两台凑成 4 台要 13,900,比我当初买两台多花一半多。 4 台环形直连能跑成什么样,论坛上刚好有一组实测:DeepSeek-V4.1-Flash-1017,开到 1M 上下文,单路写文章约 88 tok/s,写代码约 136 tok/s。 冷读 prompt,512K 是每秒 1.2 万到 1.36 万 token,到 1M 还有 9,200 到 1.08 万。4 台从冷启动到 API 可用大约 2 分钟。

Post attachmentPost attachment
Wei avatar
Wei@wei_wang·15h

这周我也退了一台 M5,是 PROLED 屏的 MacBook Pro M5 Max,屏幕闪得我看一会儿就晕。 他前几天测过冷启动,跑 DeepSeek V4.1 Flash 原版,M5 Ultra 36 秒出第一个 token,4 台 GX10 要 150 秒。4 台读盘只花了 35 秒左右,剩下的都耗在容器和集群初始化上。

Seapy@seapyNov 17

Returned my Mac Studio M5 Ultra 512GB today. A week of tests: LLM serving, video generation, power, cold start. It's a great machine, just not the right fit for what I do. Even if a Mac server ships, I'm not sure it'd fit either. Maybe the Mac server is just a fantasy 😅

Post attachment
Wei avatar
Wei@wei_wang·16h

我那张 RTX PRO 6000 跑 Qwen3.8 Flash-Next,单路 decode 一轮大约 10 ms,能出约 2.86 个 token。我用 profiler 把这 10 ms 拆开看了一遍。 配置就是我平时在用的那套:NVFP4 权重,NVFP4 KV,524K 上下文,MTP 3 步,功耗限 350W。 GPU 有 97% 的时间在跑 kernel。调度线程 1.16 ms 就把一整轮发完了,剩下的时间都在等 GPU,CPU 这边没什么可省的。 一轮里大约 85% 是大模型在验证草稿,15% 是 MTP 头在出草稿。 按 kernel 类型分,MoE 和稠密 GEMV 加起来接近六成: 1. MoE 专家,NVFP4 分组 GEMM 加路由:29.7% 2. W8A16 的稠密 GEMV:28.6% 3. BF16 GEMM:12.4% 4. hyper-connection:10.0% 5. 注意力和 KV:6.4% 读权重的 kernel 占了一轮的三分之二左右,已经跑到约 1.6 TB/s,接近这张卡显存能给的上限。kernel 融合缩短不了它们。 把读权重的 kernel 挪到另一条 stream 上也没用,几条 stream 共用同一份带宽。 MoE 贵在读的专家多。验证一次是 4 行,每行选 10 个专家,每层要读 40 个专家的权重。 上下文拉到 250K,只有 QSA 的两个 kernel 变慢,一轮多了约 0.7 ms。 我也试过把 MoE 换成单个 kernel,再把两个小 BF16 GEMM 换成自己写的 GEMV。单路一轮缩短了 4.1%,2 路以上没变化,没到我上线的标准,就没合进去。

Post attachment