←
Keyu Wang95 posts
Keyu Wang avatar

Keyu Wang

@Keyuciallo

MSc @uni_tue; RA @MPI_IS

◷ Joined November 2025▧ 35 Photos and videos
Keyu Wang avatar
Keyu Wang@Keyuciallo·Sep 29

🔥 Frontier labs are redesigning the residual stream to beat the curse of depth: Kimi K3 uses AttnRes, DeepSeek V4 uses mHC, ByteDance proposed HC, and there are more: LNS, KEEL, MoDA… 🙋 But each method was tested with its own training budget, model design and codebase, so the results can't be compared directly. Which one actually works best? More importantly, which one turns architectural depth into effective computational depth? 👇 We built DepthBench to find out. 📄 arxiv.org/abs/2609.32534

Post attachment
Keyu Wang avatar
Keyu Wang@Keyuciallo·Nov 17

我们需要大带宽理论, 作为大开放理论、大合作理论、大水群理论和大粉理论的infra support。 大带宽理论告诉我们不要最大化工作时间,而要最大化有效带宽 1. HTCondor Scheduling:保持多个 Research Job 在队列中,动态分配认知资源。 2. Slurm Execution:一旦找到高价值 Research Direction,集中 GPU、时间和注意力把它做透。 3. Linux OOM Killer:定期清理长期占用 Attention、但没有有效进展的 Zombie Projects。

我将提出大开放理论。 做科研久了,我发现很多researcher容易陷入criticize模式,其实从利弊的角度讲一点也不科学。我们可以在写related work的时候保持criticize。但是平时对任何人任何事保持开放,撇除内心偏见,撇除内心的judge。进而抽象一层,这个人有什么值得我学习的地方,这个工作有什么好的地方。这个小登有趣的地方在哪里,那个老登有趣的地方在哪里。 总结下来我现在能想到的有四个点要保持开放: 1. 对学科的开放,觉得自己不是这个学科的就不打算了解,实际上很多模式是融会贯通的,比如benchmark human实际上就是hci里的user study; benchmark model某种角度上讲其实就是把user study里的human换成了model。本质上很多学科要探索的东西类似,执行套路不一样。 2.对人的开放,不因为其他人现在所处的位置而改变对这个人的态度,哪怕是一个本科生小登,我聊下来也知道很多不知道的最新的东西,比如很多本科生agent用得比我6多了。同样,对现在所处位置比较高的人也不用觉得自己过去聊一下就显得自己傻。团结善意和各种各样的人,撇除偏见,撇除条条框框。 3.对前沿的开放。事实上,就算担心自己被替代,了解一下最新的topic也没啥,其实了解了就发现没那么难,说不定完全能融入到自己现在的research中,还能做出引领性的研究。 4.对失败的开放。科研真的是所有事情中失败最多的工作,毕竟伴随着探索,文章挂arXiv发不出来也没啥,有时候讲talk没人听也没事,paper发出来没人理更是常态,难受过之后继续该干啥就干啥,人总会成长。 欢迎补充。

Chengxing Xie avatar
⟳ Keyu Wang retweeted
Chengxing Xie@Chengxing_Xie·Nov 16

在这个百家争鸣的时代,我也决定自立一派,提出我的「大水群理论」。 我认为,PhD 一定要多多水群,尤其是各类技术群、科研群、行业群,要积极发言,多混眼熟。 1. 相比于在庞大的社交媒体上期待算法把你的内容推给别人,在一个相对活跃的微信群里,你的发言很容易被同一批活跃群友反复看到。久而久之,大家会逐渐认识你、记住你。相比于一次性的流量,这种持续互动更容易建立真实的人际连接。 2. 水群是一种成本极低的社交方式。发一条推文可能还需要构思观点、组织语言、斟酌措辞,但水群就随意多了。分享一篇论文、讨论一个技术问题、吐槽一下行业动态,甚至发奶龙动图,都可以成为一次互动。尤其适合在 Vibe Coding 的间隙进行,几乎不需要额外投入大块时间。 3. 水群本质上是在积累个人的社交资本。持续参与讨论之后,别人会逐渐知道你是谁、在做什么、擅长什么。当某个相关的话题、机会或合作需求出现时,别人就更容易想到你。 所以,我觉得与其一开始就追求成为一个有几万粉丝的大 V,不如先尝试成为几十个微信群里大家都认识的人。 毕竟,水群也是一种 Networking。

总结下简中区与PhD相关理论: 1. 大 Bench 理论:x.com/vclee8/status/21202126… 2. 大实习理论: x.com/vclee8/status/21089643… 3. 大粉理论: x.com/collinzrj2001/status/2… 4. 大日结理论:x.com/persdre/status/2117955… 5. 大斜率理论:x.com/Selen7005717917/status… 6. HR 理论:x.com/xzhang_billy/status/21… 颇有百家争鸣的氛围

Weiyang Jin avatar
⟳ Keyu Wang retweeted
Weiyang Jin@JinWeiyang18434·Nov 16

其实心态放平点就好,转LLM不一定是立马放弃去投个基模组,这样也很难有能做有意义事情的team去接收你。这其实是个需要运营的过程(至少有认识的人帮忙推荐,至少需要了解大家在关心什么) 把各个环节(arch design、optimizer、parallelism)的很多技术当成有趣的东西来学习,多involve一些benchmark(或者投奔柴哥)。其实也就挺好的,给自己找点事情干。 选择是一种处境,如果真的纠结短暂利益和长远发展。那就按照着折中方案亦步亦趋,等待情况变化再走向下一步。 人生的容错率很高,如果你愿意拼一阵子那你就持续努力地向最核心的内容靠齐;如果想休息了就苟着,多学习多思考。

In fact, the rise of LLMs began as early as 2023 (even 2022). Coming from autonomous driving, I've seen researchers spend years trying to replicate LLMs' success in vision, while others simply turned to LLMs themselves. I respect those who still hold a genuine belief in vision. But I suspect many just don't want to leave their comfort zone.

Kxians avatar
⟳ Keyu Wang retweeted
Kxians@xulijian1994·Nov 16

DeepSeek 这次的遭遇,我看着真有点不是滋味,一个全球顶尖的 AI 模型,免费开放给所有人使用,一用就是这么久,实打实的百万 Token 上下文,没有广告,没有会员,没有付费弹窗,更没有天天想着怎么从用户口袋里掏钱 背后是真金白银的算力成本,是一张张不断运转的 GPU,而 DeepSeek 就这么默默承担了将近两年,现在呢?只是给免费使用加了一道额度限制,应用商店就开始出现大量一星差评,小红书上也有人专门开帖骂,甚至有人理直气壮地要求必须提供无限量使用 更讽刺的是,DeepSeek 只是限制了免费供应,App 端甚至连一个充值入口都没有,它根本没打算借着限额逼你掏钱,其实 DeepSeek 一直都有付费 API,也完全可以接入第三方聊天工具,你甚至只需要问一下 DeepSeek 自己,它就会一步步教你怎么做 所以我实在无法理解,明明有付费使用的渠道,明明有解决问题的办法,却偏偏选择跑到应用商店打一星,跑到社交平台上骂,我不想把这种行为称为蠢,那就只能叫做坏了,一个商业公司,把原本需要付费的顶级 AI 能力免费交到你手里,你用久了,竟然觉得这一切都是理所当然,等到有一天,它开始限制免费供应,你反而觉得是它亏欠了你 DeepSeek 从来没有义务让所有人永久免费、无限量地使用自己的算力,免费是善意,不是欠条,别让一家愿意把技术免费分享给所有人的公司,最后发现自己最大的错误,就是当初对用户太好了

Keyu Wang avatar
Keyu Wang@Keyuciallo·Nov 15

due to (no so) high demand, I make a vanilla version of Angry Birds Beats Reviewers. (The DepthBench & Angry Birds dream collaboration animation is in cooking, stay tuned.)

Post attachment

Made a dream collaboration between DepthBench and Angry Birds.

Post attachment