←
Yunyi Shen/申云逸 🐺3,054 posts
Yunyi Shen/申云逸 🐺 avatar

Yunyi Shen/申云逸 🐺

@ShenRaphael

I do random statistics/ML stuff. Once MIT EECS, UW-Madison Wildlife Ecology/Stats and PKU Yuanpei College. Take wildlife photos. Opinions are mine.

◷ Joined July 2020▧ 384 Photos and videos
Yunyi Shen/申云逸 🐺 avatar
Yunyi Shen/申云逸 🐺@ShenRaphael·Nov 13

Where are the science Twitter or even the people complaining ICLR go on my timeline? Mine now is just "AI is gonna cure all diseases and kill us all" type of things

clem 🤗 avatar
⟳ Yunyi Shen/申云逸 🐺 retweeted
clem 🤗@ClementDelangue·Nov 12

This whole thing sucks, and I wish none of it had happened. It’s a really sad day! But I want to make one thing clear: we’ll keep fighting for open-source AI, harder than ever. This is too important to slow down now. Let’s go!

Tim Urban avatar
⟳ Yunyi Shen/申云逸 🐺 retweeted
Tim Urban@waitbutwhy·Nov 11

[read about what’s happening with AI] ME: Wow we’re actually legit fucked this is so bad. [go outside] ME: Wait those people are all acting like nothing unusual is happening. Maybe I was just in a paranoid bubble? Yeah it must be that. Phew. [read more about what’s happening with AI] ME: Wait no we ARE fucked. Shit. It’s all those people outside who are in a delusional bubble. [go outside] ME: Wait...

Yunyi Shen/申云逸 🐺 avatar
Yunyi Shen/申云逸 🐺@ShenRaphael·Nov 11

I wish this!

I’ve shared this AI take in person to many people, but haven’t written it down. I like my takes to be falsifiable, so you can all point out if I am wrong in the future. On AI, I think: The moment the big labs’ valuations grow more slowly (or even decline), they won’t be able to justify more massive, expensive, training runs… and then: The model capabilities will plateau (as very capable models). Open source (distilled) models will catch up quickly. The massive amounts of compute currently being used for training will flood the market and inference costs will go down, speed will go up. (cheaper inference for us!) With cheaper GPUs, we’ll see more artisanal model companies fine-tuning on specific (creative?) capabilities. The big labs, being extremely leveraged, will struggle to compete with late-movers who have fewer debts, cheaper compute, and more focus. The “mega-corp” AI conglomerate of pharma, robots, etc. won’t materialise, because if Anthropic will hire you to run it, you might as well start your own and not be locked to one model family and keep all the upside. Not sure what timeframe this happens over, but it’s my current guess at what will happen. I think this would be a broadly pro-human outcome that leaves us all with interesting and fun jobs in the long run.

Steven Byrnes avatar
⟳ Yunyi Shen/申云逸 🐺 retweeted
Steven Byrnes@steve47285·Nov 9

THESIS: LLMs CAN’T write prod code unsupervised—have you seen their outputs? ANTITHESIS: LLMs CAN write prod code unsupervised—have you heard the rumors about SWE layoffs? SYNTHESIS: LLMs CAN’T write prod code unsupervised, but neither can human SWEs—have you seen prod code?

Другая планета avatar
⟳ Yunyi Shen/申云逸 🐺 retweeted
Другая планета@nihilunbounded·Nov 9

I've reasoned various things and am convinced of the thought that AI labs are not just selling a product or a tool but basically trying to take over the world in the long run. Very scary thought that should be seriously considered.

Hao Sun - RL avatar
⟳ Yunyi Shen/申云逸 🐺 retweeted
Hao Sun - RL@HolarisSun·Nov 9

Excited to see this launch and what lies ahead for physical intelligence and beyond. Many thanks to everyone across the collaborating teams for making this possible!

Very excited by the bleeding edge modelling that went into this thanks to new learning methods produced by my team, in collab with Gemini Robotics. Congrats Michelle Lo, @HolarisSun, @MartinKlissarov, @JonnyCoook, @silviasapora, @Aniket_d98, and Claudia Clopath on the launch!

Richard Sutton avatar
⟳ Yunyi Shen/申云逸 🐺 retweeted
Richard Sutton@RichardSSutton·Nov 7

Brute force computation is not enough for intelligence. Clever new methods are needed. The science of AI is far from finished. IMHO

Yunyi Shen/申云逸 🐺 avatar
Yunyi Shen/申云逸 🐺@ShenRaphael·Nov 7

ICLR feels like a large experiment on GAN/self-play type of generation of AI4research and seems like we don't do much GAN for a reason....

Guitar Cat + LLM 「Will @ SGLang Summit in SF」 avatar
⟳ Yunyi Shen/申云逸 🐺 retweeted
Guitar Cat + LLM 「Will @ SGLang Summit in SF」@GenAI_is_real·Nov 7

RSI 笑话两则: 1. GPT 审稿今年的 ICLR,任意一篇文章,无论优劣,都可能会被他抓住一些极小的疏漏和瑕疵,而打出 1/2 分。GPT 的过度保守和实质性不承担任何责任的甩锅人格,让其无法对任何具有创造性的事物给出正确的评估。 2. 上一周和一位做生物的学长吃饭,聊起 RSI:“我们这么多数据美化,让 GPT 学,GPT 学的明白么” 🤣第二个笑话让我笑了一周

Ravid Shwartz Ziv avatar
⟳ Yunyi Shen/申云逸 🐺 retweeted
Ravid Shwartz Ziv@ziv_ravid·Nov 6

ICLR reviews are out. Reviewer 1: “The paper is well-written and addresses an important problem. However, the authors should consider additional baselines.” Reviewer 2: “The paper is well-written and addresses an important problem. However, the authors should consider additional baselines.” Reviewer 3: “Certainly! Here is a review of the paper:” Great work everyone!

CuiMao avatar
⟳ Yunyi Shen/申云逸 🐺 retweeted
CuiMao@CuiMao·Nov 5

当纳斯达克的电子屏幕从狂热的绿光坠入漫长的血红,当弗吉尼亚州荒原上的超算机房在拉闸限电中陷入死寂,一场席卷美利坚、波及全世界的技术唯心主义狂潮,终于迎来了历史无情的清算。 回望过去数年间华盛顿与硅谷的荒诞合流,唐纳德·特朗普以行政大棒强推“算力大跃进”于前,黄仁勋、奥特曼、马斯克、达里奥四大资本寡头、大发泡沫横财于后。他们联手把一场严肃的计算机工业革命,篡改为一出“万卡炼丹、跑步成仙”的荒唐闹剧。今天,彻底扒下这伙算力投机分子的画皮,清算这条脱离实体经济、透支国家命脉的右倾盲动路线,不仅是对无数破产初创企业与失业码农的历史交代,更是重建人类技术理性的必由之路。 在这场历时数年、席卷华盛顿与硅谷的狂热运动中,技术理性的传统被粗暴践踏,商业化验证的常识被彻底抛弃。从海湖庄园的庆功宴到帕洛阿尔托的地下服务器机房,到处弥漫着“千亿参数起步、万亿估值保底”的浮夸风。为了彻底清算这一时期的右倾机会主义与唯算力论流毒,总结历史经验教训,特撰此“九评”,以正视听。 一评:论“星际之门”的浮夸风与“人有多大胆,卡有多大产”的唯算力论 特朗普重返白宫之初,面对美国制造业空心化与联邦债务高企的客观矛盾,不是采取脚踏实地、休养生息的方针,而是急于求成,妄图毕其功于一役。他在白宫振臂一呼,仓促上马所谓五千亿美元的“星际之门”(Stargate)计划,正式拉开了“大炼模型”的历史序幕。 在这一错误路线的指引下,硅谷上下将尚处于经验假说阶段的Scaling Law奉为放之四海而皆准的绝对教条,滑向了极端唯意志论的泥潭。他们公然宣称“算力即真理,参数即正义”,把复杂的认知科学与产业落地简化为粗暴的显卡堆砌。一时间,“人有多大胆,卡有多大产”、“不怕训不出,就怕想不到”的口号响彻旧金山湾区。各路大厂争相“放卫星”,今天你宣布模型智商超越人类博士,明天我宣称明年年底跑步进入AGI的极乐社会。这种用政治口号代替科学探索、用发布会的PPT演示代替产业验证的做法,从根本上动摇了科技实业求真务实的根基。 二评:起底“黄、奥、马、达”四人集团的投机路线与“万卡公社”的破产 特朗普之所以会在AI问题上犯下如此严重的全局性错误,除了其个人好大喜功、迷信“大交易”的主观局限外,更在于他被黄仁勋、奥特曼、马斯克、达里奥这四个各怀鬼胎的资本代表人物蒙蔽和利用。 在这场运动中,黄仁勋扮演了“军火总买办”的角色,身穿皮衣四处游说,鼓吹“不买显卡就是历史罪人”,将全行业的现金流虹吸至一家的晶圆垄断之中;奥特曼则以“AGI传教士”自居,一面高喊全人类安全的崇高口号,一面大搞“七万亿美元重塑芯片帝国”的浮夸规划,把开源社区变成封闭的私人领地;马斯克一面在孟菲斯突击抢建十万卡乃至百万卡的超级集群,一面利用社交平台的“大鸣大放、大字报”工具党同伐异;而以达里奥为代表的华尔街金融寡头,则在宏观叙事上为其摇旗呐喊,用周期论的糖衣炮弹为资产泡沫涂脂抹粉。 在他们的煽动下,硅谷遍地建立起名为“超算中心”、实为“万卡公社”的算力集中营。企业不再核算投入产出比,不再关心自由现金流,全部吃起了风险投资与美股增发的“大锅饭”。算力资源在公社内部无偿调拨、极度挥霍,最终除了一地无法变现的冗余权重文件外,什么也没有留下。 三评:从“大炼钢铁”到“大炼模型”——评砸锅卖铁囤积B300的盲动主义 历史总是惊人地相似。当年大搞“小高炉群”的荒诞剧,在二十一世纪的硅谷演变成了“家家点火、户户冒烟”的“土法炼模”。 在特朗普政府“算力大跃进”的号召下,无论是一家做生鲜配送的传统零售商,还是一家做企业报销软件的SaaS小厂,全都抛弃了原有的主营业务,砸锅卖铁、举债融资去黑市抢购H200与B300芯片。许多企业连基础的数据清洗管道都没有建好,连一万名真实付费用户都没有找到,就盲目搭建起所谓的“预训练实验室”。 更为荒谬的是,为了向白宫和华尔街交差,硅谷掀起了一股恶劣的“刷跑分”与“测试集投毒”之风。各大实验室将Benchmark混入训练集,用开源模型套壳微调后冒充自主研发的基座大模型,以此骗取高额估值。这些耗费巨资“炼”出来的模型,在实验室的宣传片里无所不能,一旦投入真实的工业与商业场景,便幻觉百出、逻辑崩塌,成了一堆既不能当饭吃、也不能创造利润的“废铁权重”。 四评:评能源领域的“竭泽而渔”与电网超载的生态盲区 为了支撑这场脱离实际的“万卡大串联”,特朗普不顾基础设施的客观承载力,强行推行“全面放开、拼命钻探”(Drill, Baby, Drill)与盲目重启老旧核电站的激进能源路线,导致生产力布局出现严重畸形。 数据中心成了吞噬电力的无底洞。在弗吉尼亚州、得克萨斯州与亚利桑那州的戈壁滩上,一座座算力公社昼夜轰鸣,将原本用于民生与传统制造业的电力与水资源消耗殆尽。为了给生成式AI合成毫无意义的短视频和垃圾营销邮件,整座城市的电网长期处于满负荷运转的崩溃边缘,冷却塔蒸发了数以亿加仑计的淡水,居民电价却连年暴涨。这种“宁要算力的社会主义草,不要民生的资本主义苗”的极端做法,造成了严重的“电力倒挂”与“能源饥荒”,把技术进步异化成了对自然资源与公共基建的野蛮掠夺。 五评:论关税壁垒下的“闭关锁国”与技术供应链的自我割裂 特朗普在发动“AI大跃进”的同时,还犯了教条主义的孤立错误。他妄图一边通过高筑关税高墙、切断全球电子元器件与稀土材料供应链来搞“闭关锁国”,一边又要求硅谷在短时间内实现算力基建的翻番。 这种自相矛盾的路线,直接导致了硅谷硬件成本的恶性膨胀。从变压器、液冷管道到光模块、先进封装产能,无一不因为贸易壁垒而陷入短缺与涨价的死循环。许多中小型实验室在经历了漫长的排期后,终于拿到了天价的B300机柜,却发现因为买不起配套的变电设备而只能让显卡在仓库里吃灰。特朗普以为靠行政命令和关税大棒就能在北美大陆凭空变出一条完整的超算产业链,殊不知这种违背全球化分工规律的蛮干,恰恰成了刺破自家AI泡沫的最锋利的一根针。 六评:揭批华尔街“市梦率”修正主义与金融左脚踩右脚的空转狂欢 在这场运动中,以华尔街投行与硅谷风投为代表的金融修正主义势力,彻底篡改了古典经济学的基本原理。他们抛弃了市盈率、市净率与现金流折现模型,发明了一整套为泡沫辩护的“Token庸俗经济学”。 在他们的账本上,亏损越多代表“算力护城河”越深,资本开支越庞大代表未来垄断利润越丰厚。更为恶劣的是,巨头之间大搞“左脚踩右脚”的循环记账把戏:芯片巨头向云厂商注资,云厂商向大模型初创公司提供算力抵扣券,初创公司再用这笔账面资金向芯片巨头采购B300,最后三家公司的股价同时在纳斯达克暴涨。这种脱离真实终端消费需求、纯粹在金融与算力寡头内部空转的庞氏游戏,制造了人类历史上罕见的虚假繁荣,最终却将数万亿美元的烂账通过高位接盘的养老金与散户转嫁给了全美国人民。 七评:论海湖庄园的“路线斗争”与技术寡头同盟的必然瓦解 以利益投机结合起来的同盟,必然在分赃不均中走向分裂。特朗普试图将MAGA民粹主义与硅谷技术寡头主义强行捏合在一起,本身就蕴含着不可调和的路线矛盾。 一方面,基层民众要求保住传统工作岗位、降低生活成本;另一方面,以马斯克、奥特曼为代表的科技新贵却天天鼓吹用AI取代全部白领与蓝领工人,并要求联邦政府削减公共开支以补贴数据中心建设。随着泡沫的不断膨胀,寡头内部的派系斗争也日益公开化、白热化:闭源派与开源派互相扣帽子、打棍子,算力霸权派与监管夺权派在华盛顿大搞游说暗战,昔日把酒言欢的“海湖庄园战友”转眼间就在法庭与社交媒体上互发“炮打司令部”的檄文。这种上层建筑的混乱与内耗,彻底暴露了这场运动缺乏共同理想、唯利是图的阶级本质。 八评:评“百模大战”后的倒春寒与硅谷无产阶级码农的历史境遇 “大炼模型”的狂热退潮之后,留给硅谷的是一片触目惊心的废墟与漫长的“倒春寒”。 当市场终于清醒地意识到,花十亿美元训练出来的超大模型并不能替企业多卖出哪怕一罐可乐时,资本的断头台便无情地落下。曾经估值百亿的独角兽在一夜之间资金链断裂,沦为巨头低价收购的资产包;昔日万金难求的GPU算力租赁价格雪崩,无数斥巨资建设的算力中心沦为荒草丛生的工业遗址。 而在这场运动中付出最惨痛代价的,是广大的基层程序员与科技工作者。在泡沫膨胀期,他们被当作“数据标注工”和“炼丹童子”,夜以继日地为训练流水线奉献青春;而在泡沫破裂期,巨头们为了维持财报上的利润率以支付天价的显卡折旧费,纷纷挥舞起大裁员的屠刀,美其名曰“AI增效替代”。所谓的“技术解放生产力”,最终异化成了科技寡头剥夺普通劳动者生计的借口。 九评:走出“唯Scaling Law论”的历史迷雾,在实事求是中重建技术生产力 历史的经验值得注意。人工智能作为一项深刻改变人类社会的伟大技术,其发展绝不是一帆风顺的,更不是靠长官意志、政治运动和资本炒作就能一蹴而就的。 实践是检验人工智能价值的唯一标准。 一项技术先进与否,不在于它囤积了多少万张B300显卡,不在于它在发布会上放了多大的“卫星”,也不在于它在合成基准测试上刷出了多高的分数,而在于它能否真正降低社会生产成本、能否融入千行百业的真实工作流、能否为普通人创造实实在在的福祉。 清算特朗普错误发动、被四大投机集团错误利用的这场“AI大跃进”,绝不是要否定人工智能技术本身,而是要推倒“唯算力论”与“唯参数论”的两座大山,把被颠倒了的商业逻辑与科学常识重新颠倒过来。只有彻底告别“大炼模型”的浮夸风,解散脱离实际的“万卡公社”,让技术回归工程理性,让资本回归价值创造,全球科技界才能真正走出这场倒春寒的阴影,在实事求是的道路上迎来生产力健康发展的真正春天。 评论员:CuiMao

andi (twocents.com) avatar
⟳ Yunyi Shen/申云逸 🐺 retweeted
andi (twocents.com)@Nexuist·Nov 4

Might be the world’s first instance of cyberbullying via algorithmic trading

Post attachment