←
Daniel Soudry10 posts
Daniel Soudry avatar

Daniel Soudry

@soudry_daniel

Associate Professor at the Technion, try to understand how AI works, and how to make it more efficient.

◷ Joined December 2019
Elad Hoffer avatar
⟳ Daniel Soudry retweeted
Elad Hoffer@eladhoffer·Oct 8

RAG and long context are usually treated as rival approaches, but both pick the evidence that matters, just at different scales. What if one LLM did both? UNREAL: one frozen LLM retrieves from a 3B-token corpus and filters its own 128K prompt. arxiv.org/abs/2610.08463

Post attachment
Yonatan Mandelbaum avatar
⟳ Daniel Soudry retweeted
Yonatan Mandelbaum@YonatanMandelba·Sep 9

לקראת ראש השנה אנחנו מפרסמים את TLV AI 50: רשימה של 50 חוקרים ויזמים ישראלים בעלי ההשפעה הגדולה ביותר השנה בתחום ה-AI. חוקרים שהרעיונות שלהם מעצבים איך המודלים המודרניים חושבים, רואים ומסיקים, ויזמים שהופכים את הרעיונות האלה לשבבים, לחברות ולמוצרים שהעולם רץ עליהם. הרשימה המלאה: 2026.tlvai50.com 30 חוקרים, 20 יזמים, 7 מאמרים. חשוב לציין שזה לא דירוג, אלא תמונת מצב של הישראלים המשפיעים ביותר בעולם מחקר ה-AI. כמה מגמות שבולטים: - ניאו-לאבס ישראליים סוף סוף צצים בשכבת המודלים - אבטחת AI: דור חדש של AI natives מגדיר איך מחסנים ומאמתים מערכות - וישראל בחזית - ראייה ממוחשבת: כמה מהמעבדות המצוטטות בעולם, עם סטארטאפים שהופכים את הכישרון הזה ל-physical AI ולא רק: 7 מאמרים ראויים לציון של חוקרים ישראלים צעירים, מתחת לרשימה.

Post attachment
Gon Buzaglo avatar
⟳ Daniel Soudry retweeted
Gon Buzaglo@gon_buzaglo·Jun 30

In continual learning, what is the algorithmic bias of explicit regularization? We answer this in our new COLT 2026 paper: Convergence of Continual Learning in Homogeneous Deep Networks Work by @MatanSchliserm1 joint with @itayevron and @soudry_daniel arxiv.org/abs/2606.30559

Eran Segal avatar
⟳ Daniel Soudry retweeted
Eran Segal@segal_eran·Jun 17

ישראלים בחו״ל — בסוף אוקטובר יתקיימו בישראל עשרות כנסים אקדמיים. המועד המדויק (ככה"נ 19 או 26 באוק') ייקבע בקרוב לרשימת עשרות הכנסים שמתארגנים: mind-il.org/

Elad Hoffer avatar
⟳ Daniel Soudry retweeted
Elad Hoffer@eladhoffer·May 8

Excited to share our new arXiv preprint: "Retrieval from Within: An Intrinsic Capability of Attention-Based Models" We introduce INTRA, a framework where attention-based models retrieve from their own internal representations. arxiv.org/abs/2605.05806 1/5 🧵

PapersAnon avatar
⟳ Daniel Soudry retweeted
PapersAnon@papers_anon·20 Sep 2024

Scaling FP8 training to trillion-token LLMs From Intel. Trained a 7B model using FP8 precision on 256 Gaudi2 accelerators. Matched BF16 with 34% throughput improvement while using 30% less memory. Introduces Smooth-SwiGLU as solution to outlier amplification. Links below

Post attachment
Gon Buzaglo avatar
⟳ Daniel Soudry retweeted
Gon Buzaglo@gon_buzaglo·22 Jul 2024

I'm back in Vienna to present our paper at @icmlconf with Itamar Harel on Wednesday at 1:30 pm, at poster #907. Looking forward to meeting and chatting! #ICML2024

Q: You sample random neural networks until you find one with perfect training accuracy. What will be the generalization error? A: Typically good — We prove that when a “simple explanation” exists, such sampled NNs (MLP/CNNs) generalize well! arxiv.org/abs/2402.06323

Gon Buzaglo avatar
⟳ Daniel Soudry retweeted
Gon Buzaglo@gon_buzaglo·12 Feb 2024

Q: You sample random neural networks until you find one with perfect training accuracy. What will be the generalization error? A: Typically good — We prove that when a “simple explanation” exists, such sampled NNs (MLP/CNNs) generalize well! arxiv.org/abs/2402.06323