RAG and long context are usually treated as rival approaches, but both pick the evidence that matters, just at different scales.
What if one LLM did both?
UNREAL: one frozen LLM retrieves from a 3B-token corpus and filters its own 128K prompt.
arxiv.org/abs/2610.08463
לקראת ראש השנה אנחנו מפרסמים את TLV AI 50: רשימה של 50 חוקרים ויזמים ישראלים בעלי ההשפעה הגדולה ביותר השנה בתחום ה-AI. חוקרים שהרעיונות שלהם מעצבים איך המודלים המודרניים חושבים, רואים ומסיקים, ויזמים שהופכים את הרעיונות האלה לשבבים, לחברות ולמוצרים שהעולם רץ עליהם.
הרשימה המלאה: 2026.tlvai50.com
30 חוקרים, 20 יזמים, 7 מאמרים. חשוב לציין שזה לא דירוג, אלא תמונת מצב של הישראלים המשפיעים ביותר בעולם מחקר ה-AI.
כמה מגמות שבולטים:
- ניאו-לאבס ישראליים סוף סוף צצים בשכבת המודלים
- אבטחת AI: דור חדש של AI natives מגדיר איך מחסנים ומאמתים מערכות - וישראל בחזית
- ראייה ממוחשבת: כמה מהמעבדות המצוטטות בעולם, עם סטארטאפים שהופכים את הכישרון הזה ל-physical AI
ולא רק: 7 מאמרים ראויים לציון של חוקרים ישראלים צעירים, מתחת לרשימה.
In continual learning, what is the algorithmic bias of explicit regularization?
We answer this in our new COLT 2026 paper:
Convergence of Continual Learning in Homogeneous Deep Networks
Work by @MatanSchliserm1 joint with @itayevron and @soudry_danielarxiv.org/abs/2606.30559
ישראלים בחו״ל — בסוף אוקטובר יתקיימו בישראל עשרות כנסים אקדמיים. המועד המדויק (ככה"נ 19 או 26 באוק') ייקבע בקרוב
לרשימת עשרות הכנסים שמתארגנים: mind-il.org/
Excited to share our new arXiv preprint:
"Retrieval from Within: An Intrinsic Capability of Attention-Based Models"
We introduce INTRA, a framework where attention-based models retrieve from their own internal representations.
arxiv.org/abs/2605.05806
1/5 🧵
Accelerate your transformer model with the new Block-Sparse-Flash-Attention! github.com/Danielohayon/Bloc…
This training-free, drop-in replacement extends FlashAttention-2 with minimal code changes (CUDA Kernels Included). Paper: arxiv.org/abs/2512.07011
Scaling FP8 training to trillion-token LLMs
From Intel. Trained a 7B model using FP8 precision on 256 Gaudi2 accelerators. Matched BF16 with 34% throughput improvement while using 30% less memory. Introduces Smooth-SwiGLU as solution to outlier amplification.
Links below
I'm back in Vienna to present our paper at @icmlconf with Itamar Harel on Wednesday at 1:30 pm, at poster #907. Looking forward to meeting and chatting! #ICML2024
Q: You sample random neural networks until you find one with perfect training accuracy.
What will be the generalization error?
A: Typically good —
We prove that when a “simple explanation” exists, such sampled NNs (MLP/CNNs) generalize well!
arxiv.org/abs/2402.06323
Q: You sample random neural networks until you find one with perfect training accuracy.
What will be the generalization error?
A: Typically good —
We prove that when a “simple explanation” exists, such sampled NNs (MLP/CNNs) generalize well!
arxiv.org/abs/2402.06323
Q: You sample random neural networks until you find one with perfect training accuracy.
What will be the generalization error?
A: Typically good —
We prove that when a “simple explanation” exists, such sampled NNs (MLP/CNNs) generalize well!
arxiv.org/abs/2402.06323