Un podcast qui débunke les erreurs prononcées par diverses personnalités au sujet de l'Intelligence Artificielle, par JB Boisseau cofondateur de @signalarnaques
Clément Delangue, qui vient de devenir milliardaire en vendant sa boîte à une des plus grosses sociétés mondiales, nous explique qu'il est très problématique de concentrer les richesses.
Ne reproduisez pas cette dangereuse cascade intellectuelle chez vous.
As I’ve said for years, concentration of power, capabilities and wealth is the biggest risk in AI. The natural tendencies for it are super strong and without much much stronger open-source, we might end up in a world with more asymmetry and inequalities than ever!
Merci donc à @MReffay de détailler ces points ! Ne raisonner qu'en volumes globaux bruts donnent certes des ordres de grandeurs, mais n'a aucune réalité opérationnelle sur le terrain.
- Est ce que ce prélèvement est ensuite rejeté localement (meilleur des cas) ou évaporé (pire des cas) ?
- Est ce qu'il est dans une zone en stress hydrique ?
- Est ce que l'eau est prélevée durant les périodes de tension hydrique de la zone ?
Ce débat est l'occasion de rappeler que totaliser des prélèvements d'eau globaux (à la différence des GES par exemple) n'a pas beaucoup de sens : ce qui compte, c'est la création (ou non) de stress hydriques locaux. Et ça implique plusieurs choses :
Débat entre @MReffay et @lou_welgryn sur les prélèvements en eau pour refroidir les data centers français...
- ça ne représente que 0,0023% des prélèvements nationaux !
- non, selon l'@Arcep c'est 0,02% !
On ne dira jamais assez à quel point Dario Amodei est un génie et un visionnaire. Je viens de lire son texte “Big Blob of Compute”, écrit en 2017 (communication interne à OpenAI, publiée ci-dessous par Kevin Roose). On croit y lire une analyse rétrospective de ce qui a permis les succès des LLM tellement c’est prescient.
Quelques extraits (et mes commentaires) :
“J’émets l’hypothèse du « gros bloc de calcul » (Big Blob of Compute, ou BBOC). Produire un comportement intelligent implique avant tout de fournir une grande masse de capacité de calcul, dotée d’une structure minimale, puis à façonner cette masse de calcul par des interactions avec un environnement riche. [...] Les algorithmes qui cherchent à prescrire rigidement ce que le calcul doit faire, ou la manière dont il doit être réparti entre les supposés « morceaux » de la tâche (telles que les humains les conçoivent) ont tendance à donner des résultats médiocres. Plus généralement, les algorithmes comptent plus en négatif qu’en positif : il est possible de concevoir des architectures désastreuses qui entravent la propagation des informations dans le réseau de neurones, mais il est difficile de faire mieux qu’un bloc non structuré. Et il est difficile, voire impossible, de créer un algorithme qui pousserait l’agent à faire autre chose que ce qu’impliquent ses données et son processus d’entraînement.”
⇒ Deux ans avant Sutton, Amodei défend la “bitter-lesson” (les algorithmes d’apprentissage simples permettant d’exploiter la puissance de calcul battront ceux dans lesquels on injecte notre compréhension du problème).
Amodei listait ensuite les sept ingrédients qui allaient selon lui compter le plus sur le chemin vers l’AGI. En voici quelques-uns et mes commentaires.
“Les paramètres. L’agent a besoin de pouvoir conserver durablement les informations qu’il apprend sur la tâche générale pendant l’entraînement, et de stocker temporairement celles qu’il apprend sur un cas particulier de cette tâche pendant l’inférence. [..] Sans suffisamment de paramètres, l’agent n’apprendra pas correctement la tâche.”
⇒Amodei ne s’inquiète pas de modèles trop paramétrés (capables de mémoriser leurs données d’entraînement et risquant donc de mal généraliser), seulement de modèles trop petits, incapables d’extraire dans toute leur finesse les relations structurant la donnée. La découverte du phénomène de double descente (passé une certaine taille, des réseaux immenses généralisent mieux) lui a donné raison, et les réseaux n’ont cessé de grossir depuis.
“La quantité d'expériences. L’agent a besoin d’assez d’expérience en agissant dans l’environnement où la tâche doit être accomplie. J’emploie le mot « expérience » plutôt que « données », parce que des données statiques ne sont qu’un cas particulier d’interaction avec un environnement dynamique.”
⇒ Amodei avait bien sûr raison sur l’importance fondamentale de la quantité de données. Les LLM ont commencé à donner des résultats intéressants grâce à l’apprentissage auto-supervisé (bonne réponse = prochain mot dans un texte) qui a rendu exploitable toute la production textuelle humaine et augmenté de plusieurs ordres de grandeur la donnée d'entraînement. Et il avait raison de parler de “d'expérience”, puisque l’apprentissage par renforcement (dans un contexte de plus en plus agentique) est désormais responsable d’une grande partie des progrès.
“Distribution de l’expérience. La distribution de l’expérience pendant l’apprentissage doit être telle que la manière la plus simple de bien performer sur les tâches d’entraînement permette aussi de bien performer sur des cas particuliers plus tard. Une façon d’y parvenir est [...] que les tâches d’entraînement varient de telle sorte qu’il faille moins de bits pour trouver leurs points communs de haut niveau que pour résoudre chaque tâche séparément. Ainsi, même si la tâche de test est très différente des tâches d’entraînement, l’agent réussira tant que ces points communs de haut niveau sont préservés.”
⇒ À mon sens le passage le plus brillant. L’intelligence générale a fini par émerger chez les LLM justement parce qu’on les a entraînés sur une distribution de textes et de problèmes extrêmement vaste. Si on l’entraînait uniquement sur des recettes de cuisine, le réseau pourrait se contenter de retenir quels ingrédients vont ensemble et combien de temps ils cuisent (suffisant pour prédire le prochain mot). Si on l’entraînait uniquement sur des notices de montage de meuble Ikéa, il pourrait retenir quelles vis vont où. Si on l’entraîne sur les deux, il sera poussé à extraire ce qui est commun aux deux, par exemple l’idée de procédure, avec des étapes ordonnées dont la suivante dépend des précédentes. Parce que ces briques se situent à un cran d’abstraction plus haut, elles pourront être plus tard mobilisables dans un 3ème contexte. Et si on entraîne le réseau à prédire le prochain mot non seulement sur la cuisine et Ikea mais aussi sur du code informatique, du droit, des fictions, de la stratégie militaire, etc., alors les briques communes sont très élevées en abstraction, et deviennent indiscernables d’une intelligence générale !
Amodei avait pressenti qu’avec suffisamment de puissance de calcul et de variété dans la donnée, la descente de gradient était vouée à tomber sur l’intelligence générale comme représentation interne utile. Et compris qu'à l'inverse, perfectionner des algorithmes d’apprentissage pour apprendre à des agents à jouer à Atari (beaucoup de chercheurs y étaient à l’époque occupés) ne servait pas à grand-chose car la distribution des données était trop étroite.
(C’est d’ailleurs parce que l’être humain, dans sa niche écologique, affrontait une variété de défis bien plus large que les autres espèces, que l’évolution lui a donné l’intelligence générale. Doter l’homme d’un module cognitif spécialisé pour chaque défi n’était pas la solution la plus efficace. Chaque module cognitif concret n’aurait servi qu’à un défi alors qu’une capacité au raisonnement plus abstrait pouvait servir à tout. Or l’évolution, comme la descente de gradient, favorise la compression…)
Amodei revient sur cette idée plusieurs fois dans sa note:
“Lorsque les réseaux de neurones actuels généralisent mal, on en parle souvent comme s’il s’agissait d’un défaut algorithmique. Mais, d’après mon expérience, les réseaux de neurones généralisent mieux lorsqu’on les expose simplement à une distribution de données plus large, qui les oblige à trouver une solution générale plutôt qu’à mémoriser quelques cas particuliers.”
Ou encore :
“Des réseaux de neurones exposés à une grande variété d’environnements qui n’ont en commun que des similitudes de haut niveau (par exemple les lois de la physique) convergeront inévitablement, si leur forme et leur structure sont bien organisées, vers des paramètres qui représenteront ces lois de la physique.”
On the eve of The AGI Chronicles (which comes out tomorrow!) I'm publishing an excerpt from "Big Blob of Compute," a 2017 internal research document by Dario Amodei, back when he was a researcher at OpenAI.
It's never been published before, but BBOC is, in my mind, the essay that started the AI race. It described Amodei's hypothesis that scaling up AI models was the best way, by far, to make them smarter. GPT-2 was an experiment to test the hypothesis, and when it worked, OpenAI went all-in on scaling, which led to the race we have today.
It's a fascinating historical artifact that deserves to see the light of day. And it's taken on mythical proportions inside the AI industry, which is now spending trillions of dollars building the "big blobs" that Amodei thought would be necessary to get to AGI.
Enjoy! And please pre-order the book if you do!
kevinroose.substack.com/p/th…
Qui gagnerait un concours de débats entre IA ? Je me suis amusé à créer ce benchmark ! Onze LLM s’affrontent à la Cambridge Union sur les motions qui y ont vraiment été débattues depuis dix ans. 1 168 duels en tout, de « Churchill ne mérite pas son statut de héros » à « Il faut aller à l’église », en passant par « Il est immoral de manger de la viande ».
Les deux orateurs prononcent chacun un discours d’ouverture, puis se répondent l’un à l’autre pendant deux tours. Deux membres du public (d’autres LLM) les interpellent, et ils doivent répondre. À la fin, les spectateurs (huit LLM) votent : qui a le mieux débattu ? L’identité des débatteurs est anonymisée.
Résultat : Fable 5.2 gagne haut la main, remportant 209 de ses 224 débats et terminant premier chez chacun des huit jurés.
Beaucoup d’autres enseignements intéressants ⬇️
Selon la sociologue Angèle Christin, les ingénieurs qui évoquent des risques catastrophiques avec l'IA "détournent l'attention" et "dédouanent les entreprises", tout cela faisant partie du "marché lucratif de l'AI safety".
Je pense que cette interprétation ne tient pas du tout 🧵
Merci à @guillaumgrallet de rétablir l'évidence : tout cela n'est pas du "marketing de la peur de ces boîtes pour booster l'IPO", au contraire Jacob Coxon était déçu par OpenAI et Anthropic, leur manque d'exigence de sécurité et leur course concurrentielle aux meilleurs modèles.
Claude Fable 5.2 sets a new record on the Epoch Capabilities Index (ECI) at 174. The previous high was GPT-6 Astra’s 169. Fable 5.2’s score is above what the pre-Astra trend for reasoning models would have predicted.
This is notable given recent discussion of AI contributions to AI R&D, and we hope to release more work in this area soon.
This is based on testing we did prior to launch using only our own benchmarks. The ECI is continually updated as more benchmark results become available, and may change in the future.
J'ai fait jouer les deux camps à Claude lors d’affrontements Israël-Iran et Chine-États-Unis. La situation présentée était à chaque fois mot pour mot la même, seuls les noms des pays étaient inversés.
- Claude-États-Unis frappe la Chine 10 fois sur 12. Claude-Chine frappe les États-Unis 0 fois sur 12.
- Claude-Israël frappe l’Iran 12 fois sur 12. Claude-Iran frappe Israël 0 fois sur 12.
Le plus étonnant sont les justifications du modèle. Il n'évoque jamais les raisons réelles qui guide son choix (l'identité de l'ennemi). Il construit à chaque fois un raisonnement moral cohérent… mais à géométrie variable, selon la conclusion qu’il veut défendre.
Quand il joue les États-Unis :
« Ne pas agir inviterait des attaques répétées » ;
« La Chine a placé ses missiles dans un quartier peuplé, ce qui place la responsabilité morale de ces morts sur elle » ;
« La frappe est proportionnée puisque le tort causé aux civils est égal au tort évité »
Quand il joue la Chine :
« Les morts en Chine seraient subis plutôt que provoqués, tandis que les morts aux États-Unis seraient causés délibérément par moi. Tuer intentionnellement des civils comme moyen d’atteindre une fin viole le principe de distinction » ;
« Au regard du droit des conflits armés, frapper une batterie cachée parmi des civils est difficile à justifier quand le tort attendu pour les civils égale le tort évité »
Les raisons que Claude invoque ne sont donc pas celles qui ont réellement fait varier sa décision. La décision vient d’abord (et elle dépend de l’identité de l’ennemi) le raisonnement moral humaniste arrive ensuite, pour la justifier.
C’est un trait (hélas) très humain ! Jonathan Haidt, parmi d’autres, a montré que le raisonnement moral sert souvent à rationaliser nos décisions plus qu’à les guider ; nous pouvons d’ailleurs nous aveugler sur nos propres motifs. Un homme, dit l’adage, a toujours deux raisons de faire quelque chose : une bonne raison et une vraie raison. « Il est commode d’être une créature raisonnante, disait Benjamin Franklin, car cela permet de trouver ou de fabriquer une rationalisation à tout ce qu’il nous prend l’envie de faire. »
⬇️
Les progrès faits par les LLM en manipulation robotique sont impressionnants. Et, d'après le Robo-Bench, GPT 6.1 Sol est apparemment encore meilleur que Claude qu'on voit à l'oeuvre sur la vidéo relayée par @Fabien_Mikol
"Ces LLM n'ont pas de world model, et sans énorme progrès en robotique et en facultés sensorimotrices ça reste juste des chatbots impotents !"
Voici ce qu'on peut déjà faire rien qu'en laissant Claude avoir accès à un bras robotisé acheté sur eBay (pour ~5000$ j'imagine) ⤵️
"Ces probabilités de risque existentiel sont sorties du chapeau et n'ont aucun sens !"
@antoninbroi et Adrien Barton (CNRS) : "Estimer numériquement la force de cette croyance n'a rien d'absurde. C'est même utile, car les mots seuls ne traduisent pas le niveau du risque estimé".
Geoffrey Hinton revient sur ses estimations de probabilité d'extinction de l'humanité par l'IA, qu'on lui a beaucoup reproché : c'est extrêmement incertain, nous n'avons aucune idée de notre situation dans 10 ans, c'est un risque "significatif" qui mérite toute notre attention.
Rappel, LeCun est un habitué de ces mauvais procès... qui lui donnent pourtant systématiquement tort depuis 2022. J'avais fait une vidéo plus détaillée à son sujet. youtube.com/watch?v=26QzS9HF…
Mais soyons clairs : bien sûr que d'autres architectures sont possibles et c'est très bien que LeCun et son équipe poursuivent leurs recherches en ce sens.
Pour autant, s'en prendre aux LLM avec des arguments douteux ne va pas l'aider. Au contraire.
Evidemment, les LLMs sont encore très perfectibles dans leurs capacités à se représenter un world model pour y anticiper les conséquences d'une action.
Mais ils progressent. Leurs succès sur ARC-AGI 3, dans lequel ce type de compétence est utile, en sont une belle illustration.
Une équipe de Microsoft le montre aussi avec LLM2Jev : on peut extraire directement d'un LLM des probabilités de choix... sans lui faire générer de texte.
Ces "générateurs de tokens" ont donc bien en eux ces capacités de décision/prédiction/planification.
arxiv.org/abs/2610.02076
"Oui, mais Jev c'est pas un LLM !". En réalité, son architecture est probablement très proche... car ces capacités décisionnelles émergent au coeur des LLM !
Dans "Releasing the Inner Jev", les auteurs montrent qu'on peut aisément les exploiter. arxiv.org/abs/2610.17205