Ce modèle de 80 ans qui surclasse ChatGPT — Class9

L'IA Générative bouscule nos certitudes. Elle fascine, effraie, mais surtout, nous renvoie à notre propre image. Ni gourou techno-béat, ni prophète de malheur, je collectionne ces traits communs surprenants, ces instants où la frontière entre la machine et nous s'efface.

Une grand-mère finit la phrase de son mari lors d’un dîner de famille — MamieGPT

Il ne suffit pas d'ânonner sans comprendre que « les LLM sont des modèles statistiques qui prédisent le prochain mot » pour saisir ce qui se passe quand on regarde ChatGPT dérouler sa prose, comme un enfant admire émerveillé un petit train électrique qui tourne sans relâche.

Chaque fois que je cite cette « définition », ou que quelqu'un d'autre la cite, je suis frappé de voir tout le monde acquiescer. Personnellement, j'ai eu du mal à l'avaler. Allez-y... Essayez donc de prédire le « prochain mot » en vous basant uniquement sur la distribution de fréquence conditionnelle des mots. Franchement, vous (...)

(...)

Alors ? Vous avez complété ce paragraphe à ma place ? Vous avez sans doute deviné quelque chose comme « Franchement, vous pensez ». Puis « vous pensez que »... Et ensuite ?

Allons. Comment diable arrive-t-on aux réponses longues et impeccables d'un Claude ou d'un ChatGPT bien prompté ? Mon intuition première, c'est que le résultat le plus probable devrait être du charabia intégral. Mais nous y reviendrons.

Pour l'instant, parlons de Mamie.

Le modèle de langage originel

Vous la connaissez. Cette aïeule qu'il fallait bien inviter au mariage. Son mari commence à raconter l'achat de leur première maison ou sa rencontre avec le Président. Puis il s'interrompt. Pour ménager ses effets, ou simplement boire une gorgée de Château-Margaux.

Et tchac, Mamie prend la parole et finit sa phrase à sa place.

Voilà un modèle de langage que vous connaissez intimement : MamieGPT.

Pour fonctionner correctement, MamieGPT, comme tout LLM qui se respecte, a besoin :

D'un large dataset d'entraînement (60 ans de mariage, soit pas mal d'EPOCHs en fait...)
D'un contexte approprié (le début de l'histoire qui la met sur la voie)
D'un prompt efficace (ces quelques secondes d'interruption, problème de paramétrage ?)
D'un solide RLHF personnel (merci les bonnes sœurs du Couvent des Oiseaux pour les règles d'expression en société)

Remarquez les similitudes troublantes avec les modèles que les ingénieurs de la Silicon Valley nous vendent à prix d'or :

Elle ne sait pas réellement ce que son mari allait dire
Elle fait un pari, une prédiction
Elle a souvent raison (mais ne dites jamais qu'elle « comprend » !)
Les mots peuvent varier, le sens reste globalement le même
Et oui, elle peut aussi se tromper magistralement !

Comment le langage fonctionne vraiment

Qu'est-ce qui rend cette prouesse possible ?

Wolfram s'est posé cette question* de manière très empirique, avec une expérience révélatrice, et a montré comment la force brute alliée aux mathématiques rend l'impossible possible.

Il a commencé au plus simple : prédire le mot suivant après « Le meilleur aspect de l'IA, c'est sa capacité à » en se basant uniquement sur des statistiques de fréquence. L'approche brute donne une liste classée, « apprendre » (15 %), « aider » (12 %), « traiter » (8 %), mais choisir systématiquement le mot en tête produit un texte plat et répétitif.

Il s'est alors demandé : d'où viennent ces probabilités ? Pouvait-il les reconstruire à partir de rien ?

Premier essai : les lettres. Il a analysé des échantillons de texte massifs, comptant la fréquence d'apparition de chaque lettre. Puis il a tenté de générer du texte en choisissant aléatoirement les lettres selon leurs fréquences. Résultat : « rsonthpeayofdkl... », du pur charabia. Même ajouter des espaces basés sur les longueurs de mots typiques n'aidait guère : « rsont hpea yofd kl... », toujours incompréhensible.

Deuxième essai : les bigrammes (paires de lettres). Maintenant « th » mène généralement à « e », « qu » à « u ». Le résultat s'améliore : « Weetollbever firsapres... ». On devine presque des motifs ressemblant à des mots, mais c'est encore du non-sens.

Troisième essai : les trigrammes. Encore mieux. Quelques vrais mots anglais commencent à apparaître dans cette soupe aléatoire. Avec les 4-grammes, des fragments de vrai langage émergent.

Le motif était clair : plus le contexte est long, plus le texte devient sensé. Wolfram est alors passé aux mots entiers au lieu des lettres, en appliquant la même logique. Fréquences de mots isolés : chaos. Combinaisons de 2 mots (bigrammes) : « chat » suit souvent « le », créant des fragments réalistes. Combinaisons de 3 mots : soudain, vous obtenez des phrases cohérentes comme « le chat était » ou « était sur le ».

La conclusion ? Avec suffisamment de force brute computationnelle pour compter ces motifs sur des milliards d'exemples de texte, plus des techniques mathématiques pour lisser les statistiques, vous pouvez effectivement faire de la rétro-ingénierie sur les règles qui font fonctionner le langage. Ce qui semblait de la pure magie, prédire le mot suivant, devient un problème d'ingénierie soluble.

Comme le dit Stephen Wolfram, « nous avons réussi l'IA Générative parce que maîtriser le langage s'est révélé plus facile que nous le craignions ». Une façon provocante de souligner la dimensionnalité étonnamment faible du langage humain. Nous utilisons typiquement environ 20 à 35 000 mots dans la vie quotidienne (en excluant les points aberrants, comme par exemple certains présidents américains). Ainsi, dans un espace à n dimensions, avec un n suffisamment grand, fabriquer une machine qui parle n'est pas si farfelu.

Nous avons réussi l'IA Générative parce que maîtriser le langage s'est révélé plus facile que nous le craignions.
S. Wolfram

La Machine de Laputa : le ChatGPT de 1726

Ces machines qui parlent, Swift les avait imaginées dès 1726 dans Les Voyages de Gulliver (chapitre Laputa). Sa « Machine » était un dispositif mécanique couvert de mots qui, actionné par des étudiants, les recombinait aléatoirement pour produire de la « connaissance philosophique ». Swift voulait se moquer de la grandiloquence de la Royal Society et de sa foi dans le raisonnement mécanique. La plaisanterie : produire un discours apparemment profond par pure combinaison mécanique, sans compréhension ni intelligence (idée reprise dans les années 2000 par les populaires Bingo du Bullshit).

Gravure de la Machine à produire des mots, édition de 1727 des Voyages de Gulliver — L’édition de 1727 des Voyages de Gulliver contient une gravure de « la Machine ».

L'ironie est savoureuse : la satire de Swift est devenue notre réalité technologique. Sa Machine imaginaire fonctionnait exactement selon le principe qui anime nos modèles de langage actuels, la recombinaison systématique d'éléments linguistiques existants pour produire du texte nouveau et cohérent. Là où Swift voyait l'absurdité, nous avons découvert une vérité computationnelle profonde. L'approche mécanique des Laputiens n'était pas une folie, c'était une prophétie.

Plus frappant encore : Swift avait intuité que le langage possède une structure combinatoire sous-jacente exploitable mécaniquement. Trois siècles avant les expériences de Wolfram avec les n-grammes, avant les réseaux de neurones, avant que quiconque comprenne la linguistique statistique, Swift avait saisi qu'un discours sensé pourrait émerger de la recombinaison systématique de composants linguistiques. Sa Machine préfigure non seulement l'architecture de ChatGPT, mais son intuition fondamentale : le langage, malgré son apparente créativité infinie, suit des motifs suffisamment mécaniques pour être capturés et reproduits.

Ce que Swift raillait comme le comble de la stérilité intellectuelle, nous le reconnaissons aujourd'hui comme le fondement de l'intelligence artificielle. Les machines parlantes sont là, et elles fonctionnent exactement comme il l'avait imaginé, juste sans la satire.

Une raison d'être moins prévisible

La possibilité mathématique que Wolfram démythifie, un langage dont on peut faire la rétro-ingénierie par la force brute computationnelle et les motifs statistiques, converge magnifiquement avec l'intuition satirique, vieille de trois siècles, de Swift sur la génération mécanique de texte. Mais plus révélateur encore, cela s'aligne avec ce que nous vivons quotidiennement : finir les phrases des autres, prédire les réponses, être rarement véritablement surpris par ce qu'on nous dit.

Ces trois perspectives, calcul rigoureux, imagination littéraire et expérience vécue, pointent vers la même vérité sous-jacente. Le langage n'est pas cette force mystique et infiniment créative qu'on imaginait. Il suit des motifs identifiables, obéit à des régularités statistiques, opère dans des limites prévisibles. Ce qu'on prenait pour de la magie n'était que de la complexité qu'on n'avait pas encore appris à mesurer.

Le langage n'est pas cette force mystique et infiniment créative que nous imaginions tous

C'est peut-être un peu déprimant, que des machines puissent si bien imiter notre faculté la plus humaine. C'est sans doute même dangereux : tout ce potentiel de confusion, de manipulation, de persuasion artificielle. Je vois cela différemment. Comprendre comment ces systèmes fonctionnent, reconnaître les motifs qu'ils exploitent, nous donne les armes pour interagir avec eux consciemment plutôt que de subir leur influence sans le savoir. Nous pouvons nous en servir délibérément, avec scepticisme, avec stratégie.

Et personnellement ? Cela me motive à être moins prévisible. Si mon langage suit des motifs statistiques que les machines peuvent apprendre, alors il est peut-être temps de me surprendre, et de surprendre tout le monde, un peu plus souvent.

Humains, LLM : sous le capot, l'étonnante parenté.

(*) Pour les curieux, Stephen Wolfram détaille cette expérience dans son article de 2023 : « What Is ChatGPT Doing... and Why Does It Work? »

Generative AI is shaking up what we thought we knew. It's weird, fascinating—and just a little too familiar. It's holding up a mirror. Look closely at how it works, and you'll keep stumbling on moments where the line between machine intelligence and our own gets uncomfortably thin.

A grandmother finishing her husband's sentence at a family dinner — GrandmaGPT

It's not enough to robotically repeat that "LLMs are statistical models predicting the next word" to truly grasp what's happening when ChatGPT spins its prose, like a child staring, amazed, at a toy train looping endlessly on its track.

At some point when I - or anybody actually - mention this 'definition', I am always amazed that everyone nods along to it. Personally, I found it hard to swallow. Go ahead… Go predict the "next word", using only the conditional frequency distribution of words. I mean, do you really (...)

(...)

So? Have you completed this paragraph for me? Ok, you probably guessed something around 'do you really think'. And then, do you really think that... And then?

Come on. How on earth, do we land something like the super neat and long answers from a well prompted Claude or ChatGPT? My initial take is that the most probable outcome should be total gibberish. But we'll come back to that later.

For now—let's talk about Grandma.

The Original Language Model

You know the one. She had to be invited to the wedding. Her husband starts telling a story—how they bought their first house, or that time he met the President. He pauses. Maybe for dramatic effect. Maybe just to sip some wine.

And bam! Grandma jumps in and finishes the sentence for him.

You already know this language model intimately: GrandmaGPT.

To work properly, GrandmaGPT, like any respectable LLM, needs:

A massive training dataset (60 years of marriage = quite a few EPOCHs…)
A relevant context window (the beginning of the story to set her on track)
An effective prompt (those few seconds of silence, is it a prompt tuning issue?)
Solid personal RLHF (courtesy of decades of Catholic school fine-tuning in polite conversation)

Notice the uncanny similarities with the models Silicon Valley engineers are selling us for a fortune:

She does not actually know what her husband was going to say
She makes a bet, a prediction
She's often right (but never, ever, say she "understands")
The words might vary, but the gist stays intact
And yes, she can be hilariously wrong too

How Language Actually Works

What makes this all possible?

Wolfram actually worked* through this question in a very empirical way with a revealing experiment and showed exactly how brute force plus mathematics makes the impossible work.

He started simple: predict the next word after "The best thing about AI is its ability to" using pure frequency statistics. The raw approach gives you a ranked list - "learn" (15%), "help" (12%), "process" (8%) - but picking the top choice every time produces flat, repetitive text.

Actually, he wondered: where do these word probabilities actually come from? Could he build them from scratch?

First attempt: letters. He analyzed massive text samples, counting how often each letter appears. Then he tried generating text by randomly picking letters according to their frequencies. Result: "rsonthpeayofdkl..." - pure gibberish. Even adding spaces based on typical word lengths barely helped: "rsont hpea yofd kl..." - still meaningless.

Second attempt: 2-grams (letter pairs). Now "th" usually leads to "e", "qu" to "u". The output improved: "Weetollbever firsapres..." - you can almost see word-like patterns emerging, but it's still nonsense.

Third attempt: 3-grams. Even better. Some actual English words started appearing in the random soup. By 4-grams, fragments of real language emerged.

The pattern was clear: longer contexts yielded more sensible text. Wolfram then jumped to words instead of letters, applying the same logic. Single-word frequencies: chaos. 2-word combinations (bigrams): "cat" often follows "the", creating realistic fragments. 3-word combinations: suddenly you get coherent phrases like "the cat sat" or "sat on the."

Conclusion? With enough computational brute force to count these patterns across billions of text examples, plus mathematical techniques to smooth the statistics, you can actually reverse-engineer the rules that make language work. What seemed like pure magic - predicting the next word - becomes a tractable engineering problem.

As Stephen Wolfram puts it, "we pulled off Generative AI because mastering language turned out to be easier than we feared". This is a just provocative way of stressing the surprisingly low dimensionality of human language. We typically use around 20,000 to 35,000 words in daily life (excluding outliers—say, certain American presidents). So in an n-dimensional space—with a big enough n—building a talking machine isn't as crazy as it sounds.

We pulled off Generative AI because mastering language turned out to be easier than we feared.
S. Wolfram

The Laputan Engine: 1726's ChatGPT

Speaking of talking machines, Swift imagined them as early as 1726, in Gulliver's Travels (Laputa chapter). His "Engine" was a mechanical contraption covered with words that, when cranked by students, would randomly recombine to produce "philosophical knowledge." Swift intended this as satire, a mockery of the Royal Society's faith in mechanical reasoning. The joke was that you could generate seemingly profound discourse through pure mechanical combination, without understanding or intelligence.

Engraving of the word-generating Engine from the 1727 edition of Gulliver's Travels — The 1727 edition of Gulliver's Travels contains a picture of 'The Engine'.

The irony is delicious: Swift's satirical impossibility has become our technological reality. His fictional Engine operated on exactly the principle that powers today's language models, a systematic recombination of existing linguistic elements to produce new, coherent text. Where Swift saw absurdity, we've discovered profound computational truth. The Laputans' mechanical approach to generating knowledge wasn't folly, it was prophecy.

Even more striking: Swift intuited that language has an underlying combinatorial structure that can be mechanically exploited. Three centuries before Wolfram's experiments with n-grams, before neural networks, before anyone understood statistical linguistics, Swift grasped that meaningful discourse might emerge from systematic permutation of linguistic components. His Engine prefigures not just ChatGPT's architecture, but its fundamental insight: that language, despite appearing infinitely creative, follows patterns mechanical enough to be captured and reproduced.

What Swift mocked as the height of intellectual sterility, we now recognize as the foundation of artificial intelligence. The talking machines are here, and they work exactly as he imagined, just without the satire.

Motivation for Unpredictability

The mathematical possibility that Wolfram explained—that language can be reverse-engineered through computational brute force and statistical patterns—converges beautifully with Swift's three-century-old satirical intuition about mechanical text generation. But perhaps most tellingly, it aligns with what we experience every day: finishing each other's sentences, predicting responses, rarely being genuinely surprised by what others say.

These three perspectives—rigorous computation, literary imagination, and lived experience—point to the same underlying truth. Language isn't the mystical, infinitely creative force we once imagined. It follows discoverable patterns, obeys statistical regularities, operates within predictable boundaries. What we mistook for magic was simply complexity we hadn't yet learned to measure.

Language isn't the mystical, infinitely creative force we all once imagined

Maybe that's a bit depressing—that machines can mimic our most human faculty so well. Probably it's even dangerous—all this potential for confusion, manipulation, artificial persuasion. But I see it differently. Understanding how these systems work, recognizing the patterns they exploit, gives us the tools to interact with them consciously rather than being unconsciously influenced. We can use them deliberately, skeptically, strategically.

And personally? It motivates me to be less predictable. If my language follows statistical patterns that machines can learn, then maybe it's time to surprise myself—and everyone else—a bit more often.

Humans and LLMs: under the hood, different... but not that different

(*) For the curious, Stephen Wolfram walks through this in detail in his 2023 piece: “What Is ChatGPT Doing... and Why Does It Work?”

publié d’abord sur The Last Consultant →first published on The Last Consultant →

tous les textes →all texts →

Ce modèle de 80 ans qui surclasse ChatGPTThis 80-Year-Old Model Beats ChatGPT