ChatGPT, cette machine qui s’obstine à ne jamais se répéterChatGPT, The Machine That Can't Help But Improvise

L'IA Générative bouscule nos certitudes. Elle fascine, effraie, mais surtout, nous renvoie à notre propre image. Ni gourou techno-béat, ni prophète de malheur, je collectionne ces traits communs surprenants, ces instants où la frontière entre la machine et nous s'efface.

J'anime des ateliers d'expérimentation et d'adoption avec l'IA générative depuis deux ans. Inévitablement, certaines slides PowerPoint, certains exercices, certaines démos sont identiques.
Et pourtant, je ne dis jamais exactement la même chose. Un participant pose une question inattendue, je bifurque. L'énergie du groupe m'entraîne vers une digression. Je trouve une nouvelle analogie en parlant, meilleure que celle que j'avais prévue. Parfois je m'ennuie de ma propre formulation et j'en invente une autre, juste pour voir.

Personne n'en est témoin, mais au fond, tout le monde s'en doute et personne ne s'en offusque. C'est même ce qu'on attend d'un formateur : qu'il s'adapte, qu'il improvise, qu'il soit vivant. Et d'ailleurs, eux mêmes font de même dans les contextes qui leur sont propres.

Mais quand, dans ces mêmes ateliers, les participants découvrent que ChatGPT ne donne pas deux fois la même réponse au même prompt, quelque chose se crispe. Je vois les sourcils se froncer. "Attendez, donc si tous, au même moment, lançons exactement le même prompt, nous aurons des réponses différentes ?" Oui. "Mais alors comment je peux lui faire confiance ?"
La question revient à chaque session, avec cette pointe d'indignation. Comme si on leur avait vendu une machine à calculer qui donnerait tantôt 4, tantôt 5 pour 2+2.

L'ironie m'amuse toujours. Ces mêmes personnes, qui acceptent sans broncher que je reformule mes explications d'une session à l'autre, exigent de la machine une constance qu'elles ne demandent à aucun humain.

Cette variabilité des LLM porte un nom technique : le non-déterminisme. Et elle a surpris jusqu'à ceux qui ont conçu ces systèmes.

Les modèles de langage sont des machines qui prédisent de façon probabiliste la suite des mots. Au cœur de ChatGPT se trouve un paramètre appelé "température" qui contrôle le degré d'aléatoire dans la génération. À température élevée, le modèle explore des formulations inhabituelles, prend des risques. À température zéro, il devrait théoriquement toujours choisir le mot le plus probable, produisant des réponses identiques. En théorie.

Les ingénieurs d'OpenAI ont eux-mêmes été déconcertés de constater que même à température zéro, les réponses variaient. Le phénomène a d'abord été pris pour un bug. Il n'en était pas un. Les calculs distribués sur des milliers de processeurs graphiques introduisent des micro-variations imperceptibles qui s'accumulent à travers les milliards d'opérations du modèle. L'ordre d'exécution des fils de calcul change d'une requête à l'autre. La charge des serveurs influence le routage des données. L'architecture même de GPT-4, qui répartit les requêtes entre différents "experts" spécialisés, fait que deux prompts identiques soumis à quelques secondes d'intervalle peuvent emprunter des chemins de calcul différents.

Une étude récente (Atil et al., 2024) a documenté des variations d'exactitude allant jusqu'à 10% sur des tâches identiques répétées dix fois de suite, même avec des configurations censées être déterministes. Une autre, dans le domaine médical, mesure 14% de variation sur des diagnostics répétés avec le même prompt. Aucun des grands modèles testés ne produisait de réponses parfaitement stables.

ChatGPT ne peut pas se répéter exactement. Par construction.

Alors, effectivement, une question pratique se pose, notamment dans un environnement de travail : si ChatGPT varie, comment obtenir des résultats fiables ?

La réponse tient essentiellement en deux mots : context engineering. L'art de construire des prompts — instructions et données — qui canalisent la variabilité vers une plage de réponses acceptables, sans l'éliminer complètement.

Le principe est simple. Plus le contexte fourni est riche et précis, plus l'espace des réponses possibles se restreint. Un prompt vague ouvre un champ immense ; le modèle peut partir dans mille directions, et le fera différemment à chaque fois. Un prompt structuré — qui précise l'usage prévu, le ton, la longueur, les points à couvrir, des exemples d'ancrage — réduit drastiquement la variance. Technique plus avancée : exploiter la "fenêtre de contexte", cette mémoire de travail du modèle où les derniers éléments pèsent plus lourd. Placer un résumé dense des contraintes juste avant la question finale, c'est briefer quelqu'un au moment où il prend la parole.

Les professionnels qui maîtrisent l'IA générative ne cherchent pas à éliminer sa variabilité. Ils apprennent à la moduler.

Mais cette variabilité devrait nous troubler moins qu'elle ne le fait. Car nous fonctionnons de la même manière.

Daniel Kahneman, prix Nobel d'économie, a consacré sa carrière à étudier ce qu'il appelle le "bruit" : la variabilité inexpliquée des jugements humains face à des situations identiques. Ses résultats donnent le vertige. Des assureurs d'une même compagnie, évaluant les mêmes dossiers fictifs, proposent des primes qui varient de 55%. Des juges du même tribunal, face au même prévenu, prononcent des peines allant du simple au quadruple. Des radiologues examinant les mêmes clichés se contredisent dans la moitié des cas.

Le plus troublant : ces mêmes radiologues, confrontés aux mêmes images à quelques semaines d'intervalle, se contredisent eux-mêmes dans 20% des cas. Ils ne se souviennent pas de leur diagnostic précédent. Ils analysent "à neuf", et arrivent à une conclusion différente.

Kahneman a poussé l'investigation plus loin. Une étude sur des juges français a révélé qu'ils se montraient plus cléments quand c'était l'anniversaire du prévenu. L'humeur du lundi matin diffère de celle du vendredi après-midi. La glycémie avant et après le déjeuner modifie les seuils de tolérance. Le dernier dossier traité colore l'appréciation du suivant.

Nous ne sommes pas des machines à produire des jugements constants. Nous sommes des systèmes qui échantillonnent des réponses dans un espace de possibles, influencés par mille facteurs dont nous n'avons pas conscience.

Les neurosciences confirment cette intuition, et vont plus loin. Notre cerveau n'est pas un ordinateur déterministe. L'activité neuronale spontanée — ces fluctuations qui se manifestent même au repos — n'est pas du bruit parasite. Elle constitue le substrat de notre flexibilité cognitive.

Le neuroscientifique Rafael Malach et son équipe ont montré que la variabilité temporelle des connexions entre régions cérébrales corrèle positivement avec les scores de créativité verbale. Plus le cerveau "fluctue", mieux il performe sur les tâches créatives. Le phénomène de "résonance stochastique" va encore plus loin : l'ajout de bruit aléatoire dans un système neuronal peut améliorer la détection de signaux faibles. Nos neurones ont besoin de bruit pour fonctionner de manière optimale. Un cerveau parfaitement stable serait un cerveau appauvri.

Quand je reformule différemment la même explication d'un atelier à l'autre, ce n'est pas un échec de mémoire. C'est mon cerveau qui explore l'espace des formulations possibles, qui teste de nouvelles connexions, qui s'adapte aux signaux subtils de mon audience. La répétition parfaite serait un appauvrissement.

Mais attention au glissement : cela ne signifie pas que ChatGPT "pense" ou qu'il est "intelligent" au sens où nous le sommes. La variabilité du LLM n'est pas de l'intelligence. C'est une matière première pour la nôtre.

Un système parfaitement déterministe serait une table de consultation. Utile, mais stérile. Un système qui explore l'espace des réponses possibles nous donne quelque chose avec quoi travailler : des variations à évaluer, des angles inattendus à saisir, des formulations à transformer. L'intelligence reste du côté de l'humain qui juge, choisit, recombine. Le LLM fournit la générosité ; nous fournissons le discernement.

Et voici un paradoxe que je garde pour moi, pour ne pas choquer mes semblables : cette imprévisibilité que certains dénoncent est précisément ce qui donne aux réponses de ChatGPT leur valeur.

Je me surprends à sauvegarder certaines réponses qui m'inspirent, me surprennent, comme autant de perles rares. "Celle-là, je la garde," me dis-je quand l'IA me propose une analogie particulièrement éclairante ou un angle que je n'avais pas envisagé. Si toutes les réponses étaient identiques, pourquoi m'embêterais-je à les demander ? C'est leur caractère éphémère, non reproductible à l'identique, qui leur confère un intérêt. Comme un concert live qui ne sera jamais rejoué exactement pareil, même avec la même partition.

Cette unicité n'est pas un défaut de la performance. Elle en est l'essence.

Un de mes films fétiche capture magnifiquement cette philosophie : "Un jour sans fin" (Groundhog Day), avec Bill Murray. Phil Connors, météorologue cynique, se retrouve coincé dans une boucle temporelle. Il revit indéfiniment le même jour, le 2 février, à Punxsutawney.

Sa première réaction est le désespoir de la répétition infinie. Il connaît par cœur chaque événement, chaque réplique. Rien ne change. Rien ne peut changer.

Puis l'exploitation cynique : puisqu'il connaît à l'avance chaque événement, il manipule, séduit, vole, sans conséquence. Mais cette toute-puissance le laisse vide.

La transformation survient quand Phil comprend quelque chose de subtil : si les événements extérieurs se répètent à l'identique, lui peut changer. Apprendre le piano. Sculpter la glace. Sauver l'homme qui s'étouffe au restaurant. Phil découvre que la répétition apparente cache une infinité de possibilités. Le cadre est contraint, mais l'exploration est illimitée. Il finit par trouver dans cette boucle non pas une prison, mais un terrain de jeu. Chaque 2 février devient une nouvelle expérience, parce que lui n'est plus le même Phil que la veille.

J'ai toujours trouvé que cette métaphore résonnait avec notre rapport au travail. Combien d'entre nous avons l'impression de revivre les mêmes journées ? Les mêmes réunions, les mêmes emails, les mêmes problèmes qui reviennent. Le sentiment d'être coincé dans une boucle peut être écrasant.

Bill Murray nous souffle une sortie par le haut. La répétition n'est jamais vraiment une répétition. Nous ne sommes pas les mêmes qu'hier. Nos collègues non plus. Le contexte a imperceptiblement bougé. Et surtout : nous pouvons choisir d'explorer différemment le même territoire.

Au lieu de présenter les mêmes slides et m'ennuyer mortellement, je peux décider que chaque session est une expérience unique, une occasion de tester une nouvelle formulation, de creuser une question que j'avais négligée, de rencontrer des esprits différents. Le cadre est identique. L'expérience ne l'est jamais.

Ne prenons pas le non-déterminisme de ChatGPT comme un bug à corriger. Il reçoit la même question, mais ne peut pas s'empêcher de l'explorer différemment. Son architecture même lui interdit la répétition.

Assumée et bien exploitée, cette caractéristique étonnante résonne avec quelque chose de profondément vrai sur la nature de la parole et de la pensée elle-même.

Une pensée qui se répète à l'identique n'est plus une pensée. C'est un enregistrement. La constance parfaite n'est pas un signe d'intelligence. C'est un signe de rigidité. Les systèmes vivants, biologiques ou numériques, explorent. Ils varient. Ils s'adaptent. Ils trouvent de nouvelles routes vers les mêmes destinations.

Quand un participant s'offusque que ChatGPT ne se répète pas, je lui demande : "Et vous, si je vous pose trois fois de m'expliquer votre métier, vous direz exactement les mêmes mots ?" Il répond que non, évidemment. "Est-ce que ça vous rend moins fiable ?" Il comprend.

Mais, au fond, ce qui trouble vraiment le passionné d'IA Gen que je suis confronté aux professionnels en quête de performance que je forme, est d'un autre ordre.

Nous avons enfin entre les mains un outil qui explore comme nous explorons, qui varie comme nous varions, qui trouve des chemins inattendus comme notre propre esprit en trouve quand il est en forme. Et que faisons-nous ? Nous cherchons à l'enfermer. Température à zéro. Prompts verrouillés. Templates rigides. Nous voulons des réponses identiques, reproductibles, auditables. Nous voulons une photocopieuse.

Quel comble ! La machine nous tend un miroir de notre propre pyrotechnie cognitive — et nous lui demandons de cesser de nous ressembler.

Peut-être que le vrai "jour sans fin", ce n'est pas celui de Phil Connors. C'est celui que nous nous imposons à nous-mêmes, chaque jour de travail, en cherchant à produire plus, plus vite, sans la friction de penser différemment. ChatGPT varie parce qu'il ne peut pas faire autrement.

Nous, nous avons le choix.

Humains, LLM : sous le capot, l'étonnante parenté.

Note : Les travaux de Daniel Kahneman sur le bruit sont développés dans "Noise: A Flaw in Human Judgment" (2021), co-écrit avec Olivier Sibony et Cass Sunstein. L'étude sur l'auto-contradiction des radiologues y est détaillée. Les recherches de Rafael Malach sur le lien entre fluctuations neuronales spontanées et créativité ont été publiées dans Frontiers in Human Neuroscience (2024).

Generative AI is shaking up what we thought we knew. It's weird, fascinating—and just a little too familiar. It's holding up a mirror. Look closely at how it works, and you'll keep stumbling on moments where the line between machine intelligence and our own gets uncomfortably thin.

The Double Standard

I've been running workshops on generative AI experimentation and adoption for two years. Inevitably, some PowerPoint slides, some exercises, some demos are identical.

And yet, I never say exactly the same thing twice. A participant asks an unexpected question and I veer off. The group's energy pulls me into a digression. I stumble into a new analogy while speaking, better than the one I had planned. Sometimes I get bored of my own phrasing and invent a new one, just for fun.

No one witnesses it directly, but everyone somehow knows, and no one cares. It's even what people would expect from a trainer: to adapt, to improvise. And of course, they do the same in their own contexts.

But when, in those same workshops, participants discover that ChatGPT doesn't give the same answer twice to the same prompt, something tightens. I see eyebrows knit. "Wait... so if we all run the exact same prompt at the same moment, we'll get different answers?" Yes. "But then how can I trust it?"

The question comes up every session, tinged with indignation. As if they'd been sold a calculator that sometimes outputs 4 and sometimes 5 for 2+2.

The irony always amuses me. The very same people who accept without question that I reformulate my explanations from one session to the next demand from the machine a consistency they require of no human.

Why Zero Isn't Zero

This variability in LLMs has a technical name: non-determinism. And it surprised even the people who designed these systems.

Language models predict the next words probabilistically. At the heart of ChatGPT lies a parameter called "temperature" which controls how much randomness goes into the generation. At high temperature, the model explores unusual turns of phrase, takes risks. At zero temperature, it should theoretically always choose the most probable next word, producing identical replies. In theory.

OpenAI's engineers themselves were puzzled to find that even at zero temperature, answers varied. At first, the phenomenon was mistaken for a bug. It wasn't. Distributed computation across thousands of GPUs introduces imperceptible micro-variations that accumulate across the model's billions of operations. The order of thread execution changes from one request to the next. Server load affects data routing. GPT-4's architecture, which dispatches requests to different specialized "circuits," means that two identical prompts submitted seconds apart can follow entirely different computational paths.

A recent study (Atil et al., 2024) documented accuracy variations of up to 10% across ten repetitions of the same task, even under supposedly deterministic settings. Another, in the medical field, measured 14% variation across repeated diagnostic prompts. None of the major models tested produced perfectly stable responses.

ChatGPT cannot repeat itself exactly. By design.

Channeling the Chaos

For sure, a practical question arises, especially in professional settings: if ChatGPT varies, how do you get reliable results? Let's deal with that for a sec.

The answer boils down to two words: context engineering.

Don't try to eliminate variability, learn to tame it.

The art of crafting prompts - instructions and data - that channel variability into an acceptable range of outcomes without eliminating it entirely.

The principle is simple. The richer and more precise the context, the narrower the space of possible answers. A vague prompt opens a vast field; the model can head in a thousand directions, and it will choose a different one each time. A structured prompt - one that defines purpose, tone, length, required points, anchoring examples - dramatically reduces variance. More advanced technique: leveraging the "context window," the model's working memory where the most recent elements carry the most weight. Placing a dense summary of constraints right before the final question is like briefing someone at the exact moment they rise to speak.

Professionals who master generative AI don't try to eliminate variability. They learn to tame it.

The Noise Within

But this variability should trouble us far less than it does. Because our brains work the same way.

Daniel Kahneman, Nobel laureate in economics, devoted his career to studying what he calls "noise": the unexplained variability in human judgment when people face identical situations. The findings are dizzying. Insurance agents at the same company, evaluating the same fictional case files, set premiums that differ by 55%. Judges in the same court, faced with the same defendant, hand out sentences ranging from one to four times longer. Radiologists reviewing identical scans contradict one another in half of all cases.

More troubling still: those same radiologists, revisiting the same images a few weeks later, contradict themselves 20% of the time. They don't remember their previous diagnosis. They analyze "fresh" and arrive at a different conclusion.

Kahneman pushed the investigation further. One study of French judges found they were more lenient when it was the defendant's birthday. Monday-morning moods differ from Friday-afternoon moods. Blood sugar before and after lunch shifts tolerance thresholds. The last case reviewed colors the interpretation of the next.

We are not machines that produce constant judgments. We are systems sampling answers from a space of possibilities, influenced by a thousand factors we don't perceive.

Raw Material for Intelligence

Neuroscience confirms this intuition, and goes further. Our brain is not a deterministic computer. Spontaneous neural activity - those fluctuations that occur even at rest - is not parasitic noise. It is the substrate of our cognitive flexibility.

Neuroscientist Rafael Malach and his team have shown that the temporal variability of connections between brain regions correlates positively with verbal creativity scores. The more the brain "fluctuates," the better it performs on creative tasks. The phenomenon of stochastic resonance goes even further: injecting random noise into a neural system can improve its ability to detect weak signals. Our neurons need noise to operate optimally. A perfectly stable brain would be a poorer one.

When I reformulate the same explanation differently from one workshop to another, it is not a failure of memory. It is my brain exploring the space of possible formulations, testing new connections, adapting to the subtle signals of my audience. Perfect repetition would be impoverishment.

For sure, there is the crucial distinction with LLM: it does not mean ChatGPT "thinks" or is "intelligent" in the way we are. LLM variability is not intelligence. It is rather and more interestingly raw material for intelligence.

The LLM provides abundance; we provide discernment.

A perfectly deterministic system would be a reference table. Useful, but boring. A system that explores the space of possible responses gives us something to work with: variations to evaluate, unexpected angles to seize, formulations to transform. The intelligence lies with the human who judges, selects, recombines. The LLM provides abundance; we provide discernment.

By the way, let me share here a feeling I usually keep to myself (so I preserve my 'serious guy' status): the unpredictability some denounce is precisely what gives ChatGPT's answers their value to my eyes.

I often find myself saving certain responses that inspire or surprise me, my 'nuggets'. "That one, I'm keeping" I think when the AI offers an especially illuminating analogy or an angle I hadn't considered. If every answer were identical, why would I bother asking? It's their fleeting, non-reproducible nature that gives them value. Like a Jazz live performance that will never be played exactly the same, even with the same score.

This uniqueness is not a defect. It is the essence of the performance.

February 2nd, Every Day

One of my all-time favorite movies captures this philosophy perfectly: Groundhog Day, with Bill Murray. Phil Connors, a cynical weatherman, finds himself stuck in a time loop. He relives the same day- February 2nd in Punxsutawney - over and over again.

His first reaction is despair at the infinite repetition. He knows every event, every line, by heart. Nothing changes. Nothing can change.

Then comes cynicism: since he knows every event in advance, he manipulates, seduces, steals, without consequence. But this sense of omnipotence leaves him empty.

The transformation happens when Phil understands something subtle: even if the world outside repeats itself identically, he can change. He learns piano. He carves ice. He saves the man who chokes at the restaurant. Phil discovers that apparent repetition hides infinite possibilities. The frame is constrained, but the exploration is limitless. He eventually finds that the loop is not a prison but a playground. Each February 2nd becomes a new experience because he is no longer the same Phil he was the day before.

I've always felt this metaphor resonates with our relationship to work. How many of us feel we're reliving the same day? The same meetings, the same emails, the same problems returning in slightly different disguises. The sensation of being stuck in a loop can be suffocating.

Bill Murray offers us an elegant way out. Repetition is never truly repetition. We are not the same as yesterday. Neither are our colleagues. The context has shifted, however imperceptibly. And above all: we can choose to explore the same territory differently.

Instead of presenting the same slides and boring myself to death, I can decide that each session is a unique experiment, a chance to test a new phrasing, to dive into a question I had overlooked, to meet different minds. The frame is identical. The experience never is.

The Loop we choose, the Choice we have

So let's not treat ChatGPT's non-determinism as a bug to be fixed. It receives the same question but cannot help exploring it differently. Its very architecture forbids repetition.

Properly embraced and skillfully used, this strange feature resonates with something profoundly true about the nature of speech and human thinking themselves.

A thought that repeats itself identically is no longer a thought. It is a recording. Perfect consistency is not a sign of intelligence. It is a sign of rigidity. Living systems, biological or now digital, explore. They vary. They adapt. They find new routes to the same destinations.

When a participant complains that ChatGPT doesn't repeat itself, I ask them: "And if I ask you three times to explain your job, will you use exactly the same words?" They always say no, of course not. "Does that make you less reliable?" And they get it.

But deep down, what unsettles the generative-AI enthusiast in me - when faced with the performance-driven professionals I train - lies elsewhere.

We finally have a tool that explores the way we explore, that varies the way we vary, that finds unexpected paths the way our own mind does when it's sharp. And what do we do with it? We try to cage it. Zero temperature. Locked prompts. Rigid templates. We want identical, reproducible, auditable answers. We want a photocopier.

What an irony. The machine offers us a mirror of our own cognitive firework, and we ask it to stop resembling us and rather play the good old robot.

Maybe the real "Groundhog Day" isn't Phil Connors's. It's the one we impose on ourselves every day at work, trying to produce more, faster, without the friction of thinking differently. ChatGPT varies because it cannot do otherwise.

We, on the other hand, have a choice.

Humans and LLMs: under the hood, different... but not that different

Note: Daniel Kahneman's work on noise is detailed in "Noise: A Flaw in Human Judgment" (2021), co-authored with Olivier Sibony and Cass Sunstein. The study on radiologists contradicting themselves is covered there. Rafael Malach's research on the link between spontaneous neural fluctuations and creativity was published in Frontiers in Human Neuroscience (2024).