Comprendre l'IA

Pourquoi commencer par la théorie

Pour une raison simple : tout le reste (les bons prompts, les pièges à éviter, le choix du bon outil) découle de la nature mathématique de ces modèles. Une heure de théorie maintenant vous fera gagner des semaines de pratique tâtonnante ensuite.

À la fin de ce module, vous saurez répondre à trois questions sans hésiter :

• Quelle est la différence entre IA, Machine Learning et Deep Learning ?
• Comment une IA "réfléchit" (ou plutôt, pourquoi elle ne réfléchit pas vraiment) ?
• Pourquoi existe-t-il autant de modèles différents (ChatGPT, Claude, Mistral, Gemini) ?

Trois questions simples qui ouvrent la porte à toute la suite.

Les poupées russes de l'IA

Quand on dit "IA", on parle souvent de choses très différentes. L'image la plus simple, c'est celle des poupées russes. Chaque concept en contient un plus petit, plus précis.

🪆 Intelligence Artificielle (IA)

C'est le concept global. Tout ce qui permet à une machine d'imiter un comportement humain. Raisonner, apprendre, comprendre le langage, décider. Un simple programme qui joue aux échecs avec des règles codées en dur, c'est déjà une IA.

🪆 Machine Learning (ML)

Une sous-catégorie de l'IA. La grosse différence : les règles ne sont plus écrites par un humain. À la place, on lui fournit des millions d'exemples, et elle apprend toute seule les patterns dans la donnée.

Exemple concret : pour reconnaître un chat sur une photo, vous ne lui décrivez pas un chat ("4 pattes, oreilles pointues, moustaches"). Vous lui donnez 10 millions de photos de chats, et elle déduit ses propres règles. C'est l'apprentissage automatique.

🪆 Deep Learning (DL)

Le Deep Learning, c'est du Machine Learning "boosté". Là où un ML classique apprend en regardant les données dans leur ensemble, le Deep Learning empile plusieurs couches successives qui détectent chacune un niveau de détail différent.

Exemple concret : la reconnaissance de visages sur votre téléphone. Quand vous ouvrez l'application Photos, votre téléphone identifie tout seul les visages de vos proches. Voici ce qui se passe sous le capot :

• La première couche détecte les contours et les zones de contraste (un œil clair sur une peau plus sombre, par exemple).
• La deuxième couche combine ces contours pour reconnaître des formes (un nez, une bouche, des oreilles).
• La troisième couche assemble ces formes en visages.
• La quatrième couche compare le visage à une bibliothèque pour identifier la personne.

Personne n'a écrit ces règles à la main. Le système les a apprises tout seul, à partir de millions d'exemples annotés. C'est cette empilement de couches, où chacune affine un peu plus le résultat, qui donne son nom au "Deep" Learning (apprentissage en profondeur).

La même mécanique sous-tend la reconnaissance vocale (Siri, Alexa), la traduction automatique (DeepL, Google Translate), la conduite autonome de Tesla, et bien sûr l'IA générative.

La révolution Transformers (2017)

L'IA générative telle qu'on la connaît aujourd'hui est née en 2017 avec un papier de recherche : "Attention is All You Need". Il a introduit l'architecture Transformer (le "T" de GPT, qui signifie Generative Pre-trained Transformer). Toutes les IA actuelles en sont issues.

Le mécanisme d'attention

Avant les Transformers, les modèles lisaient les phrases mot à mot, dans l'ordre. Un peu comme nous lorsque nous lisons, mais sans pouvoir "revenir en arrière".

Le mécanisme d'attention change tout. Le modèle analyse la phrase dans sa globalité et attribue un "poids d'importance" à chaque mot selon le contexte. Dans "la banque de la rivière", il identifie immédiatement qu'il s'agit d'un talus et non d'un établissement financier, parce que le mot "rivière" pèse plus lourd que la définition par défaut de "banque". C'est cette mécanique qui rend les modèles modernes si performants.

L'IA générative, ce sont des probabilités

Là, c'est le point le plus important du module. Et le moins bien compris en général.

Quand vous écrivez à ChatGPT, il ne "réfléchit" pas. Il ne "comprend" pas votre question au sens humain. Voici ce qu'il fait vraiment, étape par étape :

1. Il découpe votre prompt en "tokens" (des morceaux de mots).
2. Il calcule la probabilité du mot suivant le plus logique d'après son entraînement.
3. Il pioche ce mot.
4. Il recommence avec votre prompt + le mot qu'il vient de produire.
5. Et ainsi de suite, mot par mot, jusqu'à la fin de la réponse.

En résumé, c'est une machine à autocomplétion très sophistiquée. Impressionnante par ses résultats, mais purement statistique dans son fonctionnement.

Pourquoi vous devez retenir ça

Toutes les bonnes pratiques de prompt engineering (module 2) découlent de ce principe. Plus vous donnez de contexte, plus vous cadrez les probabilités, meilleure est la réponse. C'est aussi pour cela qu'on dit "Value in, value out" : la qualité de la réponse dépend directement de la qualité de l'entrée.

Tokens et context window : la grammaire cachée de l'IA

Si vous deviez retenir un seul concept technique de tout ce parcours, ce serait celui-là. Le token est l'unité de base que manipule une IA générative. Comprendre les tokens, c'est comprendre pourquoi l'IA coûte ce qu'elle coûte, pourquoi elle "oublie" parfois, et pourquoi elle hallucine.

C'est quoi, un token, concrètement ?

Un token, ce n'est ni une lettre ni un mot. C'est un morceau de mot, déterminé par l'algorithme d'entraînement du modèle. Le mot "anticonstitutionnellement" est découpé en plusieurs tokens (anti / constitution / nellement). À l'inverse, "le", "et", "la" sont des tokens complets à eux seuls.

Pour un texte en français, retenez ces ordres de grandeur :

• 1 token ≈ 3 caractères
• 1 token ≈ 0,7 mot (le français est moins efficient que l'anglais, où c'est 0,75)
• 1 000 tokens ≈ 700 mots ≈ une page A4 dense

Comment ça se paie, l'IA ?

Avant d'aller plus loin, mettons cela au clair. Il existe deux modèles de facturation très différents, qui coexistent sur le marché.

Le calculateur ci-dessous porte sur le modèle 2 (API, usage entreprise). C'est celui qui devient stratégique dès qu'on déploie à l'échelle. Si vous utilisez ChatGPT depuis l'interface web avec votre abonnement perso, vous n'avez pas à compter les tokens, vous payez déjà le forfait.

Choisissez un modèle, ajustez le volume, et regardez le coût mensuel et annuel sur un déploiement de 200 utilisateurs.

La context window : la mémoire de travail de l'IA

La context window, c'est la quantité maximale de tokens qu'un modèle peut "voir" en une fois. Elle inclut votre prompt, l'historique de la conversation, les documents joints, et la réponse en cours de génération. Tout cela ensemble.

En 2026, les ordres de grandeur ont explosé par rapport à 2023 :

Le piège : "lost in the middle"

Avoir une grande context window ne veut pas dire que le modèle l'utilise bien. Des études récentes ont montré qu'au-delà d'un certain volume, les modèles ont tendance à se concentrer sur le début et la fin du contexte, et à négliger le milieu. C'est ce qu'on appelle l'effet "lost in the middle".

Concrètement : si vous collez un PDF de 200 pages et que l'info clé est à la page 100, le modèle peut la rater. Pour les très longs contextes, il vaut mieux soit synthétiser en amont, soit utiliser un RAG qui ne remontera que les passages pertinents.

Pourquoi l'IA "oublie" et hallucine quand le contexte déborde

Voici l'expérience concrète. Vous démarrez une conversation, vous donnez du contexte, vous échangez 20 messages, vous ajoutez un document, puis 30 messages plus tard, l'IA "oublie" votre prénom ou contredit ce qu'elle disait au début. C'est le débordement de context window.

Cliquez plusieurs fois sur "Envoyer 8 tokens". Vous verrez les anciens tokens passer en gris barré : le modèle les "perd". Quand vous lui demanderez ensuite quelque chose qui dépend de ces tokens perdus, deux choses peuvent arriver.

• Cas 1 : il vous dit qu'il ne sait pas. C'est le scénario idéal. Vous repartez sur une nouvelle session avec un résumé du contexte clé.
• Cas 2 : il invente. Comme vous l'avez vu dans la section probabilités, le modèle doit produire un mot suivant. S'il n'a plus la vraie info en mémoire, il remplit l'espace probable avec quelque chose qui ressemble à la vérité. C'est une hallucination par dépassement de contexte.

Trois habitudes à prendre dès demain

1. Estimez vos tokens avant d'envoyer un gros prompt. Un PDF de 30 pages, c'est environ 15 000 tokens. Un mail moyen, c'est 200 tokens. Avoir ce réflexe vous évite les mauvaises surprises de facturation.
2. Démarrez une nouvelle session quand le sujet change. Plutôt que d'accumuler 50 messages dans la même conversation, ouvrez une session par tâche. Vos résultats seront plus précis et moins coûteux.
3. Donnez juste ce qu'il faut, pas plus. Si une page du document suffit, ne collez pas le document entier. Le modèle ne "lit pas mieux" parce qu'il a plus de contexte : au-delà d'un certain seuil, c'est l'inverse.

LLM vs SLM : pourquoi 15 modèles ?

LLM, les "Large Language Models"

Les modèles "géants". Plusieurs centaines de milliards de paramètres, entraînés sur des téraoctets de texte. Polyvalents, puissants, capables de tâches complexes. C'est ce que vous utilisez quand vous allez sur Claude ou ChatGPT.

SLM, les "Small Language Models"

Les modèles "légers". Bien plus petits, plus rapides, moins chers. Parfaits pour des tâches précises, ou pour tourner directement sur votre téléphone ou un serveur d'entreprise (sans envoyer la donnée chez OpenAI).

Exemple concret : Apple Intelligence sur iPhone tourne en partie en local grâce à un SLM. Mistral propose aussi des SLM pour des usages métier ciblés.

À retenir avant le quiz

• IA ⊃ ML ⊃ Deep Learning. Chaque concept en contient un plus précis.
• Les Transformers (2017) ont tout changé en analysant le contexte global d'une phrase via le mécanisme d'attention.
• Une IA générative ne réfléchit pas. Elle calcule mathématiquement le mot suivant le plus probable.
• En conséquence, les hallucinations sont structurelles. Ce n'est pas un bug, c'est la nature même du système.
• LLM = grands modèles polyvalents (cloud). SLM = modèles légers, parfaits pour des usages ciblés ou souverains.