À l’étape précédente, vous avez observé qu’une réponse peut se construire progressivement.

À partir du contexte disponible, plusieurs tokens peuvent constituer des suites possibles.

Le processus se poursuit ensuite à partir du contexte enrichi.

Vous avez également établi une distinction essentielle :

Mais une question est restée ouverte.

Pourquoi certaines suites deviennent-elles plus probables que d’autres ?

Pourquoi, après :

certains tokens obtiennent-ils des scores différents des autres ?

D’où viennent les régularités que le modèle utilise ?

Dans cette étape, nous allons essayer de remonter avant le moment où vous envoyez votre demande.

Comme précédemment :

nous allons d’abord observer avant de nommer les mécanismes.

Imaginez que vous rencontriez les phrases suivantes :

Sans réfléchir longtemps, proposez une suite.

Comparez les propositions de votre groupe.

Pour le moment, ne cherchez pas à expliquer comment un modèle réalise cette opération.

Notez seulement les régularités que vous êtes capables d’observer

Divisez votre groupe en deux sous-groupes.

Ne regardez pas les phrases de l’autre groupe avant d’avoir répondu.

Complétez :

Comparez les deux situations.

Imaginez maintenant qu’un système ait été confronté non pas à cinq phrases, mais à un très grand nombre de séquences de texte.

Ne cherchez pas encore les mots techniques.

Nous allons maintenant tester cette idée sur un système beaucoup plus petit.

2 — OBSERVEZ UN MINI-MODÈLE

Pour cette expérience, utilisez le petit simulateur fourni par l’enseignant.

Le système que vous allez observer est volontairement beaucoup plus simple qu’un grand modèle de langage.

Il ne s’agit pas de reproduire un LLM

Son intérêt est de rendre visible un principe qu’il serait beaucoup plus difficile d’observer directement à l’échelle d’un grand modèle.

Vous allez lui présenter plusieurs séquences.

Puis observez ce qu’il propose après :

Notez les valeurs affichées.

Ne concluez pas encore.

3 – MODIFIEZ CE QUE LE SYSTÈME RENCONTRE

Réinitialisez le mini-modèle.

Cette fois, présentez-lui :

Testez exactement la même amorce :

Notez à nouveau les valeurs affichées.

Nous pouvons maintenant commencer à nommer une partie de ce que nous observons.

Un modèle de langage n’attend pas votre question pour commencer à acquérir les régularités qu’il utilisera lors de la génération.

Avant son utilisation, il passe par une phase d’entraînement.

Au cours de cette phase, le système traite de nombreuses séquences et ajuste progressivement des valeurs internes afin d’améliorer ses prédictions selon l’objectif d’entraînement utilisé.

Pour un modèle de langage autorégressif, un objectif courant consiste à mieux prédire la suite d’une séquence à partir de ce qui la précède.

Nous pouvons représenter très simplement cette idée :

Le processus est répété un très grand nombre de fois.

Mais ce schéma reste volontairement simplifié.

Il ne décrit pas toutes les opérations utilisées pour entraîner un grand modèle de langage.

4 – QU’EST-CE QUI CHANGE DANS LE MODÈLE ?

Nous avons parlé de valeurs internes.

Mais de quoi parlons-nous ?

Reprenez le mini-modèle.

Observez son état :

AVANT L’ENTRAÎNEMENT

Relevez quelques valeurs accessibles dans le simulateur.

Lancez ensuite l’entraînement sur le corpus indiqué.

Observez de nouveau les mêmes valeurs.

Les valeurs internes ajustées pendant l’entraînement sont appelées des paramètres du modèle.

Dans les réseaux de neurones, ces paramètres comprennent notamment de nombreux poids numériques.

Pendant l’entraînement, un algorithme ajuste ces valeurs afin de réduire l’erreur définie par l’objectif d’apprentissage.

Nous pouvons donc enrichir notre schéma :

Après de très nombreux ajustements, les paramètres du modèle portent les effets de régularités apprises au cours de l’entraînement.

Mais attention à ce que cette phrase permet réellement d’affirmer.

Dans ce guide, lorsque nous écrivons qu’un modèle apprend, nous utilisons le terme au sens de l’apprentissage automatique.

Cela signifie que ses paramètres sont ajustés à partir de données et d’un objectif d’entraînement.

Cela ne permet pas, à lui seul, d’établir que le modèle :

• comprend comme un humain ;
• se souvient comme un humain ;
• sait qu’une information est vraie ;
• connaît l’origine de chaque information qu’il produit.

5 – APPRENDRE = MÉMORISER ?

Revenez aux corpus A et B.

Le mini-modèle a rencontré :

Mais nous lui avons demandé de compléter :

Maintenant, imaginez le cas inverse.

Examinez ces trois affirmations :

Pour chaque affirmation, indiquez :

Il serait tentant de remplacer une représentation trop simple par une autre :

mais aussi :

Aucune de ces deux formulations ne suffit à décrire correctement le phénomène.

L’entraînement modifie les paramètres du modèle.

Ces paramètres permettent au modèle d’exploiter des régularités apprises dans les données.

Cela ne signifie pas que le modèle fonctionne comme une bibliothèque dans laquelle il rechercherait systématiquement un document au moment de répondre.

Mais cela ne permet pas non plus d’affirmer qu’aucune information ou séquence d’entraînement ne peut être mémorisée ou reproduite.

Nous avons maintenant ajouté un nouvel élément à notre représentation :

Mais ce terme cache encore beaucoup de choses.

Avant de poursuivre, écrivez ce que vous imaginez trouver dans les données utilisées pour entraîner un grand modèle de langage.

Comparez vos propositions.

Choisissez un seul modèle parmi ceux utilisés dans vos expériences précédentes.

Cherchez uniquement des informations publiées par son fournisseur ou dans sa documentation technique.

Essayez d’établir :

Comparez maintenant les informations trouvées pour plusieurs modèles.

Quelle différence faites-vous maintenant entre :

Pour les modèles étudiés ici, une partie des capacités observées lors de la génération résulte d’un entraînement effectué avant notre interaction avec le système.

Au cours de cet entraînement, les paramètres du modèle sont ajustés à partir de données et d’un objectif d’apprentissage.

Ces ajustements permettent au modèle d’exploiter des régularités présentes dans les données rencontrées.

Mais plusieurs distinctions doivent être conservées :

À l’étape précédente, nous avions commencé à comprendre ce qui se passe au moment de la génération :

Nous pouvons maintenant regarder avant l’utilisation du modèle :

Conservez :

• vos premières suites de phrases ;
• les résultats obtenus avec les corpus A et B ;
• votre hypothèse sur l’origine des régularités ;
• les observations réalisées avec le mini-modèle ;
• les valeurs observées avant et après entraînement ;
• vos conclusions sur les paramètres ;
• votre réflexion sur apprentissage et mémorisation ;
• les informations réellement documentées sur les données d’entraînement du modèle étudié ;
• ce qui reste inconnu ;
• votre nouveau schéma distinguant entraînement et utilisation.

Puis complétez :