DE QUOI PARLEZ-VOUS EXACTEMENT ?
Guide IA, information, communication numérique & cybersécurité
35 à 45 min
Binôme obligatoire — 3e étudiant facultatif
Carnet Canva
Depuis le début de cette expérience, nous utilisons régulièrement des formulations comme :
« J’ai demandé à l’IA… »
« L’IA m’a répondu… »
« L’IA a trouvé cette information… »
« L’IA s’est trompée… »
Ces formulations sont pratiques.
Mais sont-elles suffisamment précises pour comprendre ce que nous sommes en train d’observer ?
Lors de l’étape précédente, vous avez observé plusieurs systèmes à partir d’une même demande.
Vous avez formulé des explications concurrentes, conçu un test pour les mettre à l’épreuve et examiné ce que vos résultats permettaient — ou non — de conclure.
Une question reste pourtant ouverte.
Lorsque nous disons :
« L’IA m’a répondu »,
à quoi attribuons-nous réellement ce que nous observons ?
Nous allons maintenant chercher à distinguer les différentes composantes susceptibles d’intervenir entre votre demande et la réponse obtenue.
L’objectif n’est pas de mémoriser une architecture ou une liste de définitions.
Il s’agit de construire une représentation que vous pourrez défendre, mettre à l’épreuve et réviser.
Reprenez l’un des systèmes utilisés lors de l’Étape 3.
Sans effectuer de recherche extérieure, examinez uniquement ce que vous avez devant vous.
Distinguez :
ce que vous pouvez directement observer
et
ce que vous ne pouvez qu’inférer sur ce qui se passe derrière l’interface.
Puis répondez à une seule question :
Lorsque vous dites « J’utilise une IA », quel objet désignez-vous réellement ?
Ne cherchez pas encore à trouver la « bonne » réponse.
Reprenez un seul des systèmes utilisés lors de l’Étape 3.
À partir de ce que vous avez réellement observé depuis le début de CYBER ONE, représentez ce qui vous semble intervenir entre votre demande et la réponse obtenue.
Vous êtes libres d’organiser cette représentation comme vous le souhaitez.
Pour chaque élément ou relation, demandez-vous :
Est-ce observable, inféré ou encore inconnu ?
Lorsque vous ne pouvez pas trancher, utilisez un ?
Ne recherchez pas une architecture technique sur Internet.
Nous voulons votre modèle actuel, pas celui d’un autre.
Choisissez, dans votre représentation, une relation dont vous n’êtes pas certain.
Formulez deux explications différentes qui pourraient toutes les deux rendre compte de ce que vous avez observé jusqu’à présent.
Il est possible qu’aucune observation accessible depuis l’interface ne permette encore de trancher.
Dans ce cas, dites-le.
Reprenez le même système et exactement la même demande.
Testez-la :
- dans la conversation actuelle ;
- puis dans une nouvelle conversation.
Répétez chaque condition afin de ne pas confondre une variation ponctuelle de réponse avec l’effet du changement que vous avez introduit.
À partir de vos résultats :
déterminez quelles explications restent compatibles avec ce que vous observez, lesquelles sont fragilisées et ce que cette expérience ne permet toujours pas de départager.
Dans une nouvelle conversation, reprenez la même demande et ajoutez uniquement :
Comparez vos résultats à ceux obtenus précédemment.
Quelle modification de votre modèle du système serait justifiée par ces résultats ?
Quelle modification serait encore prématurée ?
Fournissez au système le texte concernant le musée fictif de Santa Luna :
Puis formulez la demande prévue :
Effectuez ensuite une seconde série d’essais sans cette information.
Le lieu et les informations sont entièrement fictifs : vous savez donc exactement ce que vous avez introduit dans l’expérience.
À partir des résultats obtenus :
déterminez ce que vous pouvez établir sur l’influence d’une information fournie au système.
Puis cherchez au moins une autre explication compatible avec vos observations.
Enfin :
quel test supplémentaire vous permettrait de les départager ?
Construisez un tableau permettant de comparer les expériences A, B et C.
Choisissez vous-mêmes les critères nécessaires pour montrer :
- ce que vos résultats permettent d’attribuer à une composante du système ;
- ce qui reste compatible avec plusieurs explications ;
- et ce que vous ne pouvez toujours pas conclure.
Votre tableau doit permettre à une autre équipe de comprendre comment vous passez de vos observations à votre interprétation.
Observer :
ne permet pas automatiquement d’établir :
Si plusieurs mécanismes peuvent produire le même résultat, le mécanisme reste indéterminé.
Une conclusion solide doit donc préciser ce qu’elle établit et ce qu’elle laisse encore ouvert.
Reprenez votre propre représentation.
Nous allons maintenant introduire cinq termes :
INTERFACE
SERVICE / SYSTÈME
MODÈLE
CONTEXTE
OUTILS / SOURCES EXTERNES
Sans rechercher de définition :
associez chacun de ces termes aux éléments de votre représentation lorsque cela vous paraît justifié.
Un même élément peut poser problème.
Un élément peut également rester ?
Justifiez les frontières que vous proposez.
Comparez maintenant vos catégories aux formulations suivantes :
INTERFACE
Ce avec quoi l’utilisateur interagit directement.
SERVICE / SYSTÈME
Le service auquel l’utilisateur accède et qui peut articuler plusieurs composantes.
MODÈLE
Le modèle utilisé pour traiter des entrées et produire des sorties.
CONTEXTE
Les informations disponibles dans la situation considérée et susceptibles d’influencer la production de la réponse.
OUTILS / SOURCES EXTERNES
Des ressources auxquelles le système peut éventuellement accéder ou qu’il peut mobiliser selon sa configuration.
Ces composantes ne sont ni nécessairement présentes, ni accessibles, ni utilisées de la même manière selon les systèmes.
Modifiez votre représentation uniquement lorsque vous pouvez justifier cette modification.
Lorsqu’un utilisateur ajoute un document ou une information à la conversation, que pouvez-vous réellement savoir — depuis l’interface — des composantes susceptibles d’y avoir accès ?
Reprenez l'outil découvert à l'Étape 3 pour consigner les résultats des trois expériences.
CONFRONTEZ CE SCHÉMA À VOTRE PROPRE MODÈLE
Ce schéma constitue une représentation de travail, pas une architecture universelle.
Comparez-le à votre représentation actuelle.
Ne modifiez votre modèle que lorsqu’une observation, un résultat expérimental ou une information documentée justifie cette modification.
Conservez vos ? lorsqu’ils restent justifiés.
Si votre représentation diffère encore de ce schéma :
êtes-vous en mesure de défendre cette différence ?
Reprenez les ? encore présents dans votre représentation.
Choisissez une incertitude qui vous paraît décisive.
Formulez au moins deux mécanismes différents compatibles avec ce que vous avez observé.
Pour chacun :
indiquez quel résultat pourrait le fragiliser ou vous obliger à l’abandonner.
Puis déterminez :
quelle information vous manque encore pour conclure.
Si cette information n’est pas accessible depuis l’interface ou par vos expériences :
dites explicitement que vous ne pouvez pas conclure.
Conservez :
- votre représentation initiale ;
- votre représentation après les expériences ;
- les modifications que vous avez réellement justifiées ;
- une modification que vous avez refusé d’effectuer faute de preuve suffisante ;
- une incertitude qui reste ouverte à la fin de l’étape.
« L’IA » ne désigne pas nécessairement un objet unique.
Une réponse peut dépendre de plusieurs composantes dont toutes ne sont pas directement observables.
Observer un effet ne suffit pas à identifier le mécanisme qui l’a produit.
Comprendre un système, c’est donc distinguer :
ce que l’on observe, ce que l’on peut établir et ce qui reste encore à expliquer.
