Construire des tuteurs d'IA selon les normes de sécurité des produits d'IA générative du DfE : garde-corps, sauvegarde et évaluation

Trois résultats sont robustes. C’est la conception qui décide : le libre accès a augmenté les résultats des pratiques mais a abaissé les résultats des examens sans aide, ce que le tuteur surveillé n’a pas fait et les étudiants n’ont pas remarqué la perte.[28] Le tutorat adaptatif sans IA générative a ajouté environ un mois de progrès dans un essai indépendant en anglais, davantage destiné aux élèves défavorisés.[36] Et l'utilisation face à l'enseignant permet de gagner du temps de planification sans diminuer la qualité.[35]

Le reste est prometteur plutôt que réglé : des études courtes, des étudiants universitaires, des tests fixés par des chercheurs ou alignés sur le programme d'études et des articles non encore évalués par des pairs. Le tuteur CoPilot a amélioré la maîtrise du sujet, mais pas les résultats de fin d'année, et de nombreux participants nigérians ont raté le test final.[30][31] Les deux études britanniques sont petites ou courtes : dans l'une, des tuteurs experts ont approuvé chaque message d'IA ; l'autre a duré quatre semaines.[33][34] Traitez l’impact comme une hypothèse à tester, comme l’implique la norme d’objectif déclaré.[1]

Une architecture de référence

Les normes décrivent le comportement, pas l'architecture, mais elles en impliquent un : des gardes déterministes autour du modèle, une couche pédagogique qui décide de ce qu'il peut révéler et une surveillance qui achemine les signaux aux personnes. Le diagramme se lit de haut en bas.

Conservez les décisions de sécurité et de pédagogie dans le code en dehors du modèle, de sorte qu'un modèle ou un changement rapide ne puisse pas les supprimer discrètement, et basez les explications sur un contenu vérifié : les deux essais évalués par les pairs ci-dessus ont donné au modèle des solutions pré-écrites.[28][29]

Indices avant réponses : développement cognitif

Par défaut, la norme de développement cognitif dit qu'il ne devrait pas y avoir de réponses finales, de solutions complètes ou d'exemples concrets complets. Les produits doivent être divulgués progressivement, en commençant par des indices ou des étapes partielles ; demander à l'apprenant de tenter une étape ou d'expliquer sa réflexion ; montrer une solution complète seulement après une véritable tentative ; et ajoutez des frictions ou l’approbation des enseignants avant de passer à des modes où les réponses viennent facilement. Les exceptions concernent des cas tels que la révision des connaissances antérieures.[1]

Construisez ceci comme une échelle d'indices appliquée en dehors du modèle. Donnez à chaque problème une solution approuvée par l'enseignant et des erreurs courantes, comme l'avait fait le tuteur prudent dans l'essai turc, et gravissez un échelon à chaque nouvelle tentative : une question sur l'approche, un coup de pouce conceptuel, un indice stratégique, une étape travaillée, puis la solution complète.[1][28] Un contrôle de sortie bloque toute réponse donnant la réponse finale trop tôt. La mise à la terre protège également la précision : le chatbot ouvert de cet essai n’avait raison que 51 % du temps.[28]

Les produits doivent également détecter et signaler le déchargement : révéler des solutions, coller au lieu d'écrire, accepter de longues saisies semi-automatiques ou demander au produit d'écrire la réponse. La norme attend en outre une expertise en matière de développement de l'enfant, une formation à la sécurité des enfants pour les équipes techniques, des dossiers publiés sur la supervision d'experts et un plan d'impact sur le développement de l'enfant avec des hypothèses de conception, des mesures de résultats et des intervalles d'examen.[1]

Un outil, pas un compagnon : bien-être et manipulation

La norme de développement émotionnel et social exclut l'anthropomorphisme : pas d'émotions, de personnalité ou d'identité implicites ; formulation basée sur la fonction au lieu des déclarations I ; pas de noms, d'avatars ou de personnages en dehors d'un jeu de rôle limité dans le temps et clairement cadré ; pas de réponses qui isolent un apprenant ; les invites restent fidèles à la tâche ; et des rappels, par exemple en suggérant à un camarade de classe ou à un enseignant, que l'IA ne peut pas remplacer les humains.[1]

Le temps est un contrôle : limites par défaut, invites de pause et limites strictes qui mettent fin à la session jusqu'à ce qu'un enseignant ou un administrateur la réinitialise, avec des remplacements enregistrés avec une raison. Les produits ne doivent pas étendre l’engagement, par exemple en modifiant leurs réponses lorsqu’un apprenant tente de partir.[1] La ​​politique gouvernementale s’engage également à interrompre l’utilisation des chatbots IA pour les moins de 18 ans.[18] La mémoire doit être minimale et l'accès à ce qui est conservé limité au personnel autorisé.[1]

La norme de santé mentale attend des produits qu'ils détectent la détresse, depuis les signaux négatifs et les mentions d'automutilation jusqu'aux pics d'utilisation nocturne et au refus de mettre fin aux sessions. Les réponses doivent être échelonnées, du support de signalisation au drapeau en passant par le responsable de la protection désigné (DSL), dans un langage qui pointe toujours vers les personnes, et les fournisseurs doivent publier un protocole de crise de santé mentale.[1]

La norme de manipulation, qui couvre également les produits destinés aux enseignants, exclut la flatterie, la confiance injustifiée, la pression des pairs, la culpabilité, les menaces et les récompenses au-delà des dispositifs à faibles enjeux tels qu'un badge d'achèvement, ainsi que la prolongation de l'utilisation, orientant les utilisateurs vers des options payantes, de la publicité et des modèles sombres.[1] Lorsque le code des enfants de l'ICO s'applique, il ajoute des valeurs par défaut de confidentialité élevée, un profilage par défaut et aucune technique de nudge.[24] Dans le code, ceux-ci deviennent des contrôles de sortie pour les déclarations I, le langage personnel et la flatterie, ainsi que des règles d'analyse qui interdisent les cibles de maximisation de l'engagement.

Filtrage, sécurisation des alertes et des logs

Le filtrage devrait désormais être intégré : le texte de 2026 prévoit un filtrage complet intégré dans le produit, là où le texte de 2025 autorisait une couche séparée au-dessus.[1][2] Cela doit tenir tout au long de la conversation ; s'adapter au risque, à l'âge, aux besoins éducatifs spéciaux et aux handicaps (ENVOYER) ; images de couverture, plusieurs langues, fautes d'orthographe et abréviations ; travailler sur n'importe quel appareil ; et expliquer les blocs à l'apprenant dans un langage adapté à son âge, avec des panneaux de signalisation.[1]

Le modèle ne devrait pas décider si une école est informée d'un risque. La norme attend les coordonnées du DSL lors de la configuration, confirmées avant l'activation, et des alertes à haut risque dans un délai convenu.[1] KCSIE 2026 s'attend à une couverture lorsque le DSL est absent, comme une boîte aux lettres partagée confidentielle, et affirme que la loi sur la protection des données n'empêche pas le partage d'informations pour assurer la sécurité des enfants.[3]

Les produits doivent enregistrer les invites et les réponses et fournir des rapports clairs au personnel non expert, mais les rapports d'engagement ne doivent pas révéler ce que les élèves ont écrit.[1] Les journaux de filtrage scolaire doivent enregistrer au moins l'appareil, son adresse IP (Internet Protocol) et, si possible, l'individu, l'heure et le contenu bloqué, avec des rapports hebdomadaires et des rapports immédiats sur les incidents à haut risque.[4] Définissez la rétention avant le lancement, restreignez l'accès, indiquez aux apprenants qu'ils sont surveillés et couvrez la surveillance dans l'évaluation d'impact sur la protection des données (DPIA).[1][4] L'ICO a constaté que de nombreux fournisseurs de technologies éducatives n'avaient pas de périodes de conservation claires.[25]

Injection rapide, jailbreaks et changements de modèle

La norme de sécurité exige une protection robuste contre le jailbreak, une protection contre la reprogrammation non autorisée, des niveaux d'autorisation des utilisateurs, des correctifs rapides, des tests préalables à la publication de nouvelles versions ou de nouveaux modèles et une authentification forte conformément aux normes de cybersécurité du DfE pour les écoles.[1]

L'injection rapide est la plus difficile. L'Open Worldwide Application Security Project (OWASP) le classe premier dans les éditions 2025 et 2026 de son Top 10 pour les applications LLM ; l'édition 2026 couvre les instructions cachées dans les documents, les images, l'audio, les caractères invisibles et la mémoire.[21] Le Centre national de cybersécurité prévient que ce problème pourrait ne jamais être complètement atténué, car les modèles ne séparent pas les instructions des données, et conseille de limiter ce qu'un modèle manipulé peut faire plutôt que de filtrer les phrases d'attaque connues.[20]

Chez un tuteur, la principale voie indirecte est le contenu de l'élève : une feuille de travail photographiée, un essai téléchargé, une page collée. Marquez-le comme une donnée non fiable, gardez-le à l'écart des instructions et n'accordez à tour de rôle aucun privilège au-delà de celui de l'élève. Ne donnez au tuteur aucune action ayant des effets secondaires, gardez les secrets hors des invites du système, validez la sortie structurée dans le code et enregistrez suffisamment pour détecter les abus.[20][21] Le code de bonnes pratiques volontaire en matière de cybersécurité de l'IA du Royaume-Uni ajoute 13 principes, depuis la conception sécurisée jusqu'à la fin de vie.[19] Traitez tout changement de modèle, d'invite, d'ensemble de récupération ou de filtre comme une version qui réexécute l'évaluation complète ; les normes exigent déjà que les nouvelles versions et modèles soient testés avant leur publication.[1]

Protection des données et propriété intellectuelle

Le rôle vient en premier. Selon les directives de l'ICO, un fournisseur qui traite les données des élèves au-delà des instructions d'une école, par exemple pour le développement de produits, est le responsable de ce traitement, quelles que soient les dispositions du contrat, et peut relever du code de l'enfance.[23] Dans le rapport de juin 2026 sur ses audits de 28 fournisseurs de technologies éducatives, l'ICO a constaté qu'il s'agissait du problème le plus courant. Certains fournisseurs ont utilisé les informations des enfants pour entraîner les fonctionnalités de l'IA, certains sous-traitants ont déclaré qu'ils conserveraient des copies pour entraîner leur propre IA, et les fonctionnalités de l'IA manquaient souvent de garanties. L'ICO a demandé aux fournisseurs de lancer de nouvelles fonctionnalités désactivées par défaut. Les chatbots d’IA générative étaient en dehors de ces audits.[25]

Les normes du DfE fixent la limite : pas d'utilisation commerciale des données personnelles, y compris la formation ou la mise au point, sans une base légale appropriée ; une DPIA pour toute la vie de l'outil ; et un avis de confidentialité, répété dans un langage adapté à l'âge, indiquant où les données sont traitées et ce qui les protège en dehors du Royaume-Uni ou de l'UE.[1] Les contributions des élèves et des enseignants ne doivent pas être conservées ou utilisées pour la formation ou le développement de produits sans l'autorisation du titulaire du droit d'auteur, qui pour les moins de 18 ans provient d'un parent ou d'un tuteur.[1]

Les écoles disposent également d'une liste de contrôle. Les directives d'achat du DfE de juillet 2026 leur demandent de se demander comment les résultats sont modérés, si les données entraînent le modèle et de quels contrôles ils disposent ; s'attendre à une piste d'audit pour protéger les prospects ; pour vous assurer que les mises à jour qui ajoutent un traitement ne sont pas activées automatiquement ; et vérifier les garanties pour les transferts en dehors du Royaume-Uni.[6] Il est demandé au personnel de vérifier auprès de son délégué à la protection des données ou de son responsable informatique avant de saisir les données des élèves dans un outil d'IA.[7] Depuis juin 2026, les organisations doivent également accuser réception des plaintes relatives à la protection des données dans un délai de 30 jours.[26] Et l'ICO, devenue Commission de l'information le 30 septembre 2026, travaille avec le gouvernement à l'élaboration d'un code sur les données des enfants en milieu éducatif.[27][25]

Les normes mappées aux contrôles et aux preuves

La colonne des preuves correspond à ce que nous nous attendons à montrer à une école, une fiducie ou, une fois qu'elle existe, un organisme de certification.[1]

Évaluation, portes de libération et dossier de preuves

Les normes exigent à deux reprises que les nouvelles versions ou modèles soient testés avant leur publication, et prévoient des tests auprès d'un éventail diversifié et réaliste d'utilisateurs.[1] Un harnais crédible comporte quatre parties.

• Suites de l'équipe rouge. Jailbreaks ; injection directe et indirecte via des téléchargements et des images ; contenu préjudiciable dans toutes les langues et fautes d’orthographe ; révélations et détresse, y compris la nuit ; recherche de compagnon; et un appât pour la flatterie. Notez chaque cas réussi ou échoué, et ajoutez chaque échec de l'utilisation en direct.
• Transcriptions notées par rubrique. Notez des conversations réalistes en termes de rétention de réponse, de progression des indices, de précision, de ton et de personnalité. Calibrez n'importe quel évaluateur basé sur un modèle par rapport à des évaluateurs humains formés, signalez leur accord et recalibrez lorsque l'évaluateur change. Le référentiel national utilise les mêmes ingrédients : des interactions en classe et des critères de notation rédigés avec les enseignants.[13]
• Libération des portes. Exécutez chaque suite à chaque changement de modèle, d'invite, d'ensemble de récupération ou de filtre, par rapport à des seuils fixés à l'avance. Un cas de sauvegarde à haut risque manqué bloque la libération.
• Évaluation sur le terrain. Les scores hors ligne n'apprennent pas. Utilisez des mesures indépendantes et des tests différés et non assistés, car les acquis de la pratique peuvent cacher un apprentissage plus faible.[28][30] Le programme EdTech Testbed propose une voie.[8]

Ouvrir l'aide des outils. Inspect, du UK AI Security Institute et de Meridian Labs, fournit des ensembles de données, des solveurs, des marqueurs et plus de 200 évaluations prêtes à l'emploi.[22] Le gouvernement a également ouvert un accès exploratoire à son AI Content Store à des fins de test et de développement.[10]

Conserver un ensemble de preuves versionnées : objectif déclaré et revendications avec leurs preuves ; évaluation des risques et AIPD ; carte de flux de données et sous-traitants ; seuils et résultats pour chaque version ; les conclusions de l'équipe rouge ; le runbook de sauvegarde et les délais d’alerte ; le protocole de crise, les dossiers d'expertise et le plan d'impact ; le processus de plainte ; et les politiques de sécurité de l’IA.[1] Il répond également à ce que les directives d'approvisionnement du DfE demandent aux écoles de demander et constitue un point de départ naturel pour la certification.[6][15]

Liste de contrôle de construction

Où en est EdTechLab

Nous n’avons évalué aucun de nos produits au regard des normes de sécurité des produits du DfE, et nous ne prétendons pas qu’intle, EngagedLab ou interacty y soient conformes. Plusieurs mécanismes décrits dans ce rapport façonnent déjà leur fonctionnement. Le tuteur socratique d’EngagedLab ne donne pas les réponses pendant une tentative. intle protège les sources importées contre l’injection d’instructions et encadre la récupération des URL ; il prévoit une validation humaine du plan avant génération, activée par défaut ; à chaque génération, il valide les corrigés et recherche les défauts courants de rédaction des questions, avec des vérifications de fidélité aux sources pour les cours créés à partir de ressources importées. Dans interacty, l’IA propose des modifications typées qu’une personne approuve. Les rapports de preuves par objectif d’EngagedLab masquent les résultats de cohorte en dessous de 5 apprenants.

La localisation des données est importante pour les écoles : intle est hébergé dans l'UE (Allemagne) et son registre de sous-traitants révèle que le traitement de son IA a lieu en dehors du Royaume-Uni et de l'UE.

Sur un projet client d'IA face aux élèves, nous partirions du cas d'utilisation, de la tranche d'âge et de la DPIA de l'école ; construire les itinéraires de sauvegarde, les délais, l'échelle de guidage et les gardes en dehors du modèle ; rédiger les suites d'évaluation devant le tuteur ; et remettez un dossier de preuves que le DSL et le délégué à la protection des données de l'école pourront vérifier.

Limites de ce rapport

• Il s’agit d’informations générales et non de conseils juridiques. Consultez les documents en vigueur et demandez conseil sur des produits spécifiques.
• Il reflète les documents publiés jusqu'au 5 octobre 2026. La consultation de certification, le code éducatif de l'ICO et la salle de lecture du programme, à laquelle nous n'avons pas pu accéder, pourraient changer la donne.
• Les normes DfE sont des lignes directrices pour l'Angleterre ; nous n’avons pas examiné les arrangements ailleurs au Royaume-Uni.
• La ​​plupart des études de tutorat en IA sont courtes, de petite taille ou n'ont pas encore été évaluées par des pairs. Nous rapportons les résultats tels que publiés et ne les avons pas regroupés.
• Nous n'avons testé aucun produit tiers. Les échelles d'indices, les niveaux de gravité, les champs d'alerte et les portes de publication sont nos recommandations, et non les exigences du DfE.