Evidence by Design : préparer l'EdTech pour le banc d'essai EdTech DfE-EEF

Ce qui a précédé : le projet pilote, le rapport de cadrage et l'Evidence Board

Le rapport de cadrage du DfE pour le pilote, rédigé par l'équipe d'innovation ouverte et publié en décembre 2025, a comparé quatre modèles de banc d'essai issus d'une revue Nesta de 2019 (co-conception, test et apprentissage, centre de preuves et réseau edtech) et a révélé qu'aucun ne répondait seul à tous les objectifs. Étant donné qu’une période de test de 6 à 12 semaines est trop courte pour mesurer de manière fiable le niveau de réussite ou l’inclusion, il est recommandé de commencer par la charge de travail, en particulier les outils de notation et de feedback.[6]

Ses options préfigurent les deux étapes. Une évaluation pilote, généralement menée auprès d'environ 25 écoles ou collèges et sans groupe témoin, teste la faisabilité et les premières promesses au cours d'un trimestre, par rapport à des critères de réussite définis à l'avance, tels que des seuils d'utilisation minimum. Une évaluation d’impact nécessite un ECR ou un plan de comparaison apparié ; pour un ECR, la règle générale était de 50 à 70 écoles et collèges par branche, donc environ 1 million de livres sterling pourraient tester un seul outil. Le rapport avertit également que les technologies éducatives, en particulier l’IA, évoluent plus rapidement que les cycles de recherche.[6]

Le projet pilote EdTech Evidence Board du DfE, mené par le Chartered College of Teaching, a testé un examen indépendant des preuves de produits. Son rapport de septembre 2026 a jugé les critères réalisables, mais relativement peu de portfolios donnaient un compte rendu cohérent liant les besoins éducatifs, la conception, la mise en œuvre et les résultats ; les preuves étaient souvent fragmentées ou mal adaptées aux affirmations avancées. La documentation sur l'accessibilité, la protection des données, la cybersécurité, la sécurité et l'interopérabilité variait considérablement et aucune récompense n'a été décernée. Le rapport conseillait aux prestataires de faire d'un modèle logique la clé de voûte de leur stratégie de données probantes et suggérait d'intégrer la collecte de données à des fins d'évaluation dans le produit.[7]

L'évaluation du marché du DfE de juin 2026 a dénombré 1 123 entreprises britanniques de technologie éducative. L’étude a trouvé des preuves fiables sur la manière dont l’edtech est utilisée dans les écoles, qui sont encore limitées, les écoles manquant de cadres d’évaluation et de données d’utilisation cohérentes provenant des fournisseurs, et les décisions reposant souvent sur le bouche à oreille.[8] L'EEF juge l'efficacité des interventions edtech mixte, et plus petite et moins sûre pour les élèves défavorisés.[4]

Comment l'EEF juge les preuves

Les évaluations de l’EEF sont conçues pour être comparables. La plupart combinent un ECR avec une évaluation de la mise en œuvre et du processus (IPE) et une évaluation des coûts, suivent la séquence ci-dessous et sont publiés tout ce qu'ils trouvent.[9][10]

Toutes les personnes randomisées sont analysées dans leur groupe attribué (intention de traiter) ; les acquis antérieurs sont contrôlés ; le regroupement des élèves dans les classes et les écoles est modélisé ; et les effets sont rapportés sous la forme du g de Hedges, une taille d'effet standardisée, avec des intervalles de confiance à 95 % et sans étiquettes de signification statistique. Les corrélations intraclasses (ICC) sont rapportées et les élèves éligibles aux repas scolaires gratuits (FSM) sont toujours analysés séparément.[10] Les effets sur les résultats se traduisent par des mois de progrès supplémentaires : 0,05 à 0,09 correspond à un mois, 0,10 à 0,18 deux, 0,19 à 0,26 trois et -0,04 à 0,04 aucun.[15] Le résultat principal de chaque évaluation d'impact est noté de zéro à cinq cadenas sur trois critères.[11]

Le critère le plus faible définit la note de départ, et des menaces telles qu'une mauvaise fidélité ou des données manquantes peuvent la réduire. Les pilotes ne sont pas classés.[11] L'IPE explique les résultats : l'EEF répertorie douze dimensions, dont la fidélité, l'adaptation, le dosage, la portée, la réactivité et la différenciation des programmes, et chaque essai enregistre la pratique habituelle dans tous les bras avant et après l'accouchement.[12] Les projets pilotes demandent plutôt si un programme est réalisable, s'il est prometteur et s'il est prêt pour un essai, par rapport à des indicateurs convenus à l'avance, comme plus de 70 % des élèves participant à toutes les sessions.[13]

Pour un essai, l'EEF souhaite des preuves préalables de promesses et un programme entièrement développé, déjà mis en œuvre dans plus de 20 contextes en Angleterre et capable d'en atteindre 50 en un an. Les essais durent généralement de deux à trois ans.[9] La plupart relient les élèves à la base de données nationale sur les élèves (NPD), et l'EEF archive les données liées dans le service de recherche sécurisé de l'Office for National Statistics (ONS SRS), géré par FFT Education, pour suivre les effets à long terme.[18]

Ce que montrent les récents essais edtech

Trois de ces rapports sont parus entre juin et septembre 2026. Les résultats sont modestes, et les raisons comptent pour les équipes produit.

L'utilisation peut ne pas correspondre à la conception, et une utilisation plus intensive peut entraîner davantage de progrès ;[21][22] un essai compare un produit à ce que font réellement les écoles témoins, ce qui peut être une autre intervention ;[23][25] et la perte d'élèves diminue la sécurité d'un procès par ailleurs solide.[24] Avis de la note de laboratoire 004 les preuves plus larges sur la gamification et l'apprentissage des enfants.

Choix d'une conception : unités, puissance et groupes de comparaison

Qui ou quoi est randomisé

La randomisation des classes, des enseignants ou des groupes scolaires au sein des écoles risque de déborder, dans la mesure où le personnel et les élèves partagent ce qu'ils apprennent ; la randomisation d’écoles entières réduit ce risque mais nécessite un échantillon beaucoup plus large.[6] Le coût du regroupement est mesuré par l'ICC, la part de variation des résultats qui se situe entre les écoles ou les classes. Dans les essais terminés en anglais à trois niveaux examinés pour l'EEF, les ICC au niveau de l'école pour les résultats variaient entre 0,02 et 0,27, et le regroupement au niveau des classes était le plus fort en mathématiques du secondaire, où les élèves sont souvent définis en fonction de leurs résultats.[39] Un bon pré-test réduit l’échantillon nécessaire.[10][39]

Puissance et moindre effet à détecter

Les essais sont dimensionnés de manière à ce que le plus petit effet digne d'être découvert, la taille minimale de l'effet détectable, soit détecté avec une probabilité (puissance) de 80 % à un niveau de signification de 5 %, en utilisant les ICC supposés et les corrélations pré-test.[14] et l'EEF s'attend à ce que la plupart détectent un effet de 0,2 ou ce qui serait rentable.[11] Les effets réels sont souvent moindres : sur 141 grands essais commandés par l’EEF et le Centre national américain pour l’évaluation de l’éducation et l’assistance régionale, l’effet moyen était de 0,06 écart-type, avec des intervalles de confiance d’une largeur moyenne de 0,30, de sorte que de nombreux résultats n’étaient pas informatifs.[38] Prévoyez un effet modeste et ne promettez jamais un effet important.

Attrition, contamination et statu quo

L'attrition est comptabilisée au niveau des élèves depuis la randomisation jusqu'à l'analyse,[11] et témoins sont les plus difficiles à conserver.[17] La contamination, lorsque le groupe témoin reçoit une partie de l'intervention, dilue l'effet mesuré ; Torgerson a calculé que l'attribution de grappes entières ne réduit l'échantillon total nécessaire que lorsque la contamination dépasse environ 30 %.[40] Le risque est aigu pour les outils d’IA grand public que les enseignants peuvent simplement utiliser.[6] L'essai Aila de l'EEF a demandé aux deux bras d'éviter le site Web principal d'Oak National Academy et au bras témoin d'éviter Aila.[27] et chaque essai EEF mesure le statu quo plutôt que de le supposer.[12]

Listes d'attente et conceptions par tranches d'âge

Offrir aux écoles témoins le produit par la suite peut faciliter le recrutement,[6] et le modèle de protocole de l'EEF répertorie les contrôles de liste d'attente.[14] L'essai Lightning Squad randomise chaque école pour proposer le programme en 3e ou 4e année, afin que chaque école le mette en œuvre.[28]

Tests A/B à l'intérieur du produit

Les expériences intégrées dans une plateforme d'apprentissage fournissent de solides bases pour des allégations causales,[42] mais l'éducation ajoute des contraintes : une classe peut avoir besoin d'une condition, et un apprenant d'une version cohérente. La plateforme open source UpGrade attribue des conditions par classe, école ou district et résout les conflits entre la cohérence du groupe et celle de l'individu.[45] Un test A/B montre quelle version fonctionne le mieux, et non si le produit surpasse le statu quo, ce qui est la question de l'étape 2.

Conceptions quasi-expérimentales

Un plan de comparaison appariée compare les utilisateurs avec des écoles similaires tirées des données administratives du DfE, mais ne peut pas exclure les différences non observées et se limite aux résultats de ces données.[6] La discontinuité de régression, qui compare ceux situés juste de part et d'autre d'un seuil d'éligibilité, et la différence dans les différences, qui compare les changements au fil du temps, peuvent atteindre quatre cadenas ; la correspondance peut atteindre trois.[11] Une série temporelle interrompue compare les résultats avant et après un lancement ; il nécessite un modèle d'impact défini à l'avance et doit gérer l'autocorrélation et les modèles saisonniers,[41] qui dans les écoles suivent l'année scolaire.

Les deux étapes posent des questions différentes, et un produit doit servir les deux.[6][9][10][11][13][14]

Les équipes universitaires reconnaîtront l'échelle : les normes de preuve de l'Office for Students (OfS), utilisées par le Center for Transforming Access and Student Outcomes in Higher Education (TASO), séparent les preuves narratives, empiriques et causales en tant que types 1 à 3.[20]

Modèles logiques, fidélité et dosage

Un essai teste une théorie du changement : comment les intrants et les activités conduisent aux extrants et aux résultats. L'EEF conçoit les évaluations autour du modèle logique de manière à ce qu'un résultat nul puisse être attribué, dans la mesure du possible, à un échec de la théorie, de la mise en œuvre ou de la méthodologie. Ses orientations de janvier 2026 utilisent une description PLANIT (objectif, apprenants, acteurs, nature, intervention et personnalisation) qui enregistre les adaptations.[16] Son modèle de rapport recommande la liste de contrôle TIDieR en 12 éléments, qui couvre quoi, qui, comment, où, quand et combien, l'adaptation, les modifications et dans quelle mesure.[15][44]

La conformité transforme le modèle logique en chiffres. Le développeur et l'évaluateur conviennent à l'avance des apports qui rendent un élève, une classe ou une école conforme ; lorsqu'un programme combine formation des enseignants et logiciel, les deux comptent. La conformité peut être binaire ou continue avec des seuils, et elle alimente une estimation de l’effet causal moyen du conforme (CACE) parallèlement au résultat principal.[10] La fidélité est plus large, couvrant la qualité, le dosage et l'adaptation.[12] Pour les logiciels, ces mesures proviennent majoritairement de données produits, qui doivent être fiables et auditables.

Les élèves de Maths-Whizz passaient en moyenne 32 minutes par semaine, contre 45 à 60 minutes recommandées, ce que l'EEF considère comme une possibilité d'impact supplémentaire ;[22] Les élèves de Lexia qui dépassaient le minimum recommandé avaient tendance à progresser davantage, un résultat basé sur des nombres plus petits.[21] Aucune de ces conclusions n’est possible sans données d’utilisation fiables.

Ingénierie d'un produit pour évaluation

La preuve dès la conception signifie décider avant un essai de ce que le produit enregistre, de la manière dont les armes sont appliquées, quelle version est évaluée et comment les données parviennent à l'évaluateur. La note de laboratoire 001 explique Ce que les chercheurs perdent lorsque l'analyse est une réflexion après coup; cette section transforme cela en une spécification.

Un schéma d'événement que l'évaluateur peut utiliser

Nos champs minimum recommandés sont ci-dessous. Les exigences qui les sous-tendent proviennent des directives d'analyse et d'archivage de l'EEF, ainsi que des directives de pseudonymisation de l'ICO, le régulateur britannique de la protection des données.[10][18][33]

La durée de la session, de la connexion à la déconnexion, compte les onglets laissés ouverts. Le temps d'activité ne compte que les intervalles d'interaction pendant lesquels la page est visible, ce que signalent les navigateurs, les intervalles d'inactivité étant plafonnés.[48] Le choix est important : dans deux ensembles de données d'analyse d'apprentissage, différentes estimations du temps passé sur la tâche ont modifié les résultats, et la méthode est rarement rapportée.[43] Enregistrez les horodatages bruts, définissez la règle de temps actif dans le SAP et laissez l'évaluateur la recalculer.

Bras d'essai et une version stable

Appliquer des bras avec des drapeaux de caractéristiques à l'unité randomisée par l'évaluateur. De nombreux outils d'indicateur divisent les variantes selon une clé de ciblage, que la spécification OpenFeature définit comme sujet d'une évaluation d'indicateur.[47] Dans un essai randomisé dans une école, cette clé doit être l'école, sinon le produit randomisera discrètement les élèves au sein des écoles. Les essais EEF sont conçus et randomisés par l'évaluateur indépendant,[9][14] alors importez cette allocation plutôt que de générer la vôtre, et décidez de ce qui se passe ensuite : UpGrade permet aux chercheurs de conserver, d'annuler ou de changer de conditions à la fin d'une expérience.[45]

Maintenez ensuite le produit immobile. L'EEF évalue les programmes ne nécessitant aucun développement supplémentaire[9] et attend que les adaptations soient enregistrées.[16] Pour un produit expédié chaque semaine, cela signifie une version d'essai : fonctionnalités gelées, correctifs enregistrés, contenu versionné et, pour l'IA générative, la version du modèle épinglée et enregistrée, car les outils d'IA changent plus rapidement que les cycles de recherche.[6]

Lien avec les dossiers scolaires

Les listes proviennent du système d'information de gestion (MIS) de l'école. Le DfE traite le numéro unique d'élève (UPN) comme une donnée personnelle et un « numéro aveugle » à ne pas utiliser à des fins non liées à l'éducation ; un fournisseur mandaté par une école peut le détenir en tant que processeur, et les chercheurs ne peuvent le recevoir que pour des travaux initiés par une école, une autorité locale, le DfE ou un autre service gouvernemental prescrit.[36] Ne l'utilisez jamais comme identifiant de produit. Pour l'appariement NPD, les évaluateurs collectent les noms et les dates de naissance ainsi qu'un UPN, un identifiant d'école ou un code postal ;[10] les données correspondantes sont analysées et archivées dans l'ONS SRS,[18] et les sorties des données DfE ne le quittent, en règle générale, que si les comptes sont de 10 ou plus.[37]

Un pipeline qui sépare la recherche

Pseudonymisation lors de la collecte. L'ICO déconseille les hachages sans clé et les algorithmes obsolètes tels que MD5 et SHA-1, décrit le hachage avec clé et les jetons aléatoires et exige que la clé ou la table de mappage soit conservée séparément ; les données pseudonymisées restent des données personnelles pour celui qui détient cette clé.[33] Maintenir le stockage de la recherche à sens unique : depuis le 5 février 2026, le traitement de la recherche nécessite des garanties, notamment des mesures de minimisation des données telles que la pseudonymisation, et échoue s'il est utilisé pour des mesures ou des décisions concernant une personne particulière, en dehors de la recherche médicale autorisée.[29] Appliquez la suppression des petits nombres à chaque tableau de bord, en utilisant le seuil le plus strict parmi les sources combinées.[37]

Protection des données pour les essais

Les rôles viennent en premier. Un fournisseur agissant uniquement sur les instructions d'une école est susceptible d'en être le sous-traitant ; celui qui utilise les données des élèves pour des recherches qui ne constituent pas le service de base acheté par l'école, ou pour son propre développement de produits, agit en tant que contrôleur et est susceptible de relever du code des enfants, quoi qu'en dise le contrat.[30] Dans les essais EEF, les évaluateurs sont des contrôleurs, les équipes de réalisation deviennent des contrôleurs conjoints lorsqu'elles décident avec les évaluateurs quelles données sont collectées, et l'EEF est le contrôleur des archives.[19] In June 2026 the ICO reported audits of 28 edtech providers. Les problèmes courants concernaient les fournisseurs qui jugeaient mal s'ils étaient des contrôleurs ou des sous-traitants, en particulier lorsque les données des enfants alimentaient le développement ou l'analyse de produits, ainsi que des contrats légers, des cartes de flux de données incomplètes et des lacunes dans les évaluations d'impact sur la protection des données (DPIA).[31]

Chaque responsable du traitement a besoin d'une base légale. The ICO considers public task unlikely to suit an edtech provider acting as controller,[30] et les archives de l’EEF reposent sur les intérêts légitimes, avec un droit de retrait.[19] L’ICO exige une analyse d’impact relative à la protection des données (AIPD) pour le rapprochement de données, ce qui inclut l’appariement des résultats.[32] L'EEF considère un accord de partage de données entre les contrôleurs comme une bonne pratique, et un accord de traitement de données comme une exigence légale lorsqu'une équipe de livraison agit en tant que sous-traitant.[17][35]

Le Data (Use and Access) Act 2025 a modifié les règles de recherche à compter du 5 février 2026. La recherche scientifique inclut explicitement la recherche commerciale, le développement technologique et la recherche appliquée ; le consentement peut couvrir un domaine de recherche ; further processing for research under the new safeguards is compatible with the original purpose but still needs a lawful basis; et les nouveaux articles 84A à 84D remplacent l'article 89 du règlement général sur la protection des données du Royaume-Uni (RGPD du Royaume-Uni).[29] Des documents plus anciens, dont la déclaration de protection des données de l’EEF, citent encore l’article 89,[19] et les orientations de l'ICO sur la recherche, les DPIA, la pseudonymisation et le partage de données sont en cours de révision.[32][33][34][35]

Ce que contient un ensemble de preuves prêtes à être évaluées

S'appuyant sur les critères de l'Evidence Board, les critères de préparation de l'EEF et les sections ci-dessus, le pack qu'un fournisseur remet à un évaluateur et à une école avant un essai doit contenir :[7][9][16]

Où en est EdTechLab

Nous n’avons pas organisé ni participé à un essai EEF ou à une évaluation Testbed. Ce que font nos produits aujourd’hui est plus restreint. EngagedLab produit des rapports de preuves par objectif, avec des chiffres de cohorte supprimés en dessous de 5 apprenants. Ses packages SCORM (Sharable Content Object Reference Model) sont autonomes et n'effectuent aucun appel externe, avec retour de preuves opt-in utilisant des identifiants d'apprenant du système de gestion de l'apprentissage (LMS) hachés. intle fournit une analyse de difficulté et de discrimination par question pour les sessions hébergées, sur les plans de niveau supérieur, et ses packages exportés ne renvoient aucune donnée sur l'apprenant. L'API Experience (xAPI) n'est pas une fonctionnalité active de nos produits.

Sur WorkReady Finance, que nous avons développé pour l'UWE Bristol Business School, UWE Bristol est le responsable du traitement des données et EdTechLab le sous-traitant. Sur un projet client destiné à l'évaluation, nous partirions du modèle logique et du plan d'analyse de l'évaluateur, convenions du dictionnaire d'événements et de la définition de conformité avant le lancement, appliquions l'attribution de l'évaluateur à la bonne unité, fixions une version d'essai, pseudonymisons lors de la collecte et réglons les rôles, la DPIA et les accords avant tout déplacement de données sur les élèves. La note de laboratoire 002 explique comment nous évaluer l'infrastructure numérique pour la recherche en éducation.

Limites de ce rapport

• Il s’agit d’informations générales et non de conseils juridiques.
• Les détails du programme reflètent les publications du 5 octobre 2026 ; les critères des fournisseurs, les méthodes de l’étape 1 et les coûts pour les écoles n’étaient pas publiés.
• Les résultats des essais proviennent des pages du projet EEF ; nous ne les avons pas réanalysés.
• Les chiffres ICC proviennent de quelques essais anglais et varient selon la phase et le sujet.
• Les conseils d’ingénierie nous appartiennent et ne constituent pas une exigence de l’EEF ou du DfE.
• Les bancs d’essai façonnent également ce qui compte comme preuve, en rendant la pratique en classe visible et exploitable de certaines manières.[46]