Evidence by Design: EdTech für das DfE-EEF EdTech Testbed vorbereiten

Was vorher kam: der Pilot, der Scoping-Bericht und das Evidence Board

Der vom Open Innovation Team erstellte und im Dezember 2025 veröffentlichte Scoping-Bericht des DfE für das Pilotprojekt verglich vier Testbed-Modelle aus einer Nesta-Überprüfung aus dem Jahr 2019 (Co-Design, Test and Learn, Evidence Hub und Edtech-Netzwerk) und stellte fest, dass keines allein alle Ziele erfüllt. Da ein Testfenster von 6 bis 12 Wochen zu kurz ist, um das Erreichen oder Einbeziehen zuverlässig zu messen, wurde empfohlen, mit der Arbeitsbelastung zu beginnen, insbesondere mit den Bewertungs- und Feedback-Tools.[6]

Seine Optionen lassen die beiden Phasen ahnen. Eine Pilotevaluierung, in der Regel mit etwa 25 Schulen oder Hochschulen und ohne Kontrollgruppe, testet die Machbarkeit und die frühzeitige Zusage innerhalb einer Amtszeit anhand im Voraus festgelegter Erfolgskriterien, wie z. B. Mindestnutzungsschwellen. Für eine Wirkungsevaluierung ist ein RCT oder ein abgestimmtes Vergleichsdesign erforderlich. Für ein RCT galt als Faustregel 50 bis 70 Schulen und Hochschulen pro Zweig, sodass mit etwa 1 Million Pfund nur ein Tool getestet werden konnte. Der Bericht warnte auch davor, dass sich Bildungstechnologie, insbesondere KI, schneller verändert als Forschungszyklen.[6]

Das vom Chartered College of Teaching durchgeführte EdTech Evidence Board-Pilotprojekt des DfE testete die unabhängige Überprüfung von Produktnachweisen. Der Bericht vom September 2026 stellte fest, dass die Kriterien umsetzbar seien, aber relativ wenige Portfolios lieferten eine kohärente Darstellung, die den Bildungsbedarf, die Gestaltung, die Umsetzung und die Ergebnisse miteinander verknüpfte. Die Beweise waren oft bruchstückhaft oder stimmten nur unzureichend mit den Behauptungen überein. Die Dokumentation von Barrierefreiheit, Datenschutz, Cybersicherheit, Sicherheit und Interoperabilität war sehr unterschiedlich und es wurden keine Auszeichnungen vergeben. Der Bericht empfahl den Anbietern, ein Logikmodell zum Dreh- und Angelpunkt ihrer Evidenzstrategie zu machen, und schlug vor, die Datenerfassung zur Auswertung in das Produkt zu integrieren.[7]

In der Marktbewertung des DfE vom Juni 2026 wurden 1.123 britische Edtech-Unternehmen gezählt. Es wurden verlässliche Beweise dafür gefunden, wie Edtech in Schulen immer noch in begrenztem Umfang eingesetzt wird, da es den Schulen an Bewertungsrahmen und konsistenten Nutzungsdaten von Lieferanten mangelt und Entscheidungen oft auf Mundpropaganda beruhen.[8] Das EEF beurteilt die Wirksamkeit von Edtech-Interventionen gemischt und für benachteiligte Schüler kleiner und weniger sicher.[4]

Wie das EEF Beweise beurteilt

EEF-Bewertungen sind so aufgebaut, dass sie vergleichbar sind. Die meisten kombinieren eine RCT mit einer Implementierungs- und Prozessbewertung (IPE) und einer Kostenbewertung, folgen der unten aufgeführten Reihenfolge und veröffentlichen alles, was sie finden.[9][10]

Alle randomisierten Personen werden in der ihnen zugewiesenen Gruppe analysiert (Behandlungsabsicht); vorheriges Erreichen wird kontrolliert; die Häufung von Schülern in Klassen und Schulen wird modelliert; und Effekte werden als Hedges' g angegeben, eine standardisierte Effektgröße, mit 95 %-Konfidenzintervallen und ohne Bezeichnungen für statistische Signifikanz. Klasseninterne Korrelationen (ICCs) werden gemeldet und Schüler, die Anspruch auf kostenlose Schulmahlzeiten (FSM) haben, werden immer separat analysiert.[10] Auswirkungen auf das Erreichen werden zu Monaten zusätzlichen Fortschritts: 0,05 bis 0,09 ist ein Monat, 0,10 bis 0,18 zwei, 0,19 bis 0,26 drei und –0,04 bis 0,04 keiner.[15] Das Hauptergebnis jeder Wirkungsbewertung wird anhand von drei Kriterien mit null bis fünf Vorhängeschlössern bewertet.[11]

Das schwächste Kriterium legt die Startbewertung fest, und Bedrohungen wie schlechte Wiedergabetreue oder fehlende Daten können diese senken. Piloten werden nicht bewertet.[11] Das IPE erklärt die Ergebnisse: Das EEF listet zwölf Dimensionen auf, darunter Treue, Anpassung, Dosierung, Reichweite, Reaktionsfähigkeit und Programmdifferenzierung, und jeder Versuch erfasst die übliche Praxis in allen Armen vor und nach der Entbindung.[12] Bei Pilotprojekten wird stattdessen gefragt, ob ein Programm machbar ist, vielversprechend ist und für einen Versuch bereit ist. Dabei werden vorab vereinbarte Indikatoren berücksichtigt, wie zum Beispiel, dass mehr als 70 % der Schüler an allen Kursen teilnehmen.[13]

Für einen Versuch benötigt die EEF vorherige vielversprechende Beweise und ein vollständig entwickeltes Programm, das bereits in mehr als 20 Einrichtungen in England durchgeführt wurde und in der Lage ist, innerhalb eines Jahres 50 zu erreichen. Die Versuche dauern in der Regel zwei bis drei Jahre.[9] Die meisten verknüpfen Schüler mit der National Pupil Database (NPD), und das EEF archiviert die verknüpften Daten im Office for National Statistics Secure Research Service (ONS SRS), der von FFT Education verwaltet wird, um langfristige Auswirkungen zu verfolgen.[18]

Was aktuelle Edtech-Studien zeigen

Drei dieser Berichte erschienen zwischen Juni und September 2026. Die Ergebnisse sind bescheiden und die Gründe sind für die Produktteams von Bedeutung.

Die Nutzung kann hinter dem Design zurückbleiben und eine stärkere Nutzung kann mit mehr Fortschritt einhergehen.[21][22] Ein Versuch vergleicht ein Produkt mit dem, was Kontrollschulen tatsächlich tun, was eine andere Intervention sein kann;[23][25] und der Verlust von Schülern verringert die Sicherheit eines ansonsten starken Prozesses.[24] Lab Note 004 Rezensionen die umfassenderen Erkenntnisse zu Gamification und dem Lernen von Kindern.

Auswahl eines Designs: Einheiten, Leistung und Vergleichsgruppen

Wer oder was wird randomisiert

Bei der Randomisierung von Klassen, Lehrern oder Jahrgangsgruppen innerhalb von Schulen besteht die Gefahr von Spillover-Effekten, da Personal und Schüler das Gelernte teilen; Die Randomisierung ganzer Schulen verringert dieses Risiko, erfordert jedoch eine viel größere Stichprobe.[6] Die Kosten der Clusterbildung werden durch den ICC gemessen, den Anteil der Variation in den Ergebnissen, der zwischen Schulen oder Klassen liegt. In abgeschlossenen dreistufigen Englischversuchen, die für den EEF überprüft wurden, lagen die ICCs für die Leistungen auf Schulebene zwischen 0,02 und 0,27, und die Clusterbildung auf Klassenebene war in der Sekundarstufe Mathematik am stärksten, wo die Schüler häufig nach ihren Leistungen eingestuft werden.[39] Ein guter Vortest reduziert die benötigte Probe.[10][39]

Kraft und der kleinste Effekt, der es wert ist, entdeckt zu werden

Versuche werden so dimensioniert, dass der kleinste Effekt, der es wert ist, gefunden zu werden, die minimale erkennbare Effektgröße, mit 80 % Wahrscheinlichkeit (Power) bei einem Signifikanzniveau von 5 % erkannt wird, unter Verwendung angenommener ICCs und Korrelationen vor dem Test.[14] und das EEF geht davon aus, dass die meisten einen Effekt von 0,2 oder was auch immer kosteneffektiv wäre, feststellen werden.[11] Die tatsächlichen Auswirkungen sind oft geringer: In 141 großen Studien, die von der EEF und dem US-amerikanischen National Center for Educational Evaluation and Regional Assistance in Auftrag gegeben wurden, betrug der mittlere Effekt 0,06 Standardabweichungen, mit Konfidenzintervallen von durchschnittlich 0,30, sodass viele Ergebnisse nicht aussagekräftig waren.[38] Planen Sie einen bescheidenen Effekt ein und versprechen Sie niemals einen großen.

Fluktuation, Kontamination und Business-as-usual

Die Fluktuation wird auf Schülerebene von der Randomisierung bis zur Analyse gezählt.[11] und Kontrollschulen sind am schwierigsten zu halten.[17] Wenn die Kontrollgruppe einen Teil der Intervention erhält, verwässert eine Kontamination den gemessenen Effekt; Torgerson hat berechnet, dass die Zuteilung ganzer Cluster die benötigte Gesamtprobe nur dann reduziert, wenn die Kontamination etwa 30 % übersteigt.[40] Das Risiko ist akut für Verbraucher-KI-Tools, die Lehrer einfach verwenden können, um die Kontrolle zu übernehmen.[6] Im Aila-Prozess der EEF wurden beide Arme aufgefordert, die Hauptwebsite der Oak National Academy zu meiden, und der Kontrollarm, Aila zu meiden.[27] und jede EEF-Studie misst den „Business as Usual“, anstatt davon auszugehen.[12]

Wartelisten und Jahrgangsgestaltungen

Das anschließende Anbieten des Produkts an Kontrollschulen kann die Rekrutierung erleichtern.[6] und die Protokollvorlage des EEF listet Wartelistenkontrollen auf.[14] In der Lightning-Squad-Studie wird jede Schule zufällig der Durchführung des Programms in Year 3 oder Year 4 zugeordnet, sodass jede Schule es umsetzt.[28]

A/B-Tests innerhalb des Produkts

Experimente, die in eine Lernplattform eingebettet sind, liefern starke Gründe für kausale Behauptungen.[42] Aber Bildung bringt Einschränkungen mit sich: Eine Klasse benötigt möglicherweise eine Bedingung und ein Lernender eine konsistente Version. Die Open-Source-UpGrade-Plattform weist Bedingungen nach Klasse, Schule oder Bezirk zu und löst Konflikte zwischen Gruppen- und Einzelkonsistenz.[45] Ein A/B-Test zeigt, welche Version besser funktioniert, und nicht, ob das Produkt „Business as Usual“ übertrifft, was die Frage der Stufe 2 ist.

Quasi-experimentelle Designs

Ein abgestimmtes Vergleichsdesign vergleicht Benutzer mit ähnlichen Schulen, die aus DfE-Verwaltungsdaten stammen, kann jedoch unbeobachtete Unterschiede nicht ausschließen und ist auf Ergebnisse in diesen Daten beschränkt.[6] Die Regressionsdiskontinuität, die diejenigen direkt auf beiden Seiten einer Berechtigungsgrenze vergleicht, und die Differenz-in-Differenzen, die Veränderungen über die Zeit vergleicht, können vier Vorhängeschlösser erreichen; Matching kann drei erreichen.[11] Eine unterbrochene Zeitreihe vergleicht die Ergebnisse vor und nach einem Start; Es benötigt ein im Voraus festgelegtes Auswirkungsmodell und muss Autokorrelation und saisonale Muster verarbeiten.[41] die in Schulen dem Schuljahr folgen.

Die beiden Phasen stellen unterschiedliche Fragen und ein Produkt sollte beiden dienen.[6][9][10][11][13][14]

Universitätsteams werden die Leiter erkennen: Die Evidenzstandards des Office for Students (OfS), die vom Center for Transforming Access and Student Outcomes in Higher Education (TASO) verwendet werden, trennen narrative, empirische und kausale Evidenz als Typen 1 bis 3.[20]

Logikmodelle, Wiedergabetreue und Dosierung

Ein Versuch testet eine Theorie des Wandels: wie Inputs und Aktivitäten zu Outputs und Ergebnissen führen. Das EEF entwirft Bewertungen rund um das Logikmodell, sodass ein Nullergebnis nach Möglichkeit auf Theorie-, Implementierungs- oder Methodenfehler zurückgeführt werden kann. Der Leitfaden vom Januar 2026 verwendet eine PLANIT-Beschreibung (Zweck, Lernende, Akteure, Art, Intervention und Anpassung), die Anpassungen aufzeichnet.[16] Die Berichtsvorlage empfiehlt die 12-Punkte-TIDieR-Checkliste, die Folgendes abdeckt: Was, Wer, Wie, Wo, Wann und Wie viel, Anpassung, Änderungen und Wie gut.[15][44]

Compliance wandelt das Logikmodell in Zahlen um. Entwickler und Bewerter vereinbaren im Voraus, welche Eingaben einen Schüler, eine Klasse oder eine Schule konform machen; Wenn ein Programm Lehrerausbildung und Software kombiniert, zählt beides. Die Einhaltung kann binär oder kontinuierlich mit Schwellenwerten erfolgen und liefert neben dem Hauptergebnis eine CACE-Schätzung (Complier Average Causal Effect).[10] Die Treue ist umfassender und umfasst Qualität, Dosierung und Anpassung.[12] Bei Software stammen diese Maßnahmen meist aus Produktdaten, die zuverlässig und überprüfbar sein müssen.

Maths-Whizz-Schüler verbrachten durchschnittlich 32 Minuten pro Woche gegenüber den empfohlenen 45 bis 60 Minuten, was laut EEF Raum für weitere Auswirkungen ist;[22] Lexia-Schüler, die das empfohlene Minimum überschritten, machten tendenziell mehr Fortschritte, ein Ergebnis, das auf geringeren Zahlen beruht.[21] Keine dieser Schlussfolgerungen ist ohne vertrauenswürdige Nutzungsdaten möglich.

Entwicklung eines Produkts zur Evaluierung

Evidence by Design bedeutet, vor einem Versuch zu entscheiden, was das Produkt aufzeichnet, wie die Waffen eingesetzt werden, welche Version bewertet wird und wie die Daten zum Prüfer gelangen. Lab Note 001 erklärt Was Forscher verlieren, wenn die Analyse ein nachträglicher Gedanke ist; In diesem Abschnitt wird daraus eine Spezifikation.

Ein Ereignisschema, das der Evaluator verwenden kann

Nachfolgend finden Sie unsere empfohlenen Mindestfelder. Die dahinter stehenden Anforderungen stammen aus den EEF-Analyse- und Archivierungsrichtlinien sowie aus den Pseudonymisierungsrichtlinien der ICO, der britischen Datenschutzbehörde.[10][18][33]

Die Sitzungszeit vom Anmelden bis zum Abmelden zählt die geöffneten Tabs. Die aktive Zeit zählt nur Interaktionsintervalle, während die Seite sichtbar ist, die von Browsern gemeldet werden, wobei Leerlaufzeiten begrenzt sind.[48] Die Wahl ist wichtig: In zwei Learning-Analytics-Datensätzen veränderten unterschiedliche Schätzungen der Zeit für die Aufgabe die Ergebnisse, und über die Methode wird selten berichtet.[43] Protokollieren Sie rohe Zeitstempel, definieren Sie die Aktivzeitregel im SAP und lassen Sie sie vom Auswerter neu berechnen.

Probearme und eine stabile Version

Bringen Sie Arme mit Merkmalsflaggen an der Einheit an, die der Bewerter randomisiert hat. Viele Flag-Tools teilen Varianten nach einem Targeting-Schlüssel auf, der in der OpenFeature-Spezifikation als Gegenstand einer Flag-Bewertung definiert ist.[47] In einer schulrandomisierten Studie muss dieser Schlüssel die Schule sein, sonst wird das Produkt stillschweigend Schüler innerhalb von Schulen randomisieren. EEF-Studien werden vom unabhängigen Gutachter entworfen und randomisiert.[9][14] Importieren Sie also diese Zuordnung, anstatt Ihre eigene zu generieren, und entscheiden Sie, was danach passiert: Mit UpGrade können Forscher die Bedingungen beibehalten, zurücksetzen oder ändern, wenn ein Experiment endet.[45]

Halten Sie das Produkt dann ruhig. Der EEF bewertet Programme, die keiner weiteren Entwicklung bedürfen[9] und erwartet, dass Anpassungen aufgezeichnet werden.[16] Für ein Produkt, das wöchentlich ausgeliefert wird, bedeutet das eine Testversion: Funktionen eingefroren, Korrekturen protokolliert, Inhalt versioniert und bei generativer KI die Modellversion angeheftet und protokolliert, da sich KI-Tools schneller ändern als Forschungszyklen.[6]

Verknüpfung mit Schulakten

Die Dienstpläne stammen aus dem Management-Informationssystem (MIS) der Schule. Das DfE behandelt die eindeutige Schülernummer (UPN) als personenbezogene Daten und als „blinde Nummer“, die nicht für Zwecke verwendet werden darf, die nichts mit Bildung zu tun haben; Ein von einer Schule beauftragter Lieferant darf sie als Auftragsverarbeiter behalten, und Forscher dürfen sie nur für Arbeiten erhalten, die von einer Schule, einer örtlichen Behörde, einem DfE oder einer anderen vorgeschriebenen Regierungsbehörde initiiert wurden.[36] Verwenden Sie es niemals als Produktkennzeichnung. Für den NPD-Abgleich erfassen die Gutachter Namen und Geburtsdaten sowie eine UPN, eine Schulkennung oder eine Postleitzahl.[10] Abgeglichene Daten werden im ONS SRS analysiert und archiviert.[18] und Ausgaben aus DfE-Daten verlassen es in der Regel nur, wenn die Zählungen 10 oder mehr betragen.[37]

Eine Pipeline, die die Forschung auseinander hält

Pseudonymisierung bei der Erhebung. Das ICO rät von unverschlüsselten Hashes und veralteten Algorithmen wie MD5 und SHA-1 ab, beschreibt verschlüsseltes Hashing und Zufallstoken und verlangt, dass der Schlüssel oder die Zuordnungstabelle separat aufbewahrt werden; Pseudonymisierte Daten bleiben personenbezogene Daten desjenigen, der über diesen Schlüssel verfügt.[33] Halten Sie den Forschungsspeicher einseitig: Seit dem 5. Februar 2026 erfordert die Forschungsverarbeitung Schutzmaßnahmen, einschließlich Maßnahmen zur Datenminimierung wie Pseudonymisierung, und versagt, wenn sie für Maßnahmen oder Entscheidungen über eine bestimmte Person außerhalb genehmigter medizinischer Forschung verwendet wird.[29] Wenden Sie die Unterdrückung kleiner Zahlen auf jedes Dashboard an und verwenden Sie dabei den strengsten Schwellenwert unter den kombinierten Quellen.[37]

Datenschutz bei Gerichtsverfahren

Rollen stehen an erster Stelle. Ein Lieferant, der nur auf Anweisung einer Schule handelt, ist wahrscheinlich deren Auftragsverarbeiter; Wer die Daten von Schülern für Forschungszwecke nutzt, die nicht zu den von der Schule erworbenen Kerndiensten gehören, oder für die eigene Produktentwicklung, fungiert als Verantwortlicher und fällt wahrscheinlich unter den Kinderkodex, unabhängig davon, was im Vertrag steht.[30] Bei EEF-Versuchen sind die Gutachter die Kontrolleure, die Bereitstellungsteams werden zu gemeinsamen Kontrolleuren, wenn sie mit den Gutachtern entscheiden, welche Daten gesammelt werden, und der EEF ist der Kontrolleur für das Archiv.[19] Im Juni 2026 berichtete das ICO über Audits von 28 Edtech-Anbietern. Zu den häufigen Problemen zählten Anbieter, die falsch einschätzten, ob sie Verantwortliche oder Auftragsverarbeiter waren, insbesondere wenn die Daten von Kindern in die Produktentwicklung oder -analyse einflossen, außerdem dünne Verträge, unvollständige Datenflusskarten und Lücken in Datenschutz-Folgenabschätzungen (DPIAs).[31]

Jeder Verantwortliche benötigt eine Rechtsgrundlage. Das ICO hält es für unwahrscheinlich, dass eine öffentliche Aufgabe für einen Edtech-Anbieter geeignet ist, der als Verantwortlicher fungiert.[30] und das EEF-Archiv beruft sich auf berechtigte Interessen, mit einem Widerrufsrecht.[19] Das ICO erfordert eine DPIA für den Datenabgleich, bei dem es sich um eine Ergebnisverknüpfung handelt.[32] Das EEF betrachtet eine Datenaustauschvereinbarung zwischen Verantwortlichen als bewährte Praxis und eine Datenverarbeitungsvereinbarung als gesetzliche Anforderung, bei der ein Lieferteam als Auftragsverarbeiter fungiert.[17][35]

Mit dem Data (Use and Access) Act 2025 wurden die Forschungsregeln ab dem 5. Februar 2026 geändert. Wissenschaftliche Forschung umfasst ausdrücklich kommerzielle Forschung, technologische Entwicklung und angewandte Forschung; Die Einwilligung kann einen Forschungsbereich abdecken; die weitere Verarbeitung zu Forschungszwecken im Rahmen der neuen Schutzmaßnahmen ist mit dem ursprünglichen Zweck vereinbar, bedarf aber dennoch einer Rechtsgrundlage; und die neuen Artikel 84A bis 84D ersetzen Artikel 89 der britischen Datenschutz-Grundverordnung (UK DSGVO).[29] Ältere Dokumente, darunter die Datenschutzerklärung des EEF, zitieren noch Artikel 89,[19] und die Leitlinien des ICO zu Forschung, DPIAs, Pseudonymisierung und Datenaustausch werden derzeit überprüft.[32][33][34][35]

Was ein evaluierungsfertiges Beweispaket enthält

Basierend auf den Evidence Board-Kriterien, den EEF-Bereitschaftskriterien und den oben genannten Abschnitten sollte das Paket, das ein Lieferant einem Gutachter und einer Schule vor einem Versuch gibt, Folgendes enthalten:[7][9][16]

Wo EdTechLab steht

Wir haben weder einen EEF-Test noch eine Testbed-Bewertung durchgeführt oder daran teilgenommen. Was unsere Produkte heute leisten, ist enger. EngagedLab erstellt Evidenzberichte pro Ziel, wobei die Kohortenzahlen unter 5 Lernende liegen. Seine SCORM-Pakete (Sharable Content Object Reference Model) sind in sich geschlossen und führen keine externen Aufrufe durch. Die Opt-in-Beweisrückgabe erfolgt über gehashte Learning Management System (LMS)-Lerner-IDs. intle bietet Schwierigkeits- und Diskriminierungsanalysen pro Frage für gehostete Sitzungen in höherstufigen Plänen und seine exportierten Pakete senden keine Lernendendaten zurück. Die Experience API (xAPI) ist keine Live-Funktion unserer Produkte.

Bei WorkReady Finance, das wir für die UWE Bristol Business School entwickelt haben, ist UWE Bristol der Datenverantwortliche und EdTechLab der Auftragsverarbeiter. Bei einem auf Evaluation ausgerichteten Kundenprojekt würden wir mit dem Logikmodell und dem Analyseplan des Evaluators beginnen, uns vor dem Start auf das Ereigniswörterbuch und die Compliance-Definition einigen, die Zuweisung des Evaluators auf die richtige Einheit anwenden, eine Testfreigabe festlegen, bei der Erfassung pseudonymisieren und Rollen, DPIA und Vereinbarungen festlegen, bevor Schülerdaten verschoben werden. Lab Note 002 erklärt, wie wir Evaluierung der digitalen Infrastruktur für die Bildungsforschung.

Grenzen dieses Berichts

• Dies sind allgemeine Informationen, keine Rechtsberatung.
• Programmdetails beziehen sich auf Veröffentlichungen vom 5. Oktober 2026; Lieferantenkriterien, Methoden der Stufe 1 und Kosten für Schulen wurden nicht veröffentlicht.
• Die Versuchsergebnisse stammen von EEF-Projektseiten; Wir haben sie nicht erneut analysiert.
• Die ICC-Zahlen stammen aus einigen englischen Studien und variieren je nach Phase und Thema.
• Der technische Rat liegt bei uns und ist keine EEF- oder DfE-Anforderung.
• Testbeds prägen auch, was als Beweise gilt, indem sie die Unterrichtspraxis auf bestimmte Weise sichtbar und umsetzbar machen.[46]