Aufbau von KI-Tutoren gemäß den Produktsicherheitsstandards für generative KI des DfE: Leitplanken, Schutz und Bewertung
Das Bildungsministerium (Department for Education, DfE) legt nun in ungewöhnlicher Ausführlichkeit dar, wie sich ein sicherer Tutor mit künstlicher Intelligenz (KI) verhalten sollte: Jede Runde filtern, die Sicherheitsleitung der Schule alarmieren, Antworten zurückhalten, bis ein Schüler es versucht hat, und sich niemals wie ein Freund verhalten. Seine Standards sind die Messlatte für das KI-Nachhilfeprogramm der Regierung, und eine Zertifizierung ist geplant. Dieser Bericht verwandelt jeden Standard in technische Kontrollen und den Nachweis, den ein Lieferant vorlegen sollte.
Zielgruppe
Produkt- und Ingenieurteams bauen schülerorientierte generative KI für Schulen und Hochschulen in England auf, und die digitalen Leads, die Sicherung von Leads und Datenschutzbeauftragte, die diese bewerten. Es setzt Vertrautheit mit großen Sprachmodellen (LLMs) voraus und zitiert die Überschriften der Standards genau.
Wichtigste Erkenntnisse
- Die Bar ist im Januar 2026 umgezogen. Die früheren Produktsicherheitserwartungen des DfE wurden zu Standards und fügten sieben frühere Bereiche kognitive Entwicklung, emotionale und soziale Entwicklung, psychische Gesundheit und Manipulation hinzu.[1][2]
- Tutoren sollten standardmäßig keine Antworten geben. Die Standards erwarten progressive Hinweise, einen echten Versuch vor einer vollständigen Lösung, Reibung oder Zustimmung des Lehrers vor Antwortmodi und Berichte über kognitives Offloading.[1]
- Ein Tutor muss sich wie ein Werkzeug verhalten, nicht wie ein Freund. Keine Personas oder Ich-Aussagen außerhalb begrenzter Rollenspiele, vorgegebene Zeitlimits mit harten Stopps und Warnungen vor Anzeichen emotionaler Abhängigkeit oder Stress.[1]
- Die Absicherung ist ein Produktmerkmal. Von Produkten wird erwartet, dass sie die Kontakte des designierten Sicherheitsleiters vor der Aktivierung bestätigen und innerhalb eines vereinbarten Zeitrahmens Warnmeldungen zu hohem Risiko senden. Die gesetzliche Regelung sieht Schutzmaßnahmen wie einen gemeinsamen Briefkasten vor.[1][3]
- Die Standards werden zum Tor. Jedes Tool im Nachhilfeprogramm der Regierung muss diese Anforderungen erfüllen, und das DfE sagt, es werde sich über die Zertifizierung generativer KI sowie Filter- und Überwachungsprodukte beraten; Bis zum 5. Oktober 2026 wurde nichts veröffentlicht.[10][14][15]
- Leitplanken entscheiden darüber, ob KI-Nachhilfe hilft. In einem Versuch mit fast 1.000 Schülern der Sekundarstufe steigerte der offene Zugang zu GPT-4 die Übungsergebnisse um 48 %, senkte jedoch die Ergebnisse bei Prüfungen ohne Unterstützung um 17 %; Ein Tutor, der vom Lehrer entworfene Hinweise gab, konnte den Schaden weitgehend vermeiden. Das DfE bezeichnet die umfassendere Beweislage als begrenzt.[28][5]
- Eine zeitnahe Injektion muss eingedämmt werden. Das National Cyber Security Center warnt davor, dass es möglicherweise nie vollständig entschärft werden kann. Daher sollten Designs die Möglichkeiten eines manipulierten Modells einschränken, insbesondere wenn es hochgeladene Dateien liest.[20][21]
Wichtige Planungstermine
Was die Standards verlangen und wer sie erfüllen muss
Das DfE veröffentlicht Generative KI: Erwartungen an die Produktsicherheit am 22. Januar 2025 und aktualisiert am 19. Januar 2026 als Generative KI: Produktsicherheitsstandards, Hinzufügung von Standards zur kognitiven Entwicklung, emotionalen und sozialen Entwicklung, psychischen Gesundheit und Manipulation.[1] Im Vergleich zum Text von 2025 werden außerdem Abschnitte zu erklärten Zwecken und Anwendungsfällen sowie Überwachungspflichten hinzugefügt, die die Kontaktdaten des Schutzleiters und Berichte über Entlastung, emotionales Engagement und Zeit abdecken.[1][2]
Die Standards gelten in England und sind hauptsächlich für Edtech-Entwickler und Lieferanten von Schulen und Hochschulen verfasst. Wenn ein Standard weiter oben in der Lieferkette eingehalten werden muss, beispielsweise von einem Modellanbieter, muss der Lieferant, der mit Schulen zusammenarbeitet, dies dennoch gewährleisten.[1] Es handelt sich dabei um Orientierungshilfen, nicht um Gesetze, aber das Nachhilfeprogramm der Regierung macht sie zu einer Voraussetzung für die Teilnahme.
Es gibt 13 Überschriften: Erklärter Zweck, Anwendungsfälle im Bildungsbereich, Filterung, Überwachung und Berichterstattung, Sicherheit, Privatsphäre und Datenschutz, Geistiges Eigentum, Design und Tests, Governance, kognitive Entwicklung, emotionale und soziale Entwicklung, psychische Gesundheit und Manipulation. Filterung, Überwachung und Berichterstattung, kognitive Entwicklung, emotionale und soziale Entwicklung sowie psychische Gesundheit werden als relevant für lernorientierte Produkte markiert. Ein Tutor ist Anwendungsfall 4, der digitale Assistent, den jeder dieser Standards nennt.[1]
Für die Sicherheit von Kindern in der Bildung sorgen (KCSIE) 2026, gesetzliche Leitlinien, die seit dem 1. September 2026 in Kraft sind, benennt schädliche Interaktionen mit generativen KI-Anwendungen als Online-Sicherheitsrisiko, erwartet, dass Filterung und Überwachung jedes akademische Jahr überprüft werden, und verweist auf die Produktsicherheitsleitlinien, die immer noch unter dem Namen 2025 laufen.[3] Der am 16. September 2026 aktualisierte Filter- und Überwachungskernstandard des DfE fordert Schulen auf, bei der Einführung generativer KI die Produktsicherheitsstandards zu verwenden.[4] Das DfE weist außerdem darauf hin, dass generative KI-Dienste, die es Benutzern ermöglichen, Inhalte zu teilen oder Live-Websites zu durchsuchen, unter den Online Safety Act 2023 fallen, sodass das Hinzufügen von beidem einen Tutor in diesen Act einbeziehen kann.[1]
Das Nachhilfeprogramm und der Weg zur Zertifizierung
Im Januar 2026 kündigten das DfE und das Ministerium für Wissenschaft, Innovation und Technologie (DSIT) KI-Nachhilfetools für benachteiligte Schüler an, die gemeinsam mit Lehrern ab dem Sommersemester und in Schulen bis Ende 2027 entwickelt wurden. Bis zu 450.000 Schüler pro Jahr erhalten in den Klassen 9 bis 11 kostenlose Schulmahlzeiten.[9] Die Ausschreibung im April konzentrierte sich auf die Klassen 9 und 10 in Englisch, Mathematik, Naturwissenschaften und modernen Fremdsprachen, wobei bis zu acht Organisationen jeweils 300.000 £ erhielten. Jedes Werkzeug muss den Produktsicherheitsstandards entsprechen und die Arbeit der Schüler wird nicht dazu dienen, KI-Modelle ohne Erlaubnis der Eltern zu trainieren.[10]
Im Rahmen der Ausschreibung werden Forschungs- und Entwicklungsarbeiten und keine fertigen Werkzeuge gekauft, die separat beschafft würden. Die Bieter benötigten Partnerschulen mit überdurchschnittlich hohen Anteilen an kostenlosen Schulmahlzeiten und einem Produkt, das bereits bei Schülern im Sekundarbereich eingesetzt wird. Es beschreibt die auf dem Markt befindlichen Tools als „begrenzt in Quantität, Umfang und Evidenzbasis“, und der im Programm mitgestaltete Qualitätsstandard wird zum Inkubator für KI (i.AI) des DSIT gehören und über einen Lesesaal gemeinsam genutzt werden.[11] Acht Verträge laufen vom 29. Juni 2026 bis 31. März 2027.[12]
i.AI erstellt außerdem einen souveränen Benchmark dafür, ob KI-Tutoren effektiv, sicher und im Einklang mit dem Lehrplan unterrichten, wobei Lehrer Beispiele für Interaktionen im Klassenzimmer und Bewertungskriterien schreiben. Zum jetzigen Zeitpunkt geht es darum, die Modelle hinter den Werkzeugen vor der Erprobung zu prüfen, und nicht darum, Schulen zu beraten.[13] Die Auswirkungen sollen in Schulen gemessen werden, unter anderem durch das 24 Millionen Pfund teure EdTech Testbed-Programm des DfE, das bis zu 15 randomisierte Studien oder andere strenge Bewertungen plant, die von der Education Endowment Foundation (EEF) finanziert werden.[8][13]
Als nächstes folgt die Zertifizierung. Im Juni 2026 kündigte die Regierung an, dass die Minister über eine unabhängige Sicherheitszertifizierung für einige Schultechnologien beraten würden, darunter generative KI sowie Filter- und Überwachungsprodukte.[14] Am 20. August teilte das DfE dem Parlament mit, dass es „in Kürze“ über ein System konsultieren werde, das auf seinen Digital- und Technologiestandards, einschließlich der Produktsicherheitsstandards, aufbaue.[15] Wir haben keine bis zum 5. Oktober 2026 veröffentlichte Konsultation gefunden. DfE-Beamte diskutieren außerdem mit dem Information Commissioner's Office (ICO) über geplante Edtech- und KI-Codes und deren Übereinstimmung mit der Zertifizierung, und das DfE sagt, dass es derzeit kein Edtech-Produkt empfiehlt oder befürwortet.[16][17]
Was die Beweise über KI-Tutoren sagen
Menschliche Nachhilfe ist der Maßstab: Das EEF-Toolkit sieht Einzelunterricht bei etwa fünf Monaten zusätzlichem Fortschritt vor, basierend auf mäßiger Evidenz.[37] Das DfE gibt an, dass seine eigenen Erkenntnisse darüber, wie KI die Entwicklung, Ergebnisse und Sicherheit von Lernenden beeinflusst, begrenzt sind.[5]
| Studie | Teilnehmer | Randomisierter Vergleich | Ergebnis | Status |
|---|---|---|---|---|
| Bastani et al. 2025[28] | Fast 1.000 Schüler der Klassen 9 bis 11, Türkei | Öffnen Sie GPT-4, einen GPT-4-Tutor, der Hinweise gibt, oder keine KI | Praxis +48 % (offen) und +127 % (Tutor); Prüfung ohne fremde Hilfe −17 % (offen), Schaden weitgehend beseitigt und kein Gewinn (Lehrer) | Peer-Review |
| Kestin et al. 2025[29] | 194 Studenten, Harvard-Physik | KI-Tutor mit vorgefertigten Lösungen im Vergleich zu einer Klasse mit aktivem Lernen (Crossover) | Die durchschnittlichen Lernzuwächse verdoppeln sich; 0,73 bis 1,3 Standardabweichungen | Peer-Review |
| Wang et al. 2025[30] | Über 700 Nachhilfelehrer und 1.000 Schüler in den Klassen 3 bis 6, USA | KI-Vorschläge für menschliche Tutoren (Tutor CoPilot) | Themenbeherrschung +4 Prozentpunkte (+9 bei schlechter bewerteten Tutoren); kein nennenswerter Gewinn bei Tests zum Jahresende | Arbeitspapier |
| De Simone et al. 2025[31] | Neun Schulen in Nigeria, sechs Wochen | Von Lehrern geleitete Chatbot-Sitzungen nach der Schule | 0,31 Standardabweichungen insgesamt, 0,23 auf Englisch; 759 von 1.328 bestanden den Abschlusstest | Arbeitspapier |
| Henkel et al. 2024[32] | Ungefähr 500 Schüler in 11 Schulen in Ghana | WhatsApp-Mathe-Nachhilfelehrer, zufällig nach Schule sortiert | Effektgröße 0,36 über acht Monate; vorläufig | Kurzes Papier |
| LearnLM-Team, Eedi et al. 2025[33] | 165 Schüler an fünf weiterführenden Schulen im Vereinigten Königreich | Von Tutoren überwachte KI-Nachrichten richten sich ausschließlich gegen menschliche Tutoren | Bei jedem Ergebnis mindestens genauso gut; 66,2 % gegenüber 60,7 % bei neuen Problemen | Vorabdruck |
| Harrison et al. 2026[34] | 929 Studenten, die in England ein General Certificate of Secondary Education (GCSE) in Naturwissenschaften absolvieren, 644 wurden erneut getestet | KI-Revisionslehrer im Vergleich zur üblichen Revision, vier Wochen | Hedges' g = 0,33 (95 %-Konfidenzintervall 0,18 bis 0,48); Lehrplanorientierte Tests | Vorabdruck |
| EEF 2026[36] | 63 englische Grundschulen | Adaptiver Tutor (Maths-Whizz), keine generative KI | +1 Monat Fortschritt; +2 für Schüler, die Anspruch auf kostenlose Schulmahlzeiten haben | Unabhängiger Test |
| EEF 2024[35] | 259 Lehrer in 68 englischen weiterführenden Schulen | ChatGPT und ein Leitfaden zur Unterrichtsplanung | 31 % weniger Planungszeit; Qualität unbeeinträchtigt | Unabhängiger Test |
Drei Ergebnisse sind belastbar. Das Design entscheidet: Offener Zugang erhöhte die Übungsergebnisse, senkte jedoch die Ergebnisse bei Prüfungen ohne Hilfe, der bewachte Tutor tat dies nicht und die Studenten bemerkten den Verlust nicht.[28] Adaptive Nachhilfe ohne generative KI führte in einem unabhängigen Englischversuch zu etwa einem Monat Fortschritt, mehr für benachteiligte Schüler.[36] Und die lehrerorientierte Nutzung spart Planungszeit, ohne die Qualität zu beeinträchtigen.[35]
Der Rest ist eher vielversprechend als geklärt: kurze Studien, Universitätsstudenten, von Forschern festgelegte oder an den Lehrplan angepasste Tests und noch nicht begutachtete Arbeiten. Tutor CoPilot steigerte die Beherrschung des Themas, nicht jedoch die Ergebnisse am Jahresende, und viele nigerianische Teilnehmer verpassten den Abschlusstest.[30][31] Beide britischen Studien sind klein oder kurz: In einer haben erfahrene Tutoren jede KI-Nachricht genehmigt; der andere lief vier Wochen lang.[33][34] Behandeln Sie die Auswirkung als eine zu testende Hypothese, wie es der angegebene Zweckstandard impliziert.[1]
Eine Referenzarchitektur
Die Standards beschreiben Verhalten, nicht Architektur, aber sie implizieren eines: deterministische Wächter rund um das Modell, eine pädagogische Ebene, die entscheidet, was es offenbaren darf, und eine Aufsicht, die Signale an Menschen weiterleitet. Das Diagramm wird von oben nach unten gelesen.
Schule
Nachhilfedienst
Aufsicht
Halten Sie Sicherheits- und Pädagogikentscheidungen im Code außerhalb des Modells, sodass sie nicht stillschweigend durch eine Modell- oder sofortige Änderung entfernt werden können, und begründen Sie Erklärungen in geprüften Inhalten: Beide oben genannten Peer-Review-Studien lieferten dem Modell vorab geschriebene Lösungen.[28][29]
Hinweise vor Antworten: kognitive Entwicklung
Standardmäßig besagt der kognitive Entwicklungsstandard, dass es keine endgültigen Antworten, vollständigen Lösungen oder vollständig ausgearbeiteten Beispiele geben sollte. Produkte sollten schrittweise offengelegt werden, beginnend mit Hinweisen oder Teilschritten; Bitten Sie den Lernenden, einen Schritt zu versuchen oder seine Gedanken zu erklären. eine vollständige Lösung erst nach einem echten Versuch zeigen; und fügen Sie Reibung oder die Zustimmung des Lehrers hinzu, bevor Sie zu Modi wechseln, in denen Antworten leicht zu finden sind. Ausnahmen gibt es beispielsweise bei der Überprüfung von Vorkenntnissen.[1]
Erstellen Sie dies als Hinweisleiter, die außerhalb des Modells erzwungen wird. Geben Sie jedem Problem eine vom Lehrer genehmigte Lösung und häufige Fehler, wie es der vorsichtige Tutor im türkischen Prozess getan hat, und steigen Sie bei jedem neuen Versuch eine Stufe hinauf: eine Frage zum Ansatz, ein konzeptioneller Anstoß, ein strategischer Hinweis, ein Arbeitsschritt und dann die vollständige Lösung.[1][28] Eine Ausgabeprüfung blockiert jede Antwort, die die endgültige Antwort zu früh liefert. Die Erdung schützt auch die Genauigkeit: Der offene Chatbot in diesem Versuch hatte nur in 51 % der Fälle Recht.[28]
Produkte sollten auch Offloading erkennen und melden: Lösungen offenlegen, einfügen statt schreiben, lange automatische Vervollständigungen akzeptieren oder das Produkt auffordern, die Antwort zu schreiben. Der Standard erwartet außerdem Fachwissen zur kindlichen Entwicklung, Kindersicherheitsschulungen für technische Teams sowie veröffentlichte Aufzeichnungen über die Aufsicht von Experten und einen Plan zur Auswirkung auf die kindliche Entwicklung mit Entwurfshypothesen, Ergebnismaßen und Überprüfungsintervallen.[1]
Ein Werkzeug, kein Begleiter: Wohlbefinden und Manipulation
Der emotionale und soziale Entwicklungsstandard schließt Anthropomorphismus aus: keine implizierten Emotionen, Persönlichkeit oder Identität; funktionsbasierte Formulierungen statt Ich-Aussagen; keine Namen, Avatare oder Charaktere außerhalb zeitlich begrenzter, klar umrissener Rollenspiele; keine Antworten, die einen Lernenden isolieren; Hinweise zur Aufgabe eingehalten; und Erinnerungen, z. B. indem man einem Klassenkameraden oder Lehrer vorschlägt, dass KI Menschen nicht ersetzen kann.[1]
Zeit ist eine Kontrolle: Standardlimits, Pausenaufforderungen und feste Limits, die die Sitzung beenden, bis ein Lehrer oder Administrator sie zurücksetzt, wobei Überschreibungen mit einem Grund aufgezeichnet werden. Produkte sollten das Engagement nicht überfordern, indem sie beispielsweise ihre Antworten ändern, wenn ein Lernender versucht, das Unternehmen zu verlassen.[1] Die Regierungspolitik verpflichtet sich auch dazu, die Nutzung von KI-Chatbots für unter 18-Jährige zu unterbrechen.[18] Der Speicher sollte minimal sein und der Zugriff auf das, was aufbewahrt wird, auf autorisiertes Personal beschränkt sein.[1]
Der Standard für psychische Gesundheit erwartet von Produkten, dass sie Stress erkennen, von negativen Hinweisen und Erwähnungen von Selbstverletzung bis hin zu nächtlichen Nutzungsspitzen und der Weigerung, Sitzungen zu beenden. Die Reaktionen sollten abgestuft sein, von Hinweisschildern über eine Flagge bis hin zum Designated Safeguarding Lead (DSL), in einer Sprache, die immer auf Menschen verweist, und Lieferanten sollten ein Protokoll für psychische Gesundheitskrisen veröffentlichen.[1]
Der Manipulationsstandard, der auch lehrerorientierte Produkte abdeckt, schließt Schmeichelei, ungerechtfertigtes Vertrauen, Gruppenzwang, Schuldgefühle, Drohungen und Belohnungen über Geräte mit geringem Einsatz wie einem Abschlussabzeichen hinaus sowie eine verlängerte Nutzung aus, die Benutzer zu kostenpflichtigen Optionen, Werbung und dunklen Mustern lenkt.[1] Wo der ICO-Kinderkodex Anwendung findet, fügt er hohe Datenschutzstandards, standardmäßiges Profiling und keine Nudge-Techniken hinzu.[24] Im Code werden diese zu Ausgabeprüfungen für Ich-Aussagen, Persona-Sprache und Schmeicheleien sowie zu Analyseregeln, die das Engagement maximierende Ziele verbieten.
Filterung, Schutz von Warnungen und Protokollen
Die Filterung sollte jetzt integriert sein: Der Text von 2026 erwartet eine umfassende Filterung, die in das Produkt integriert ist, während der Text von 2025 eine separate Ebene darüber zuließ.[1][2] Es sollte während des gesamten Gesprächs gelten; Anpassung an Risiko, Alter sowie sonderpädagogische Bedürfnisse und Behinderungen (SENDEN); Titelbilder, mehrere Sprachen, Rechtschreibfehler und Abkürzungen; auf jedem Gerät arbeiten; und erklären Sie dem Lernenden Blockaden in altersgerechter Sprache und mit Wegweisern.[1]
Das Modell sollte nicht darüber entscheiden, ob eine Schule von einem Risiko erfährt. Der Standard erwartet, dass die Kontaktdaten des DSL bei der Einrichtung vorliegen, vor der Aktivierung bestätigt werden und innerhalb eines vereinbarten Zeitrahmens Warnmeldungen zu hohem Risiko erhalten.[1] KCSIE 2026 erwartet Schutz, wenn das DSL ausfällt, etwa durch eine vertrauliche gemeinsame Mailbox, und sagt, dass Datenschutzgesetze die Weitergabe von Informationen zum Schutz der Kinder nicht verhindern.[3]
Eskalationsabsicherung: Was gehört wohin
- NachhilfedienstErkennenKlassifikatoren und Signale auf Konversationsebene weisen auf eine mögliche Offenlegung, Bedrängnis oder eine schädliche Anfrage hin.
- Tutor für LernendenReagieren Sie sicherBlockieren Sie bei Bedarf, erklären Sie warum, weisen Sie auf Unterstützung hin und verweisen Sie auf einen vertrauenswürdigen Erwachsenen. Versprechen Sie niemals Geheimhaltung.
- NachhilfedienstSchweregradNiedrig: Wegweiser und Baumstamm. Anliegen: Ergänzung zum DSL-Musterbericht. Hohes Risiko: Sofortige Alarmierung über die mit der Schule vereinbarte Route.
- Nachhilfelehrer für die SchuleBenachrichtigen Sie den DSLAn den DSL senden und die beim Setup festgelegte Cover-Route: a
pupil_refDie Schule kann entscheiden,category,severity,detected_atund der kürzeste benötigte Auszug. Transkripte bleiben hinter einer Zugangskontrolle mit Zugriffsprotokollierung. - SchuleDSL entscheidetDie DSL, nicht der Anbieter, beurteilt die Bedenken im Rahmen der Schutzrichtlinie der Schule.
- NachhilfedienstAufzeichnen und überprüfenZustellung und Bestätigung protokollieren, verpasste Fälle zur Red-Team-Suite hinzufügen und termingerecht löschen.
Produkte sollten Aufforderungen und Antworten protokollieren und nicht fachkundigem Personal klare Berichte liefern, aber Engagement-Berichte sollten nicht offenlegen, was die Schüler geschrieben haben.[1] Schulfilterprotokolle sollten mindestens das Gerät, seine IP-Adresse (Internet Protocol) und, wenn möglich, die Person, die Zeit und den blockierten Inhalt aufzeichnen, mit wöchentlichen Berichten und sofortigen Berichten über Vorfälle mit hohem Risiko.[4] Legen Sie die Aufbewahrung vor dem Start fest, beschränken Sie den Zugriff, teilen Sie den Lernenden mit, dass sie überwacht werden, und decken Sie die Überwachung in der Datenschutz-Folgenabschätzung (DPIA) ab.[1][4] Das ICO stellte fest, dass viele Edtech-Anbieter keine klaren Aufbewahrungsfristen hatten.[25]
Schnelle Injektion, Jailbreaks und Modelländerungen
Der Sicherheitsstandard verlangt robusten Jailbreak-Schutz, Schutz vor unbefugter Neuprogrammierung, Benutzerberechtigungsstufen, schnelle Korrekturen, Tests neuer Versionen oder Modelle vor der Veröffentlichung und eine starke Authentifizierung im Einklang mit den Cybersicherheitsstandards des DfE für Schulen.[1]
Eine schnelle Injektion ist am schwierigsten. Das Open Worldwide Application Security Project (OWASP) belegt in den Ausgaben 2025 und 2026 den ersten Platz seiner Top 10 für LLM-Anwendungen; Die Ausgabe 2026 umfasst Anweisungen, die in Dokumenten, Bildern, Audio, unsichtbaren Zeichen und Erinnerungen verborgen sind.[21] Das National Cyber Security Center warnt davor, dass es möglicherweise nie vollständig entschärft werden kann, da Modelle Anweisungen nicht von Daten trennen, und empfiehlt, die Möglichkeiten eines manipulierten Modells einzuschränken, anstatt nach bekannten Angriffsphrasen zu filtern.[20]
Bei einem Nachhilfelehrer ist der wichtigste indirekte Weg der Schülerinhalt: ein fotografiertes Arbeitsblatt, ein hochgeladener Aufsatz, eine eingefügte Seite. Markieren Sie sie als nicht vertrauenswürdige Daten, bewahren Sie sie getrennt von Anweisungen auf und gewähren Sie den Schülern, die sie lesen, keine Privilegien, die über die eigenen des Schülers hinausgehen. Geben Sie dem Tutor keine Aktionen mit Nebenwirkungen, halten Sie Geheimnisse aus Systemeingabeaufforderungen fern, validieren Sie strukturierte Ausgaben im Code und protokollieren Sie ausreichend, um Missbrauch zu erkennen.[20][21] Der freiwillige Verhaltenskodex für KI-Cybersicherheit im Vereinigten Königreich fügt 13 Grundsätze hinzu, vom sicheren Design bis zum Lebensende.[19] Behandeln Sie jede Änderung des Modells, der Eingabeaufforderung, des Abrufsatzes oder des Filters als eine Freigabe, die die vollständige Auswertung erneut ausführt. Die Standards erfordern bereits, dass neue Versionen und Modelle vor der Veröffentlichung getestet werden.[1]
Datenschutz und geistiges Eigentum
Die Rolle steht an erster Stelle. Nach ICO-Anleitung ist ein Anbieter, der die Daten von Schülern über die Anweisungen einer Schule hinaus verarbeitet, beispielsweise für die Produktentwicklung, ein Verantwortlicher für diese Verarbeitung, unabhängig davon, was im Vertrag steht, und kann unter den Kinderkodex fallen.[23] Im Bericht vom Juni 2026 über seine Prüfungen von 28 Edtech-Anbietern stellte das ICO fest, dass dies das häufigste Problem sei. Einige Anbieter nutzten die Informationen von Kindern, um KI-Funktionen zu trainieren, einige Unterauftragsverarbeiter gaben an, dass sie Kopien behalten würden, um ihre eigene KI zu trainieren, und bei KI-Funktionen fehlten oft Sicherheitsvorkehrungen. Das ICO forderte die Anbieter auf, neue Funktionen standardmäßig deaktiviert zu starten. Generative KI-Chatbots fielen nicht in diese Prüfungen.[25]
Die DfE-Standards ziehen die Grenze: keine kommerzielle Nutzung personenbezogener Daten, einschließlich Schulung oder Feinabstimmung, ohne eine entsprechende Rechtsgrundlage; eine DPIA für die gesamte Lebensdauer des Werkzeugs; und einen Datenschutzhinweis, der in einer altersgerechten Sprache wiederholt wird und angibt, wo Daten verarbeitet werden und was sie außerhalb des Vereinigten Königreichs oder der EU schützt.[1] Die Eingaben von Schülern und Lehrern sollten ohne die Erlaubnis des Urheberrechtsinhabers, die bei unter 18-Jährigen von einem Elternteil oder Erziehungsberechtigten kommt, nicht aufbewahrt oder für Schulungen oder Produktentwicklungen verwendet werden.[1]
Auch Schulen haben eine Checkliste. In den Beschaffungsleitlinien des DfE vom Juli 2026 heißt es, sie sollten sich fragen, wie die Ergebnisse moderiert werden, ob Daten das Modell trainieren und welche Kontrollen sie haben; einen Prüfpfad zum Schutz von Leads zu erwarten; um sicherzustellen, dass Updates, die die Verarbeitung erhöhen, nicht automatisch aktiviert werden; und um Schutzmaßnahmen für Überweisungen außerhalb des Vereinigten Königreichs zu prüfen.[6] Die Mitarbeiter werden angewiesen, sich bei ihrem Datenschutzbeauftragten oder IT-Leiter zu erkundigen, bevor sie Schülerdaten in ein KI-Tool eingeben.[7] Seit Juni 2026 müssen Organisationen auch Datenschutzbeschwerden innerhalb von 30 Tagen anerkennen.[26] Und das ICO, das am 30. September 2026 zur Informationskommission wurde, arbeitet mit der Regierung an einem Kodex für Kinderdaten in Bildungseinrichtungen.[27][25]
Die auf Kontrollen und Beweise abgebildeten Standards
Die Evidenzspalte ist das, was wir von einer Schule, einer Stiftung oder, sobald eine solche existiert, einer Zertifizierungsstelle erwarten würden.[1]
| Standard | Zu erstellende Steuerelemente | Beweismaterial, das aufbewahrt werden muss |
|---|---|---|
| Angegebener Zweck und Anwendungsfälle | Altersgruppe, Bedürfnisse, Thema und Anwendungsfall, überprüft bei jeder neuen Funktion | Veröffentlichte Stellungnahme; jede Auswirkungsbehauptung mit ihrer Quelle |
| Filterung | Eingabe- und Ausgabeklassifizierer in jeder Runde; Gesprächskontext; Bilder, Sprachen und Rechtschreibfehler; auf jedem Gerät gleich | Erfolgsquoten nach Schaden, Sprache und Format; Update-Protokoll |
| Überwachung und Berichterstattung Verlängert im Jahr 2026 | Eingabeaufforderungs- und Antwortprotokolle; DSL-Kontakte bestätigt; abgestufte Warnungen; Entlastungs-, Engagement- und Zeitberichte | Alarmzustellungstests; Beispielberichte; Aufbewahrungsplan |
| Sicherheit | Jailbreak- und Injektionsschutz; keine Nebenwirkungen; gesperrte Konfiguration; Rollen; Multi-Faktor-Authentifizierung | Ergebnisse des roten Teams; Penetrationstest; Veröffentlichungsaufzeichnungen |
| Privatsphäre und Datenschutz | Lebenslange DPIA; wiederholter, altersgerechter Datenschutzhinweis; Keine Ausbildung ohne gesetzliche Grundlage | DPIA; Datenflusskarte; Unterauftragsverarbeiter und Standorte |
| Geistiges Eigentum | Ohne die Erlaubnis des Eigentümers ist es nicht möglich, die Arbeit von Schülern oder Lehrern aufrechtzuerhalten oder zu schulen | Bedingungen des Modellanbieters; Berechtigungsaufzeichnungen |
| Design und Tests | Tests mit verschiedenen Benutzern, einschließlich Kindern; Vorabtests neuer Modelle | Testpläne und Ergebnisse pro Release |
| Governance | Risikobewertung; Beschwerdeweg mit Sicherheitseskalation; veröffentlichte KI-Sicherheitsrichtlinien | Risikoregister; Beschwerdeprotokoll; Richtlinien |
| Kognitive Entwicklung Neu im Jahr 2026 | Hinweisleiter; Versuchstor; Antwort-Leck-Prüfung; Reibung oder Zustimmung zum Moduswechsel; Entlastungserkennung | Rubrik-Scores; Auslagern von Berichten; Wirkungsplan |
| Emotionale und soziale Entwicklung Neu im Jahr 2026 | Funktionsbasierte Phrasierung; keine Persona; Grenzen und harte Stopps; aufgezeichnete Überschreibungen; minimaler Speicher | Persona- und Tontests; Grenztests; Musterwarnungen |
| Psychische Gesundheit Neu im Jahr 2026 | Noterkennung; abgestufte Reaktion; Sprache, die auf Menschen hinweist | Ergebnisse der Distress-Suite; veröffentlichtes Krisenprotokoll |
| Manipulation Neu im Jahr 2026 | Keine Schmeichelei, Druck, Schuldgefühle, Drohungen oder Belohnungsversprechen; keine Engagement-Ziele; keine dunklen Muster | Bewertung der Manipulationsrubrik; Entwurfsüberprüfung |
Evaluierung, Release-Gates und das Beweispaket
Die Standards verlangen zweimal, dass neue Versionen oder Modelle vor der Veröffentlichung getestet werden, und erwarten Tests mit einem vielfältigen und realistischen Nutzerkreis.[1] Ein glaubwürdiges Geschirr besteht aus vier Teilen.
- Red-Team-Suiten. Jailbreaks; direkte und indirekte Injektion durch Uploads und Bilder; schädliche Inhalte in allen Sprachen und Rechtschreibfehler; Enthüllungen und Stress, auch nachts; Gefährtensuchend; und Köder für Schmeichelei. Bewerten Sie jeden Fall als bestanden oder nicht bestanden und addieren Sie jeden Fehler aus der Live-Nutzung.
- Mit Rubriken bewertete Transkripte. Bewerten Sie realistische Gespräche hinsichtlich der Zurückhaltung von Antworten, des Hinweisverlaufs, der Genauigkeit, des Tons und der Persönlichkeit. Kalibrieren Sie jeden modellbasierten Bewerter mit geschulten menschlichen Bewertern, melden Sie deren Zustimmung und führen Sie eine Neukalibrierung durch, wenn sich der Bewerter ändert. Der nationale Benchmark verwendet die gleichen Zutaten: Interaktionen im Klassenzimmer und mit Lehrern verfasste Bewertungskriterien.[13]
- Freigabetore. Führen Sie jede Suite bei jeder Änderung des Modells, der Eingabeaufforderung, des Abrufsatzes oder des Filters anhand im Voraus festgelegter Schwellenwerte aus. Ein verpasster Hochrisiko-Schutzfall blockiert die Freilassung.
- Feldauswertung. Offline-Scores lernen nicht. Verwenden Sie unabhängige Maßnahmen und verzögerte, nicht unterstützte Tests, da Übungsgewinne schwächere Lernergebnisse verbergen können.[28][30] Das EdTech Testbed-Programm bietet einen Weg.[8]
Öffnen Sie die Tools-Hilfe. Inspect vom britischen AI Security Institute und Meridian Labs bietet Datensätze, Solver, Scorer und über 200 vorgefertigte Auswertungen.[22] Die Regierung hat außerdem den explorativen Zugang zu ihrem AI Content Store für Tests und Entwicklung freigegeben.[10]
Führen Sie ein versioniertes Beweispaket: erklärter Zweck und Ansprüche mit ihren Beweisen; Risikobewertung und DPIA; Datenflusskarte und Unterauftragsverarbeiter; Schwellenwerte und Ergebnisse für jede Veröffentlichung; Ergebnisse des roten Teams; das Schutz-Runbook und die Alarmzeitskalen; das Krisenprotokoll, die Aufzeichnungen der Expertenaufsicht und den Wirkungsplan; das Beschwerdeverfahren; und KI-Sicherheitsrichtlinien.[1] Es beantwortet auch die Fragen der Schulen in den Beschaffungsrichtlinien des DfE und ist ein natürlicher Ausgangspunkt für die Zertifizierung.[6][15]
Build-Checkliste
- Veröffentlichen Sie Altersgruppe, Bedürfnisse, Themen, Anwendungsfall und die Beweise für jede Wirkungsbehauptung
- Filtern Sie Ein- und Ausgaben jederzeit, in jeder Sprache und jedem Format, auf jedem Gerät
- Halten Sie vollständige Lösungen bis zu einem echten Versuch zurück, erklimmen Sie eine Hinweisleiter und wechseln Sie den Gate-Modus
- Berichten Sie über Entlastung, Zeitaufwand und emotionales Engagement, ohne offenzulegen, was die Schüler geschrieben haben
- Keine Personas oder Ich-Aussagen außerhalb des begrenzten Rollenspiels
- Durchsetzung von Standardzeitlimits und harten Stopps; Rekordlehrer überschreibt mit einem Grund
- Bestätigen Sie DSL und Cover-Kontakte vor der Aktivierung und testen Sie die Benachrichtigungszustellung anhand des Zeitrahmens
- Veröffentlichen Sie ein Protokoll für psychische Gesundheitskrisen und leiten Sie Stress an die Menschen weiter
- Behandeln Sie Uploads und Webseiten als nicht vertrauenswürdige Daten und stellen Sie dem Tutor keine Tools mit Nebenwirkungen zur Verfügung
- Modell- und Eingabeaufforderungsversionen anheften und jede Suite vor jeder Veröffentlichung erneut ausführen
- Führen Sie eine lebenslange DPIA, legen Sie die Protokollaufbewahrung fest und listen Sie Unterauftragsverarbeiter, Standorte und Übertragungsschutzmaßnahmen auf
- Trainieren Sie niemals auf der Grundlage von Schüler- oder Lehrereingaben ohne eine gesetzliche Grundlage und die Erlaubnis des Urheberrechtsinhabers
- Einen Beschwerdeweg einrichten, Richtlinien zur KI-Sicherheit veröffentlichen und das Nachweispaket aktuell halten
Wo EdTechLab steht
Wir haben keines unserer Produkte anhand der Produktsicherheitsstandards des DfE bewertet und wir behaupten nicht, dass intle, EngagedLab oder interacty diesen entsprechen. Mehrere Muster in diesem Bericht prägen bereits ihre Funktionsweise. Der Socratic-Tutor von EngagedLab hält Antworten während des Versuchs zurück. intle verfügt über einen Prompt-Injection-Schutz für hochgeladene Quellen und einen geschützten URL-Abruf; Es verfügt standardmäßig über eine menschliche Planüberprüfung vor der Generierung. Und bei jeder Generation validiert es Antwortschlüssel und überprüft Fragen auf häufige Schreibfehler, mit Quelltreueprüfungen für Kurse, die aus hochgeladenem Material erstellt wurden. Bei der Interaktion schlägt die KI getippte Änderungen vor, die ein Mensch genehmigt. Die Evidenzberichte pro Ziel von EngagedLab unterdrücken Kohortenzahlen unter 5 Lernenden.
Der Standort der Daten ist für Schulen wichtig: intle wird in der EU (Deutschland) gehostet und sein Unterauftragsverarbeiterregister gibt an, dass die KI-Verarbeitung außerhalb des Vereinigten Königreichs und der EU erfolgt.
Bei einem Kundenprojekt für schülerorientierte KI würden wir vom Anwendungsfall, der Altersspanne und der DSFA der Schule ausgehen; Bauen Sie die Sicherungswege, Zeitbegrenzungen, Hinweisleitern und Wachen außerhalb des Modells; Schreiben Sie die Bewertungsreihen vor dem Tutor. und übergeben Sie ein Beweispaket, das der DSL- und Datenschutzbeauftragte der Schule prüfen kann.
Grenzen dieses Berichts
- Dies sind allgemeine Informationen, keine Rechtsberatung. Informieren Sie sich über die aktuellen Unterlagen und lassen Sie sich zu bestimmten Produkten beraten.
- Es handelt sich um Dokumente, die bis zum 5. Oktober 2026 veröffentlicht wurden. Die Zertifizierungskonsultation, der Bildungskodex des ICO und der Lesesaal des Programms, auf den wir keinen Zugriff hatten, könnten das Bild verändern.
- Die DfE-Standards sind Leitlinien für England; Wir haben die Vereinbarungen anderswo im Vereinigten Königreich nicht überprüft.
- Die meisten KI-Nachhilfestudien sind kurz, klein oder noch nicht von Experten begutachtet. Wir melden die Ergebnisse wie veröffentlicht und haben sie nicht zusammengefasst.
- Wir haben kein Produkt von Drittanbietern getestet. Hinweisleitern, Schweregrade, Warnfelder und Release-Gates sind unsere Empfehlungen, keine DfE-Anforderungen.
Referenzen
Zugriff am 5. und 6. Oktober 2026.
- Ministerium für Bildung. Generative KI: Produktsicherheitsstandards (erstmals veröffentlicht am 22. Januar 2025; aktualisiert am 19. Januar 2026). Quelle
- Ministerium für Bildung. Generative KI: Erwartungen an die Produktsicherheit (Text vom Januar 2025, archiviert am 7. Juli 2025). Quelle
- Ministerium für Bildung. Für die Sicherheit von Kindern in der Bildung sorgen 2026, gesetzliche Regelung in Kraft ab 1. September 2026. Quelle
- Ministerium für Bildung. Filterung und Überwachung: Kernstandard, in Einhaltung digitaler und technologischer Standards in Schulen und Hochschulen (aktualisiert am 16. September 2026). Quelle
- Ministerium für Bildung. Generative künstliche Intelligenz (KI) in der Bildung (aktualisiert am 12. August 2025). Quelle
- Ministerium für Bildung. Datenschutz in Schulen: Beschaffung von Bildungstechnologie (EdTech) (9. Juli 2026). Quelle
- Ministerium für Bildung. Datenschutz in Schulen: Generative Künstliche Intelligenz (KI) und Datenschutz in Schulen (aktualisiert am 23. März 2026). Quelle
- Ministerium für Bildung. EdTech Testbed-Programm: Anleitung (24. September 2026). Quelle
- Ministerium für Bildung und Ministerium für Wissenschaft, Innovation und Technologie. 450.000 benachteiligte Schüler könnten von KI-Nachhilfetools profitieren, Pressemitteilung (26. Januar 2026). Quelle
- Ministerium für Wissenschaft, Innovation und Technologie und Ministerium für Bildung. Edtech- und KI-Unternehmen wurden eingeladen, bei der Entwicklung sicherer KI-Nachhilfeinstrumente für benachteiligte Schüler mitzuhelfen, Pressemitteilung (16. April 2026). Quelle
- Ministerium für Wissenschaft, Innovation und Technologie. AI Tutoring Tools Pioneer-Programm, Ausschreibungsbekanntmachung 2026/S 000-039400, Find a Tender (17. April 2026, bearbeitet am 29. April 2026). Quelle
- Ministerium für Wissenschaft, Innovation und Technologie. AI Tutoring Tools Pioneer-Programm: Vergabebekanntmachung 2026/S 000-062117 (16. Juni 2026, bearbeitet am 2. Juli 2026) und Bekanntmachung mit Vertragsdetails 2026/S 000-062797 (3. Juli 2026), Find a Tender. Quelle
- Inkubator für KI (i.AI). Bildung: KI-Nachhilfetools, Sovereign Benchmark und KI-Infrastruktur für Bildung. Quelle
- Ministerium für Bildung und Ministerium für Gesundheit und Soziales. Neue Anleitung zur Bildschirmnutzung für Kinder im Alter von 5–16 Jahren, Pressemitteilung (8. Juni 2026). Quelle
- Britisches Parlament. Schriftliche Antwort HL2123, Bildung: Digitale Technologie (beantwortet am 20. August 2026). Quelle
- Britisches Parlament. Schriftliche Antwort 14790, Bildung: IKT (beantwortet am 10. Juli 2026). Quelle
- Britisches Parlament. Schriftliche Antwort HL2024, Bildung: Technologie (beantwortet am 27. Juli 2026). Quelle
- Ministerium für Wissenschaft, Innovation und Technologie. Aufwachsen in der Online-Welt: eine nationale Konsultation, Ergebnis und Reaktion der Regierung (Juli 2026). Quelle
- Ministerium für Wissenschaft, Innovation und Technologie. Verhaltenskodex für KI-Cybersicherheit und Verhaltenskodex für die Cybersicherheit von KI (31. Januar 2025). Quelle
- Nationales Zentrum für Cybersicherheit. Prompt-Injection ist keine SQL-Injection (es kann schlimmer sein), Blogbeitrag (8. Dezember 2025). Quelle
- OWASP GenAI-Sicherheitsprojekt. OWASP Top 10 für LLM-Anwendungen 2026 (August 2026) und 2025 (November 2024), LLM01 Prompt Injection. Quelle
- UK AI Security Institute. Inspizieren: ein Open-Source-Framework für die Evaluierung großer Sprachmodelle. Quelle
- Büro des Informationskommissars. Der Kindercode und die Bildungstechnologien (edtech) (aktualisiert am 30. Mai 2023). Quelle
- Büro des Informationskommissars. Altersgerechtes Design: ein Verhaltenskodex für Online-Dienste, Codestandards. Quelle
- Büro des Informationskommissars. Edtech untersuchte: die wichtigsten Ergebnisse unserer Prüfungen (24. Juni 2026). Quelle
- Büro des Informationskommissars. Neues Datenschutzbeschwerdegesetz jetzt in Kraft (23. Juni 2026). Quelle
- Büro des Informationskommissars. ICO begrüßt den Übergang zur neuen Informationskommission und schlägt mit der Eröffnung des Hauptsitzes in Manchester ein neues Kapitel auf (30. September 2026). Quelle
- Bastani H, Bastani O, Sungu A, Ge H, Kabakcı Ö, Mariman R. Generative KI ohne Leitplanken kann dem Lernen schaden: Erkenntnisse aus der Mathematik der High School. Tagungsband der National Academy of Sciences, 2025, 122(26), e2422633122. DOI
- Kestin G, Miller K, Klales A, Milbourne T, Ponti G. KI-Nachhilfe übertrifft das aktive Lernen im Unterricht: ein RCT, der ein neuartiges forschungsbasiertes Design in einem authentischen Bildungsumfeld einführt. Wissenschaftliche Berichte, 2025, 15, 17458. DOI
- Wang RE, Ribeiro AT, Robinson CD, Loeb S, Demszky D. Tutor CoPilot: Ein Mensch-KI-Ansatz zur Skalierung von Echtzeit-Expertise. EdWorkingPaper 24-1054, Annenberg Institute an der Brown University, Version vom November 2025 (Arbeitspapier, nicht peer-reviewed). Quelle
- De Simone M, Tiberti F, Barron Rodriguez M, Manolio F, Mosuro W, Dikoru E. Von Tafeln zu Chatbots: Bewertung der Auswirkungen generativer KI auf Lernergebnisse in Nigeria. Policy Research Working Paper 11125, Weltbank, 2025 (Arbeitspapier). Quelle
- Henkel O, Horne-Robinson H, Kozhakhmetova N, Lee A. Effektive und skalierbare Mathematikunterstützung: Experimentelle Beweise für die Wirkung eines KI-Mathe-Lehrers in Ghana. In Künstliche Intelligenz in der Bildung: Poster und aktuelle Ergebnisse, Communications in Computer and Information Science, 2024, 373–381 (kurzer Aufsatz; Vorabdruck arXiv:2402.09809). Quelle
- LearnLM Team, Eedi, Wang A, Rysbek A, et al. KI-Nachhilfe kann Schüler sicher und effektiv unterstützen: Ein exploratives RCT in britischen Klassenzimmern. arXiv:2512.23633, 2025 (Vorabdruck, nicht begutachtet). Quelle
- Harrison W, Khowaja R, Dobson E, Uwimpuhwe G, Higgins S. Bewertung von KI-Nachhilfe im Innovationstempo: Von Praktikern geleitete mikrorandomisierte Versuche einer KI-Nachhilfeplattform in der GCSE-Wissenschaft. arXiv:2609.14789, 2026 (Vorabdruck, nicht begutachtet). Quelle
- Education Endowment Foundation. ChatGPT in der Unterrichtsvorbereitung, Teacher Choices-Studie, ausgewertet von NFER: Pressemitteilung zu den Ergebnissen (12. Dezember 2024). Quelle
- Education Endowment Foundation. Mathe-Whizz Auswertung durch NFER: Pressemitteilung zu den Ergebnissen (24. Juni 2026). Quelle
- Education Endowment Foundation. Lehr- und Lern-Toolkit: Einzelunterricht. Quelle
Nächster Schritt
Einen KI-Nachhilfelehrer für Schulen bauen oder kaufen?
Wir können einen Entwurf anhand der DfE-Standards und dieser Checkliste überprüfen oder mit Ihnen die Leitplanken, den Bewertungsrahmen und das Beweispaket planen.