Evaluierung digitaler Infrastruktur für die Bildungsforschung

Bei der Auswahl der digitalen Infrastruktur geht es oft um die Frage, ob eine Plattform das leisten kann, was ein Team gerade benötigt. Kann es die Aktivität hosten, die Sitzung bereitstellen, ein Paket exportieren oder ein Dashboard bereitstellen? Diese Fragen sind verständlich. Für die Bildungsforschung sind sie unvollständig.

Ein Tool kann einen Arbeitsablauf bereitstellen und dennoch schlecht auf die Studie abgestimmt sein, die es unterstützen soll. Es kann wichtige Unterschiede zwischen Kohorten abflachen, direkt ableiten, was hätte erfasst werden sollen, mehr personenbezogene Daten sammeln, als für die Arbeit erforderlich sind, oder sich auf Zugänglichkeit verlassen und Arbeit unterstützen, die erst nach der Einführung sichtbar wird.

Beginnen Sie mit dem Studiendesign, nicht mit der Demo

Die SoLAR-Definition von Learning Analytics aus dem Jahr 2025 ist nützlich, da sie den Bereich mehr als nur die Berichterstattung behandelt. Es definiert Analytik als Sammlung, Analyse, Interpretation und Kommunikation zur Unterstützung theoretisch relevanter und umsetzbarer Erkenntnisse.[1] Der Verhaltenskodex von Jisc unterstreicht denselben Punkt aus Governance-Sicht, indem er Gültigkeit, Transparenz und Verantwortung hervorhebt.[2]

Das bedeutet, dass die Bewertung der Infrastruktur mit Studienfragen beginnen sollte. Welche Bedingungen müssen unterschieden werden? Welche Phasen, Kohorten, Moderationsmodi oder Interventionsvarianten müssen in den Daten sichtbar bleiben? Wenn eine Plattform diese Unterschiede nicht klar darstellen kann, kann ein langes Funktionsblatt sie nicht retten.

Bewerten Sie die Bedeutung und Herkunft der Daten

In Forschungsumgebungen ist die zentrale Frage nicht, ob ein System Aktivitäten protokolliert. Es geht darum, ob die protokollierte Aktivität eine stabile Bedeutung hat. xAPI, xAPI-Profile und Caliper weisen alle in die gleiche Richtung: Ereignisdefinition und Taxonomie sind wichtig.[3][4][5]

FAIR fügt eine weitere Anforderung hinzu: Daten müssen so auffindbar, zugänglich, interoperabel und wiederverwendbar bleiben, dass eine spätere Interpretation keine Vermutungen mehr ist.[6] In der Praxis führt dies dazu, dass Bewertungsteams anspruchsvollere Fragen stellen müssen.

• Welche Ereignisse werden explizit definiert und was bedeuten diese Ereignisse?
• Welche Metadaten werden für Kontext, Herkunft, Studienzustand und Zeitpunkt erfasst?
• Bei welchen Maßnahmen handelt es sich um direkte Erfassungen und bei welchen um spätere Schlussfolgerungen?
• Wie werden Instrumentierungsänderungen über Releases oder Kohorten hinweg versioniert?

Wenn die Antworten vage sind, funktioniert die Plattform möglicherweise noch gut als Software, als Forschungsinfrastruktur ist sie jedoch schwächer.

Bewerten Sie Governance und Minimierung frühzeitig

Governance wird oft als eine rechtliche Überprüfung behandelt, die stattfindet, nachdem ein Tool bereits existiert. Diese Reihenfolge erschwert die institutionelle Arbeit. DELICATE, das Cormack-Framework und die ICO-Leitlinien stimmen alle in der gleichen praktischen Lektion überein: Governance und Datenschutz müssen in die Analysepraxis integriert werden und dürfen nicht später damit verbunden werden.[7][8][9][10]

Für Evaluierungsteams bedeutet dies, den Datenfluss zu überprüfen und nicht nur die Richtliniensprache. Welche persönlichen Daten werden tatsächlich benötigt? Wie lange wird es aufbewahrt? Welche Zufahrtswege gibt es? Kann die Sammlung den Teilnehmern und institutionellen Gutachtern klar erklärt werden? Ein System, das diese Fragen nicht eindeutig beantworten kann, ist teuer in der Verwaltung, selbst wenn es attraktiv in der Anschaffung ist.

Bewerten Sie die Zugänglichkeit und die betriebliche Akzeptanz

Barrierefreiheit sollte nicht von der Überprüfung der Infrastruktur getrennt werden. WCAG 2.2 des W3C bleibt die praktische Grundlage für öffentliche digitale Systeme.[11] Wenn eine Plattform mit einer Tastatur schwer zu bedienen ist, schwache Überschriften oder Fokuszustände aufweist oder die Medienalternativen unklar sind, ist das kein kosmetisches Problem. Es ändert sich, wer teilnehmen kann und wie zuverlässig der Workflow bereitgestellt wird.

Die operative Einführung ist aus einem ähnlichen Grund wichtig. Der Implementierungsleitfaden von 1EdTech betont, dass eine effektive Lernanalyse von institutionellen Prozessen abhängt und nicht nur von einem Standard allein.[12] Wenn eine Plattform versteckte Supportarbeit, manuelle Reparatur oder ständige Erklärungen erfordert, evaluiert die Institution nicht nur Software. Es wird eine anhaltende betriebliche Belastung beurteilt.

Bewerten Sie die Interoperabilität und Änderungen im Laufe der Zeit

Die Forschungsinfrastruktur bleibt selten unverändert. Kohorten ändern sich, Interventionen entwickeln sich weiter und die Berichtsanforderungen werden präziser, sobald die Arbeit im Gange ist. Eine sinnvolle Auswertung fragt daher, was nach der ersten Veröffentlichung passiert. Kann die Plattform die Vergleichbarkeit wahren, wenn sich die Instrumentierung ändert? Können Daten oder Inhalte über Standardexportrouten verschoben werden? Können Implementierungshinweise die Personalfluktuation überstehen?

Hier entdecken institutionelle Teams häufig den Unterschied zwischen einem Pilotprojekt, das beeindruckend aussieht, und einer Plattform, die einer wiederholten Verwendung standhält. Je mehr ein System auf undokumentiertes lokales Wissen angewiesen ist, desto schwächer wird es als gemeinsame Infrastruktur.

Eine fünfteilige Scorecard

Für die praktische Überprüfung hilft es, die Bewertung auf fünf Linsen zu komprimieren.

1. Kann das System das Studiendesign originalgetreu darstellen?
2. Können die Daten aussagekräftig, kontextualisiert und vergleichbar bleiben?
3. Können Governance und Minimierung sauber erklärt und betrieben werden?
4. Können Menschen den Workflow tatsächlich zugänglich und konsistent nutzen?
5. Kann die Plattform Veränderungen, Integration und Skalierung ohne versteckte Reparaturarbeiten überstehen?

Diese Scorecard allein führt nicht zu einer perfekten Beschaffungsentscheidung, ist aber ein besserer Ausgangspunkt, als die Infrastrukturbewertung als einen Vergleich von Hauptmerkmalen zu betrachten.

Schließen

Der teuerste Fehler in der Bildungsforschungsinfrastruktur besteht oft darin, keine schwache Plattform zu kaufen. Es handelt sich um den Kauf einer Plattform, die leistungsfähig erscheint, bis die Forschung, die Governance und die betriebliche Belastung auf einmal sichtbar werden.

Aus diesem Grund muss die Infrastrukturbewertung unter die Demo blicken: auf das Ereignismodell, die Metadaten, die Zugänglichkeitsbasislinie, die Anbietergrenzen und die Art und Weise, wie sich ein Tool verhält, wenn es aufgefordert wird, echte Studien und nicht eine Verkaufserzählung zu unterstützen.