Klassische Prüfungssituationen kennt wohl jeder. Man sitzt in einem großen, stillen Raum verteilt, mit (hoffentlich) nichts auf dem Tisch als einer Flasche Wasser und einem Stift. Die Uhr an der Wand tickt, die Zeit rennt und der Prüfer patrouilliert durch die Reihen. In dieser Situation die beste Leistung zu erbringen ist schwierig, für manche nahezu unmöglich.
Bis vor einigen Jahren war genau diese klassische Form der papierbasierten Präsenzprüfungen das Maß aller Dinge und meist sogar vorgeschrieben. Digitale Methoden der Leistungsbeurteilung wurden selbst an Fernuniversitäten kaum eingesetzt.
Es zeichnet sich jedoch ein Wandel ab. Mithilfe neuer Technologien wird es möglich, Prüfungen überall, jederzeit und sicherer als je zuvor abzulegen und das in einer für den Prüfling wesentlich stressfreieren Situation. Wie das funktioniert, erkläre ich Ihnen am Beispiel einer Lösung, die wir bereits erfolgreich implementiert haben.
Einführung: Willkommen bei Ihrer ersten Online-Prüfung, begeben Sie sich in einen geschlossenen Raum ohne Störgeräusche, halten sie Ihren Personalausweis bereit und schalten Sie die Kamera und das Mikrofon ein. Installieren Sie die Software für die Überwachung Ihres Computers. Wenn Sie bereit sind, öffnen Sie Ihren Browser und den Webauftritt Ihres Lerninstituts und drücken Sie Start, um die Prüfung zu beginnen. Bereit, wenn Sie bereit sind.
Authentifizierung: Folgen Sie den Anweisungen des Proctors. Dieser wird Sie zunächst anhand Ihres Kamerabilds und des Personalausweises authentifizieren.
Kontrolle: Der Proctor wird auch den Raum kontrollieren. Er stellt sicher, dass der Raum für die Prüfung geeignet, also geschlossen, ruhig und ohne unerlaubte Hilfsmittel ist. Drücken Sie weiter.
Aufgabenstellung: Prima, das wäre geschafft. Es folgen nun verschiedene Aufgaben, die für Sie individuell zusammengestellt wurden: Multiple Choice, Textaufgaben, Lückentext und Freitextaufgaben.
Abschluss: Sind Sie fertig? Die Zeit ist um. Ihre Antworten werden nun von einem Prüfer begutachtet. Ihre Note wird Ihnen im Online Campus des Instituts angezeigt.
Um sichere, digitale Leistungsbeurteilungen zu ermöglichen, werden drei Komponenten benötigt:
Die Aufgabe des LMS in diesem Dreiklang der Applikationen ist es, dem Benutzer den Start des Tests und die Anzeige des Ergebnisses darzustellen. Weltweit gibt es viele entsprechende Produkte, die zumeist aus einer Oberfläche und einem Backend zur Datenverarbeitung bestehen. In Deutschland ist die OpenSourceSoftware moodle sehr beliebt, während amerikanische Universitäten eine Vielzahl unterschiedlicher Produkte einsetzen. Entscheidend für die Integration ist immer die Unterstützung offener Standards, beginnend bei der Sicherheit (OIDC, SAML), über die Inhalte (SCORM, TinCan, xAPI) und die Technologien (HTML, CSS).
Ein leichtgewichtiges, individuelles Frontend auf Basis eines Standardproduktes ist meist der beste Kompromiss. Einerseits erhält man ein Produkt für eine komplette Studiums- oder Schulplanung, andererseits werden die Lerninhalte Dritter, Proctoring-Dienste oder Online-Aufgaben-Systeme nahtlos integriert und das Institut kann sich individuell darstellen.
Ein Proctoring-Dienst ist aufwändig und so gibt es eine überschaubare Menge am Markt. Sie müssen für Institute viel leisten, wenn zum Beispiel mehr als 100 Studenten gleichzeitig eine Klausur schreiben, oder wenn Stunden von Videomaterial ausgewertet werden müssen.
Man unterscheidet Proctoring-Dienste, die teil- und vollautomatisiert sind. Die teilautomatisierten arbeiten mit Menschen, ähnlich eines Callcenters und skalieren entsprechend schlecht, bzw. sind teuer. Vollautomatisierte Dienste nutzen viel KI, beispielsweise bei der Gesichts- und Raumerkennung sowie im Kontroll-Prozess. Ein Proctoring Dienst speichert zudem die Aufzeichnungen, die im Nachgang analysiert werden, zumeist mit ausgefeilter KI-Mustererkennung von z.B. Betrugsversuchen im Ton und Bild. Bei Auffälligkeiten werden rote Flaggen gesetzt. Die Dozenten des Lerninstituts können diese Hinweise dann speziell verfolgen und bewerten. Die Speicherung der Daten erfolgt in Deutschland aus Datenschutzgründen im LMS des Lerninstituts.
Hier handelt es sich um eine Lösung, in der das Lerninstitut seine Aufgaben verwaltet. Dabei werden nicht komplette Klausuren, sondern einzelne Aufgaben erstellt, die für die Prüfung dynamisch zusammengestellt werden.
Es entsteht ein Aufgaben-Pool, aus dem nicht nur Prüfungen, sondern auch Übungen generiert werden können. Dabei merkt sich das System, welche Aufgaben somit nicht in einer Prüfung gestellt werden sollten. Auch die Durchmischung verschiedener Schweregrade und Aufgabentypen kann mit Schwellwerten festgelegt werden.
Möglich ist daneben auch die Korrektur der Aufgaben und die Kopplung an einen Proctoring-Dienst, sodass das Lerninstitut ein gesamtheitliches Bild erhält. Die Noten fließen zurück in das jeweilige Lern-Management-System, damit der Prüfling seine Leistung im Kontext seines Studiums oder seines Fachs sieht.
Online-Prüfungen sind also überall, jederzeit, individualisiert und stressfrei möglich. Aber sind sie auch sicher? Nein, ist die Antwort, die sich einem sofort aufdrängt. Es lohnt sich aber, sich genauer mit dem Thema zu beschäftigen, denn es gibt viele Aspekte, durch die eine digitale Leistungsbeurteilung vielleicht sogar sicherer wird, als ihre klassischen Alternativen.
Prüfungen werden dynamisch zusammengestellt, sodass eine Vorhersage der Aufgaben nahezu unmöglich ist. Der Spickzettel müsste den Umfang eines Buches haben. Aber was ist mit dem Mobiltelefon, oder auf die Toilette gehen?
Diese Möglichkeiten des Betrugs funktionieren ebenfalls nicht, denn die Online-Aufsicht nutzt das komplette Arsenal der Überwachung:
Es beginnt mit einer eindeutigen Authentifizierung per Kamerabild und Personalausweis. Dann folgt die Raumkontrolle, meist mit einer 360 Grad Rundumsicht. Bei menschlich gestützten Proctoring-Diensten können noch individuelle Kontrollen hinzukommen, wie beispielsweise die Bitte, die Kamera unter den Tisch zu halten oder das Mauspad hochzuheben.
Während der Prüfung ist mindestens eine Kamera immer auf den Prüfling gerichtet, manchmal auch eine weitere auf den Raum. Hinzu kommen das offene Mikrofon mit dessen Live-Überwachung. Und natürlich wird die komplette Computerdesktopaktivität überwacht.
Alle Daten werden aufgezeichnet und meist mit KI-Techniken im Nachgang erneut analysiert, um dann von Menschen bewertet zu werden. Diese individuelle Einzelkontrolle kann die Aufsicht in klassischen Prüfungssituationen nicht leisten.
Wir messen all diese Kontrollmechanismen an klassischen Prüfungsformen, also dem Frage-Antwort-Modell in einer definierten Zeit. Durch Online-Prüfungen entstehen aber auch andere Möglichkeiten, Leistungen zu beurteilen.
Bei sogenannten getakteten Freitextaufgaben, erarbeitet der Prüfling eine Lösung zu einer Aufgabe und übergibt diese dann einem anderen Prüfling zur Diskussion.
Mündliche Prüfungen werden vor Chatbots gehalten. Es werden Fragen gestellt, die der Prüfling beantwortet. Eine KI konvertiert diese in Text, den der Dozent später bewertet. Das sind nur zwei von vielen Beispielen, um Leistungen im digitalen Umfeld bewerten zu können.
Bereits heute haben einige Lerninstitute klassische Leistungsbeurteilungen durch Online-Prüfungen quasi abgelöst. Auch eine Akkreditierung ist möglich, wie die Fernuniversitäten AKAD und IUBH zeigen. Die Vorteile ohne Zeitverlust, Anreise, Kosten für Unterkunft und weniger Stress Prüfungen abzulegen, wiegen die Nachteile auf. Was sind eigentlich die Nachteile? Vielleicht das Loslassen von funktionierenden Prozessen und einer gefühlt höheren Sicherheit.
Denn das Erschleichen von Vorteilen mit Spickzetteln ist auch hier nicht ausgeschlossen, aber viel besser kontrollierbar, wenn die für das Szenario passende Technologie genutzt wird. Dies ist am Ende eine wirtschaftliche Rechnung aus den Kosten und dem Profil der Prüflinge des Lerninstituts.
Wir glauben, dass Online-Prüfungen die klassischen mehr und mehr ablösen werden und Präsenzklausuren schon bald die Ausnahme von der Regel sein können.
|
Haben Sie Fragen zur Gestaltung von Online-Prüfungen und Lern-Management-Systemen? Schreiben Sie mir eine E Mail, ich freue mich auf Ihre Kontaktaufnahme:
Lernen Sie uns kennen: |