In den letzten beiden Semestern mussten viele Lehrende unserer Fakultät ihre Prüfungen mehr oder weniger ad hoc digitalisieren und in Form von Take-Home-Exams realisieren. Dies hat allen Beteiligten, den Lehrenden, den Mitarbeiter:innen etwa im Studienmanagement und im eLearning-Büro, und natürlich den Studierenden selbst, viel Engagement abverlangt. Weil auch die Prüfungen im Sommersemester 2021 pandemiebedingt wieder in digitaler Form ablaufen werden, haben wir Mitte April zu einem ersten Erfahrungsaustausch zu Take-Home-Exams an unserer Fakultät eingeladen.
In diesem Blogbeitrag fassen wir die Ergebnisse einer Lehrenden-Befragung und unsere Eindrücke aus einem offenen Erfahrungsaustausch zusammen, insbesondere im Hinblick auf die Frage, was wir und Sie für die Planung und Durchführung der bald wieder anstehenden Take-Home-Exams aus den ersten Versuchen mitnehmen können.
Wir möchten Sie auch in der zweiten digitalen Prüfungsphase bestmöglich unterstützen. Nutzen Sie daher unbedingt die Gelegenheit, uns Ihre Bedarfe und gerne auch weitere Eindrücke und Erfahrungen mitzuteilen, zum Beispiel über das OpenOlat Forum oder per Mail.
Ergebnisse der Befragung
Insgesamt haben sich 24 Lehrende an der über die Studienbüros verschickten Befragung beteiligt. Der Großteil (n = 16) von ihnen lehrt in der Sozialökonomie, aber auch Lehrende aus der VWL (n = 5) und den Sozialwissenschaften (n = 3) haben sich an dieser Form der Rückmeldung beteiligt.
OpenOlat erzielt hohe Zufriedenheit
OpenOlat hat sich als Plattform für Take-Home-Exams durchgesetzt. Mehr als zwei Drittel nutzten den Aufgabenbaustein, und etwas mehr als ein Drittel den Testbaustein. Mit der technischen Umsetzung sind die Lehrenden zu über 90 Prozent (eher) zufrieden. Aus Sicht der Lehrenden gab es auch auf Seiten der Studierenden (eher) keine technischen Probleme. Das ist erfreulich, aber natürlich ist jedes einzelne technische Problem im Prüfungsablauf sowohl für Lehrende als auch Studierende sehr ärgerlich.
Ergebnisse der Befragung: Zufriedenheit mit OpenOlat
Eignung von Take-Home-Exams variiert
Für die eigene Lehrveranstaltung waren Take-Home-Exams für immerhin 80 Prozent der Lehrenden in der Stichprobe ein (eher) geeignetes Format, um die Lernziele adäquat zu prüfen. Auf Ebene des gesamten Moduls trifft dies nur noch für rund 60 Prozent zu. Entsprechend erscheint wiederum etwa 60 Prozent der Befragten der Einsatz von Take-Home-Exams für die eigene Prüfungspraxis sinnvoll, 40 Prozent hingegen nicht.
Ergebnisse der Befragung: Eignung von Take-Home-Exams
Ähnlich konträr verhalten sich die Antworten bei der grundsätzlichen Frage, ob Take-Home-Exams dauerhaft als Option in der Prüfungsordnung verankert werden sollen. Hier steigt der Zustimmungswert leicht auf rund 70 Prozent.
Ergebnisse der Befragung: Zukünftiger Einsatz von Take-Home-Exams
Ein Grund für eine gewisse Skepsis gegenüber diesen Formaten kann neben der möglicherweise mangelnden Passung des Prüfungsformats zu den Lernzielen der Veranstaltung oder des Moduls auch in den Erfahrungen mit Täuschungsversuchen liegen. Diese Erfahrungen wurden offen erfragt und zeigen ein sehr gemischtes Bild. So schätzt eine Lehrperson, dass in ungefähr 80 Prozent der Take-Home-Exams getäuscht wurde. Eine andere Lehrperson schreibt, sie konnte keine nachweisbaren Täuschungsversuche feststellen.
Täuschungsversuche schwierig nachzuweisen
Neben der Tatsache, dass unsere Befragung keine Rückschlüsse auf die Art der Lehrveranstaltung und deren Durchführung zulässt, offenbaren die Antworten, dass die Feststellung eines Täuschungsversuchs nicht immer zweifelsfrei möglich ist. Identische Formulierungen und Fehler werden als Indiz für Täuschungen genannt, gleichzeitig erschien es vielen Lehrenden aber offenbar als zu unsicher und aufwändig, Täuschungsversuche rechtssicher zu identifizieren.
Eindrücke aus dem Erfahrungsaustausch
Foto: UHH/Lutsch
In einem 90-minütigen Gespräch schilderten über 20 Lehrende und Mitarbeitende der Studienbüros der Fachbereiche Sozialökonomie, Sozialwissenschaften und Volkswirtschaftslehre unter Moderation von Kai-Uwe Schnapp ihre Erfahrungen mit Take-Home-Exams.
Vielfalt und Kreativität
Wenngleich alle „Take-Home-Exams“ durchgeführt haben, verbirgt sich hinter diesem Begriff in der Umsetzung eine große Vielfalt an Lösungen. Die Bearbeitungszeit variierte von wenigen Stunden bis zu einer Woche und auch die Teilnahmezahlen schwankten stark (von Seminargröße bis hin zu Vorlesungen mit 380 Studierenden).
In der konkreten Umsetzung der Prüfung zeigt sich eine große Kreativität. Eine handschriftliche Aufgabenbearbeitung mit späterem Einscannen oder Abfotografieren der Lösung sollte ein simples Kopieren aus anderen Quellen zumindest erschweren. Einige Lehrende begleiteten die Prüfungen durch eine vorherige Videokonferenz und blieben als Ansprechpartner:innen über diesen Weg erreichbar.
Insgesamt ziehen die Lehrenden ein überwiegend positives Fazit. Allerdings schwankt die Zufriedenheit erheblich, wie bereits die Befragungsergebnisse zeigen. Die offenen Rückmeldungen zeigen, dass die Studienphase eine wichtige Rolle für das Gelingen dieser Prüfungsart spielt. Mit fortgeschrittenen Bachelor- und insbesondere Masterstudierenden verliefen Take-Home-Exams weniger problematisch, bei Grundlagenveranstaltungen sorgte dieses Prüfungsformat aber mitunter für „frustrierende Erfahrungen“.
Anpassung der Prüfungsfragen an das neue Format
Entscheidend für das Gelingen beziehungsweise die Zufriedenheit ist offenbar, ob die Konzeption der Lehrveranstaltung ebenso wie Zahl der Studierenden essayartige Aufgaben und freie Textantworten zulassen. Viele Lehrende haben versucht, die Art der Aufgaben zugunsten offener Fragetypen zu verschieben.
Geschlossene Fragen, etwa im multiple choice-Format, führten hingegen zu Frustrationen, weil die korrekten Antworten leichter geteilt werden konnten. Um Täuschungsversuche zu erschweren, setzten viele Prüfende auf mehrere Versionen einzelner Aufgaben mit unterschiedlichen Zahlenwerten. Dies erforderte jedoch bereits in der Vorbereitung erheblich mehr Zeitaufwand. Dennoch sorgte der Eindruck umfassender Täuschungsversuche bei vielen Lehrenden für ein ärgerliches Gefühl während der Korrektur.
Mehraufwand für die Lehrenden
Spätestens zum Zeitpunkt der Korrektur der Take-Home-Exams erzeugten auch Freitextaufgaben größeren Aufwand, da deren Sichtung und Bewertung zeitaufwendiger ist als bei den geschlossenen Auswahlfragen, die OpenOlat auf Basis der Antwortkonfiguration durch die Prüfenden automatisch auswerten kann. Aufgrund des fachlichen Anspruchs bei der Bewertung von Freitextaufgaben lässt sich die Bewertung hier dagegen nur schwer delegieren. Problematisiert wurde zudem die Frage, wie eine faire Gewichtung der offenen im Vergleich zu geschlossenen Fragen gelingt.
Insgesamt erzeugte die Planung, Durchführung und Auswertung von Take-Home-Exams bei allen Beteiligten einen erheblichen Mehraufwand. Mit Take-Home-Exams als zukünftigem Prüfungsformat verbinden die Lehrenden daher durchaus Chancen, sehen die Umsetzung vor dem Hintergrund begrenzter Ressourcen aber kritisch.
Täuschungsversuche als Frage der Fairness
Kritisch diskutiert wurde auch die Frage der Fairness. Im Durchschnitt sei die Bewertung eher besser ausgefallen, wenngleich einigen Lehrenden eine stärkere Polarisierung der Noten auffiel. Tendenziell haben mehr Studierende die Prüfung tatsächlich angetreten. Neben der Frage, inwieweit die Täuschungsversuche die Fairness der Prüfungen gefährden, wird auch thematisiert, dass die potentiell unterschiedlichen Bearbeitungszeiten ebenso wie große Unterschiede in der technischen Ausstattung zu ungerechten Chancen beitragen könnte.
Und jetzt? Ausblick auf Unterstützungsangebote zu Take-Home-Exams im Sommersemester 2021
Wir freuen uns, dass Sie als Lehrende laut der vorgestellten Befragungsergebnisse mit den Unterstützungsangeboten von Seiten des eLearning-Büros, der Studienbüros und des HUL überwiegend zufrieden sind.
Mit Blick auf die nächste Prüfungsphase arbeiten wir derzeit an einer kompakten Handreichung mit Empfehlungen zur Planung und Durchführung von Take-Home-Exams speziell an unserer Fakultät, die besonders praktikable Lösungen und Tipps aufgreift. Informationen zur technischen Umsetzung mit OpenOlat finden Sie weiterhin auf der Infoseite zum Thema im eLearning-Portal der UHH. Dort fließen noch immer Erfahrungen aus der Prüfungspraxis mit OpenOat ein.
Weiterentwicklung von OpenOlat
Erfahrungen, die an mehreren Hochschulen mit OpenOlat als Plattform für Take-Home-Exams gemacht wurden, werden in der Weiterentwicklung der Software berücksichtigt:
- Wie Kolleg:innen im HUL berichten, dürfen wir mit den kommenden OpenOlat-Versionen mit einem Formularbaustein rechnen, der Prüflinge bei Abgabe ihres Exams im Aufgabenbaustein automatisch zu einer Eigenständigkeitserklärung leiten kann.
- Prüfende sollen bald auch die schriftlichen Abgaben ihrer Prüflinge innerhalb von OpenOlat im Browser öffnen und mit Bewertungskommentaren versehen können, wodurch die zeitfressenden Schritte des Herunter- und Hochladens entfallen.
- Beim offenen Fragetyp im Testbaustein soll das Einfügen von Text aus dem Zwischenspeicher des Teilnehmenden von der Kursbesitzer:in per Konfiguration unterbunden werden können, um so Plagiate zu erschweren.
Weitere Anregungen zur Weiterentwicklung von OpenOlat bewertet die Entwicklungsfirma zurzeit:
- So hoffen wir darauf, dass die schon jetzt im Kurs verfügbaren Logdateien, in denen grundsätzlich alle Aktionen von Teilnehmenden dokumentiert werden, auch tatsächlich von „normalen Kursbesitzer:innen“ interpretiert werden können. Bislang sind das ziemlich kryptische Daten.
- Angeregt haben wir auch, dass sich im Aufgabenbaustein die Bearbeitungsdauer eines Prüflings ab dem Herunterladen der Aufgabenstellung individuell messen und begrenzen lässt.
- Außerdem haben wir den Wunsch platziert, Prüflingen ihre individuell verbleibende Restzeit so präsent anzuzeigen, wie es im Testbaustein bereits der Fall ist.
- Und wir haben moniert, dass eine Aufgabenstellung nicht nur in mehreren Varianten möglich sein soll, die dann reihum vergeben werden. Alternativ soll es möglich sein, mehrere Dokumente oder Dateien als Elemente einer Gesamtaufgabe bereitzustellen.
Nach der Prüfung ist vor der Prüfung
Wie immer stehen wir weiterhin für individuelle Supportanfragen technischer, aber auch organisatorischer und didaktischer Art über die Funktionsmail der WiSo-Fakultät zur Verfügung. Was wünschen Sie sich an weiterer Unterstützung im Kontext digitaler Prüfungen und Lehre? Wir freuen uns, mit Ihnen ins Gespräch zu kommen! Nutzen Sie gerne das OpenOlat Forum als Ort für kollegialen Austausch oder sprechen Sie uns direkt an.
Schreibe einen Kommentar