Mit diesem Beitrag möchten wir Erfahrungen aus der Durchführung von Take-Home-Exams (THE) in OpenOlat im vergangen Semester aufgreifen und Prüfenden gute Praktiken an die Hand geben, die sie für die Erstellung der kommenden Runde THE nutzen können. Dabei liegt der Fokus auf vermeintlichen Täuschungsversuchen seitens der Studierenden im Rahmen von THE. Dieses Thema wurde in der Nachlese zur THE-Runde aus dem vergangenen Wintersemester seitens der Prüfenden wiederholt vorgebracht (siehe dazu auch den Beitrag von Mareike Wieland). Wir präsentieren und diskutieren hier Ansätze, welche im Rahmen von THEs Täuschungsversuche seitens der Studierenden verringern können.

Über dieses Thema hinaus und komplementär stellen wir außerdem eine unverbindliche Handreichung zu „Good Practices“ bei der Erstellung und Durchführung von THEs in OpenOlat zur Verfügung. Diese richtet sich an Prüfende, die noch nicht so versiert im Umgang mit THE in OpenOlat sind oder sich aktuell für eine Auffrischung / Zusammenfassung interessieren. Diesen können Sie inklusive einer Liste mit nützlichen Links hier einsehen: Best_Practices_THE (PDF)

Wie kann ich Täuschungsversuche von Studierenden erschweren?

Wiederholt erreichte uns, insbesondere von prüfenden Wirtschaftswissenschaftler:innen, das Feedback, dass Täuschungsversuche seitens der Studierenden im Rahmen der THE aufgefallen seien. Sowohl bezogen auf die Chancengleichheit zwischen den Studierenden, der Vergleichbarkeit der Prüfungsleistungen, als auch der Erreichung der Lernziele von Lehrenden und Studierenden ist dies ein relevantes Thema. Im Sinne der Transparenz und des Erwartungsmanagements wollen wir von vornherein auf zwei „bittere Pillen“ für Sie als Prüfende hinweisen:

  1. Geschlossene Aufgaben, welche Faktenwissen abfragen, eignen sich für unbeaufsichtigte digitale Prüfungen eigentlich nicht. Eigentlich, weil es kurzfristig in der Pandemie-Sondersituation und mit Hinblick auf einen schonenden Umgang mit Lehr-Ressourcen Sinn macht, einen pragmatischen Weg zu wählen. Betrachten Sie somit diese steile These „nur“ als Hinweis aus einer theoretisch-didaktischen Perspektive, die Sie zur Reflektion über Ziele von Prüfungen anregen soll. Warum wir jedoch hinter dieser These stehen, wird hoffentlich weiter unten klar. Zudem wird diese Meinung auch in einem Video des HUL explizit geteilt. In dem Beitrag von Prof. Dr. Gabi Reinmann mit dem Titel: Prüfen an der Universität – Prüfungsgestaltung und Prüfungskultur geht es um die Ziele von Prüfungen, etwa ab Minute 21:40.
  2. Je komplexer und offener die Fragestellung ist und je mehr Transferleistung sie abverlangt, desto schwieriger ist das Kopieren von Antworten. Dies hat einen bitteren Nachgeschmack, da die Korrektur solcher Aufgaben einen Mehraufwand für Sie als Prüfende verursacht.

Ziele von Prüfungen

Die Pandemie führte erzwungenermaßen zu einer sehr schnellen Digitalisierung der universitären Lehre. Je länger der Verarbeitungsprozess des dadurch entstandenen Schocks andauert, desto mehr kann man bei manchen Lehrenden wieder eine verstärkte Auseinandersetzung mit didaktischen Aspekten der universitären Lehre wahrnehmen (vgl. hierzu auch eine sehenswerte Analyse des HUL, ebenfalls von Prof. Dr. Gabi Reinmann, welche sich unter anderem mit hybrider Lehre beschäftigt). Der Schluss liegt nahe, dass die aktuelle Lage nicht nur Chancen zur Reflektion über die Lehre, sondern auch über Prüfungen und Prüfungskultur bietet. Hierzu möchten wir Ihnen nun einen kleinen Impuls geben. Dieser befasst sich mit den Zielen von Prüfungen und wird im Verlauf des Artikels weiterentwickelt. Ziele von Prüfungen kann man –angelehnt an die oben verlinkte Ausarbeitung von Prof. Dr. Reinmann – wie folgt differenzieren:

„Ergebnisorientiert“ („Assessment for certification)“: Prüfungen sind mit Rechtsfolgen verknüpft. So kann man nach erfolgreich abgelegter Prüfung etwa eine zulassungsbeschränkte Tätigkeit ausführen (Auto fahren), einen Titel tragen (B.Sc.), einen Folgekurs besuchen oder bei einer letztmalig nicht bestandenen Prüfung einen Studiengang nicht mehr weiter studieren. Der Gedanke sollte nicht verwundern, dass, je mehr Beachtung dieses Prüfungsziel erfährt, desto mehr auch die Motivation bei manchen Studierenden ansteigen kann, einen Täuschungsversuch zu unternehmen nur „um die Hürde hinter sich zu bringen“.

„Prozessorientiert“ („Assessment for learning“): Prüfungen unterstützen den Lernprozess der Studierenden, weil sie Feedback über Wissenslücken / beherrschtes Wissen ermöglichen. Dadurch können Studierende erfahren, wo sie stehen und wo noch Lücken sind, die sie schließen können („Sich-Prüfen“).

Die kurze und die lange Frist

Nun wird es (endlich) angewandt. Uns sind die aktuellen Herausforderungen an Sie als Prüfende sehr bewusst. Um diesen Herausforderungen mit einem Fokus auf vermeintliche Täuschungsversuche bei den digitalen Prüfungen begegnen zu können, wollen wir Ihnen einerseits pragmatische Hinweise für eine kurzfristige Bearbeitung des Problems geben. Für die lange Frist (etwa perspektivisch für das kommende Wintersemester) wollen wir Ihnen zusätzlich einen didaktischen Impuls geben, welcher insbesondere die prozessorientierte Komponente von Prüfungen ernst nimmt und dadurch zu weniger Täuschungsversuchen führen kann.

Kurzfristig

  1. Stellen Sie möglichst offene Prüfungsfragen, die beispielsweise in einer kurzen Textantwort bearbeitet werden können. Hierzu eignet sich das Element „Freitext“ im Rahmen des Kursbausteins „Test“ oder gleich der Kursbaustein „Aufgabe“ in OpenOlat.
  2. Bei Verwendung des Kursbausteins Test: Randomisieren Sie die Reihenfolge der Fragestellungen sowie innerhalb der Fragen die Reihenfolge der vorgegebenen Antwortmöglichkeiten im Kursbaustein „Test“.
    • Wenn Sie hier die Fragen aus einem größeren Fragepool ziehen als für die Erstellung der individuellen Prüfung nötig, dann achten Sie darauf, dass der Schwierigkeitsgrad der Pool-Fragen vergleichbar ist, die Fragen (in Summe) die gleiche Punktzahl einbringen und die Bearbeitung ähnlich viel Zeit beansprucht.
    • Die Randomisierung erschwert (zumindest innerhalb einer Sektion) Fragen zu stellen, die aufeinander aufbauen.
    • Für geschlossene Fragen stehen in OpenOlat folgende Fragetypen im Kursbaustein „Test“ zur Verfügung: Single & Multiple Choice, True/False, Kprim, Matrix, Drag&Drop, Hottext, Hotspot und Reihenfolge. Die ausgewählten Fragetypen und die Präsentation der etwa im Antwort-Wahl-Verfahren zur Auswahl stehenden Antworten im Kursbaustein „Test“ sollten sich nicht zu sehr voneinander unterscheiden. Falls Sie doch eine breite Palette an Fragetypen verwenden wollen, sollten Sie diese vorab gemeinsam mit den Studierenden proben. Andernfalls fließt in die Überprüfung auch mit ein, wie gut und flexibel Studierende mit unterschiedlichen digitalen Frageformaten umgehen können.
  3. Fordern Sie die handschriftliche Bearbeitung der Aufgaben inkl. anschließender Digitalisierung der Antworten seitens der Studierenden (möglich im Kursbaustein „Aufgabe“, jedoch auch im Kursbaustein „Test“ unter dem Fragetyp „Datei hochladen“). Dies ermöglich implizit offenere Fragen, verhindert die Möglichkeit von copy-and-paste sowie vereinfacht etwas die Bepunktung von einzelnen Gedankengängen, Rechenwegen / Zwischenschritten.
  4. Verknappen Sie die Bearbeitungsdauer
    • Insbesondere für Studierende, die unter Prüfungsangst leiden, verstärkt es diese und kann somit paradoxerweise auch zum Täuschen motivieren.
  5. Erzwingen Sie Linearität in der Beantwortung der Aufgaben im Kursbaustein „Test“.
    • Dies sollte definitiv vorab mit den Studierenden geprobt werden. Es kann hier seitens der Studierenden zu Bedienungsfehlern kommen, die prüfungsrelevant werden können (etwa, wenn man von einer Frage zur nächsten springt, ohne das zu wollen).
    • In Klausuren in Präsenz werden Studierende sogar regelmäßig dazu aufgefordert „sich einzulesen“, die Klausur durchzublättern und sich auch hinsichtlich einer Prüfungsstrategie vorab mit den Fragen vertraut zu machen. Im Vergleich zu Präsenzklausuren stellt dieses technische Feature also eine Ungleichbehandlung dar.
    • In Präsenzklausuren können Studierende wieder zurückspringen. Dies ist relevant, wenn z.B. eine Folgefrage manche Studierenden erst auf die Antwort für eine Frage davor gebracht hat, oder man nach z.B. 15 Minuten der Nervosität zu Beginn erst mit der Klausur „warmwerden“ musste.
    • Falls eine Frage missverständlich oder fehlerhaft gestellt ist und dies im Verlauf des THE auffällt, dann impliziert die erzwungene Linearität quasi automatisch den Ausschluss der Frage aus der Bewertung.

Es sei darauf hingewiesen, dass sowohl die vorsätzliche Zeitverknappung als auch der Zwang zur Linearität die Studierenden unter erheblichen psychischen Stress setzen können. Dieser Stress kommt zusätzlich zur grundsätzlichen Prüfungssituation sowie zur Durchführung einer digitalen Prüfung hinzu (für Studierende ist es beispielsweise teilweise ungewohnt, Formeln in Word zu schreiben). Bei einer didaktischen Fokussierung der Prüfung auf diese beiden Punkte stellt sich zudem die Frage, was die Prüfung exakt abprüfen soll.

Langfristig

Für die lange Frist wollen wir Ihnen hier eine Anregung liefern, wie Sie Prüfungen gestalten können, welche den Lernprozess der Studierenden fördern und gleichzeitig zu weniger Täuschungsversuchen führen sollen:

Lehre während des Semesters:

Veranschaulichung des Konzepts

Vorschlag für ein Lehr- und Prüfungskonzept

In einem Block variabler Länge werden gemeinsam mit den Studierenden Inhalte erarbeitet. Im Anschluss daran wird der Lernfortschritt bei den Studierenden durch einen „Meilenstein-Test“ erhoben. Dieser kann mit geschlossenen Fragen (z.B. Single Choice / Multiple Choice), etwa auch mit dem OpenOlat-Baustein „Selbsttest“, durchgeführt werden. Am Rande sei hier darauf hingewiesen, dass die Erstellung guter Single Choice / Multiple Choice Fragen nicht trivial ist. Guten Input dazu finden sie beispielsweise hier. Den Studierenden sollte hier verdeutlicht werden, dass sie das Wissen aus dem vorangegangenen Block direkt im Anschluss beherrschen sollten, um es anwenden zu können (direkter Nutzen wird für Studierende deutlich, die Anwendung festigt das erworbene Wissen auf praktische Art).

Diese Anwendung kann z.B. im Rahmen eines (Gruppen-)Projekts stattfinden. Ein erfolgreiches Ablegen des Meilenstein-Tests dient somit als Eintrittskarte für die Anwendung. Diese Sequenz aus: Block Wissensvermittlung –  Meilenstein-Test – konkretes Anwendungsszenario kann im Rahmen der Veranstaltung auch mehrmals mit wechselnden Inhalten wiederholt werden. Die Vorteile dieses Konzepts liegen darin, dass Studierende zum kontinuierlichen Lernen während des Semesters bewegt werden und sie die regelmäßige Überprüfung mehr als Komponente des eigenen Lernprozesses erleben, anstatt als ein Ereignis, bei dem es vorrangig ums Bestehen geht, um am Ende eine Reihe von notwendigen Bedingungen für den Studienabschluss erfüllt zu haben. Es ist genau dieser Unterschied, der bei Studierenden zu einem unterschiedlichen Lernverhalten während des Semesters (nicht mehr bulimisch wenige Tage / Wochen vor der Abschlussprüfung) und einer anderen intrinsischen Motivation („Wenn ich den Stoff beherrsche, kann ich ihn anwenden“ vs. „Wenn ich den Stoff beherrsche kann ich das Modul abschließen“) führen kann. Dies soll die Perspektive der Studierenden auf die Prüfung verändern und zu einer geringeren Täuschungsmotivation führen. Selbstverständlich muss an Universitäten geprüft werden und so auch in dem hier vorgestellten Konzept – allerdings verschiebt sich der Fokus. Da die Studierenden hier bereits während dem Semester in Tests den Grad der Aneignung von Wissen in mehreren Tests demonstriert haben, kann nun die Abschluss-Prüfung offene Fragen beinhalten. Die Fragen können nun z.B. auf die Lehren und Erlebnisse aus den Anwendungsphasen abzielen. In einer Phase des digitalen Prüfens ohne Überwachungsmöglichkeiten haben offene Prüfungsfragen erhebliche Vorteile hinsichtlich der Täuschungssicherheit. Probieren Sie es aus, wir unterstützen Sie gerne dabei!

Hier wird Ihnen geholfen

Wir sind auch weiterhin sehr an einem Austausch von Erfahrungen und Eindrücken interessiert. Teilen Sie uns gerne mit, was gut und was weniger gut funktioniert hat. Ihre Individuellen Supportanfragen zu technischen Aspekten rund um THE in OpenOlat wie auch Anfragen mit fachlich-didaktischem Hintergrund können Sie gerne jederzeit an die Funktionsmail des eLearning-Büros der WiSo-Fakultät richten.

Wir wünschen Ihnen viel Erfolg bei Erstellung und Durchführung der THE in diesem Sommersemester!