Erste praktische Ideen zum Umgang mit ChatGPT in Lehre und Prüfung

Einige ganz wichtige Punkte vorab:

• Statt nur über ChatGPT zu lesen, sollten Sie unbedingt versuchen eigene Erfahrungen mit dem KI-Chatbot zu sammeln. Hier gehts lang.
• Für eine breitere Betrachtung von ChatGPT sowie einen breiteren und tieferen Diskurs der Thematik insbesondere aus didaktischer Perspektive lesen Sie bitte unbedingt diesen Beitrag des HULs zum Thema (auch auf unserem Blog wiedergegeben).
• Dieser Beitrag hier versteht sich als sehr praktischer Ideen- und Impulsgeber, um ins Tun zu kommen. Dazu werden konkrete Ideen vorgestellt, die als Anregung dienen können, wenn Sie kurzfristig starken Handlungsdruck empfinden. Diese beruhen auf ersten eigenen Gehversuchen mit ChatGPT. Wir selbst sind noch keine Experten in der Thematik, setzen uns jedoch mit digitaler Hochschullehre auseinander. Expert:innen aus der Hochschuldidaktik machen völlig zurecht darauf aufmerksam, dass ein Katz- und Maus-Spiel mit ChatGPT unsinnig ist (z.B. im Beitrag des HUL oben oder auf dem Blog von Prof. Reinmann hier und hier). Angeregt wird stattdessen eine grundlegende Debatte und ein Umdenken bei der Prüfungskultur. Die hier dargestellten Erfahrungen und Ideen, sollen nicht im Gegensatz dazu stehend verstanden werden, sondern eher wie ein Nasenspray, um die Symptome bei kurzfristigem Leidensdruck zu lindern. Langfristig sollte man jedoch kein Nasenspray benutzen.
• ChatGPT ist einerseits neu, andererseits stehen weitere Releases mit relevanten Weiterentwicklungen bereits in den Startlöchern. Haltungen und Praktiken dazu entwickeln sich aktuell rasant. Was hier geschrieben ist kann in einiger Zeit total überholt sein.

Mancheiner mag es als Kränkung wahrnehmen, dass man sich mit KI nun ziemlich gut unterhalten kann und diese KI einige Dinge vermeintlich besser kann und mehr „weiß“ als man selbst. Das ganze ist nun sogar auch niedrigschwellig per Chat nutzbar. Wie soll man nur mit dieser Kränkung im Bezug auf die Hochschullehre umgehen? Fragen wir einmal nach:

Puh. Wer sich mit der Thematik befasst dem/der fällt vielleicht auf, dass das sprachlich in Ordnung ist und auch ein ernsthafter Versuch unternommen wird, die Fragen inhaltlich zu beantworten, hier jedoch auch noch ganz viel Luft nach oben ist. Erleichtert?

ChatGPT kennt (noch) „keinen Kontext“. Es weiß nicht, welche Haltungen an der Universität Hamburg vorliegen, welche Diskussionen geführt worden sind, welche Praktiken lokal eingesetzt wurden und welche Erfahrungen gemacht wurden, bezieht keine Rechtsrahmen oder Dienstanweisungen ein. Die didaktische Qualität und Ausdifferenzierung der „Empfehlungen“ würden wir als mangelhaft bis ungenügend ansehen. Die Antworten 4. und 5. bei der zweiten Frage geben noch weitere Fragezeichen auf: Was meint ChatGPT hier? Bezieht sich das auf den Einsatz von ChatGPT in Prüfungen oder auf Betrug im Rahmen von Prüfungen im Allgemeinen? Bei diesen Antworten und auch dem Abschlussparagraphen wird auch eine weitere Eigenschaft deutlich: ChatGPT schwallt kompetent. Wenn man schnell und ohne vertieftes Domänenwissen drüberliest, kann man das schnell abnicken und gefällig finden. Aus diesem Grund ist eine kritische Überprüfung der mit ChatGPT geschriebenen Texte in Forschung und Lehre jedoch essentiell wichtig! Im Folgenden soll es um Tipps und erste Erfahrungen gehen wie man die Aufgabenstellungen von Prüfungen mit einem Fokus auf Hausarbeiten und Take-Home-Exams im Angesicht von ChatGPT verändern kann. Auch sollen grundsätzliche Denkanstöße zum zeitgemäßen Prüfen und dem Thema KI-Literacy gegeben werden.

Quellenangaben und Zitate

Stand Januar 2023 ist nach eigenen Tests ChatGPT nicht gut in der Lage, konkrete Quellen anzugeben und passend zu zitieren. Dieses Thema wird jedoch von den Entwicklern bearbeitet und wird aller Voraussicht nach in kommenden Releases zur Verfügung stehen („WebGPT“). Fragen werden dann sein, ob auch Quellen hinter Paywalls / Walls genutzt werden können und ob dieses Feature noch gratis zur Verfügung stehen wird. Unsere Erfahrung ist, dass ChatGPT zwar gute Literaturlisten zu einem Thema erstellen kann, jedoch nicht gut im Rahmen von Essays einzelne Aussagen passend belegen und zitieren kann. Im dem hier gezeigten Beispiel mag es noch einigermaßen gehen, in komplexeren sozialwissenschaftlichen Arbeiten konnte in unseren Tests ChatGPT fast gar nicht belegen und zitieren. Wenn man ChatGPT ausprobiert und dazu auffordert, Quellen und Zitate zu liefern, dann findet man schnell heraus, wie es das versucht zu lösen und dass Studierende das in Hausarbeiten normalerweise (am besten) anders lösen. Natürlich besteht auch die Möglichkeit, dass wir beim Ausprobieren von ChatGPT unten einfach noch nicht kompetent genug mit der Software gechattet haben.

Was ChatGPT nicht gut kann

… könnte ein Ansatzpunkt sein, um genau hier kreative Aufgabenstellungen für Studierende zu entwickeln. ChatGPT ist sehr transparent in der Darstellung der eigenen Limitationen:

• Expertenwissen nutzen und fördern: Lassen Sie ChatGPT Texte zu komplexen Aufgaben produzieren. Provozieren Sie dabei Fehler und Unklarheiten in den Texten. Lassen Sie diese von Studierenden identifizieren und korrigieren.
• KI-Bias darstellen: Lassen Sie ChatGPT Texte mit einem (statistischen) Bias produzieren. Werden durch ChatGPT gesellschaftliche Stereotypen verfestigt? Lassen Sie diesen von den Studierenden identifizieren und setzen Sie sich gemeinsam mit dem Thema Bias und KI kritisch auseinander.
• Fordern Sie von den Studierenden Einschätzungen und Meinungen zu zukünftigen Entwicklungen oder Utopien ab.
• Stellen Sie Aufgaben, die einen konkreten Bezug zu Events ab 2022 bzw. diese zum Hauptgegenstand haben.

Weitere Tipps und Möglichkeiten

„Klassisches“ Prüfungsformat

Schreiben der Prüfung per Hand unter Aufsicht und ohne internetfähige Hilfsmittel. Davon geht dieses Internet in dem wir und die Studierenden ansonsten ganz viel machen aber auch nicht weg.

Mündliche Prüfungen / Präsentationen / Verteidigungen

Studierende produzieren eine Arbeit, jedoch gibt es im Anschluss daran eine mündliche Verteidigung. Unter Umständen können Studierende die Arbeit hier sogar unter Hilfe von ChatGPT erstellen. Hier schließen sich jedoch urheberechtliche und datenschutzrechtliche Fragen an, die aktuell noch nicht abschließend geklärt sind. Auch erfordert diese eine Anpassung der Eigenständigkeitserklärung. Diese Themen werden im Beitrag des HUL und am Ende des Videos von Prof. Weßels behandelt (siehe unten). Eine Gruppenprüfungsform in diesem Szenario könnte auch die formalisierte Debatte sein, bei der man Studierenden oder Gruppen von Studierenden das Vertreten eines bestimmten Standpunktes zuweist und dann mit anderen Studierenden eine Debatte über den Gegenstand anhand festgelegter Regeln führen lässt.

Kreativität und Originalität

Es betrifft leider die höchste Taxonomieebene, jedoch wird es zukünftig zum Glück wohl noch wichtiger werden: Kreativität und neue Ideen. Konkret könnte hier auch die Erstellung eines Produktes stehen, wie z.B. ein Podcast, ein Video oder eine App. Dies ist sehr gut kombinierbar mit der Pflege eines Tagebuchs während des Entstehungsprozesses.

Normativer / ethischer Diskurs

Bei normativen / ethischen Fragen versucht ChatGPT bisher relativ neutral zu bleiben und beginnt in Ansätzen die Argumente, das Spannungsfeld aufzuziehen (in „nur“ ca. 3 Zeilen). ChatGPT erkennt sehr gut, wenn man es mit ethischen / normativen Fragen versucht zu triezen und verhält sich dann teflonartig. Nach einigen Versuchen erkennt man recht gut, wie ChatGPT auf normative Fragen antwortet. Von Studierenden darf man hier mehr erwarten.

Der Weg ist das Ziel

Studierende dokumentieren den Entstehungsprozess eines Produktes. Dies können Medien sein wie Podcasts, Videos oder Apps oder sogar mit ChatGPT produzierte Texte. Wichtig ist, dass sie persönlich dokumentieren, welche Schritte sie unternommen haben, was sie recherchiert haben, was schön lief, was sie schwierig fanden, welche Entscheidungen sie warum getroffen haben und was sie meinen währenddessen gelernt zu haben. Um die Hürde hier zu senken kann man weniger Wert legen auf die Form und auch eine sehr kleinschrittige Bearbeitung unterstützen. Versionskontrollsysteme wie Git oder Apps können das Führen eines Tagebuchs zusätzlich erleichtern und nachvollziehbar machen. Am Ende können auch Peer-Assessment und Teachback eingesetzt werden, um Aktivierung und Kompetenzerwerb zusätzlich zu fördern.

Faktenchecker

ChatGPT produziert Text und Studierende sollen aus den Kursmaterialien + weiteren Orten Quellen finden, die die Aussagen bestätigen oder widerlegen.

Umgang mit ChatGPT lernen

Studierende erzeugen mit ChatGPT verschiedene Entwürfe, beispielsweise für einen Aufsatz, und machen sich dann daran, diese zu vergleichen, Schwächen aufzuzeigen und eigene, bessere Aufsätze zu schreiben.

ChatGPT als Lehrassistent:in

ChatGPT kann auch anders eingesetzt werden, nämlich um die Lehrenden zu unterstützen. Vielfältige Anregungen dazu gibt es im Artikel des HUL. Ein Beispiel: Automatisierung von Multiple-Choice Fragen. ChatGPT kann dazu verwendet werden, mögliche Antworten auf eine gegebene Frage zu generieren.

Einladung zum Austausch

Das HUL und Prof Reinmann laden die Community der Uni Hamburg am 27. Januar 2023 von 13:00 bis 15:00 Uhr zum Austausch über ChatGPT ein:

Das Sprachmodell „ChatGPT“ wird momentan intensiv diskutiert, gerade auch im Hinblick auf die Lehr- und Lernkultur an Hochschulen. Doch welche Funktionsweise steckt überhaupt hinter dem Chatbot? Was bedeutet die Nutzung von ChatGPT für die Hochschullehre und die wissenschaftliche Praxis? Und müssen Universitäten ihre Prüfungsgewohnheiten nun komplett überdenken?

Digital über Zoom.

Diese Veranstaltung ist eine Kooperation des Hamburger Zentrums für Universitäres Lehren und Lernen und des Digital and Data Literacy in Teaching Lab.

Weitere Links

Ein tolles Video von Prof. Weßels inkl. einiger Praxis-Tests und weiterer Links.

Wertvolle Erfahrungen und Inspirationen aus dem schulischen Bereich.

Juristische Einschätzung zum Thema Urheberrecht bei Werken der Künstlichen Intelligenz.

Beitrag über Ausbeutung und ChatGPT.