So trainieren Sie einen Chatbot mit eigenen Quellen, kostenlos und datensparsam: Arcana in Chat AI

Mit der neuen „Arcana“-Funktion in Chat AI können Sie ein Sprachmodell mit eigenen Quellen trainieren, um verlässlichere Chat-Antworten zu bekommen. „Arcana“ ist eine sogenannte Retrieval-Augmented Generation KI (kurz: RAG-KI), die externe Dokumente als Basis für die Verarbeitung von Anfragen verwendet. So können Sie die bei vielen Large-Language Models (kurz: LLMs) verbreiteten Halluzinationen weitgehend vermeiden. UHH-Mitglieder können „Arcana“ mit ihrer UHH-Mailadresse verwenden.

Sehen Sie in diesem Beitrag, wie Sie „Arcana“ in Chat AI nutzen können.

Über Chat AI und Arcana

Chat AI wird von der Gesellschaft für Wissenschaftliche Datenverarbeitung Göttingen (GWDG) angeboten, einer Einrichtung der Uni Göttingen und der Max-Planck-Gesellschaft. Für Chat AI hostet die GWDG mehrere Large Language Models (LLMs) auf einem skalierbaren Backend. An anderer Stelle haben wir Chat AI schon einmal detailliert vorgestellt: Diverse Sprachmodelle in einem Interface, kostenlos und datensparsam: „Chat AI“ der GWDG – Digitalisierung in der Lehre WiSo

Durch die Integration von „Arcana“ wird Chat AI um eine sogenannte Retrieval-Augmented Generation (kurz: RAG) ergänzt. Durch RAG können kompatible LLMs auf externe Dokumente als Basis für die Verarbeitung von Suchanfragen zurückgreifen. So sind sie nicht länger auf ihr eigenes antrainiertes „Wissen“ angewiesen. So können zum Beispiel Halluzinationen weitgehend vermieden werden, was bessere und verlässlichere Suchergebnisse ermöglicht. RAG erlaubt es aber auch, sehr themenspezifische Fragen zu stellen: da die Informationen für die Antworten eines RAG-Sprachmodells aus angebundenen und somit nachvollziehbaren Quellen kommen, lassen sich ganz einfach Fragen über beziehungsweise an diese Quellen stellen. Studierende könnten sich zum Beispiel als Klausurvorbereitung Fragen ausgeben lassen, die ausschließlich auf klausurrelevantem Text-Material basieren. Lehrende wiederum könnten sich auf Basis ihrer Lehrmaterialien etwa Fragen für Klausuren oder THEs generieren lassen, ohne Angst vor Halluzinationen der KI haben zu müssen.

Vereinfacht gesagt: RAG erlaubt es, ein Sprachmodell mit eigenen Quellen für spezifische Zwecke zu trainieren. Dadurch wird Chat AI noch flexibler einsetzbar.

Wie auch bei Chat AI sichert die GWDG für die Nutzung des Arcana-Dienstes Datenschutzkonformität zu: „Ähnlich wie bei Chat AI speichern wir Dokumente von Nutzer*innen nie in einfacher Form auf unseren Systemen“.

Im Folgenden erfahren Sie nun, wie sie Arcana einrichten und nutzen können.

Anleitung

1. Gehen Sie zu https://chat-ai.academiccloud.de/arcanas.

2. Sie müssen sich zunächst mit Ihrer UHH-Benutzerkennung oder Ihrer UHH-Mailadresse (Ihre „Academic ID“) und Ihrem bekannten Passwort anmelden (in der „Academic Cloud“). Eine ausführliche Anleitung finden Sie hier: Diverse Sprachmodelle in einem Interface, kostenlos und datensparsam: „Chat AI“ der GWDG – Digitalisierung in der Lehre WiSo

Melden Sie sich hier mit Ihrer UHH-Mailadresse oder via „Föderierte Anmeldung“ mit Ihrer B-Kennung an.

3. Sie werden zum RAG-Manager weitergeleitet. Dort erstellen Sie später Ihre Arcanas. Um ins Hauptmenü zu gelangen, müssen Sie sich vorher mit Ihrer Academic ID registrieren.

Bestätigen Sie die Nutzungsbedingungen, um einen Account für den RAG-Manager zu erstellen.

4. Nach erfolgreicher Registrierung öffnet sich nun der RAG-Manager.

Im Hauptmenü des RAG-Manager finden Sie Schnellzugriffe für Ihre Arcanas sowie eine Kurzanleitung.

5. Im unteren Bereich der Seite finden Sie einen Quick-start guide zur Erstellung einer Arcana.

Im „Quick-start guide“ finden Sie den Arcana-Prozess von der Erstellung bis zur Nutzung kurz zusammengefasst.

6. Klicken Sie auf den Menüpunkt „Arcanas“.

In diesem Menü finden Sie später Ihre verschiedenen Arcanas.

7. Klicken Sie nun auf „Create New Arcana“. Es öffnet sich ein Fenster zur Benennung Ihrer Arcana. Klicken Sie auf „Save“.

Hinweis: Die Benennung einer Arcana kann nicht rückgängig gemacht werden.

8. Ihre Arcana ist nun erstellt. Als Nächstes müssen Sie Dateien hochladen, damit Ihre Arcana darauf zugreifen kann. Klicken Sie auf „Upload Files“ und wählen Sie eine oder mehrere beliebige Dateien aus.

Im Upload-Feld können Sie jede beliebige Datei hochladen, sofern diese nicht größer als 300 MB ist.

10. Nach erfolgreichem Upload müssen Ihre Dateien noch indexiert werden.

Die Dateien müssen für die Arcana noch lesbar gemacht, also „indexiert“ werden.

11. Klicken Sie auf „Index Generation“.

Der Indexierungsprozess lässt sich hierüber starten.

12. Je nach Datei-Größe kann der Indexierungs-Prozess auch länger dauern.

In diesem Menüfeld können Sie den aktuellen Status Ihres Indexierungsprozesses nachvollziehen.

13. Wenn die Indexierung erfolgreich ist, können Sie damit beginnen, Ihre Arcana in Chat AI zu benutzen. Klicken Sie dafür auf „Access Link“. Diesen können Sie auch teilen.

Im Menüfeld der Arcana kann man die indexierten Dateien einsehen.

14. Ein kurzer Guide erklärt, wie Sie Ihre Arcana nutzen und zu Chat AI gelangen können.

Diesem Menüfenster entnehmen Sie den Link zu Ihrem Arcana innerhalb von Chat AI. Wer ihn aufrufen möchte, muss sich mit der eigenen Academic ID anmelden.

15. Chat AI empfiehlt, den Regler für temp auf 0 und für top_p auf 0.05 zu stellen.

In Chat AI lassen sich verschiedene Einstellungen vornehmen, um die Chat-Antworten zu optimieren.

16. Arcana kann nur zusammen mit LLMs benutzt werden, die mit einem Buch-Symbol markiert sind.

Arcana funktioniert nur in Verbindung mit Sprachmodellen, die durch ein Buchsymbol gekennzeichnet sind.

Wenn Sie ihr Profil mit den dazugehörigen Arcanas löschen möchten, können Sie das im RAG-Manager tun, wenn Sie auf das Profilsymbol klicken. Sie können dann jederzeit einen neuen Account für den RAG-Manager erstellen. Für den Einstieg konsultieren Sie gerne auch die Service-Seite des GWDG: Arcana/RAG :: Documentation for HPC.