Was ist eine Halluzination bei KI?
Als Halluzination bezeichnet man Aussagen eines Sprachmodells, die überzeugend klingen, aber falsch oder erfunden sind – ein Zitat, das es nicht gibt, eine Zahl ohne Beleg, eine Regel, die in keinem Dokument steht.
Der Grund liegt in der Arbeitsweise: Ein Sprachmodell erzeugt die wahrscheinlich passende Fortsetzung eines Textes. Ob die Aussage stimmt, prüft es dabei nicht von selbst. Deshalb formuliert es auch dann flüssig, wenn ihm die Grundlage fehlt.
Warum Halluzinationen beim Lernen besonders schaden
Wer lernt, kann eine falsche Antwort selten als falsch erkennen – sonst müsste er nicht fragen. Was einmal gelernt ist, lässt sich mühsamer korrigieren als eine Lücke schließen.
Für einen Lernassistenten ist deshalb nicht entscheidend, wie gut er formuliert, sondern ob er bei den Inhalten des Kurses bleibt und offen sagt, wenn er etwas nicht weiß.
So sieht das in nerilio aus
Die Frage geht über den Kurs hinaus. Statt eine plausible Antwort zu erfinden, sagt der Assistent, dass die Unterlagen dazu nichts enthalten.
nerilio- Wie viel Prozent des Gelernten vergessen wir nach einer Woche?
- Eine belastbare Zahl dazu finde ich in euren Kursunterlagen nicht. Im Workbook steht nur, dass regelmäßiges Wiederholen das Behalten verbessert.Quelle: Workbook Modul 5 · Kapitel 1.2
Was das bei nerilio bedeutet
nerilio antwortet ausschließlich aus den Inhalten, die ihr freigebt, und mischt kein Weltwissen hinzu. Pro Bot legst du fest, wie sicher eine Antwort sein muss und was geschieht, wenn nichts passt. Auf Wunsch steht an jeder Antwort die Quelle, damit sich nachprüfen lässt, woher sie stammt.
Das macht erfundene Antworten deutlich seltener, schließt sie aber nicht vollständig aus. Deshalb gehört die Quellenangabe dazu – und bei Prüfungen die Entscheidung durch einen Menschen.