Wie oft erfinden ChatGPT und andere KIs Quellen? Die Studienlage

Wie oft erfindet ChatGPT Quellen? Die Zahlen auf einen Blick

GPT-3.5 erfand 2023 in der Studie von Walters und Wilder 55 % seiner Literaturangaben, GPT-5 mit verfügbarer Websuche kam 2026 bei Bernstein et al. auf 7,13 %. Dazwischen liegen neue Modellgenerationen, aber auch andere Fächer, Prompts und Prüfverfahren. Die Tabelle zeigt je Modellgeneration eine aktuelle Zahl samt Bedingungen, Preprints sind gekennzeichnet.

Keine dieser Zahlen beschreibt eine deutschsprachige Hausarbeit in BWL, Jura oder Soziologie. Fast alle Tests liefen auf Englisch, die meisten in der Medizin, mehr dazu unter Methodik dieser Übersicht.

Alle Studien im Überblick

Diese Übersicht führt 24 Studien von 2023 bis 2026, die den Anteil erfundener KI-Literaturangaben als Zahl berichten: 17 begutachtete Zeitschriftenartikel und 7 Preprints, Stand Oktober 2026. „Erfunden“ heißt meist, dass sich das Werk in Datenbanken, Katalogen und Suchmaschinen nicht finden ließ, „voll korrekt“, dass alle geprüften Angaben stimmen. „k. A.“ heißt, die Studie nennt keine Zahl, „berechnet“, die Quote ist aus ihren Rohzahlen gerechnet.

Sechs weitere Studien stehen nicht in der Tabelle, weil sie keine vergleichbare Quote nennen. Aljamaan et al. (2024) und Özbek und Bağcıer (2026) messen einen Halluzinations-Score statt eines Anteils. Cheng et al. (2025) berichten nur, dass 60,4 % von 303 Angaben korrekt waren. Uçar et al. (2026) geben Raten je Frage an. Tiller et al. (2026) bewerten ganze Literaturlisten, Buchanan, Hill und Shapoval (2026) nennen im Abstract keine Zahlen.

Warum die Zahlen zu KI-Halluzinationen so weit auseinandergehen

Die Zahlen gehen auseinander, weil jede Studie anders misst, und das trifft selbst dasselbe Modell: GPT-5 kam mit verfügbarer Websuche auf 7,13 % erfundene Angaben (Bernstein et al. 2026), in einem Informatik-Benchmark über die API auf 50,92 % (Xu et al. 2026, Preprint). Für die GPT-5-Familie reichen die Messwerte von 0 % bei ChatGPT-5.4 Plus (Linardon et al. 2026, Preprint) über 14,5 % bei GPT-5.5 per API (Topaz et al. 2026, Preprint) und 27 % bei GPT-5.3 ohne Retrieval (Seifi und Seyfi 2026) bis zu diesen 50,92 %. Bei Claude reicht die Spanne von 0,5 % für Sonnet 4.6 (Linardon et al. 2026) bis 56,8 % für Haiku 4.5 (Naser 2026), beides Preprints. Diese Unterschiede in der Versuchsanlage stecken dahinter:

Eine niedrige Quote kann also auch heißen, dass ein Modell öfter gar keine Quelle nennt. Für deine Arbeit zählt am Ende nicht die Quote eines Modells, sondern ob die eine Angabe stimmt, die du übernimmst.

Senkt die Websuche die Rate?

Ja, in den meisten Studien, die mit und ohne Suche vergleichen, senkt eine echte Websuche den Anteil erfundener Titel deutlich, aber nicht auf null: Bei Pastucha et al. (2026) fiel er für ChatGPT-4.1 von 20,7 % ohne auf 2,4 % mit Websuche und für Gemini 2.5 Pro von 19,4 auf 1,3 % (berechnet aus Tabelle 4). Elf Befunde im Vergleich:

Wie stark der Versuchsaufbau zählt, zeigt Perplexity: bei Ettien et al. 3,0 % erfundene Angaben, bei Özbek und Bağcıer der höchste Halluzinations-Score. Pastucha et al. folgern, dass Zugriff auf aktuelle Daten die Ungenauigkeit von Literaturangaben nicht vollständig behebt. Für deine Hausarbeit heißt das: Eine eingeschaltete Suche senkt nach den meisten Studien das Risiko eines komplett erfundenen Titels. Ob Jahr, Seiten und Aussage stimmen, sichert sie nicht ab.

Echte Quelle, falsche Angabe: das häufigere Problem

Bei neueren Modellen ist eine echte Quelle mit falschen Angaben häufiger als ein erfundener Titel: In einem Physik-Preprint von 2026 waren 3 % der KI-Literaturangaben erfunden, aber 64 % wichen in den Metadaten vom echten Werk ab (Hell et al. 2026). Bei GPT-5 stimmten nur in 8 % der Anfragen alle Angaben einer Antwort (Bernstein et al. 2026).

Auch ganze Literaturlisten sind betroffen: Tiller et al. (2026) ließen fünf Chatbots Gesundheitsfragen beantworten, und keiner lieferte eine vollständig korrekte Liste, die Vollständigkeit lag im Median bei 40 %. Ein falsches Jahr oder eine verdrehte Seitenzahl wirkt harmlos. In der Hausarbeit kann sie aber dazu führen, dass deine Prüferin die Stelle nicht findet.

Die Quelle sagt etwas anderes

Noch schwerer zu sehen ist eine echte, korrekt angegebene Quelle, die deine Aussage nicht trägt. Wu et al. (2025) fanden in Nature Communications, dass 50 bis 90 % der Antworten von Sprachmodellen auf medizinische Fragen nicht vollständig von den zitierten Quellen gedeckt waren, teils widersprachen die Quellen sogar. Selbst bei GPT-4o mit Websuche waren rund 30 % der Einzelaussagen ohne Deckung und knapp die Hälfte der Antworten nicht vollständig belegt. Diesen Fehler findet kein Katalog. Du erkennst ihn nur, wenn du die zitierte Stelle im Original liest. Dass er nicht erst mit KI aufkam, zeigt eine Metaanalyse zu Zitierfehlern in der Fachliteratur, die der Ratgeber Quellen prüfen vorstellt.

Erfundene Quellen in veröffentlichter Forschung

Erfundene Literaturangaben stehen inzwischen auch in begutachteten Fachartikeln: Ein Audit von 97,1 Millionen Referenzen in rund 2,5 Millionen biomedizinischen Artikeln fand 4.046 erfundene Zitate in 2.810 Artikeln (Topaz et al. 2026, The Lancet, laut Pressemitteilung der Autoren-Universität und STAT News). Betroffen war 2023 einer von 2.828 Artikeln, 2025 einer von 458 und in den ersten sieben Wochen 2026 einer von 277. Den Lancet-Volltext konnte diese Übersicht nicht lesen. Die Zahlen stammen aus der Pressemitteilung der University of Eastern Finland vom 08.05.2026 und aus STAT News vom 07.05.2026.

Zhao et al. (Preprint) messen den Überschuss nicht zuordenbarer Referenzen gegenüber der Zeit vor den Sprachmodellen, der steilste Anstieg beginnt Mitte 2024. Die Begutachtung fängt solche Fehler nicht zuverlässig ab: Die 100 erfundenen NeurIPS-Zitate passierten laut Ansari (Preprint) die Prüfung durch drei bis fünf Fachleute je Paper. In einer Umfrage im GhostCite-Preprint gaben 76,7 % der befragten Gutachtenden an, Referenzen nicht gründlich zu prüfen.

Für dich folgt daraus: Übernimmst du eine Referenz ungeprüft aus einem Fachartikel, kann auch sie erfunden sein. Wie du mit Angaben aus zweiter Hand umgehst, erklärt der Ratgeber Sekundärzitat.

Was das für deine Hausarbeit heißt

Wie viele Hausarbeiten erfundene Quellen enthalten, hat nach dieser Recherche noch keine belastbare Studie gemessen, aber in einer Befragung der Hochschule Darmstadt nutzten 2025 46,2 % der befragten Studierenden KI für Recherche und Literaturstudium (laut Pressemitteilung der Hochschule). Die Befragungen der letzten Jahre im Überblick:

Direkt vergleichbar sind die Werte nicht: Die Befragungen fragen nach „nutzen“, „regelmäßig“ oder „täglich“ und wählen verschieden aus. Rund die Hälfte der vom DZHW Befragten sieht große Nachteile darin, dass KI Fehler und Falschaussagen erzeugt. Eine Hochrechnung auf Hausarbeiten geben diese Daten nicht her, sie zeigen nur, wie verbreitet KI bei der Literaturarbeit ist.

Der Fall VG Köln 2026

Was falsche Belege in einer Hausarbeit auslösen können, zeigt ein Urteil des VG Köln vom 16.06.2026 (6 K 6485/25). Eine Hausarbeit im Bachelor English Studies schrieb Werken, die überwiegend vor 2012 erschienen waren, Aussagen zu einem Film von 2012 zu. Die Werke gab es, die zugeschriebenen Aussagen standen nicht darin. Nach Ansicht der Kammer wäre der Studentin das aufgefallen, hätte sie die Quellen selbst gelesen. Ob KI im Spiel war, ließ das Gericht ausdrücklich offen, die Studentin selbst gab an, ChatGPT nur zur Literatursuche genutzt zu haben. Weil es nicht ihre erste Täuschung war, blieb es beim Verlust ihres Prüfungsanspruchs. Wie deine Hochschule einen solchen Fall wertet, regelt deine Prüfungsordnung (keine Rechtsberatung, Stand Oktober 2026). Weitere Entscheidungen und woran Prüfer KI-Nutzung festmachen, zeigt der Ratgeber Kann die Uni KI erkennen?.

Ein Chat belegt keine Sachaussage

Liefert dir ChatGPT eine Aussage samt Quelle, zitierst du in deiner Arbeit das Werk, das du gelesen hast, nicht den Chat. Ob und wie du die KI-Nutzung selbst angeben musst, regelt deine Hochschule. Formate und Beispiele dafür zeigt der Ratgeber KI zitieren.

So prüfst du eine KI-Quelle selbst

Eine KI-Quelle prüfst du in zwei Schritten: Erst klärst du, ob es das Werk mit genau diesen Angaben gibt, dann, ob die zitierte Stelle deine Aussage trägt. Für den ersten Schritt reichen meist Google Scholar, der DOI und der Bibliothekskatalog, die Reihenfolge zeigen die Prüfschritte und die typischen Warnsignale auf der Seite KI-Quellen prüfen. Für den zweiten Schritt brauchst du das Original und die angegebene Seite. Wie du Wortlaut, Kontext und Paraphrase mit dem Original vergleichst, steht im Ratgeber Quellen prüfen. Nach den Studien oben lohnt der zweite Schritt gerade bei Quellen, die es wirklich gibt.

Methodik dieser Übersicht

Diese Übersicht sammelt Studien von 2023 bis 2026, die erfundene oder fehlerhafte Literaturangaben von KI-Chatbots als Zahl messen (Stand Oktober 2026).

• Prüfweg: Jede Zahl ist am Abstract oder am Volltext der Originalquelle geprüft, etwa über Europe PMC, PubMed Central, arXiv, OSF, die Seiten von DZHW und CHE und die Rechtsprechungsdatenbank NRWE.
• Eigene Rechnungen: Quoten, die so nicht in der Studie stehen, sind als „berechnet“ gekennzeichnet.
• Preprints: In den Tabellen stehen sie als „Preprint, nicht begutachtet“, im Text als Preprint.
• Gekennzeichnete Ausnahmen: der Lancet-Beitrag von Topaz et al., belegt über die Pressemitteilung der Universität und STAT News, und die Darmstädter Befragung von 2025, belegt über die Pressemitteilung der Hochschule.
• Ausgeschlossen: Zahlen, die sich nur über Suchmaschinen-Zusammenfassungen, Blogs oder Zweitquellen finden ließen.

Die Datenlage hat Lücken. Fast alle Experimente fragen auf Englisch, die meisten in Medizin und Naturwissenschaften. Geistes-, Rechts- und Wirtschaftswissenschaften sind kaum untersucht, Ausnahmen sind die Volkswirtschaftslehre bei Buchanan et al., die Geisteswissenschaften bei Mugaanyi et al. und die Bildungswissenschaft bei Spennemann. Einen Test mit der kostenlosen ChatGPT-Version, deutschen Prompts und deutscher Fachliteratur hat diese Recherche nicht gefunden. Weil Modellzahlen schnell veralten, worauf auch Linardon et al. (2026, Preprint) hinweisen, nennt die Übersicht zu jeder Zahl das Modell und, wo die Studie sie angibt, die Testzeit.

Was Citely an deinen Zitaten prüft

Citely prüft deine Hausarbeit, bevor dein Prüfer die Quellen nachschlägt. Im Pro-Check gleicht Citely deine Zitate mit bis zu 15 hochgeladenen Quellen-PDFs ab, prüft an der zitierten Seite und markiert wörtliche Zitate, die es dort nicht oder nur verzerrt findet. Die Zitations-Form erkennt deinen Zitierstil, ob Harvard, APA, Fußnoten oder DGPs, und zeigt Abweichungen davon sowie Werke, die du im Text zitierst, die aber im Literaturverzeichnis fehlen. Deinen Bericht hast du nach rund 5 Minuten. Mehr unter Hausarbeit prüfen.