Beus (SISTRIX): AI-Chatbots erfinden Quellen

Key Takeaways:

• AI-Chatbots erfinden bzw. halluzinieren Quellen

• Mehr als 1/3 der Quellen waren 4xx Seiten: Gemini 33,4% vs. ChatGPT 36,5% vs. deepseek 29,0%

• Grundlage: jeweils 10.000 Quellenangaben von ChatGPT, Gemini und DeepSeek

SISTRIX Infografik: Studie zeigt fehlerhafte Quellen von AI Chatbots / LLMs

Link zur Quelle:

www.linkedin.com

AI-Chatbots erfinden Quellen, die es nicht gibt | Johannes Beus

AI-Chatbots erfinden Quellen, die es nicht gibt Ohne angebundene Backends zur Validierung („Grounding“) haben AI-Chatbots ein strukturelles Problem mit URLs. Der Grund: Die Texteingabe wird in Tokens zerlegt. Und das betrifft in der Regel auch den Slash („/“). Während der Hostname meist korrekt wiedergegeben wird, ist der Pfad dahinter reine Statistik. Um das Ausmaß dieses Problems zu messen, haben wir jeweils 10.000 Quellenangaben der drei großen AI-Chatbots (ChatGPT, Gemini und DeepSeek) auf ihre tatsächliche Erreichbarkeit überprüft. Das Ergebnis: Google Gemini schneidet am besten ab: Rund 42 % der angegebenen URLs sind direkt erreichbar, weitere 20 % leiten weiter. Doch bei rund einem Drittel liefert der Webserver einen 400er-Fehler - die Seite existiert nicht. Bei ChatGPT sieht es nicht besser aus, und auch DeepSeek liefert aktuell keine überzeugenden Ergebnisse. Fazit: AI-Chatbots werden nicht darum herumkommen, externe Systeme zur Validierung von URLs und anderen Fakten einzubinden, um verlässliche Antworten zu garantieren. | 39 comments on LinkedIn