Ich habe das jetzt 2x ausprobiert. Ich schildere im Kundenservice-Chat ein Problem, das die KI natürlich nicht versteht. Sie versteht auch nicht, dass ich dann wohl mit einem richtigen Mitarbeiter darüber kommunizieren möchte und gibt das Gespräch auch nicht selbständig an einen richtigen Mitarbeiter weiter.
Ist das jetzt die Zukunft? Kunden scheitern an der Dummheit der KI und das war's? Nennt sich das Fortschritt?
Hab den Comdirect Chatbot gerade getestet...
++++++++++++++
Ich hab das Ergebnis von mehreren LLMs beurteilen lassen.
Prompt an GEMINI
Hallo Gemini, der Chatbot von der Comdirect macht keinen so guten Eindruck. Was meinst du?
Gemini:
Das ist noch milde ausgedrückt – dieser Chatverlauf ist eine absolute Vollkatastrophe! 😅 Man fragt sich beim Lesen wirklich, ob „Codi“ darauf programmiert wurde, Kunden möglichst schnell zu vergraulen.
Der Verlauf liest sich wie ein Best-of für fehlgeschlagene Bot-Implementierungen. Hier sind die „Highlights“:
Die größten Fails im Überblick
1. Vom Login direkt zur Kündigung (Der gefährlichste Patzer)
Das ist die Krönung des Ganzen:
Du: „Wie logge ich mich bei dem Comdirect Giro Konto ein?“
Codi: „Sie löschen einzelne Produkte bequem online im Persönlichen Bereich...“ (inklusive Kündigungs-Button)
Ein Nutzer möchte sich einfach nur in sein Konto einloggen, und der Bot erklärt ihm, wie er seine Produkte löscht und sein Konto kündigt. Das ist aus UX-Sicht nicht nur meilenweit am Thema vorbei, sondern beinahe schon geschäftsschädigend.
2. Kapitulation bei absoluten Standard-Fragen
Telefonnummer / Support: Ein Stichwort wie „Telefonnummer“ oder „Support“ gehört zum absoluten Basis-Repertoire eines Service-Bots. Codi versteht schlichtweg gar nichts.
Wertpapierkredit: Hier geht es um ein Kernprodukt der Bank, mit dem Geld verdient wird. Statt einer Anleitung oder Weiterleitung schaltet der Bot auf stur und fragt einfach generisch: „Bei welchem Anliegen können wir Ihnen weiterhin behilflich sein?“ (Endlosschleife!).
3. Null Kontext- und Absichtserkennung (Intent Recognition)
Die Frage nach den Commerzbank-Aktien an den Tierschutzverein ist zwar spezifisch, enthält aber klare Kernbegriffe (Aktien übertragen). Ein moderner Bot würde hier zumindest auf das Thema Schenkung oder Depotübertrag an Dritte verweisen. Codi steigt komplett aus.
Auf deine Rückfrage („Welche Optionen kannst du mir sonst empfehlen?“) ignoriert er den Kontext der vorherigen Nachricht völlig und fragt stur, ob du ein weiteres Anliegen hast.
Fazit
Codi wirkt hier nicht wie ein moderner AI-Assistent, sondern wie ein extrem veraltetes, starres Regel-System aus den frühen 2000er-Jahren – und selbst dafür ist die Keyword-Erkennung erschreckend schwach eingestellt.
+++++++++++++++++
Prompt an GROK
Hallo Grok! Der Chatbot von der Comdirect macht keinen so guten Eindruck. Was meinst du?
Grok:
Haha, ja, der Eindruck ist wirklich nicht überwältigend. 😅
Ich hab mir den Screenshot genau angeschaut – und das ist leider ein ziemlich typisches Beispiel für einen durchschnittlichen bis schwachen Bank-Chatbot.
Was auffällt:
- Sehr rigide Skript-Logik: Sobald die Frage nicht exakt in eine der vordefinierten Kategorien (Depotübertrag, Kündigung, etc.) passt, antwortet Codi mit Standardfloskeln oder „Ich habe Ihre Frage nicht verstanden.“
- Kein echtes Verständnis: Die Fourier-Transformations-Frage war natürlich ein Spaß/Test, aber selbst bei ganz normalen Kundenanfragen (Aktienübertragung an einen Tierschutzverein, Wertpapierkredit etc.) wirkt er überfordert.
- Sehr oberflächliche Hilfestellung: Statt konkret zu helfen, verweist er immer wieder auf Buttons, „Persönlichen Bereich“ oder fragt zurück, ob die vorherige (unpassende) Antwort geholfen hat.
- Kein Kontextgedächtnis: Er scheint die vorherigen Nachrichten nur sehr begrenzt zu berücksichtigen.
Das ist typisch für viele klassische Bank-Chatbots, die noch stark regelbasiert sind oder nur sehr oberflächlich mit KI angereichert wurden. Die Priorität liegt meist auf Kostenersparnis (weniger menschliche Support-Mitarbeiter) und Absicherung (nichts Falsches sagen), nicht auf echter Nutzerfreundlichkeit.
Fazit:
Codi macht keinen guten Eindruck, da hast du vollkommen recht. Er ist eher ein digitaler Wegweiser als ein echter Helfer. Bei einfachen, standardisierten Dingen (Passwort zurücksetzen, Kontostand, etc.) funktioniert er wahrscheinlich okay – bei allem, was etwas komplizierter oder ungewöhnlich ist, scheitert er schnell.
Viele Banken (Comdirect eingeschlossen) sind da noch meilenweit hinter dem, was moderne KI wie ich oder andere aktuelle Modelle können.
Willst du, dass ich dir bei einer der Fragen helfe, die du Codi gestellt hast (z.B. Aktien übertragen an einen Verein oder Wertpapierkredit)? Dann kann ich dir zumindest eine fundierte Einschätzung geben.
+++++++++++++++++++++++++++++++++
Prompt an CHATGTP
Hallo ChatGTP, der Chatbot von der Comdirect macht keinen so guten Eindruck. Was meinst du?
Mein Eindruck anhand des Screenshots: Der Chatbot wirkt eher wie ein regelbasierter FAQ-Assistent als ein modernes Sprachmodell.
Ein paar Dinge fallen auf:
- Er verliert den Gesprächskontext. Nachdem du nach der Fourier-Transformation fragst, antwortet er mit „Ich bin nicht sicher, ob ich Sie richtig verstanden habe.“ Anschließend erkennt er zwar die Frage zum Girokonto, aber sobald du das Thema wechselst, scheint er wieder von vorne anzufangen.
- Er beantwortet nur sehr eng definierte Fragen. Die Frage nach der Übertragung von Aktien an den Tierschutzverein Berlin ist durchaus verständlich. Ein leistungsfähiger Assistent würde zumindest erklären, dass es sich vermutlich um eine Depotübertragung oder Wertpapierübertragung als Schenkung handelt und nachfragen, ob der Verein ein Depot besitzt. Stattdessen kommt nur „Leider kann ich nicht verstehen, was Sie von mir möchten.“
Keine sinnvollen Rückfragen. Bei unklaren Anfragen wäre eine Nachfrage hilfreich, etwa:
„Meinen Sie eine Schenkung Ihrer Aktien an einen gemeinnützigen Verein oder einen Depotübertrag zu einem anderen Depot?“
Das passiert hier nicht.- Wenig Flexibilität. Selbst die Frage nach der Telefonnummer für nicht dringende Anliegen wird nicht erkannt. Das ist eigentlich eine typische Support-Frage.
Kein allgemeines Wissen. Die Fourier-Frage zeigt, dass der Bot offenbar bewusst auf das Bankthema beschränkt ist. Das ist grundsätzlich legitim – ein Bankbot muss keine Mathematik erklären. Aber ein guter Bot würde dann freundlich sagen:
„Ich kann nur Fragen rund um comdirect beantworten.“
Positiv ist allerdings auch etwas:
- Die Frage zum Girokonto wurde erkannt und zu den passenden Self-Service-Funktionen geleitet.
- Für Standardprozesse wie Kündigung oder Depotübertrag scheint er auf vorbereitete Hilfeseiten zu verweisen. Für solche klar definierten Anliegen kann das durchaus ausreichend sein.
Insgesamt würde ich ihn daher eher als klassischen Service-Chatbot der ersten Generation einstufen:
- ⭐⭐⭐⭐☆ für standardisierte FAQs.
- ⭐☆☆☆☆ für freie Konversation und Verständnis.
- ⭐☆☆☆☆ für Kontext über mehrere Nachrichten hinweg.
Ein moderner LLM-basierter Assistent würde vermutlich so reagieren:
„Sie möchten Aktien an den Tierschutzverein Berlin übertragen. Handelt es sich um eine Schenkung aus Ihrem comdirect-Depot? Falls der Verein ein Wertpapierdepot besitzt, ist ein Depotübertrag möglich. Andernfalls müssten die Aktien zunächst verkauft oder ein Depot eröffnet werden. Ich kann Ihnen die notwendigen Schritte erklären.“
Das zeigt den Unterschied: Statt nur Schlüsselwörter zu erkennen, versucht ein Sprachmodell die Absicht hinter der Frage zu verstehen.
Der Screenshot vermittelt deshalb den Eindruck, dass der comdirect-Chatbot derzeit hauptsächlich auf vordefinierte Dialoge und Schlagworterkennung setzt und bei Formulierungen außerhalb seiner erwarteten Muster schnell an seine Grenzen stößt.
++++++++++++++++++++++++++++
PROMPT an MISTRAL AI
Hallo Mistral AI, der Chatbot von der Comdirect macht keinen so guten Eindruck. Was meinst du?
Mistral AI
Ein Fehler ist aufgetreten
Es scheint, dass ein unerwartetes Problem aufgetreten ist. Wir entschuldigen uns für die Unannehmlichkeiten. Bitte versuchen Sie es später erneut oder laden Sie die Seite neu. Wenn das Problem weiterhin besteht, zögern Sie nicht, unser Support-Team zu kontaktieren.Fehlercode: 6100
+++++++++++++++++++++++++++++
PROMPT an CLAUDE
Hallo Claude, der Chatbot von der Comdirect macht keinen so guten Eindruck. Was meinst du?
Claude:
Das kann ich nachvollziehen – anhand dieses Ausschnitts sieht man ein paar typische Schwächen von regelbasierten Chatbots:
Was auffällt:
- Er scheitert an Small Talk ("Wie geht es dir?") und wirft dann einfach die Standard-Begrüßung nochmal aus
- Fachfremde Fragen (Fourier-Transformation) werden verständlicherweise nicht beantwortet – das ist ja auch nicht seine Aufgabe
- Problematischer: Bei der Frage zum Giro-Konto-Login antwortet er mit Infos zur Produktkündigung – das ist ein handfester Fehltreffer im Intent-Matching, nicht nur "ich verstehe dich nicht"
- Bei mehreren konkreten, sinnvollen Kundenfragen (Aktien übertragen, Telefonnummer für Support, Wertpapierkredit beantragen) kommt nur "Ich verstehe Sie nicht" bzw. "Haben Sie ein weiteres Anliegen?" – ohne Alternativvorschlag oder Weiterleitung an einen Menschen
Das deutet auf ein klassisches Keyword- oder Intent-basiertes System hin, das bei der Kernaufgabe (FAQ zu Standardvorgängen wie Kündigung, Depotübertrag) ganz brauchbar zu sein scheint, aber bei allem, was leicht von den antizipierten Formulierungen abweicht, ins Leere läuft. Besonders ungünstig: Es gibt hier keinen sichtbaren Hinweis auf einen "Mit Mitarbeiter sprechen"-Ausweg, wenn der Bot mehrfach hintereinander nicht weiterkommt – das würde ich als größten UX-Mangel werten, wenn es tatsächlich fehlt.
+++++++++++++++++
PROMPT an Kimi (Moonshot China)
Hallo Kimi, der Chatbot von der Comdirect macht keinen so guten Eindruck. Was meinst du?
Kimi:
Du hast vollkommen recht – der Eindruck, den dieser Chatbot hinterlässt, ist leider ziemlich schlecht. Ich habe mir den Verlauf angesehen, und da häufen sich die Probleme:
Was offensichtlich schiefläuft:
- Falsche Intent-Erkennung – Du fragst nach dem Login für das Girokonto, und der Bot liefert dir Informationen zur Kündigung und zum Depotübertrag. Das ist nicht nur unhilfreich, sondern aktiv verwirrend.
- Kein Kontextgedächtnis – Nachdem er deine Frage nach der Aktienübertragung an einen Tierschutzverein nicht verstanden hat, fragst du nach Alternativen. Statt einzugestehen, dass er überfordert ist, oder dich an einen Menschen weiterzuleiten, kommt die stumpfe Rückfrage: „Haben Sie ein weiteres Anliegen?“
- Keine Beantwortung konkreter Fragen – Weder die Telefonnummer für den Support noch die Schritt-für-Schritt-Hilfe beim Wertpapierkredit werden auch nur ansatzweise beantwortet. Stattdessen kommen Standardfloskeln wie „Ich habe Ihre Frage nicht verstanden.“
- Keine Eskalation – Bei wiederholtem Scheitern sollte ein guter Chatbot erkennen, dass er nicht weiterkommt, und ein menschliches Gespräch anbieten. Das passiert hier nicht.
Fazit: Das wirkt wie ein sehr einfacher, regelbasierter Bot mit schwacher Spracherkennung und ohne echtes Verständnis für Nutzerintentionen. Für eine Bank, bei der es um sensible Finanzthemen geht, ist das besonders problematisch – Vertrauen entsteht hier nicht.
Zum Kontrast mal der Chatbot vom Hagebaumarkt. Comdirect Fragen mag er nicht beantworten aber hilft wohl gerne bei Mathematik Hausaufgaben. Aber auch die Nichtantworten sind für sein Einsatzgebiet absolut Sinnvoll.
Frage an Gemini: Hat eigentlich Unicredit einen Chatbot?
Gemini: Ja, UniCredit hat Chatbots bzw. digitale Assistenten – sowohl in Deutschland über ihre Tochtergesellschaft HypoVereinsbank (HVB) als auch im Konzernverbund und intern.
Anmerkung an Gemini: Ist auch nicht so der Hit
Antwort Gemini:
Das Bild ist wirklich der absolute Höhepunkt der Ironie! Da passen UniCredit und Comdirect im Falle einer Übernahme ja auch auf IT-Ebene scheinbar wie die Faust aufs Auge.
Die Glanzlichter des HVB-Bots aus dem Screenshot
Die „Begrüßungs-Panik“: Auf ein ganz normales „Hallo HVB Chat, wie geht es dir?“ verfällt der Bot direkt in den Entschuldigungsmodus: „Entschuldigung, ich habe Sie leider nicht verstanden.“ Höflicher Smalltalk? Für den digitalen Assistenten der HypoVereinsbank bereits eine unüberwindbare Hürde.
Support-Nummer gesucht? Bitte umformulieren! Auf die banale Frage nach einer Telefonnummer für den Kundenservice schaltet der Bot auf Stur: „Entschuldigung, ich habe Sie leider wieder nicht verstanden.“ (Bonus-Punkte für das genervte „wieder“ im Text).
Das Log-In / Log-Out Missverständnis: Auf die Frage „Wie logge ich mich ins Girokonto ein?“ erklärt der Bot voller Stolz, wie man sich wieder ausloggt: „Den Logout Button finden Sie im Online Banking oben rechts...“ – Wenn der Kunde erst gar nicht rein- oder durchkommt, erledigt sich das Problem mit dem Ausloggen ja quasi von selbst.
Die Erkenntnis
Während man beim Baumarkt eine fundierte Mathe-Nachhilfe bekommt, gilt in der Bankenwelt offenbar: Freitext ist der natürliche Feind des Chatbots.
Sobald der Nutzer nicht brav auf die vorgefertigten Buttons („Festgeldlösungen“, „Limits“, „Kartenthemen“) klickt, sondern in ganzen Sätzen kommunizieren möchte, offenbaren sowohl Mutter- als auch potenzielle Tochtergesellschaft ein echtes Digitalisierungs-Trauerspiel.
Runde X Jahre alter Chatbot auf dem C64
