Vertrauen in Automatisierung: Das richtige Maß ist entscheidend

Das Konzept „Trust in Automation“ beschreibt das Ausmaß, in dem Menschen darauf vertrauen, dass automatisierte Systeme zuverlässig, kompetent und innerhalb ethischer Grundsätze agieren. Ist das Vertrauen zu groß oder zu gering, birgt dies spezifische Gefahren und Herausforderungen.

Stellen Sie sich vor: Sie lassen eine künstliche Intelligenz Ihre medizinische Diagnose stellen, einen Algorithmus Ihr Geld anlegen oder einen Roboter Ihr Haus bewachen. Würden Sie sich entspannt zurücklehnen – oder hätten Sie doch ein mulmiges Gefühl?

Solche Szenen waren noch vor wenigen Jahren Science-Fiction, heute sind sie schon fast Realität. Maschinen und Software assistieren dem Menschen und übernehmen Aufgaben, die früher fest in menschlicher Hand lagen. Sie unterstützen, entscheiden und steuern intelligent oft schneller und sicherer als wir.

So beeindruckend die Anwendungen auch sind: Der Mensch bleibt doch oft skeptisch. Warum fällt es uns so schwer, Kontrolle abzugeben? Was braucht es, damit wir uns auf Maschinen verlassen, ihnen Verantwortung überlassen – vielleicht sogar unser Leben beispielsweise im Auto anvertrauen? Und wieso bleiben Effekte von Assistenzsystemen oft hinter den Erwartungen zurück?

Was ist Vertrauen? 

Im Bereich der Führung, des Managements und der Soziologie wurde Vertrauen konzeptionell sehr früh analysiert.^[1] Schon 1922 formulierte der Soziologe Georg Simmel, dass Vertrauen eine Erwartung „zukünftigen Verhaltens [ist], die sicher genug ist, um praktisches Handeln darauf zu gründen“.^[2] Bisher konnten sich die unterschiedlichen Disziplinen allerdings nicht auf eine allgemeingültige Definition von Vertrauen einigen. Denn Vertrauen kann man nicht direkt messen, sondern nur die Auswirkungen des Vertrauens beziehungsweise des mangelnden Vertrauens, also des Misstrauens. 

Vertrauen eröffnet uns neue Möglichkeiten. Es unterstützt unsere begrenzte menschliche Wahrnehmung. Schon in Alltagssituationen kommen wir Menschen an unsere Grenzen. Wir übersehen etwas, reagieren nicht auf alle Umweltreize gleichermaßen, überhören zum Beispiel das Piepsen des Handys und treffen Entscheidungen, die nicht optimal sind. Beispiele, die zeigen, dass unsere menschliche Wahrnehmung begrenzt ist. Trotzdem bleiben wir handlungs- und entscheidungsfähig. Denn Vertrauen hilft dabei, die Komplexität von Szenarien abzumildern.

Vertrauen in die Automatisierung ähnelt stark dem Vertrauen gegenüber Menschen und ist ein dynamisches Zusammenspiel aus Vorwissen, Erfahrungen, kognitiven Urteilen und Emotionen, aber auch menschlichen Prädispositionen. 

Vertrauen hat auch noch eine weitere Funktion: Es erweitert die menschlichen Möglichkeiten, Entscheidungen zu treffen. Mit Vertrauen werden plötzlich Entscheidungsalternativen möglich, die ohne Vertrauen nicht in Betracht gezogen werden würden. Menschen zeigen dabei eine subjektive Erwartung, dass „es schon klappen wird“.

Erwartungen an die Automatisierung

Das Konzept „Trust in Automation“ beschreibt das Ausmaß, in dem Menschen darauf vertrauen, dass automatisierte Systeme zuverlässig, kompetent und innerhalb ethischer Grundsätze agieren. Vertrauen wird insbesondere dann relevant, wenn komplexe Situationen zu bewältigen sind: Nur wenn der Mensch glaubt, dass das System seine Ziele auch unter unsicheren, unklaren Bedingungen unterstützt, wird er Aufgaben an die Automatisierung delegieren. 

Vertrauen in die Automatisierung ähnelt stark dem Vertrauen gegenüber Menschen und ist ein dynamisches Zusammenspiel aus Vorwissen, Erfahrungen, kognitiven Urteilen und Emotionen, aber auch menschlichen Prädispositionen. Die Einschätzung der Vertrauenswürdigkeit erfolgt dabei anhand von Eigenschaften wie Leistungsfähigkeit, Integrität und guter Absicht des automatisierten Systems.^{[3, 4]}

Entspricht die Erwartung des Menschen in die Automatisierung nicht den tatsächlichen Möglichkeiten der Automatisierung gibt es zwei Möglichkeiten: Das Vertrauen in die Automatisierung ist entweder zu groß (Overtrust) oder zu gering (Distrust). Jede dieser Ausprägungen birgt spezifische Gefahren und Herausforderungen.

Overtrust

Overtrust (zu großes Vertrauen) beschreibt den Zustand, in dem Nutzerinnen und Nutzer einer Automatisierung mehr zutrauen, als diese tatsächlich leisten kann. Overtrust verleitet dazu, Systemgrenzen zu ignorieren, Warnhinweise zu übersehen oder Kontrollaufgaben nicht auszuführen. Daraus können gravierende Sicherheitsrisiken entstehen. Overtrust beruht häufig auf fehlender Aufklärung über Systemgrenzen, einer falschen Kalibrierung des Vertrauens oder einer generalisierten positiven Einstellung („dispositional trust“). Wenn Menschen fälschlicherweise glauben, dass ein System völlig zuverlässig ist, kann das nach einem Systemversagen fatale Unfallfolgen haben – besonders in sicherheitsrelevanten Verkehrsanwendungen oder Hochrisikoindustrien. Die „Ironies of Automation“ beschreiben dieses Paradox: Je automatisierter ein System ist, desto entscheidender wird die menschliche Fähigkeit, bei Ausfällen richtig zu reagieren. Overtrust schwächt genau diese Fähigkeit massiv und erhöht das Gefahrenpotenzial.

Distrust

Distrust (aktives Misstrauen) äußert sich in ablehnendem Verhalten gegenüber der Automatisierung – auch wenn die Technologie eigentlich leistungsfähig und zuverlässig wäre. Distrust führt dazu, dass Systeme nicht genutzt oder ständig überwacht werden, wodurch Effizienzgewinne verloren gehen. Distrust basiert oft auf negativen Erfahrungen, bekannt gewordenen Fehlfunktionen oder einem individuell ausgeprägten geringen Zutrauen zu technischen Neuerungen. Auch fehlende Transparenz der Automatisierung kann eine der Ursachen sein. Distrust verhindert eine optimale Mensch-Maschine-Interaktion und kann die Einführung sinnvoller Automatisierung hemmen – sie wird dann einfach nicht genutzt. Ist der Mensch aktiv misstrauisch, kostet es viele Mühen und Zeit, das verlorene Vertrauen wiederherzustellen, das bedeutet für Organisationen hohe Aufwände für Schulungen und Investitionen in transparente Kommunikation.

Kalibrierung des Vertrauens

Vertrauen ist kein statischer Wert, sondern entwickelt sich über Wissen, Erfahrung, Feedback und Beobachtungen des Systemverhaltens. Vertrauen gilt als optimal, wenn das Vertrauen des Menschen in die Automatisierung genau dem Leistungsvermögen der Maschine entspricht – wenn es „kalibriert“ ist. Unkalibriertes Vertrauen erschwert die sichere und effiziente Zusammenarbeit von Mensch und Maschine. Unkalibriertes Vertrauen wird auch oft als „mistrust“ bezeichnet.

Um eine gute Kalibrierung des Vertrauens zu erreichen, müssen die Menschen auch gut über Funktionen und die Systemgrenzen während der Interaktion aufgeklärt sein.

Industrie: Roboter und Mensch

In der Automobil-, Elektronik- und Fertigungsindustrie sind Roboter und Cobots allgegenwärtig. Forschungen zeigen, dass das Vertrauen von Mitarbeitenden durch transparente Kommunikation, einfache und verständliche Rückmeldungen sowie die individuelle Erfahrung eines zuverlässigen Systemverhaltens gestärkt wird. Ein anschauliches Beispiel ist der Einsatz von Cobots, die dem Bedienpersonal die eigenen Entscheidungen und Systemzustände über Displays oder Lichtsignale erklären. So werden Missverständnisse reduziert und Interaktionsbarrieren abgebaut.

Kommt es aber zu Fehlfunktionen, etwa durch Konstruktions-, Programmierfehler oder mangelhafte Sensorik, gerät das Vertrauen schnell ins Wanken. Ein einziger unerwarteter Stillstand der automatisierten Systeme lässt das Vertrauen der Mitarbeitenden signifikant sinken und die Überprüfungs- sowie Kontrollneigung stark ansteigen.^[4]

Neuere Studien fordern eine gute Balance zwischen Anforderungen und Ressourcen der Arbeitsplätze, um so eine kontinuierliche Kalibrierung des Vertrauensniveaus während der Nutzung der automatisierten Systeme sicherzustellen. So haben Menschen beispielsweise in Zusammenarbeit mit Robotern mitunter kognitiv wenig anspruchsvolle Arbeiten und zu wenig Entscheidungsspielraum. Dadurch entsteht häufig das Gefühl von vollständiger Abhängigkeit von der Maschine. Hier können mehr direkte Rückmeldungen des Systems und zumindest Bestätigungsschleifen durch die Bedienenden vorgesehen werden. Das führt insgesamt zu besserer Motivation der Beschäftigten und damit auch zu geringerer psychischer Belastung.^[5]

Verkehrssicherheit: Herausforderungen

Fahrerassistenzsysteme, wie automatische Notbremsassistenten oder Spurhalteassistenten, sind auf das „richtige Maß“ an Vertrauen angewiesen. Übermäßiges Vertrauen (Overtrust) in das Fahrassistenzsystem „Tesla Autopilot“ hat etwa bei den ersten Unfällen mit Tesla-Fahrzeugen dazu geführt, dass Fahrende alle Verantwortung abgaben – mit teils gravierenden Folgen.^[6] Übermäßiges Vertrauen kann im ungünstigen Fall auch zu risikoreichem Verhalten verleiten. So wird in einer Studie^[7] ein deutlich erhöhtes Unfallrisiko des klassischen Tempomaten erkannt (+12 Prozent). Aber auch die adaptive Geschwindigkeitsregelung erhöht das Unfallrisiko (+1,8 Prozent). In dieser Studie wurde auch die eingestellte Geschwindigkeit abgefragt – sie lag bei den Fahrzeugen mit adaptiver Geschwindigkeitsregelung deutlich über der geltenden Geschwindigkeitsbeschränkung.

Systeme mit klaren Rückmeldungen, wie automatisierte U-Bahnen in Nürnberg, London, Paris oder Kopenhagen, stärken das Vertrauen der Fahrgäste nachweislich.

In der aktuellen „Zufriedenheitsstudie Assistenzsysteme“^[8] wurden mehr als 4000 Personen online zu Reifegrad und Nutzung der Assistenzsysteme in ihren jeweiligen Fahrzeugen befragt. Abhängig vom jeweiligen System berichtete die Studie von Reifegraden zwischen 61 und 88 Prozent, aber Nutzungsquoten von 25 Prozent bis über 90 Prozent (Mistrust/Distrust). Im Fall von hohen Reifegraden bei gleichzeitig geringer Nutzung können Assistenzsysteme ihr Potenzial zur Verhinderung von Unfällen nicht ausspielen.^[9]

Diese Studien und Unfallanalysen zeigen, dass falsches Vertrauen das Unfallrisiko stark erhöht und die Technik missbraucht wird, zum Beispiel durch das Missachten von Warnhinweisen oder risikoreicheres Fahren.

Systeme mit klaren Rückmeldungen, wie automatisierte U-Bahnen in Nürnberg, London, Paris oder Kopenhagen, stärken das Vertrauen der Fahrgäste nachweislich. So öffnen die Doppeltüren auf dem Bahnsteig beispielsweise erst, wenn der Zug dahinter gehalten hat. Und Lautsprecher melden die Einfahrt eines Zuges. Solche regelmäßigen Informationen, sichtbare Überwachung und die Einbindung von Nutzenden verbessern die Akzeptanz und das Vertrauen langfristig.

Auch im Luftverkehr sind gute Beispiele für erfolgreiche Kalibrierung von „Trust in Automation“ zu finden: Autopiloten und Flight-Management-Systeme übernehmen komplexe Aufgaben, werden aber durch organisatorische Maßnahmen wie regelmäßige Schulungen und die bewusste Kompetenzstärkung der Piloten sicher ergänzt. So wird die dauerhafte Kalibrierung des Vertrauens unterstützt – die Sicherheit steigt.

Messung und Gestaltung von Vertrauen

Vertrauen kann man nicht direkt messen, sondern nur die Auswirkungen von Vertrauen. Neben Fragebögen kommen zunehmend Verhaltensbeobachtungen und sogar physiologische Methoden wie Eye-Tracking oder Hautleitfähigkeitsmessungen zum Einsatz. Dabei werden Nutzungshäufigkeit und Interaktionen mit dem System erfasst. Transparenz des Systemzustands und -verhaltens, Wissen über Systemgrenzen, regelmäßige Rückmeldungen, Schulungen und Lernen aus Erfahrungen gelten als Schlüsselelemente für angemessene Vertrauensbildung.

Herausforderungen für die Zukunft

Angesichts der fortschreitenden Automatisierung – von KI-gestützten Robotern bis hin zu vollautonomen Fahrzeugen im öffentlichen Straßenverkehr – ist „Trust in Automation“ zentral für die Arbeitssicherheit. Neben technischen und rechtlichen Fragestellungen werden besonders die Kompetenz und Bereitschaft der Nutzenden, Kontrolle in komplexen Situationen an Assistenzsysteme abzugeben, zur entscheidenden Einflussgröße. Die kontinuierliche Weiterbildung, transparente Kommunikation^[10], gut verständliche Rückmeldungen der Systemzustände, klare Fehlerkultur und schnelle Lernschleifen in der Praxis sind entscheidende Hebel, um Vertrauen dynamisch und verlässlich zu gestalten.