Anwenden
Künstliche Intelligenz am Arbeitsplatz souverän einsetzen, steuern und kontrollieren: Ein KI-Cockpit für Unternehmen und Beschäftigte
Veröffentlicht am 22. Mai 2025
Nach zwei Jahren Forschungsarbeit hat das Projekt KI-Cockpit seine Ergebnisse vorgestellt: In Feldstudien (Personalwesen, Verkehrslenkung, Pflege) wurden Softwarelösungen entwickelt, die zentrale Funktionen von KI-Systemen für Beschäftigte verständlich machen und sie befähigen, Entscheidungen zu prüfen, zu genehmigen oder die Systeme bei Bedarf zu stoppen. Das KI-Cockpit hilft damit, Risiken beim Einsatz von KI zu minimieren und die Akzeptanz der Technologie in der Arbeitswelt zu fördern.
Mit der am 1. August 2024 in Kraft getretenen KI-Verordnung wurde in der EU ein Rechtsrahmen für vertrauenswürdige KI geschaffen. Diese schafft u. a. Anforderungen für sogenannte Hochrisiko-KI-Systeme, zum Beispiel in puncto Transparenz und menschlicher Aufsicht. Für Unternehmen bedeutet das: Sie müssen sich mit der konkreten Umsetzung dieser Anforderungen in der Praxis auseinandersetzen und Maßnahmen ergreifen. Gerade der Schnittstelle zwischen Mensch und Maschine kommt hierbei eine wichtige Rolle zu. Doch wie könnte eine Umsetzung der Vorgaben zu menschlicher Aufsicht in den Betrieben konkret aussehen? Dazu hat das Projekt „KI-Cockpit“ erstmals Lösungen entwickelt.
„KI Cockpit hat Pionierarbeit für das deutsche KI-Ökosystem und die Nutzung von KI in der Praxis geleistet."
KI am Arbeitsplatz souverän einsetzen
Die Idee von KI-Cockpit: Menschen sollen KI-Systeme am Arbeitsplatz verstehen, überwachen und steuern können, damit jederzeit Transparenz und Kontrolle gewährleistet sind (Human-in-Command-Ansatz). Das Ziel ist es, den Beschäftigten einen Überblick über die Entscheidungen des KI-Systems zu vermitteln und sie damit zu befähigen, gut informiert und selbstständig über die Notwendigkeit von Eingriffen in maschinelle Abläufe zu entscheiden. Wie das gelingen kann, hat ein Konsortium aus Forschungsinstituten und Unternehmen in drei verschiedenen Feldstudien erprobt. Die Ergebnisse wurden kürzlich auf der Abschlusskonferenz des Projekts in Berlin vorgestellt.
Neben theoretischen und praktischen Grundlagen, wie die Vorgaben zu menschlicher Aufsicht aus der KI-Verordnung in konkreten betrieblichen Anwendungen umgesetzt werden können, hat das Projekt Softwarelösungen entwickelt, die menschliche Aufsicht über KI-Anwendungen gewährleisten. Anbieter*innen und Betreiber*innen können diese in ihre eigenen KI-Systeme integrieren.
„Die KI arbeitet innerhalb ihrer Parameter auf verschiedenen Ebenen. Wir machen die Daten der Künstlichen Intelligenz im KI-Cockpit sichtbar. So bin ich als Mensch in der Lage, die KI zu überwachen und Entscheidungen zu treffen.“
Zentral bei der Entwicklung der Software war die Perspektive der Beschäftigten. In Workshops, Interviews und Praxistests konnten sie direkt Rückmeldung zu den Software-Prototypen geben. Ergänzt wurde dieser Ansatz unter anderem durch Umfragen zur Benutzerfreundlichkeit, Akzeptanz und Wirksamkeit der entwickelten Lösungen.
„Für Beschäftigte ist ein grundsätzliches Verständnis der eingesetzten Software und ihrer Auswirkungen elementar. Die KI-Verordnung ist dabei ein wichtiges Instrumentarium für mehr Sicherheit und Transparenz. Beschäftigte sollten darüber hinaus angepasste KI-Weiterbildungen besuchen können.“
Die Ergebnisse der Feldstudien im Überblick:
Studie 1:
KI in der Personalauswahl überwachen
KI kann HR-Prozesse beschleunigen und die Qualität des Recruitings verbessern. Gleichzeitig ist der Einsatz von KI in der Personalauswahl besonders sensibel und fällt in den Hochrisikobereich nach der KI-Verordnung.
Wie ein KI-basierter Matching-Prozess zwischen Arbeitssuchenden und Arbeitgebenden den hohen Anforderungen an Transparenz im Bereich HR entsprechen kann, wurde in der Feldstudie „Personalwesen" demonstriert. Die Software des KI-Cockpits wurde dafür in die Jobmatching-Plattform des Recruiters Chemistree integriert, die Bewerber*innen und passende Stellen zusammenbringt.
Mithilfe des KI-Cockpits erhalten die HR-Verantwortlichen festgelegte Kennzahlen und grafische Auswertungen, um Verzerrungen und Diskriminierungen beim Jobmatching frühzeitig zu erkennen – etwa die Bevorzugung bestimmter Gruppen von Bewerber*innen. Damit können die Verantwortlichen die Auswahl überwachen und das System beispielsweise mit einer Taste stoppen.
Entwickelt und getestet wurde zudem das „Transparenzinterface“, das als standardisierte Vorlage KI-Systeme einfach und visuell erklärt – vor und während der Nutzung. Es befähigt Nutzer*innen dazu, die KI-Logik nachzuvollziehen und KI-Systeme gut informiert zu nutzen.
Studie 2:
KI in der Verkehrsleitplanung von Kommunen steuern
Ein hohes Aufkommen an Berufspendler*innen stellt viele Kommunen täglich vor Herausforderungen in der Verkehrsleitplanung. KI-gestützte Assistenzsysteme sollen dabei helfen, durch geschickte Verkehrslenkung Staus zu vermeiden oder Gefahrensituationen wie Gegenstände auf der Fahrbahn zu erkennen.
In der Feldstudie wurde die KI-Cockpit-Software in ein Assistenzsystem von Starwit integriert. Sie meldet zeitnah Verkehrsanomalien und visualisierte sie in Form von Videos, Karten und 3-D-Modellen. Über die entwickelte Benutzeroberfläche können die Nutzer*innen alle oder einzelne KI-Entscheidungen unmittelbar einsehen und prüfen – und dann genehmigen oder gegebenenfalls stoppen. Auf diese Weise wird die Nachvollziehbarkeit von KI-Anwendungen in der öffentlichen Verwaltung gestärkt.
„Wir möchten Kommunen helfen, Verkehr intelligenter zu steuern. Der Einsatz von KI liefert wertvolle Daten – doch ihre Ergebnisse müssen kontrollierbar bleiben.“
Studie 3:
Dashboard: Mit KI in der Pflege unterstützen
In der Feldstudie, die gemeinsam mit der Caritas Dortmund durchgeführt wurde, standen die Pflegenden im Mittelpunkt und die Frage: Welche IT-Lösung brauchen sie wirklich, um im Arbeitsalltag entlastet zu werden? Als Ergebnis entstand ein digitales Dashboard mit KI-basiertem Sprach-Chatbot, das dabei hilft, administrative Abläufe und Aufgaben zu koordinieren – vom Terminmanagement bis zur Dokumentation.
„Unser Ziel war es, Pflegende wirklich zu entlasten – ihre Bedürfnisse in den Mittelpunkt zu stellen und den Pflegealltag spürbar zu erleichtern. Mit der Sprachsoftware laufen jetzt Versorgung und Dokumentation nahezu parallel. Das spart wertvolle Zeit, die nun stärker in die Betreuung der Bewohner:innen investiert werden kann“.
Open-Source zum Download
Alle Software-Anwendungen des KI-Cockpits sowie Begleitliteratur können kostenfrei auf der Projektwebsite eingesehen und heruntergeladen werden:
https://github.com/ki-Cockpit/
Das Projekt KI-Cockpit wurde von der Abteilung Denkfabrik Digitale Arbeitsgesellschaft des Bundesministeriums für Arbeit und Soziales (BMAS) mit rund 3,5 Millionen Euro gefördert und von der Hochschule Aalen, dem Institut für Arbeitswissenschaft und Technologiemanagement der Universität Stuttgart (IAT), nexus Institut, Chemistree GmbH, Caritas Dortmund und Starwit Technologies durchgeführt.
Zwei Softwarelösungen für menschliche Aufsicht von KI-Systemen
Der Mensch ist direkt in die Entscheidungskette des KI-Wirksystems eingebunden und prüft einzelne oder auch alle Entscheidungen des KI-Systems, gibt diese frei oder lehnt sie ab. Teilweise muss er zeitkritisch auf Entscheidungen reagieren. Von besonderer Wichtigkeit ist diese Variante der KI-Cockpit-Software vor allem dann, wenn die Entscheidungen des KI-Systems mit hohen Risiken verbunden sind, weil fehlerhafte Einzelfallentscheidungen schwerwiegende Konsequenzen nach sich ziehen könnten.
Der Mensch überblickt das KI-Wirksystem (nicht aber die Einzelentscheidung) und kann nach Bedarf eingreifen und einzelne Komponenten oder das ganze System abschalten, wenn systematische Verzerrungen oder Biases erkennbar sind. Der Mensch nimmt somit eine Aufsichtsrolle ein, bei der Eingriffe in das KI-System in erster Linie dann notwendig sind, wenn Ereignisse außerhalb des zuvor definierten, risikobezogenen Grenzwerts auftreten. Diese KI-Cockpit-Software ist vor allem dann geeignet, wenn ein KI-System in einem Bereich eingesetzt wird, bei dem das Hauptrisiko nicht in Einzelfall-Fehlentscheidungen liegt, sondern in einer systematischen Verzerrung.