Menschenzentriert mit Ausnahmen? Die EU KI-Verordnung und ihre Schwächen an Europas Grenzen
In der Europäischen Union (EU) und ihren Mitgliedstaaten werden migrationsbezogene Entscheidungen zunehmend digitalisiert. Unter Schlagworten wie „Smart Borders“ setzt die EU verstärkt auf Künstliche Intelligenz (KI) im Migrationsmanagement, um Verfahren effizienter, koordinierter und sicherer zu gestalten. Gleichzeitig greifen diese Technologien in hochsensible Bereiche ein, in denen über Einreise, Schutzgewährung und rechtlichen Status entschieden wird. Vor diesem Hintergrund hat die EU mit der Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates vom 13. Juni 2024 über harmonisierte Vorschriften für Künstliche Intelligenz (KI-Verordnung, „KI-VO“) erstmals einen unionsweiten Regulierungsrahmen geschaffen, der den Einsatz von KI an die Achtung der Grundrechte binden soll.
Doch ein genauer Blick auf die migrationsbezogenen Regelungen der KI-VO zeigt: Der Schutz ist lückenhaft. Ausnahmen und Transparenzdefizite schwächen den Rechtsschutz betroffener Personen und bergen die Gefahr von Grundrechtsverletzungen.
Die KI-VO im Allgemeinen
Die KI-VO der EU ist am 1. August 2024 in Kraft getreten, der Großteil ihrer Vorschriften gilt jedoch erst ab dem 2. August 2026. Als weltweit erstes umfassendes KI-Gesetz will sie eine menschenzentrierte und vertrauenswürdige KI fördern und die in der Charta verankerten Grundrechte schützen (Art. 1 Abs. 1 KI-VO). Gerade in den Bereichen Migration, Asyl und Grenzkontrollen soll die KI-VO Genauigkeit, einen nichtdiskriminierenden Charakter und die Transparenz der KI-Systeme stärken, um die Achtung der Grundrechte zu gewährleisten (Erwägungsgrund 60 KI-VO).
Wie weit der Schutz dabei reicht, hängt wesentlich von der Risikoeinstufung der eingesetzten Systeme ab. Denn die KI-VO verfolgt einen risikobasierten Ansatz und ordnet KI-Systeme einem minimalem, begrenzten, hohen oder inakzeptablen Risiko zu.
KI im Bereich Migration, Asyl und Grenzkontrollen fällt weitgehend in die Kategorie von Hochrisiko-KI-Systemen (Anhang III Nr. 7 KI-VO). Ihr Einsatz ist damit an umfangreiche Anforderungen an das System selbst, als auch an Anbieter:innen und Betreiber:innen geknüpft. Anbieter:innen müssen etwa sicherstellen, dass die verwendeten Datensätze bestimmte Qualitätskriterien einhalten (Art. 10 KI-VO) und Betreiber:innen müssen eine Grundrechte-Folgenabschätzung durchführen (Art. 27 KI-VO), die das Risiko für Einzelpersonen ermitteln und geeignete Schutzmaßnahmen festlegen soll.
Fortschritt auch für Migration und Asyl
Von Beginn an war die KI-VO hoch umstritten. Insbesondere in der Wirtschaft wird sie wegen ihres hohen bürokratischen Aufwands und möglicher innovationshemmender Effekte kritisiert; vereinzelt wird sogar eine Abschwächung oder Rücknahme der Verordnung gefordert.
Gleichwohl markiert die EU einen verbindlichen, unionsweit geltenden Regulierungsrahmen für den Einsatz von KI. Im Migrationskontext ist dies ein klarer Fortschritt. Migrationsbezogene KI-Anwendungen werden ausdrücklich als hochriskant eingeordnet und damit besonderen rechtlichen Anforderungen unterworfen. Die KI-VO setzt so einen Mindeststandard an Schutz, den es zuvor nicht gab, und verdeutlicht, dass der Einsatz automatisierter Systeme in diesen sensiblen Bereichen nicht rechtsfrei erfolgen darf, sondern an den Grundrechten der Betroffenen zu messen ist.
Ausnahmen mit Folgen: Wo die KI-VO Grundrechte nicht ausreichend schützt
Während die KI-VO also wichtige Schutzmechanismen etabliert und ein zentrales Werkzeug zur Regulierung von KI-Systemen ist, zeigt sie dennoch Schwachstellen. Ihr grundrechtsbasierter Ansatz stößt dort an seine Grenzen, wo migrationsbezogene Anwendungen von Verboten, Kontrollmechanismen oder Transparenzpflichten ausgenommen werden.
Die Grenzen der Verbotsnormen
Eine zentrale Schwachstelle betrifft dabei die Reichweite der verbotenen KI-Praktiken nach Art. 5 KI-VO. Einige besonders risikobehaftete Anwendungen werden im Migrationskontext nicht verboten, sondern nur reguliert; mit Folgen für den Schutz vor Diskriminierung, das Recht auf Privatleben und den Schutz personenbezogener Daten.
Erstens verbietet Art. 5 Abs. 1 lit. d KI-VO zwar KI-Systeme, die allein auf Basis von sog. Profiling – also der automatisierten Verarbeitung personenbezogener Daten, um bestimmte persönliche Aspekte zu bewerten (Art. 4 (4) DSGVO) – oder anhand der Bewertung persönlicher Merkmale und Eigenschaften ein kriminelles Risiko vorhersagen. Dieses Verbot ist jedoch auf den strafrechtlichen Kontext beschränkt und gilt nicht in migrations- und asylrechtlichen Verfahren. Damit bleibt es zulässig, Einreisende oder Asylsuchende automatisiert als „Risiko“ zu klassifizieren. Ein solches Vorgehen ist im neuen EU-System ETIAS angelegt, das Ende 2026 in Kraft treten soll: Visumsbefreite Drittstaatsangehörige müssen künftig vor der Reise persönliche Daten angeben, aus denen automatisiert Profile erstellt und mit Risikoindikatoren abgeglichen werden. Zunächst soll dies zwar ohne den Einsatz von KI geschehen, seine Integration wurde aber bereits 2020 von der zuständigen EU-Agentur euLISA vorgeschlagen. Unabhängig davon birgt bereits der automatisierte Risikoabgleich Gefahren für das Recht auf Nichtdiskriminierung. Art. 21 Abs. 1 GRCh verbietet Diskriminierungen unter anderem „wegen des Geschlechts, der Rasse, der Hautfarbe, der ethnischen oder sozialen Herkunft (…)“. Automatisierte Risikobewertungen beruhen jedoch regelmäßig auf Annahmen zwischen personenbezogenen Daten und vermeintlichen Gefährdungslagen. Dabei besteht die Gefahr, dass Kriterien wie Staatsangehörigkeit oder Wohnort faktisch als Proxys für geschützte Merkmale dienen: So kann die Staatsangehörigkeit Indikator für die „Rasse“, ethnische Herkunft oder Religion sein und auch der Wohnort kann Rückschlüsse auf ethnische Zugehörigkeit und Hautfarbe zulassen. Werden solche Merkmale zur Grundlage automatisierter Risikozuweisungen gemacht, droht eine mittelbare Diskriminierung, da die Systeme zwar formal nicht an geschützte Merkmale anknüpfen, faktisch jedoch Gruppen benachteiligen, die diese Merkmale typischerweise aufweisen.
Auch bei der biometrischer Überwachung zeigt sich eine Schutzlücke. Die KI-VO verbietet den Einsatz von Echtzeit-Fernidentifizierung in öffentlichen Räumen grundsätzlich (und mit Ausnahmen beispielsweise zur Abwendung einer konkreten, erheblichen und unmittelbaren Gefahr für das Leben oder die körperliche Unversehrtheit) nur für Zwecke der Strafverfolgung (vgl. Art. 5 Abs. 1 lit. h KI-VO). Für Grenzkontrollen gilt dieses Verbot nicht. Stattdessen bleibt der Einsatz von Gesichtserkennung dort erlaubt und ermöglicht es, Gesichtsbilder zu erfassen und zu vergleichen sowie den Aufenthaltsort von Personen nachzuverfolgen. Ähnlich wie in der Strafverfolgung, berührt dies den Schutz personenbezogener Daten gem. Art. 8 GRCh und das Recht auf Privatleben gem. Art. 7 GRCh.
Besonders kritisch ist schließlich der Umgang mit Emotionserkennungssystemen und Lügendetektoren, wie sie etwa im EU-Forschungsprojekt iBorderCtrl getestet wurden. Auch diese Systeme stuft die KI-VO im Migrationskontext lediglich als Hochrisiko ein. Dabei bestehen erhebliche Zweifel an ihrer wissenschaftlichen Grundlage. Emotionserkennungssysteme sind nur begrenzt zuverlässig, sie können bestimmte Gesichtsausdrücke nicht eindeutig klar definierten Emotionen zuordnen und sind nicht auf unterschiedliche Personen und kulturelle Kontexte übertragbar. Mögliche Fehlbewertungen können dann als Hinweise auf Unglaubwürdigkeit oder Täuschung in Entscheidungen einfließen. Auch hier drohen Diskriminierung und ein Eingriff in das Recht auf Privatleben.
Unzureichende menschliche Aufsicht
Für die Nutzung biometrischer Fernidentifizierung (Anhang III Nr. 1 lit. a KI-VO) müssen Anbieter:innen das System so gestalten, dass Betreiber:innen Entscheidungen nicht allein aufgrund des automatisierten Ergebnisses treffen können. Stattdessen muss die Identifizierung von mindestens zwei natürlichen Personen unabhängig überprüft und bestätigt werden (Art. 14 Abs. 5 S. 1 KI-VO). Diese sogenannte menschliche Aufsicht stellt eine wichtige Schutzfunktion dar. Sie soll sicherstellen, dass KI-gestützte Entscheidungen nicht unkontrolliert vollzogen werden und Menschen in der Lage bleiben, fehlerhafte und diskriminierende Ergebnisse zu erkennen und zu korrigieren (Erwägungsgrund 27 KI-VO) Gerade in hochsensiblen Verwaltungsverfahren ist ein sog. “human in the loop” – also die verpflichtende Einbindung eines entscheidungsbefugten Menschen in den automatisierten Entscheidungsprozess – rechtlich notwendig, um den Anforderungen aus Art. 7, 8 und 47 GRCh zu genügen.
Art. 14 Abs. 5 UAbs. 2KI-VO sieht jedoch eine Ausnahme vor: In den Bereichen Strafverfolgung, Migration, Grenzkontrollen und Asyl kann die doppelte menschliche Kontrolle entfallen, wenn ihre Einhaltung nach Unions- oder nationalem Recht “unverhältnismäßig” wäre. Welche Kriterien diese Unverhältnismäßigkeit bestimmen und wer sie festlegt, bleibt offen. Zwar verweist die Norm auf Unions- oder nationales Recht, konkrete materielle Maßstäbe enthält die KI-VO jedoch nicht. Damit besteht die Gefahr, dass die Ausnahme in der Verwaltungspraxis zur Regel wird.
Wird die zusätzliche menschliche Kontrolle ausgesetzt, besteht die Gefahr, dass einzelne Grenzbeamte automatisierte Entscheidungen faktisch nur noch durchwinken, ohne die technische Bewertung kritisch zu hinterfragen. Fehlerhafte Identitätsfeststellungen, verzerrte Risikoprofile oder unzutreffende Verdachtsbewertungen würden mit höherer Wahrscheinlichkeit unerkannt bleiben und das mit potenziell existenziellen Folgen für die betroffenen Personen.
Hinzu kommt, dass Anbieter:innen und Betreiber:innen nach Art. 4 KI-VO für ein angemessenes Maß an KI-Kompetenz des Personals sorgen müssen. Darunter versteht man das sachkundige Einsetzen von KI-Systemen. Es wird sich folglich erst noch zeigen, ob Grenz- oder Sachbearbeiter:innen in der Praxis über das notwendige Verständnis verfügen, um technische Limitationen, Bias-Risiken oder typische Fehlerarten komplexer KI-Systeme zuverlässig einordnen zu können.
Transparenz als zentrale Schutzfunktion
Wo menschliche Aufsicht nur eingeschränkt greift, gewinnt Transparenz eine umso größere Bedeutung. Besonders im Migrations- und Grenzkontext ist sie Voraussetzung dafür, dass Entscheidungen nachvollzogen, überprüft und rechtlich angegriffen werden können. Ein zentrales Problem vieler KI-Systeme ist ihr Blackbox-Charakter: Die Entscheidungswege sind oft nicht nachvollziehbar, was die rechtliche Überprüfbarkeit erschwert.
Art. 49 KI-VO verpflichtet Anbieter:innen grundsätzlich dazu, Hochrisiko-KI-Systeme in einer öffentlich zugänglichen europäischen Datenbank zu registrieren. Für KI-Systeme in den Bereichen Strafverfolgung, Migration, Asyl und Grenzkontrollen gilt jedoch eine Ausnahme: nach Art. 49 Abs. 4 KI-VO werden sie ausschließlich in einem nicht-öffentlichen, gesicherten Bereich registriert, auf den nur die Europäische Kommission und nationale Behörden Zugriff haben. Zudem ist der Umfang der offenzulegenden Informationen reduziert. Eine sachliche Begründung für diese weitgehende Einschränkung der Transparenz enthält die Verordnung nicht. Für Betroffene bedeutet dies, dass sie auf Akteneinsichtsrechte oder gerichtliche Verfahren verwiesen werden, um Informationen über eingesetzte KI-Systeme zu erhalten. Diese Instrumente sind in der Praxis häufig zeitintensiv, kostspielig oder faktisch zu spät.
Diese Ausgestaltung führt zu erheblichen Transparenzdefiziten. In der Datenbank sollen zentrale Informationen zu Hochrisiko-KI-Systemen hinterlegt werden, etwa Angaben zum Zweck des Systems, zu den verwendeten Trainingsdaten oder eine Grundrechte-Folgenabschätzung (Art. 49 Abs. 4 KI-VO). Gerade diese Informationen bleiben jedoch im Migrationskontext der Öffentlichkeit verwehrt. Für Betroffene kann dies gravierende Folgen haben, denn derartige Informationen sind unerlässlich, um gegen diskriminierende Ergebnisse, fehlerhafte Datenverarbeitung oder systematische Verzerrungen gerichtlich vorzugehen. Damit wird nicht nur das Recht auf den Schutz personenbezogener Daten (Art. 8 GRCh) und das Recht auf Achtung des Privatlebens (Art. 7 GRCh) berührt, sondern auch der effektive Rechtsschutz nach Art. 47 GRCh strukturell geschwächt. Transparenz ist hier keine bloße Begleitpflicht, sondern eine Voraussetzung, Grundrechtsverletzungen überhaupt erkennen und angreifen zu können.
Menschenzentriert mit Ausnahmen?
Die KI-VO markiert einen wichtigen Wendepunkt in der Regulierung von KI-Systemen in Europa. Erstmals werden migrationsbezogene KI-Anwendungen ausdrücklich als grundrechtsrelevant anerkannt und unionsweit reguliert. Zugleich zeigt sich jedoch: Gerade an Europas Grenzen bleibt der menschenzentrierte Anspruch der Verordnung brüchig. Unklare Klassifizierungen, Verbotsausnahmen, abgeschwächte Anforderungen an eine menschliche Aufsicht und weitreichende Transparenzbeschränkungen untergraben den effektiven Schutz der Betroffenen und schwächen damit ihren Rechtsschutz.
Für die Zukunft bedeutet das: migrationsbezogene KI-Anwendungen dürfen nicht länger als sicherheitsrechtlicher Sonderfall behandelt werden. Erforderlich sind engere Grenzen in der Nutzung von Ausnahmen, ein Mindestmaß an Informationsrechten für Betroffene trotz Art. 49 Abs. 4 KI-VO, sowie unabhängige und effektive Kontroll- und Rechtsschutzmechanismen speziell für KI-Systeme im Grenz- und Asylkontext.
Andernfalls droht die KI-VO dort zu versagen, wo ihr Schutzversprechen am wichtigsten wäre: bei Menschen, deren Rechte schon heute unter besonderem Druck stehen.
