Blog

FINMA Aufsichtsmitteilung 08/2024 - Governance und Risikomanagement beim Einsatz Künstlicher Intelligenz (KI)

Cornelia Stengel/Gaspare Loderer/Jonas Tresch

Einleitung 

Die Eidgenössische Finanzmarktaufsicht FINMA hat am 18. Dezember 2024 die Aufsichtsmitteilung 08/2024 “Governance und Risikomanagement beim Einsatz Künstlicher Intelligenz (KI)” veröffentlicht. Zuvor hatte die FINMA ihre Aufsichtserwartungen im Zusammenhang mit KI insbesondere im Risikomonitor 2023 beschrieben.  

Aus der Praxis 

Als Anwältinnen und Anwälte, die unter anderem Schweizer Banken und Versicherungen seit mehreren Jahren zu regulatorischen und rechtlichen Belangen rund um KI-Systeme beraten, sehen wir, dass Schweizer Finanzinstitute das Thema sorgfältig angehen. Die Finanzinstitute sind sich der potenziellen Risiken von KI bewusst und unternehmen erhebliche Anstrengungen, um diese zu minimieren. Dazu gehören vorab angemessene Governance-Massnahmen, die eine klare Festlegung von Zuständigkeiten und Verantwortlichkeiten innerhalb des Instituts beinhalten. Dies sorgt dafür, dass jede Phase des KI-Lebenszyklus – von der Entwicklung über die Implementierung bis zur Überwachung – ordnungsgemäss und sicher durchgeführt wird. 

Es gibt allerdings keine Einheitslösung für die Implementierung von KI. Unterschiedliche Anwendungsfälle erfordern unterschiedliche Ansätze, und was in einem Institut funktioniert, muss in einem anderen nicht zwangsläufig erfolgreich sein. Diese Vielfalt der Herangehensweisen ist notwendig und sinnvoll. Die getroffenen Massnahmen müssen in das gelebte (Governance-) System des jeweiligen Instituts eingepasst werden, um effektiv zu sein. 

Die Massnahmen zur Implementierung und Überwachung von KI-Systemen müssen eng mit den verschiedenen Disziplinen und Teams innerhalb des Instituts verknüpft werden. Dies umfasst die vom jeweiligen Anwendungsfall betroffenen und unterstützenden Einheiten wie beispielsweise Kundenberatung und Marketing, zusammen mit IT, Risk, Compliance und Legal. Nur durch diese enge Verknüpfung kann sichergestellt werden, dass die KI-Systeme nicht isoliert, sondern als integraler Bestandteil des gesamten Unternehmens betrieben werden. 

Übersicht der von der FINMA angeführten Massnahmen 

Die Aufsichtsmitteilung führt beispielhaft Massnahmen zur Adressierung der spezifisch aus KI-Anwendung resultierenden Risiken auf, die sie im Rahmen der laufenden Aufsicht beobachtet hat: 

  • Governance: Bei Beaufsichtigten mit «vielen oder wesentlichen Anwendungen» sind eine KI-Governance mit einem zentral geführten Inventar (inkl. Risikoklassifizierung sowie daraus folgende Massnahmen), die Festlegung von Zuständigkeiten und Verantwortlichkeiten (bei Entwicklung, Implementierung, Überwachung und Nutzung von KI), Vorgaben zu Modell Tests, unterstützenden Systemkontrollen, Dokumentationsstandards sowie breite Schulungsmassnahmen erforderlich. Bei Outsourcing sollen die Beaufsichtigten zusätzliche Tests, Kontrollen und Vertragsklauseln, die Verantwortlichkeiten und Haftungsfragen regeln, implementieren und sicherstellen, dass die Dritten über die nötigen Fähigkeiten und Erfahrungen verfügen. 
  • Inventar und Risikoklassifizierung: Es muss eine genügend breite Definition von KI vorliegen, so dass auch klassische Anwendungen mit ähnlichen Risiken erfasst sind. Das KI-Inventar sowie die Risiko-Klassifizierung von KI-Anwendungen müssen vorhanden und vollständig sein. 
  • Datenqualität: In internen Weisungen und Richtlinien sind Vorgaben zu definieren zwecks Sicherstellung der Vollständigkeit, Korrektheit sowie Integrität von Daten und deren Verfügbarkeit und Zugang. 
  • Tests und laufende Überwachung: Tests zur Sicherstellung der Datenqualität und Funktionsfähigkeit der KI-Anwendungen müssen vorgesehen sein (inkl. Prüfung auf Genauigkeit, Robustheit und Stabilität sowie ggf. Bias). Fachpersonen des jeweiligen Anwendungsbereichs liefern Fragestellungen und vordefinierte Erwartungen. Vorab festgelegte Performance-Indikatoren müssen gesetzt werden zwecks Beurteilung, wie gut eine KI-Anwendung die definierten Ziele erreicht. Schwellenwerte oder andere Validierungsmethoden sind zu definieren, um die Korrektheit und fortlaufende Qualität von Outputs zu gewährleisten. Veränderungen in Input-Daten müssen überwacht werden, um sicherzustellen, dass Modelle auch bei verändertem Umfeld anwendbar bleiben (Erkennung und Behandlung von Datendrift). Analyse von Fällen zwecks Rückschlusses auf Schwachstellen bei Ignorierung oder Veränderung der Ausgabe von Anwendern. Anstellen von Überlegungen zur Erkennung und Behandlung von Ausnahmen. 
  • Dokumentation: Bei wesentlichen Anwendungen Adressierung des Zwecks der Anwendung, Datenauswahl und -aufbereitung, Modellauswahl, Performance-Masse, Annahmen, Limitierungen, Testing und Kontrollen sowie Fallback-Lösungen. Darlegung der Datenquellen sowie Prüfung der Datenqualität (inkl. Integrität, Korrektheit, Zweckmässigkeit, Relevanz, Bias und Stabilität). Sicherstellung der Robustheit, Zuverlässigkeit sowie Nachvollziehbarkeit der Anwendung. Vornahme einer angemessenen Einstufung in eine Risikostrategie sowie dazugehörige Begründung und Prüfung. 
  • Erklärbarkeit: Verstehen der Treiber der Anwendungen oder das Verhalten unter verschiedenen Bedingungen zwecks Beurteilung der Plausibilität und Robustheit der Ergebnisse. 
  • Unabhängige Überprüfung: Bei wesentlichen Anwendungen unabhängige Prüfung inkl. Abgabe einer objektiven, versierten und unvoreingenommenen Meinung über die Angemessenheit und Zuverlässigkeit eines Verfahrens für einen bestimmten Anwendungsfall sowie Berücksichtigung der unabhängigen Überprüfung bei der Entwicklung der Anwendung. 
Ausblick 

Die Regulierung befindet sich – genauso wie die KI-Technologie selbst – in einem starken Wandel. Der Schweizer Gesetzgeber wird sich in naher Zukunft zu einer allfälligen KI-Regulierung in der Schweiz äussern. Gleichzeitig sind viele Schweizer Finanzinstitute auch vom bereits geltenden EU AI-Act betroffen (ob dies der Fall ist, können Sie hier prüfen). 

Entsprechend beendet auch die FINMA die Aufsichtsmitteilung damit, dass sie ihre Erwartungen weiterentwickle und sofern nötig transparent machen werde. Sie strebe dabei einen technologieneutralen, proportionalen sowie sektorübergreifend einheitlichen Ansatz an, der die wesentlichen Unterschiede zwischen den Sektoren und internationale Standards berücksichtigt.  

Diese Situation verlangt von den Instituten Flexibilität und Weitblick. Um den Anforderungen gerecht zu werden, müssen sie ihre internen Prozesse und Strukturen kontinuierlich anpassen und weiterentwickeln. Ebenso ist eine enge Zusammenarbeit mit externen Experten und Regulierungsbehörden unerlässlich, um bestmögliche Praktiken zu implementieren und auf dem neuesten Stand der Entwicklungen zu bleiben. Nur so können Finanzinstitute das Potenzial von KI voll ausschöpfen und gleichzeitig die damit verbundenen Risiken verantwortungsvoll adressieren. 

Interview mit Cornelia Stengel in der Handelszeitung: KI-Einsatz bei Schweizer Banken (in German)

Fabienne Kinzelmann

«KI ist nicht gleich KI.»

KI verändert die Geldwäschereibekämpfung im Finanzsektor. Die Juristin Cornelia Stengel erklärt, was neu möglich ist und wo die Grenzen liegen.

👉 Das ganze Interview gibt es unter diesem Link.

Roundtable Report from the Swiss AI Summit 2024

Jonas Tresch/Cornelia Stengel

We are excited to announce the publication of the official report from the roundtable “AI – Thoughts within the Financial Sector,” held at the Swiss AI Summit 2024 on November 14, 2024.

The roundtable, hosted by Prof. Dr. Cornelia Stengel, Co-Director of SFTI, brought together leading voices from banks, insurance companies, and consulting firms to discuss the transformative role of AI in finance.

Key Highlights of the Discussions:

  • The Human Edge: Discussions emphasized the importance of equipping employees with AI knowledge to ensure meaningful and efficient application, blending human expertise with AI capabilities.
  • Use Cases: Practical AI applications such as knowledge management chatbots, voiceprint authentication for customer service, and automation of claims processes were highlighted as transformative solutions.
  • Interdisciplinary Exchange: Participants stressed the need for cross-department collaboration to fully harness AI’s potential and drive innovative rethinking of traditional processes.
  • AI Regulation: There was a broad consensus that sector-specific, results-oriented and technology-neutral regulations must be continued in order to protect innovations and at the same time do justice to Switzerland’s economic interests.
  • Governance: Clear governance structures, robust oversight measures, and continuous training are critical to successful AI implementation.

Moderation: Cornelia Stengel | Report: Jonas Tresch

Read Full Report Here (D)

Read Full Report Here (E)

Z

CHECKLISTS: Obligations under the AI Act

Luca Stäuble/Gaspare Loderer/Jonas Tresch

Since August 1, 2024, the new EU AI Act has been in effect, which can also be relevant for companies in Switzerland. The AI Act follows a risk-based approach and outlines different obligations depending on the specific AI system and the role of the respective.

Download PDF

Chambers Contribution: Trends and developments in the field of artificial intelligence in Switzerland

Cornelia Stengel/Luca Stäuble

In order for Switzerland to benefit from this huge growth potential, a balanced regulatory framework is key. On the one hand, innovation must not be hampered by over-restrictive regulation or prohibitions. On the other,  with a view to safeguarding fundamental rights, creating trust in society and compliance with international standards (eg, the Convention on AI), it is also important to address the risks associated with the AI use and take appropriate measures in good time. In the past, Switzerland has always managed such balancing acts well, thanks, primarily, to its principle-based and technology-neutral legislation.

Download PDF

Wenn sich Algorithmen absprechen (in German)

Vera Vallone

Wie die meisten rechtlichen Bereiche bleibt auch das Kartellrecht nicht unberührt von neuen Technologien. Dieser Beitrag soll die Auswirkungen der Algorithmen auf horizontale Wettbewerbsabreden überprüfen und somit zur aktuellen Diskussion über den Einfluss der Algorithmen auf das Rechtssystem beitragen. 

Mehr in: «ex ante 2018/2, 35 ff.»

Generative KI-Modelle - Chancen und Risiken für Industrie und Behörden

Luca Stäuble

Das Bundesamt für Sicherheit in der Informationstechnik (BSI) hat unter dem Titel «Generative KI-Modelle – Chancen und Risiken für Industrie und Behörden» ein Dokument publiziert, welches sowohl Chancen als auch Risiken im Zusammenhang mit der Planung und Entwicklung, dem Betrieb sowie der Verwendung von generativen KI-Modellen sowie mögliche Gegenmassnahmen aufzeigt. Die Zusammenstellung kann – ohne Anspruch auf Vollständigkeit – als Grundlage für eine systematische Risikoanalyse solcher Anwendungen in der Praxis dienen.

Download PDF

GenAI for Businesses – Checklist

Vera Vallone

Using generative AI applications in businesses is a global and current topic. Generative AI has the potential to transform various aspects of business operations, but it is also subject to legal considerations. Companies should implement suitable guidelines and/or policies. From an IP perspective, WIPO has published a comprehensive guide with checklists.

More: Generative AI – Navigating Intellectual Property (wipo.int)

KI im Schweizer Finanzmarkt - Erwartungen der FINMA (in German)

Luca Stäuble

Umfragen der FINMA sowie unsere Beratungspraxis zeigen, dass Finanzinstitute in verschiedenen Bereichen wie bspw. Transaktionsüberwachung, Kundeninteraktion/Support, Finanzanalysen oder Kredit-Scoring bereits KI-gestützte Anwendungen einsetzen oder planen, solche einzuführen.

Zwar sieht die Schweiz – anders als die EU – (noch) keine spezifische KI-Regulierung vor. Das heisst freilich nicht, dass der Einsatz von KI im rechtsfreien Raum erfolgt. Wer KI einsetzt, hat geltendes Recht zu beachten. KI-Anwendungen bergen gegenüber «herkömmlichen» Anwendungen jedoch neuartige Herausforderungen, die besondere Aufmerksamkeit verlangen. Die FINMA erwartet von den Unternehmen, insbesondere die folgenden Bereiche entsprechend zu adressieren.

Governance und Verantwortlichkeit: Die FINMA erwartet, dass Unternehmen klare Rollen und Verantwortlichkeiten sowie Risikomanagementprozesse in Bezug auf den Einsatz von KI-Anwendungen definieren und implementieren. Es dürfe keine Delegation der Verantwortung an die KI selbst oder an Dritte erfolgen. Zudem müssen «alle Beteiligten» über genügend Knowhow im Bereich der KI verfügen.

Robustheit und Zuverlässigkeit: Die FINMA verlangt, dass die Unternehmen bei der Entwicklung, Anpassung und Anwendung von KI sicherstellen, dass die Ergebnisse ausreichend genau, robust und zuverlässig Dabei sollen Unternehmen sowohl die Daten als auch die Modelle und Ergebnisse kritisch hinterfragen.

Erklärbarkeit und Transparenz: Die FINMA verlangt, dass Unternehmen die Erklärbarkeit der Resultate einer KI-Anwendung sowie die Transparenz über deren Einsatz je nach Empfänger, Relevanz und Prozessintegration – d.h. nach einem risikobasierten Ansatz – gewährleisten.

Gleichbehandlung: Die FINMA verlangt, dass Unternehmen beim Einsatz von KI-Anwendungen zur Beurteilung von individuellen Risiken (z.B. Tarifierung oder Kreditwürdigkeit) oder Entwicklung von kundenspezifischen Dienstleistungen ungerechtfertigte Ungleichbehandlungen

Um den Erwartungen der FINMA – aber auch eigenen Standards – gerecht zu werden, bedarf es in erster Linie der Erarbeitung, Umsetzung und Schulung eines klaren und verständlichen AI-Weisungswesens sowie der Implementierung entsprechender Prozesse (z.B. Risikoprüfung von KI-Anwendungen im Rahmen der Beschaffung und Anforderungen an die Verträge mit Providern).

Die FINMA hat angekündigt, dass sie den Einsatz von KI bei den Beaufsichtigten prüfen und die Entwicklung des Einsatzes von KI in der Finanzbranche weiterhin genau beobachten wird.

Download PDF

Die Schweiz braucht kein KI-Gesetz (in German)

Cornelia Stengel

Neue Technologien und Methoden, etwa die der künstlichen Intelligenz, verheissen Chancen – und bergen auch Risiken. Die Versuchung ist gross, dem Neuen und seinen Gefahren mit überflüssiger Regulierung zu begegnen.

Mehr auf Finanz und Wirtschaft

Regulierung von künstlicher Intelligenz für FinTech-Anwendungen (in German)

Cornelia Stengel/Gino Wirthensohn/Luca Stäuble

Neue Methoden künstlicher Intelligenz stellen eines der grössten Versprechen und eine der aussichtsreichsten Entwicklungen der Digitalisierung dar. Im Bereich der Bilderkennung, der Medizin, der Sprache
oder der Mobilität hat künstliche Intelligenz bereits zahlreiche innovative Anwendungen ermöglicht und auch auf dem Finanzmarkt, auf welchen dieser Beitrag fokussiert, kommt sie zunehmend zum Einsatz. Neuartige Methoden bergen neben grossen Chancen immer auch Risiken, welchen gerade auf dem Finanzmarkt üblicherweise mit Regulierung begegnet wird.

Der vorliegende Beitrag stellt – ohne Anspruch auf Vollständigkeit – verschiedene Einsatzmöglichkeiten für künstliche Intelligenz in Zusammenhang mit Finanzdienstleistungen vor und beleuchtet die Frage der Notwendigkeit sowie den Stand der Diskussionen rund um deren Regulierung in der Schweiz und im Ausland.

Download PDF

Transaktionsmonitoring mittels künstlicher Intelligenz (in German)

Cornelia Stengel

Die Überwachung von Finanz-Transaktionen bildet eine wichtige Grundlage der Geldwäscherei- und Terrorismusbekämpfung. Um den dabei anfallenden manuellen Aufwand zu reduzieren und die Ressourcen der Compliance Mitarbeitenden auf relevante Problemfälle zu konzentrieren, prüfen Banken den Einsatz von Monitoring-Systemen, die von sogenannt «künstlicher Intelligenz» (KI) unterstützt werden. Der vorliegende Beitrag beschreibt ein entsprechendes System, stellt die rechtlichen Grundlagen sowie Besonderheiten beim Einsatz von KI dar und beurteilt auf dieser Basis schliesslich die Zulässigkeit des beschriebenen KI-gestützten Transaktionsmonitorings.

Download PDF

Wer hat’s erfunden – KI oder Mensch? (in German)

Vera Vallone

Künstliche Intelligenz wird nicht mehr nur als Hilfsmittel bzw. Teil einer Erfindung eingesetzt, sondern ist bereits so weit fortgeschritten, dass sie die Erfindung selbst generiert. Wenig überraschend stellt dies das Patentrecht – wie fast jede technische Entwicklung – vor Herausforderungen. Zentral ist dabei die Frage, ob die künstliche Intelligenz als Erfinder benannt werden kann. 

Mehr in: «sic! 2023/3, 203 ff.»