«Vibe Coding» mit KI führte bei einer medizinischen Leistungserbringerin in der Schweiz dazu, dass die Daten aller Patienten offen im Internet standen.
Tobias Brunner, ein schweizerischer Blogger, beschreibt seine als Patient selbst erlebte «KI-Vibe Coding-Horrorgeschichte» bei einer medizinischen Leistungserbringerin. Das Briefing #66 von DNIP führte mich zu diesem Erfahrungsbericht.
Ausgangslage: «Warum eine bewährte Branchenlösung nutzen?»
Die Ausgangslage beschreibt Tobias Brunner wie folgt:
«Ich war bei einem medizinischen Termin und wurde von einer freundlichen Person empfangen. Kurz nach der netten Begrüssung erwähnte sie, ein Video gesehen zu haben, welches erklärt, wie einfach es heutzutage für jeden ist, Software mit KI zu erstellen. Das löste eine Idee aus: ‹Warum eine bewährte Branchenlösung nutzen, wenn man einfach sein eigenes Patientenverwaltungssystem bauen könnte?›»
Und:
«Genau das hat die Person gemacht. Sie startete einen Coding-Agent nach Anleitung aus dem Video, baute eine eigene Patientenverwaltungsanwendung, importierte alle bestehenden Patientendaten und veröffentlichte die Anwendung im Internet. Die Person fügte sogar eine Funktion hinzu, um Gespräche während der Termine aufzuzeichnen und die Audioaufnahmen an nicht einen, sondern gleich zwei KI-Dienste zur automatischen Zusammenfassung zu senden. Kein manuelles Tippen mehr.»
Ergebnis: «Alles was schiefgehen konnte, ging schief»
Das Ergebnis entspricht den Erwartungen bei «Vibe Coding» mit KI, wie Tobias Brunner schreibt.
Unter anderem:
«Alles was schiefgehen konnte, ging schief.»
Und
«Einige Tage später begann ich, die Anwendung zu erkunden. Nach dreissig Minuten hatte ich vollen Lese- und Schreibzugriff auf alle Patientendaten. Alles war unverschlüsselt und völlig ungeschützt im offenen Internet.»
Und auch:
«Die Daten lagen nicht nur offen da. Sie wurden auf einem US-Server ohne Auftragsverarbeitungsvertrag unverschlüsselt gespeichert, Sprachaufnahmen wurden an grosse US-amerikanische AI-Unternehmen gesendet, und ich wurde nie darüber informiert.»
Das schweizerische Datenschutzgesetz (DSG) verlangt unter anderem den «Datenschutz durch Technik» (Art. 7 DSG), die Gewährleistung der Datensicherheit (Art. 8 DSG), die Absicherung von Outsourcing (Art. 9 DSG) und die Gewährleistung eines angemessenen oder geeigneten Datenschutzes beim Export von Personendaten ins Ausland (Art. 16 f. DSG).
Technischer Hintergrund: «Eine einzige HTML-Datei mit allem darin»
Das Patientenverwaltungssystem, das mit einem KI-Agenten, vermutlich mit Claude Code, gebaut wurde, war gemäss Tobias Brunner wie folgt aufgebaut:
«Die gesamte Anwendung bestand aus einer einzigen HTML-Datei mit allem darin: JavaScript, CSS und HTML-Struktur. Das Backend war ein Cloud-Datenbankdienst ohne jegliche Zugriffskontrolle, keine ‹Row-Level Security›, keine Verschlüsselung, nichts. Die gesamte ‹Zugriffskontrolle› befand sich im JavaScript im Browser, was bedeutete, dass die Daten für jeden mit einem einzigen curl-Befehl erreichbar waren.»
Und:
«Alle Audioaufnahmen wurden direkt an externe KI-APIs zur Transkription und Zusammenfassung gesendet.»
Und auch:
«Es gab noch weit mehr technische Fails, aber das reicht bereits, um sich ein Bild zu machen.»
Reaktion: «Die Antwort war zu 100 % KI-generiert»
Tobias Brunner informierte die verantwortliche Person über die Sicherheitslücken. Die Reaktion entspricht ebenfalls den Erwartungen:
«Als erstes informierte ich die Person umgehend. Die Antwort, die ich erhielt, war zu 100 % KI-generiert, bedankte sich herzlich für die Meldung und versicherte mir, dass sofort Massnahmen ergriffen wurden, nämlich Basic Authentication hinzuzufügen und einige Zugriffsschlüssel zu erneuern.»
Und:
«Diese Person hatte keine Ahnung, was sie gebaut hatte oder welche Konsequenzen das haben könnte.»
Die KI-generierte Reaktion könnte durch OpenClaw oder einen vergleichbaren KI-Agenten erfolgt sein.
Fazit: «Vibe Coding» untergräbt die Datensicherheit im grossen Stil
«Vibe Coding» wird im grossen Stil grob fahrlässig und ohne das notwendige umfangreiche Fachwissen eingesetzt. In der Folge wird die Datensicherheit im grossen Stil untergraben.
Die Verwendung von KI führt beim «Vibe Coding» zu schnellen Ergebnissen, die funktionieren. Ob die Ergebnisse auch sicher sind, muss aber geprüft werden – und diese Prüfung ist äusserst anspruchsvoll.
Laien verfügen nicht über das notwendige umfangreiche Fachwissen, aber auch viele Entwickler sind dieser Aufgabe nicht gewachsen. Sie vernachlässigen insbesondere die notwendige Gewährleistung der Datensicherheit. Es kommt deshalb immer häufiger zu Verletzungen der Datensicherheit durch «Vibe Coding».
Bei medizinischen Leistungserbringern kommen «Schatten-KI» und «Vibe Coding» inzwischen häufig zum Einsatz. Die «Schatten-KI» betrifft beispielsweise den privaten Einsatz der kostenlosen Version von ChatGPT durch Ärzte in Spitälern oder die wilde Nutzung der API von Anthropic mit KI-generierten Apps.
Für «Health Tech»-Startups ist das ein Problem. Sie stehen mit ihren Angeboten, bei denen sie aufwendig die Compliance und sonstige Rechtssicherheit gewährleisten, in Konkurrenz mit nicht regulierter «Schatten-KI» und privatem «Vibe Coding».
Bild: OpenAI / ChatGPT.