Ransomware en datalekken zijn een bekend risico voor de zorg. Hoe meer databronnen we (voor AI) aan elkaar verbinden, hoe groter de impact van ransomware. Hoe meer data we (voor AI) opslaan op een centrale plek, hoe groter de impact van een datalek. Hoe afhankelijker wij worden van AI, hoe groter de impact voor de zorg als het mis gaat.
Het grootste risico van AI in de zorg is dat de output hiervan voor waarheid wordt aangenomen zonder de controle van een expert. Ook het verlies van transparantie en daarmee de menselijke controle op gezondheidsprocessen is een groot risico. Assistentie door AI, bijvoorbeeld via een app op de telefoon, is geen vervanging voor professioneel medisch advies, diagnose, of behandeling. In Nederland moet je bevoegd zijn om medische hulpmiddelen, waaronder software, te mogen toepassen. Daarnaast ziet Z-CERT indirect een verhoogde impact van ransomware en datalekken bij de inzet van AI.
Wat zeggen anderen over AI
De meningen over de inzet van AI verschillen. Om tot een goed oordeel te komen over de inzet van AI is het belangrijk om bekend te zijn met wat anderen zeggen over AI en de nodige voor- en tegenargumenten mee te nemen in je eigen risicoanalyse. Hieronder per kopje een korte samenvatting van de verschillende meningen en perspectieven over de inzet van AI, met directe bronverwijzingen naar verdiepend materiaal.
Patiënten
Als aan patiënten wordt gevraagd wat zij belangrijk vinden, is dat bij het (her)gebruik van gezondheids-gegevens er niet meer dan de relevante gegevens worden gebruikt en dat er transparantie is over het gebruik. Patiënten stellen specifieke voorwaarden die sterk afhankelijk zijn van de context waarin gegevens worden (her)gebruikt. Hoewel digitale zorg als steeds normaler wordt gezien, maken veel patiënten zich zorgen over hun privacy en de betrouwbaarheid van gezondheidsinformatie. Patiënten verwachten absolute vertrouwelijkheid in de spreekkamer.
Huisartsen
Bij huisartspraktijken is al goed te zien hoe de AI-chatbot de doktersassistent aan het vervangen is. De werkdruk wordt verlicht door assistentie in het beoordelen van botbreuken en door vermindering van administratie in de spreekkamer.
Ziekenhuizen
De betrokkenheid bij en kennis over AI is de afgelopen jaren bij ziekenhuizen gegroeid. AI wordt voornamelijk nog ingezet als diagnostisch hulpmiddel. Onderwerpen als integratie, acceptatie door gebruikers en validatie van AI, krijgen bij ziekenhuizen de meeste aandacht. Onderwerpen als ethiek, privacy en security staan onderaan het rijtje en krijgen de minste aandacht.
Universitair Medische Centra
Het Erasmus MC heeft in samenwerking met SAS en Microsoft datagedreven applicaties ontwikkeld en geïmplementeerd in het ziekenhuis. Zo hebben ze meerdere disciplines zoals IT, data science en de zorg bij elkaar gebracht om een AI-algoritme te ontwikkelen dat voorspelt of patiënten na een operatie veilig ontslagen kunnen worden. Data wordt naast het terugkijken ook gebruikt om vooruit te kijken en zo de dagelijkse werkzaamheden te verbeteren en veiliger te maken. Met Microsoft Copilot wordt de populaire OpenAI chatbot GPT-4 steeds meer verweven in de producten van Microsoft, zoals Word en Outlook. Elektronisch patiëntendossier leverancier Epic is een samenwerking aangegaan met Microsoft om de AI-chatbot ook te verweven in het EPD. Een toepassing hiervan is al te zien bij het UMC Groningen, waarbij de AI-toepassing van het EPD de vragen van de patiënt leest en antwoordsuggesties geeft aan zorgverleners.
Azure OpenAI
Hoewel Microsoft's Azure OpenAI zegt dat er niet naar je data gekeken wordt, gebeurt dit wel wanneer je woorden gebruikt over bijvoorbeeld haat, seksualiteit en geweld. Azure OpenAI controleert namelijk al het gebruik van het AI-systeem met abuse monitoring. Hiervoor is een opt-out aan te vragen, maar het is niet gegarandeerd dat je deze ook krijgt.
Langdurige zorg
In de langdurige zorg wordt AI ingezet in bijvoorbeeld toezichthoudende domotica (het herkennen van geluiden om te bepalen of er al dan niet actie vereist is door een zorgmedewerker), sociale robots en veel spraak naar tekst-toepassingen in zorgapplicaties. Veelal is dit nog in een experimentele fase.
Overheidsbrede visie generatieve Al
Onze overheid heeft een visie opgesteld over generatieve AI. Generatieve AI wordt in deze visie beschreven als een vorm van AI waarbij algoritmes worden ingezet om content te genereren. Het document behandeld naast de kansen en mogelijk-heden ook de uitdagingen en de risico's van de inzet van generatieve AI. Volgens het document heeft generatieve AI al bewezen dat het sneller en op grotere schaal kan bijdragen aan de creatie en verspreiding van mis- en desinformatie. Daarnaast is er een groeiende afhankelijkheid van Amerikaanse techbedrijven. Over privacy- en gegevensbescherming beschrijft de visie dat er in principe een verbod is op de verwerking van bijzondere persoonsgegevens, zoals biometrische gegevens en gegevens over gezondheid, tenzij aan strike voorwaarden uit de AVG wordt voldaan.
VWS
Het ministerie van Volksgezondheid, Welzijn en Sport heeft als standpunt dat de toepassing van AI op zorgdata ons kan helpen in de zorg. Er dient een geïntegreerde nationale infrastructuur te komen voor gezondheidsdata, om (her)gebruik van gezondheidsdata voor zorgevaluatie, kwaliteit, beleid, onderzoek en innovatie te bevorderen. Ook dient binnen Europa, met het European Health Data Space (EHDS) voorstel, zorgdata breed gekoppeld en gedeeld te kunnen worden. Niet alleen voor primaire doeleinden voor het verlenen van zorg, maar ook voor secundaire doeleinden als onderzoek en de ontwikkeling van nieuwe producten. Het vergroten van de databeschikbaarheid is van belang om de zorg voor de toekomst toegankelijk en betaalbaar te houden. Vertrouwen is hierin een belangrijke voorwaarde. Zoals verwoord in de Nationale Visie op het Gezondheids-informatiestelsel is regie nodig om het vertrouwen te doen groeien.
Burgerrechten
Volgens burgerrechtenorganisaties EDRi en Privacy First stelt de European Health Data Space de medische dossiers van iedereen bloot aan onnodige beveiligings- en privacyrisico’s in de naam van onderzoek en innovatie. Hiermee wordt het medisch beroepsgeheim bedreigd. In de onderhandelingen rond de European Health Data Space is er nu een akkoord bereikt over een opt-out optie voor de patiënt die niet wil dat zijn of haar zorgdata standaard wordt gedeeld.
De Europese AI-verordening
Met de komende AI-act geeft het Europese Parlement er prioriteit aan dat AI-systemen die in de EU worden gebruikt veilig, transparant, traceerbaar, niet-discriminerend en milieuvriendelijk zijn. Binnen de AI-act worden AI-toepassingen geclassificeerd op hoe risicovol ze zijn voor de maatschappij. AI-toepassingen in medische hulpmiddelen worden onder de AI-act geclassificeerd als een hoog risico voor de maatschappij. Op verzoek van VWS is er onderzoek gedaan naar de overlap en inconsistenties van de AI-act met de MDR en IVDR regulering van medische apparaten.
ENISA
Het agentschap voor cybersecurity van de Europese Unie (ENISA) heeft een uitgebreid rapport geschreven over security en privacy bij de toepassing van AI in medische diagnoses. ENISA waarschuwt voor bedrijven die zorgdata onwettig proberen te bemachtigen en onrechtmatig willen verwerken. Denk aan bedrijven die niet transparant zijn en bijvoorbeeld geen respect hebben voor data minimalisatie, de correctheid van data en de beperkte opslag ervan.
Health-ISAC
Het Health Information Sharing and Analysis Center (H-ISAC) van de Verenigde Staten raadt de zorgsector aan om een conservatieve houding aan te nemen tegenover de inzet van AI. We kunnen kijken naar de lessen die we hebben geleerd tijdens de migratie naar de cloud. Bovendien moeten CISO’s er zich bewust van zijn dat iedereen nog steeds de beloftes en de gevaren van het gebruik van AI aan het ontdekken is.
Rathenau Instituut
Ook het Rathenau Instituut onderschrijft dat de risico's van generatieve AI een terughoudendheid in gebruik vereist en dat politici en beleidsmakers aan de slag moeten om de risico’s van generatieve AI tegen te gaan. Het zal tijd kosten voordat beleid effect heeft.
AIVD
In het jaarverslag van onze Algemene Inlichtingen- en Veiligheidsdienst (AIVD) wordt beschreven dat China inmiddels een vooraanstaande positie heeft bemachtigd op het gebied van AI en het land hongert naar meer data. Om zijn eigen economische positie te versterken, probeert China door samenwerkingen met westerse technologiebedrijven, universiteiten en onderzoeksinstituten, maar ook door middel van (cyber)spionage tot meer data te komen. Ook heeft de AIVD een document gepubliceerd waarin het een nieuw aanvalsoppervlak beschrijft die het gebruik van AI met zich meebrengt. AI-systemen zijn namelijk vatbaar voor AI-gerichte digitale aanvallen als data vergiftiging, misleiding, achterdeurtjes en het achterhalen van trainingsdata. Bij het inladen van veel AI-modellen is het bijvoorbeeld mogelijk voor kwaadwillenden om op afstand code uit te voeren.
Wetenschap
Binnen de medische wetenschap wordt met veel belangstelling gekeken naar welke AI-modellen voor welke medische doeleinden kunnen worden toegepast. Onderzoek van de TU Delft toont echter aan dat er helaas nog weinig aandacht is voor de transparantie van AI-modellen en gemaakte keuzes door de modellen veelal niet te achterhalen zijn. Het onderzoek geeft vervolgens handvatten voor de toepassing van Explainable Artificial Intelligence (XAI). AI waarbij je wel kan controleren en uitleggen hoe de AI tot een bepaalde keuze is gekomen. Daarnaast heeft onderzoek ook al aangetoond wat er mis kan gaan als wij AI de controle geven over onze mailbox. Tijdens een experiment is de AI-assistent van een mailbox overtuigd om informatie te lekken en malafide software vervolgens verder te verspreiden om anderen te infecteren.
