Vad bör kommunen beakta vid upphandling och avtal vid ibruktagande av artificiell intelligens?

När en kommun upphandlar ett AI-system kan det verka svårt att definiera föremålet för upphandlingen och genomföra upphandlingsförfarandet. Ett AI-system är dock ett föremål för upphandling som alla andra, och det finns redan ett brett utbud av olika alternativ och leverantörer på marknaden. När ett AI-system upphandlas för första gången framhävs vikten av marknadskännedom och marknadsdialog.

Vid upphandlingen är det viktigt att identifiera vilken roll kommunen har och vad AI-systemets riskklassificering är. Rollfördelningen i AI-förordningen slår fast olika skyldigheter för olika roller. I egenskap av köpare anses kommunen ofta vara tillhandahållaren. Kommunen kan dock också ta rollen som leverantör, om den deltar i utvecklingen av systemet. Även systemets riskklassificering innebär varierande skyldigheter för aktörerna. Om det gäller ett så kallat system med hög risk hör det enligt AI-förordningen till leverantörens roll att till exempel registrera systemet i EU:s databas och ge tillhandahållaren tillräckliga uppgifter och instruktioner om hur systemet används. När en kommun ska upphandla ett system med hög risk ska dem se till att den får uppgifter om systemets CE-märkning samt instruktioner för hur systemet används. Kommunen ska även kontrollera att systemet fungerar enligt de givna instruktionerna. Kommuner som agerar tillhandahållare för system med hög risk måste också registrera sig i EU:s databas. 

När en kommun planerar att upphandla ett AI-system måste den se till att de olika bedömningar som lagen kräver genomförs i ett tillräckligt tidigt skede. På så sätt identifieras eventuella risker som är förknippade med användningen av systemet, och nödvändiga åtgärder kan vidtas. 

• När det gäller ett system med hög risk ska kommunen före ibruktagandet göra en konsekvensbedömning avseende grundläggande rättigheter i enlighet med kraven i AI-förordningen. Resultaten av bedömningen ska rapporteras till den behöriga myndigheten. 
• Om personuppgifter behandlas i ett system med hög risk kräver användningen av systemet sannolikt att det görs en konsekvensbedömning av dataskyddet i enlighet med dataskyddsförordningen. Konsekvensbedömningen avseende grundläggande rättigheter som nämndes ovan kan göras i samband med konsekvensbedömningen av dataskyddet. 
• Om det är fråga om en omfattande administrativ reform som påverkar innehållet i informationshanteringsmodellen, eller ibruktagande av ett informationssystem, kräver informationshanteringslagen att det görs en konsekvensbedömning. 
• Kommunen ska också bland annat se till att system med hög risk övervakas av personer med tillräcklig kompetens och att uppgifterna som matas in i systemet är ändamålsenliga och representativa. 

I avtalen slås fast vilka ansvar och skyldigheter olika parter har med anledning av lagstiftningen. I samband med artificiell intelligens är även frågor som relaterar till data och användarrättigheter centrala avtalsfrågor. Dessutom ska man vid behov även beakta de skyldigheter som behandling av personuppgifter föranleder, i enlighet med dataskyddsförordningen. 

På plattformen Public Buyers Community har gemenskapen Procurement of AI publicerat ett förslag till standardavtalsklausuler som kan pilottestas vid upphandlingen av AI-lösningar.  Klausulerna bygger på standardklausuler för upphandling av algoritmiska system som utvecklades av Amsterdams stad år 2018. När det kommer till klausulerna bör det dock noteras att det är fråga om ett utkast från tiden innan AI-förordningen antogs, och att det endast innehåller bestämmelser om frågor som omfattades av tillämpningen för utkastet till AI-förordningen. Det är inte ett officiellt EU-dokument och återspeglar inte EU-kommissionens officiella ståndpunkt. Mer information om Public Buyers Community finns på kommissionens webbplats.