Risker med AI i offentlig sektor: En varning från Trend Micro

En ny rapport från cybersäkerhetsföretaget Trend Micro belyser hur stora språkmodeller kan ge olika svar beroende på geografi och språk. Denna variation kan utgöra en risk för offentlig sektor där AI används utan tillräcklig kontroll.

Trend Micros studie bygger på upprepade tester av nästan 100 AI-modeller. Resultaten visar att samma indata kan leda till olika utdata, påverkat av geografiska och språkliga faktorer.

Detta kan innebära att AI-system, som används för beslutsfattande eller vägledning, riskerar att ge inkonsekvent information, vilket kan påverka myndigheternas trovärdighet.

Martin Fribrock, Sverigechef på Trend Micro, påpekar att resultaten indikerar allvarliga konsekvenser.

– Våra tester visar att AI-system kan återge inkonsekvent eller gammal information i politiskt känsliga, regulatoriska och medborgarorienterade scenarier. Det ökar risken att felaktig information presenteras och att förtroendet för företag och myndigheter urholkas när AI-resultatet tas för sant utan ordentlig verifiering, säger han.

Enligt Trend Micro är ett problem att många organisationer behandlar AI som vanlig mjukvara.

– Många organisationer antar att AI fungerar som traditionell programvara, där samma indata ger samma utdata. Vår rapport visar att detta antagande inte stämmer, säger han.

Fribrock betonar att stora språkmodeller bör hanteras med tydlig styrning och mänsklig verifiering.

Trend Micro understryker vikten av transparens från AI-leverantörer för att säkerställa ansvarsfull användning av systemen.

AI har potential att effektivisera både offentlig och privat sektor, men det kräver en medvetenhet om dess begränsningar.

Enligt Trend Micro är det först när AI kombineras med regelbunden testning och mänsklig kontroll som den kan bidra positivt utan att riskera förtroende.

FAQ – Trend Micros undersökning

Varför kan stora språkmodeller ge olika svar på samma fråga?

Stora språkmodeller påverkas av faktorer som språk, geografisk plats, lokala säkerhetspolicyer och datasuveränitet.

Varför är detta särskilt problematiskt för offentlig sektor?

Inom offentlig sektor kan AI-svar uppfattas som officiell information, vilket riskerar att underminera allmänhetens förtroende.

Räcker det inte att testa AI innan den tas i bruk?

Nej, enligt Trend Micro krävs kontinuerlig testning och mänsklig verifiering eftersom AI-modeller kan förändras över tid.

Vad bör organisationer kräva av sina AI-leverantörer?

Organisationer bör kräva transparens kring hur modellerna fungerar och vilka datakällor som används.

Kan AI fortfarande användas säkert inom offentlig verksamhet?

Ja, men med tydlig styrning och kontroller som återspeglar hur AI-system faktiskt fungerar.