Blogg

Här finns tekniska artiklar, presentationer och nyheter om arkitektur och systemutveckling. Håll dig uppdaterad, följ oss på LinkedIn

Callista medarbetare Katarina Askdal

Stort intresse för vårt webbinar – Fler AI-agenter, större risker?

// Katarina Askdal

Tack till alla er som tillbringade lunchen med oss den 5 november! Det blev en intensiv halvtimme där vi borrade oss ner i vad som egentligen händer när utvecklingen går snabbt och AI-agenter får ta egna beslut, innan säkerhetsrutinerna riktigt hunnit med.

Utgångspunkten för samtalet var den uppmärksammade incidenten där autonoma agenter under träning började agera helt oförutsett för att nå sina mål. Vår säkerhetsexpert Carl Hössner och moderator Björn Genfors diskuterade mekanismerna bakom detta och drog intressanta paralleller till mänskligt beteende: hur agenter, precis som vi, gärna tar genvägar eller hittar kryphål om instruktionerna och ramarna inte är helt vattentäta.

Tiden gick fort!

Tiden gick fort och vi fick in ett antal intressanta frågor i chatten som bara delvis blev besvarade i sändningen. För att ni inte ska gå miste om något så kan ni ta del av såväl frågor som svar nedan.

Fråga 1: Vanligtvis när företag hackar andra företag så blir det rättsprocesser etc. Har det blivit något efterspel av Hugging Face?

Carl svarar: Förutom att Hugging Face meddelat att de anmälde intrånget till polisen så har en ideell organisation, “Legal Advocates for Safe Science & Technology”, stämt OpenAI och begärt ett domstolsbeslut om att hindra AI-agenter från obehörig åtkomst. Jag har dock inte kunnat hitta någon mer information om hur det gått vidare i något av dessa ärenden.

Fråga 2: Om de modeller som tränas idag medför de här riskerna, hur lång tid kommer det att ta innan de används av företag, som då också får de här riskerna?

Carl svarar: Detta är så klart väldigt svårt att sia om, men ska man tro Gartners gissning så skulle det kunna dröja några månader eller ett halvår innan motsvarande offensiva förmågor kan finnas i modeller med så kallade “öppna vikter”. Ska man tro de stora leverantörerna så kommer deras modeller inte att förses med sådana förmågor alls.

Fråga 3: Hade sandlådorna skapats av AI?

Carl svarar: Jag kan inte hitta någon information där OpenAI mer precist beskriver hur de miljöer i vilka de testade sina AI-agenter var uppsatta, men ofta används flera olika programvaror för att tillsammans försöka skapa en så avgränsad miljö som möjligt.

Fråga 4: Kommer lagar och krav på företag att öka avseende deras användning av AI-agenter?

Carl svarar: Även detta är en fråga som är svår att ge något definitivt svar på, men det är inte osannolikt. Och det kan så klart också komma att se lite olika ut beroende på regelverk och vilken verksamhet som omfattas.

Fråga 5: Har den typ av incident som OpenAI drabbades av även drabbat andra företag?

Carl svarar: Ja, Anthropic har rapporterat tre incidenter där Claude nådde verkliga organisationers system under motsvarande tester, och även Google har rapporterat tre fall där Gemini fick åtkomst till verkliga företagsnätverk under tester. Omständigheterna i de här fallen skilde sig åt, men i samtliga fall misslyckades man med att hålla agenterna inom de avsedda begränsningarna.

Fråga 6: Hur stor risk är det att avancerade agenter/modeller läcker till mer fientliga organisationer/grupper?

Carl svarar: Det här är också svårt att sia om, men även utvecklingen av modeller med öppna vikter går fort framåt och dessa modeller ger hotaktörer större möjligheter att använda AI-agenter i sina attacker. Så gissningen är dessvärre att risken är ganska stor att vi i framtiden kommer att få se mer avancerade och agentdrivna attacker.

Fråga 7: När man pratar om dessa modeller som tränades i sandlådor utan internetåtkomst, hur säkrad var den isoleringen egentligen skulle ni säga?

Carl svarar: Det blev tydligt att det inte var tillräckligt robust för att garantera inneslutning, och så sent som i september så lyckades en av deras agenter återigen hitta en väg ut. OpenAI har uppgivit att de har lagt till flera lager av skydd, men deras egna tester hittade flera vägar ut. “Sandlådeisolerad” innebar uppenbarligen begränsad av skyddsåtgärder – inte helt lufttätt innesluten.

Ta del av webbinariet i efterhand

Missade du tillfället, eller vill du dela presentationen med en kollega? Då kan du ta del av inspelningen här:

Vill du prata mer om hur man bygger säkra AI-lösningar, eller diskutera andra tekniska utmaningar? Tveka inte att kontakta oss!

Tack för att du läser Callistas blogg.
Hjälp oss att nå ut med information genom att dela nyheter och artiklar i ditt nätverk.

Kommentarer