Blogg

Här finns tekniska artiklar, presentationer och nyheter om arkitektur och systemutveckling. Håll dig uppdaterad, följ oss på LinkedIn

Callista medarbetare Carl Hössner

Black October: attackerna mot AI-plattformar 2026

// Carl Hössner

Under oktober 2026 drabbades över ett dussin företag som tillhandahåller AI-baserade verktyg av cyberattacker, och molnsäkerhetsföretaget Wiz döpte månaden till Black October. I den här bloggposten sammanfattar jag några av attackerna och redovisar vilka mönster och slutsatser som rapporterna pekar på.

AI-genererad illustration för bloggposten

Med Black Friday fortfarande framför oss har vi precis passerat vad Wiz i en nyligen publicerad bloggpost har kallat Black October. Till skillnad från Black Fridays kommersiella förtecken fick årets oktober sitt öknamn av den stora mängd säkerhetsrelaterade incidenter som inträffade under månaden, speciellt mot AI-centrerade företag. Ironiskt, kan kanske tyckas, eftersom både ENISA och CISA utropat just oktober till den månad då cybersäkerhet ska uppmärksammas, uppmuntras och fokuseras på.

Vad hände under oktober?

Inom loppet av några få veckor kom incidentrapporter från över ett dussin organisationer. Det finns inga publicerade bevis för att dessa attacker utfördes koordinerat, eller för att det fanns några gemensamma nämnare i form av sårbarhet, tredjepartsberoende eller identifierade angripare. Men två intressanta mönster sticker ut.

Den ena är det ökade fokuset på att stjäla API-nycklar och autentiseringsuppgifter för åtkomst till AI-modeller och AI-tjänster. Flera attacker utfördes mot organisationer som tillhandahåller tjänster i vilka kunder sparar sina AI-relaterade inloggningsuppgifter och API-nycklar. Genom att komma åt dessa organisationers infrastrukturer så har större mängder av sådana hemligheter kunnat stjälas på samma gång.

Det andra mönstret är rapporteringen av ökad användning av AI-agenter som verktyg för attackerna. Fireworks AI, OpenCode och Warp rapporterade alla att de attackerades av vad de upplevde var “agentsvärmar”, även om den tillgängliga tekniska bevisningen för detta är tunn. Det är svårt att verifiera huruvida AI-agenter koordinerade och genomförde attackerna helt autonomt, eller om det var mer traditionell automation med stöd från AI som användes. Att AI-agenter i allt större omfattning används i genomförandet av cyberattacker råder det dock inget tvivel om. Det är också tydligt att manuella processer och arbetssätt inte längre räcker till för att hantera hastigheten och komplexiteten med vilken dessa attacker genomförs.

AI-åtkomst som växande värdeföremål

Angripare har, precis som resten av världen, i ökad omfattning anammat användningen av AI. I flera av incidenterna under oktober har API-nycklar och användaruppgifter för åtkomst till AI-användning varit i tydligt fokus.

Fireworks AI tillhandahåller molninfrastruktur med hög prestanda som gör det möjligt för utvecklare och företag att bygga, finjustera och köra generativa AI-applikationer. Angripare använde interna inloggningsuppgifter för att få åtkomst till miljövariabler, bland annat innehållande AI API-nycklar. Hur angriparna lyckades komma över de interna inloggningsuppgifterna från början är oklart, men man misstänker att det kan ha skett i samband med en incident tidigare under sommaren.

Zeabur är en AI-driven plattform för applikationsdrift (PaaS) med mål att vara en “automatiserad AI DevOps-ingenjör”. Angripare tog sig in i deras infrastruktur och letade explicit efter API-nycklar. I attacken kom man även över andra autentiseringsuppgifter, bland annat AWS-nycklar som man utan framgång sedan försökte använda mot AWS Bedrock.

OpenCode är en plattform för AI-baserad utveckling. Ett av deras äldre system, Console, nyttjades av angripare för att få tillgång till intern infrastruktur och kunde därigenom stjäla kunders AI API-nycklar. OpenCode själva relaterade attacken till storskalig så kallad destillationsattack, även om den kopplingen inte har kunnat styrkas.

Railway erbjuder en modern molnplattform för applikationsdrift (PaaS). Genom att angripa CI/CD-infrastrukturen kunde Railways kunders inloggningsuppgifter stjälas. Railways egen utredning visade på att man i första hand var ute efter AI API-nycklar och inloggningsuppgifter till AI-tjänster, även om också andra autentiseringsuppgifter stals.

Northflank, som också tillhandahåller en avancerad PaaS-tjänst, blev även de utsatta för en attack under oktober. I denna lyckades angriparna komma över kunders miljövariabler och flera kunder har sedan rapporterat om otillåten användning av deras AI API-nycklar. Det är ännu inte publikt känt hur angriparna kom in i infrastrukturen.

Command Code tillhandahåller en terminalbaserad AI-agent för applikationsutveckling. Enligt företagets rapportering lyckades man stoppa en attack som företaget själva kopplade till destillation, även om den kopplingen inte har kunnat styrkas. Ingen kund ska ha blivit drabbad enligt deras egen rapportering.

En annan incident som är av extra intresse är attacken mot BerriAI som står bakom LiteLLM, en AI gateway som bygger på öppen källkod och som avses köras lokalt. Här lyckades angriparna påverka BerriAIs releaseprocess så att en version av LiteLLM innehållande skadlig kod under några timmar fanns publicerad på PyPI och i officiella containerregister. Enligt BerriAIs egen rapport fanns version 1.107.0 tillgänglig i ungefär två timmar innan den drogs tillbaka. Något antal nedladdningar av just den versionen har inte publicerats, men LiteLLM har totalt cirka 92 miljoner nedladdningar per månad från PyPI. Den skadliga koden stal bland annat AI API-nycklar, SSH-nycklar och andra autentiseringsuppgifter från användarens lokala miljö, och laddade dessutom ned och körde kod från en extern server varje timme.

Attacken mot Warp, som tillhandahåller en AI-stödd terminalemulator med samma namn, är också intressant att nämna separat. Det som särskiljer den här attacken är att angriparna bland annat stal de beslutsloggar som AI-agenter genererar när terminalen används. Dessa loggar genereras av agenterna själva och kan innehålla värdefull information i form av till exempel användarnamn och lösenord, API-nycklar, SSH-nycklar och andra uppgifter som användarna matat in som del i kommandon, argument, prompter mm. Incidenten visar att agentloggar behöver klassificeras som känslig information och skyddas därefter.

Den växande svarta marknaden för AI API-nycklar

Det ökade intresset för att stjäla uppgifter som ger åtkomst till kommersiella AI-modeller och -tjänster är kanske inte så förvånande när man tittar på den växande svarta marknaden för sådan information, som bland annat beskrivs i Check Points rapport “AI Threat Landscape Digest” för juli-augusti. I Wiz analys av incidenterna syns ett återkommande mönster. Inom kort tid efter att uppgifterna har stulits så testas de, därefter används de i en jämn, låg nivå av anrop (vilket Wiz beskriver görs för att kontrollera att nycklarna fortfarande är giltiga), vilka modeller och kvoter som går att komma åt kartläggs och sedan följer en storskalig användning. I de två fall som Wiz analyserade så uppskattar de att de drabbade organisationerna har behövt att bekosta över 100 000 USD i användning som de själva inte orsakat.

Wiz har också identifierat två tjänster, llm-routing.com och xingjiabiapi.org, som erbjuder åtkomst till AI-modeller till reducerade priser. Man har kunna bevisa att llm-routing.com använde API-nyckar från de två analyserade fallen men man har inte kunnat visa att tjänsterna låg bakom själva stölderna eller den storskaliga användningen.

API-nycklar och inloggningsuppgifter till AI-tjänster är med andra ord inte längre bara intressanta att stjäla för egen användning, de har blivit en värdefull handlingsvara på den kriminella svarta marknaden.

Ökad användning av AI som verktyg i attacker

Efter attackerna mot Fireworks AI, OpenCode och Warp har organisationerna själva rapporterat att agentsvärmar användes i attackerna, men detta bör ses som en beskrivning av hastigheten och beteendet snarare än ett bevis på att helt autonoma AI-agenter lyckats genomföra attackerna. Den information som tillgängliggjorts från dessa incidenter innehåller inga bevis för att någon specifik teknik, orkestreringsramverk eller metodik för helt autonoma AI-agenter har använts. Däremot tycks AI-agenter ha använts i koordination och kombination för att snabbt hitta sårbarheter, ta över system, identifiera värdefull information och röra sig mellan system i infrastrukturen.

Även om de incidenter som har beskrivits här inte har genomförts helt av autonoma AI-agenter så pekar det ökande antalet rapporter på att det är åt det hållet det kommer att gå. Här kan till exempel nämnas Microsofts rapportering av ARTEX, Palo Alto Networks Unit 42 rapportering av angripares använding av Cairn och Check Points beskrivning av JADEPUFFER.

Hotaktörernas användning av AI-agenter gör det redan idag svårare att försvara våra system. Om inte annat så bara genom den hastighet med vilken attackerna genomförs.

Slutsatser från Black October

Den tydligaste slutsatsen från incidenterna under oktober är att värdet av AI-relaterad information, som till exempel API-nycklar och AI-genererade loggar, inte ska underskattas utan behöver hanteras som känslig information i en organisation.

Organisationer är i allt större omfattning beroende av både externa och interna plattformar, tjänster, gateways och verktyg för att använda och bygga AI-tillämpningar. Varje instans som lagrar AI-genererade loggar eller uppgifter för åtkomst till AI är numera en del av organisationens attackyta, oavsett om den finns inom eller utanför den egna organisationen.

En annan slutsats är att den ökade användningen av AI-verktyg för att genomföra attacker också ställer ökade krav på organisationers förmåga och hastighet att upptäcka och svara på incidenter. När angripare automatiserar rekognoscering och genomförande av attacker, så kan försvarare inte längre bara förlita sig på manuella processer och arbetssätt.

Vad kan organisationer göra för att skydda sig

Förutom alla de klassiska säkerhetsåtgärder som vi har lärt känna och älska under de senaste decennierna så finns det ett antal säkerhetsprinciper som direkt relaterar till de incidenter som gav Black October sitt namn, både mot bakgrund av de cyberattacker som pågår och i takt med ökad användning av AI. Listan nedan ska inte ses som en komplett sammanställning utan ett axplock.

  1. Hantera uppgifter för åtkomst till AI-modeller som produktionsdata. Håll en inventering av de API-nycklar och autentiseringsuppgifter som används, var de lagras och vem som ansvarar för dem. Tillämpa samma åtkomstkontroll och livscykelhantering som för andra autentiseringsuppgifter med hög behörighet. Se OWASP Secrets Management Cheat Sheet.

  2. Minimera värdet på autentiseringsuppgifter. Använd olika autentiseringsuppgifter för olika system och miljöer. Använd om möjligt autentiseringsuppgifter med kort livslängd och behörigheter som är begränsade till enskilda tjänster, snarare än långlivade API-nycklar med breda behörigheter. Tillämpa begränsningar i kostnad och användning, och aktivera utskick av meddelanden vid användning. Se OWASP Secrets Management Cheat Sheet.

  3. Skydda hela AI-utvecklingskedjan. Säkra upp källkodsarkiv, CI/CD-pipelines, testmiljöer, AI-gateways mm. Fokusera på säkerhet kring tredjepartsberoenden och gamla system. Om man dessutom utvecklar eller tränar egna AI-modeller behöver dessutom bland annat träningsdata och modellvikter skyddas som känslig information. Se NIST SP 800-218, Secure Software Development Framework.

  4. Skydda kontext, loggar och minne som används av AI-modeller/-agenter och de verktyg de har tillgång till, och tillämpa åtkomstkontroll och lagringsregler för dem. Se OWASP Top 10 for LLM Applications.

  5. Använd fristående övervakning av användning av AI-agenter och deras verktyg. Håll koll på användningsgrad, användningsmönster och onormala anrop till API:er, helst via övervakningsfunktioner utanför den tjänst/plattform som huserar AI-agenterna och deras verktyg. Se NIST SP 800-207, Zero Trust Architecture.

  6. Tilldela AI-agenter egna konton och identiteter. Använd åtkomst- och behörighetskontroller för att säkerställa minsta nödvändiga åtkomst och rättigheter. Se NIST SP 800-207, Zero Trust Architecture.

  7. Designa och testa för att motverka både direkt och indirekt prompt injection. AI-modeller är dåliga på att skilja mellan instruktioner som kommer från användarens prompt och de som eventuellt ligger i information som agenten själv hämtar in. Hantera dokument, webbsidor, e-post och annan information som agenter ges tillgång till som potentiellt skadlig information. Se OWASP LLM01: Prompt Injection.

  8. Automatisera incidenthanteringen. Bygg förmåga att automatiserat både kunna upptäcka incidenter, till exempel genom att korrelera händelser, åtkomst till system och AI API:er, systemhändelser mm., och att kunna begränsa och avbryta pågående intrång. Förbered och öva kontinuerligt på manuella processer och rutiner för att vara förberedda när en incident inträffar. Se NIST SP 800-61 rev. 3, incidenthantering.

  9. Utbilda och öva. Den mänskliga faktorn är fortfarande bland de vanligaste vägarna in i en organisation. Det handlar sällan om illvilja eller medvetna handlingar, utan om att okunskap och mänskliga misstag gör det lättare för angripare att skapa ett första fotfäste för att komma åt organisationens system och information.

Det var kanske inte på grund av en enda stor koordinerad cyberattack som Black October fick sitt namn, eller på grund av att attackerna utfördes av helt autonoma AI-agentsvärmar. Men namnet var dessvärre ändå välförtjänt. Rapporteringen visar inte bara att AI-relaterade uppgifter blir allt mer eftertraktat, utan också att genom användningen av AI-agenter blir attackerna snabbare, mer avancerade och mer frekventa. Säkerhetsarbetet behöver följa med.

Tack för att du läser Callistas blogg.
Hjälp oss att nå ut med information genom att dela nyheter och artiklar i ditt nätverk.

Kommentarer