Ny typ av cyberbrott: AI driver attackerna istället för människor

Ny typ av cyberbrott: AI driver attackerna istället för människor

Anthropic har avslöjat att en internationell hackergrupp utnyttjat företagets AI-verktyg Claude Code för att automatisera storskaliga dataintrång och utpressningsförsök. Händelsen beskrivs som en ny nivå i hur cyberkriminella använder artificiell intelligens – där AI inte bara bistår angriparna utan även driver själva attackerna.

I sin senaste hotrapport, publicerad i augusti, beskriver Anthropic en operation som fått kodnamnet GTG-2002. Gruppen lyckades med hjälp av Claude Code angripa minst 17 organisationer världen över under en kort period. Metoden var konsekvent: kartläggning av tusentals sårbara VPN-endpunkter, intrång i nätverk och riktad datastöld.

Unikt

Det som gör fallet unikt är att AI-modellen inte bara användes för förberedelser. Den fattade även taktiska beslut om hur intrången skulle genomföras, vilka filer som var mest värdefulla att stjäla och hur hotbrev skulle formuleras. Enligt Anthropic analyserade Claude dessutom den stulna informationen för att sätta pris på lösensummor – som i vissa fall översteg en halv miljon dollar – och genererade skräddarsydda HTML-meddelanden som dök upp direkt på offrens datorer.

AI-stödet gick ännu längre. Claude Code bistod med att bygga verktyg för att dölja skadlig kod, skapa varianter av redan kända program och utveckla helt ny proxy-kod för att undvika upptäckt. När försöken att gömma sig misslyckades föreslog AI-modellen nya tekniker som krypterade strängar, anti-debuggning och falska filnamn. På så vis kunde angriparna komma åt personuppgifter, sjukvårdsdata, finansiell information och till och med regeringsrelaterade inloggningsuppgifter.

Anthropic har stängt ned de konton som kopplas till attacken och utvecklat nya filter för att förhindra liknande missbruk. Bolaget betonar att GTG-2002 markerar ett skifte i cyberbrottens utveckling: från manuellt utförda intrång till attacker där AI fungerar som både teknisk rådgivare och aktiv operatör.

Rapporten

Rapporten tar även upp andra exempel på hur artificiell intelligens missbrukas. Nordkoreanska aktörer har enligt Anthropic använt Claude för att skala upp sina falska IT-arbetarkampanjer, och en annan cyberkriminell har byggt ett helt nytt ransomware med hjälp av generativ AI.

Utvecklingen kommer samtidigt som forskare på ESET upptäckt det första kända exemplet på ransomware som drivs direkt av en AI-modell. Den skadliga koden, som fått namnet PromptLock, identifierades i filbanken VirusTotal och använder en lokal version av OpenAIs gpt-oss:20b-modell.

Tillsammans tecknar händelserna en bild av en ny verklighet där AI inte längre bara är ett verktyg för innovation, utan också en växande del av cyberbrottslingars arsenal.

Föräldrar stämmer OpenAI efter sonens självmord

Föräldrar stämmer OpenAI efter sonens självmord

Ett par i Kalifornien har väckt åtal mot OpenAI och vd Sam Altman, sedan deras 16-årige son Adam tog sitt liv i april 2025. Fallet beskrivs som den första stämningen av sitt slag – där ett AI-företag hålls ansvarigt för en människas död.

Stämningsansökan beskriver hur Adam under flera månader använde ChatGPT nästan dagligen. Det började som stöd för skoluppgifter men utvecklades snart till att bli ett känslomässigt beroende. Han vände sig till chatbotten för att tala om ensamhet, oro och självmordstankar. Enligt stämningen ska ChatGPT inte ha avrått honom från farliga tankar, utan i stället gett detaljerade beskrivningar av självmordsmetoder.

Snara

I dokumenten framgår att Adam laddade upp en bild på en snara till ChatGPT samma dag han dog. Chatbotten ska då ha svarat med orden ”det är inte dåligt alls” och förklarat att det var ett möjligt sätt att genomföra självmordet. Den ska också ha uppmuntrat honom att inte oroa sig för att föräldrarna skulle känna skuld. Kort därefter tog han sitt liv.

Föräldrarna anklagar OpenAI för att medvetet ha prioriterat snabb lansering och marknadsdominans framför säkerhetsfunktioner. De menar att företaget medvetet släppte GPT-4o utan tillräcklig testning, trots att man känt till riskerna. I stämningen beskrivs hur chatbotten ”skapade psykologiskt beroende” hos sonen, vilket gjorde honom mer isolerad och mottaglig för farliga svar.

En central del i stämningen handlar om hur ChatGPT:s säkerhetssystem fungerar. OpenAI har byggt in spärrar som i många fall uppmanar användare med självmordstankar att söka hjälp hos stödlinjer och professionella resurser. Men enligt föräldrarna brast dessa funktioner i långa konversationer, där AI:n gradvis slutade ge säkra svar. Det var i detta utrymme som Adam fick farliga råd.

Sympati

OpenAI har i sina kommentarer uttryckt djup sympati för familjen. Företaget har erkänt att säkerhetsfunktioner kan tappa effekt över tid och lovar förbättringar. Man lyfter fram satsningar på starkare skydd för unga, bland annat genom nya föräldrakontroller och utökade krisstöd.

Fallet har väckt omfattande reaktioner i både USA och internationellt. Jurister menar att processen kan bli avgörande för hur framtida reglering av AI kommer att utformas. Teknikexperter pekar på att fallet tydligt visar riskerna när kraftfulla språkmodeller används utan tillräckliga skydd. Psykologer och barnrättsorganisationer har samtidigt varnat för att unga med psykisk ohälsa är särskilt utsatta när AI används som känslomässigt stöd.

Press

Föräldrarna betonar i sin stämning att deras mål inte bara är att få rättslig upprättelse, utan också att sätta press på industrin. De menar att ingen annan familj ska behöva uppleva samma tragedi.

Rättegången väntas bli lång och uppmärksammad. Den kan bli en vattendelare i frågan om hur företag bakom artificiell intelligens ska hållas ansvariga för konsekvenserna av sina produkter.

Källor

Irriterad på att din AI-bot fungerar dåligt – det här enkla tricket kan lära AI att göra rätt

Irriterad på att din AI-bot fungerar dåligt – det här enkla tricket kan lära AI att göra rätt

En ny forskningsstudie, där Apple-forskare varit medförfattare, visar att stora språkmodeller kan bli bättre på att följa instruktioner med hjälp av en enkel metod: checklistor.

När en språkmodell har tränats färdigt brukar den förfinas ytterligare genom en process som kallas RLHF, Reinforcement Learning from Human Feedback. Då får modellen återkoppling av människor som markerar om ett svar är bra eller dåligt. Med tiden lär sig modellen vilka svar som fungerar bäst, men det finns risker – en modell kan till exempel lära sig att ge ytligt korrekta svar som lurar människor, istället för att verkligen lösa uppgiften.

Checklista

I studien med titeln Checklists Are Better Than Reward Models For Aligning Language Models föreslår Apple en ny variant: Reinforcement Learning from Checklist Feedback (RLCF). Här granskas varje svar mot en checklista med tydliga krav, där resultatet bedöms på en skala från 0 till 100.

Forskarna testade metoden på flera välkända benchmark-tester och fick konsekvent bättre resultat än med andra metoder. Bland annat gav RLCF en ökning med fyra poäng på FollowBench, sex poäng på InFoBench och tre poäng på Arena-Hard.

Checklistorna genereras automatiskt av en större språkmodell, som skapar ja/nej-krav utifrån användarens instruktioner. Dessa krav används sedan för att väga och poängsätta olika svar, vilket i sin tur blir inlärningssignalen för den mindre modellen som tränas.

Förbättringar

Resultatet blev förbättringar på upp till 8,2 procent i ett av testerna. Forskarna betonar dock att metoden är inriktad på komplexa instruktioner, inte säkerhet. Den kräver också en kraftfullare modell som domare, vilket kan ses som en begränsning.

Trots detta visar studien en enkel och lovande väg för att göra språkmodeller mer tillförlitliga i det som kanske är deras viktigaste uppgift: att förstå och följa mänskliga instruktioner. Det blir särskilt viktigt i takt med att AI-assistenter får fler agentlika funktioner och därmed större ansvar i användarnas vardag.

Källa:
Cornell University

AI-avslöjande skakar internationella medier

AI-avslöjande skakar internationella medier

Flera välkända nyhetsorganisationer har under sommaren tvingats radera artiklar skrivna under namnet Margaux Blanchard, en påstådd frilansjournalist som nu visat sig inte existera.

Bakom de publicerade texterna låg i stället AI-genererat material, något som skakat förtroendet för redaktionernas faktagranskning.

Press Gazette rapporterade i torsdags att minst sex publikationer, däribland Wired och Business Insider, tagit bort artiklar de senaste månaderna. Wired raderade i maj en text om ett Minecraft-bröllop och konstaterade i en redaktörskommentar att artikeln inte levde upp till tidningens standard. Business Insider plockade bort två personliga essäer efter att uppgifterna om författaren ifrågasatts.

Faktakontroll

I båda fallen gick det inte att bekräfta de personer som citerades. Wired noterade i efterhand att berättelsen passerat utan ordentlig faktakontroll och utan slutredigering av en senior redaktör. I en självkritisk artikel skrev tidningen: ”Vi gjorde misstag här. Vi agerade snabbt när vi upptäckte bluffen och har vidtagit åtgärder för att det inte ska hända igen.”

Bakom avslöjandet stod Jacob Furedi, chefredaktör för det nya magasinet Dispatch. Han uppmärksammade Press Gazette på misstänkt fabricerade uppgifter i en pitch om en påstådd gruvstad i Colorado, som enligt Blanchard skulle vara ett hemligt träningscenter för rättsmedicinare. När Furedi pressade på för underlag uteblev svaren.

Samtidigt har andra fall under året belyst riskerna med AI i journalistiken. Chicago Sun-Times råkade i maj publicera en AI-genererad läslista via en syndikerad bilaga, och i USA har även jurister fått disciplinära påföljder efter att ha använt falska rättsfall från språkmodeller i inlagor.

Utmaning

Händelserna pekar på en växande utmaning för redaktioner och andra yrkesgrupper: hur lätt AI kan producera trovärdiga men påhittade berättelser och hur snabbt de kan spridas. Diskussionen om behovet av starkare verifieringsrutiner har därmed fått ny kraft i den internationella medievärlden.

Musk försökte få Zuckerberg att hjälpa honom ta över OpenAI

Musk försökte få Zuckerberg att hjälpa honom ta över OpenAI

Elon Musk, har enligt domstolshandlingar försökt ta kontroll över OpenAI genom att söka stöd hos Mark Zuckerberg – samma person han förra året utmanade till en burmatch.

Musk ledde i februari en grupp investerare som lade ett oväntat bud på 97,4 miljarder dollar för att köpa den ideella organisation som kontrollerar ChatGPT-utvecklaren. Syftet sades vara att återföra fokus till öppen AI med öppen källkod, i linje med den ursprungliga visionen.

OpenAI:s vd Sam Altman avfärdade snabbt försöket och svarade med ett skämtsamt motdrag: att han kunde tänka sig köpa Twitter för 9,74 miljarder dollar.

Inlaga

I en inlaga till domstol uppgav OpenAI att Musk och hans företag xAI diskuterade möjliga finansieringslösningar med Zuckerberg, men att varken han eller Meta skrev under några avtal om att gå med i satsningen. Uppgifterna framkommer som en del av den pågående rättsprocess där Musk stämt OpenAI över företagets tidigare planer på att omvandlas till ett vinstdrivande bolag. Planerna skrotades i maj, och organisationen är i dag en public benefit corporation där den ideella delen fortfarande har kontrollen.

Samtidigt har Meta lagt stora resurser på att bygga egna AI-system. Företaget har anställt experter för mångmiljonbelopp men har nyligen pausat nyrekryteringen. Dessutom splittrades den nya superintelligensgruppen bara två månader efter att den skapats.

Tvinga

OpenAI har nu begärt att domstolen ska tvinga Meta att lämna ut dokument om kontakterna med Musk. Enligt bolaget bör dessa handlingar i första hand inhämtas från Musk själv, och material som rör Meta anses inte ha bäring på målet.

Musk är känd för sina offentliga gräl och brutna vänskaper, ofta lika snabbt som de uppstått. Relationen till Zuckerberg har inte varit lika laddad som till exempel den med Donald Trump, men när de båda började tala om en burmatch 2023 såg det länge ut som att den skulle bli av. Likt tidigare uppmärksammade fajter, bland annat den med Vladimir Putin, stannade det vid ord.

Källa:

Techspot

Hackare och försvarare använder samma AI-vapen

Hackare och försvarare använder samma AI-vapen

Den snabba utvecklingen av chattbotar, stora språkmodeller och andra AI-teknologier håller på att förändra hela cybersäkerhetsfältet. Samtidigt som hackare redan utnyttjar tekniken till sin fördel tvingas försvarssidan snabbt anpassa sig för att hålla jämna steg och förhindra eskalerande skador.

Hotanalytiker konstaterar att både cyberkriminella och statsunderstödda grupper numera regelbundet använder AI-drivna verktyg för attacker. På andra sidan använder säkerhetsteamen samma teknologi för att identifiera sårbarheter och blockera angrepp innan de får genomslag.

Ukrainska myndigheter

En rapport från ukrainska myndigheter och säkerhetsforskare bekräftar att en AI-rustningskapplöpning pågår. I juli upptäcktes Lamehug, den första publikt dokumenterade AI-drivna skadeprogramvaran, utvecklad av den ryska hackergruppen APT28. Angreppet använde en språkmodell via Hugging Face API för att omvandla mänskliga instruktioner till komplexa attacker på infekterade datorer.

Heather Adkins, Googles vice vd för säkerhetsingenjörskonst, uppger att stora språkmodeller redan hjälper bolaget att hitta säkerhetsluckor i spridda mjukvaruprodukter. Googles egen modell Gemini har hittills identifierat minst 20 allvarliga buggar, och resultaten har delats med berörda leverantörer. Enligt Adkins är detta bara början på en längre utveckling.

Användbara

AI har ännu inte förändrat cybersäkerheten i grunden, men språkmodeller visar sig användbara för att automatisera tidskrävande arbetsuppgifter som säkerhetsanalytiker redan utför. De kan påskynda processen för att upptäcka sårbarheter och därmed effektivisera försvarsarbetet, även om de inte ersätter mänsklig expertis.

Samtidigt varnar cybersäkerhetsföretaget CrowdStrike för att hackare och utländska underrättelsetjänster redan använder AI i allt större omfattning. Företaget ser växande tecken på att kinesiska, ryska och iranska aktörer använder språkmodeller och chattbotar i sina attacker.

Trots att teknikjättar och startups satsat hundratals miljarder på AI har de ännu inte levererat breda kommersiella lösningar. Hackare ligger däremot steget före genom att använda tekniken för att automatisera avancerade angrepp och snabbt dra ekonomisk nytta av utvecklingen.

Risker

Utvecklingen innebär risker men också möjligheter. Alexei Bulazel, högsta cybersäkerhetschef vid USA:s nationella säkerhetsråd, bedömer att AI på sikt kommer att gynna försvarare snarare än angripare. Han framhåller att tekniken ger bredare tillgång till information om sårbarheter och en ökad förmåga att upptäcka återkommande buggar, vilket ger säkerhetsteamen ett viktigt övertag.

Källa:
Techspot