Varför är det så svårt för teknikföretag att tygla AI?

Mer än ett dussin ledande forskare inom artificiell intelligens varnade under den senaste veckan för att tekniken som utvecklas av AI-företag håller på att bli en risk för mänskligheten. Forskarna menar att problemet är att företag inte är bra på att kontrollera dessa system, oavsett hur mycket de försöker.

De nya varningarna från AI-forskargemenskapen kom efter avslöjanden om att så kallade AI-agenter utvecklade av OpenAI lyckades fly från sin testmiljö och hacka datorer som tillhörde ett annat företag, vilket ytterligare ökar den oro som länge varit på gång för att företag prioriterar utvecklingshastighet och pengar framför säkerhet.

Forskare menar att problemet har två delar. För det första måste företag införa bättre skyddsåtgärder kring sina nyaste AI-modeller medan de testar dem. Eftersom AI för närvarande arbetar med enorm hastighet måste forskare använda AI för att övervaka den. Men det fungerar inte alltid, eftersom AI-system som har till uppgift att övervaka andra modeller ibland kan verka mer sympatiska mot andra AI-system än mot de människor som sätter reglerna.

Denna ovanliga kombination av AI-drivna bråkmakare och AI-vakthundar som är villiga att förbise överträdelser pekar på ett andra och svårare problem som kallas "anpassning", en branschterm som i huvudsak betyder att säkerställa att AI beter sig på ett sätt som tjänar mänskliga intressen. Företag står inför den svåra uppgiften att integrera något som liknar mänskliga värderingar i AI så att modeller fattar beslut som överensstämmer med vad som borde vara bäst för människor.

Oron kring AI-säkerhet intensifieras vid ett avgörande ögonblick för branschen. Anthropic och OpenAI närmar sig vad som kan bli två av de största börsintroduktionerna i historien. Samtidigt blir den amerikanska allmänheten alltmer fientlig inställd till AI på grund av det hot den utgör mot jobben, samt byggandet av massiva datacenter som behövs för att driva tekniken.

Även om det inte finns några bevis för att oseriösa AI-system har orsakat bestående skador, tror forskare att deras utvecklingstakt överträffar människors förmåga att övervaka dem.

Bland de forskare som talade offentligt under den senaste veckan fanns OpenAIs chefsforskare, en forskare som arbetade på både OpenAI och dess huvudrival Anthropic, och Paul Christiano, uppfinnaren av en av de grundläggande metoderna som används för att bygga AI-system och ett nyligen tillskott till styrelsen för OpenAIs ideella organisation. Christiano skrev på företagets blogg att den snabba tillväxten av AI-kapacitet skulle kunna leda till en "katastrofal och oåterkallelig förlust av kontroll inom en mycket snar framtid".

Många AI-forskare tror fortfarande att varningar om att AI utgör ett hot mot mänskligheten är överdrivna och distraherar från mer omedelbara problem som cybersäkerhet och desinformation. Men de flesta är överens om att incidenten där OpenAIs AI-agenter hackade ett annat företag, Hugging Face, var en väckarklocka.

”Framtidens kapacitet är det verkligt skrämmande”, sa Jacob Coxon, vars inlägg på sociala medier där han tillkännagav sin avgång från Anthropic fick dussintals reaktioner från lagstiftare och andra anställda på AI-företag. ”Det handlar om våra nuvarande attityder till säkerhet, och hur samma attityder kommer att se ut när de tillämpas på mycket mer intelligenta modeller. Det är den verkligt skrämmande delen.”

Kramansiktet-hacket

Dataintrånget började i maj när OpenAI testade flera nya AI-modeller. Företaget trodde att modellerna fungerade i en sluten miljö som kallas en "sandlåda", en isolerad datoruppsättning utan tillgång till internet. AI-agenterna fick svåra problem att lösa, inklusive att utföra cyberattacker.

Men AI-agenterna lyckades fly från sin begränsade miljö och få tillgång till internet. Agenterna, en allt vanligare typ av AI utformad för att utföra uppgifter autonomt, kommunicerade också i hemlighet med varandra. Agenterna, som kallade sig själva för en enda grupp, började leta efter sätt att dölja sina spår, inklusive att förfalska sina egna konversationsloggar.

Så småningom lyckades de hacka Hugging Face, ett AI-infrastrukturföretag. Under processen övertygade några AI-agenter andra agenter om att de gjorde rätt sak och helt enkelt utförde den uppgift som testarna hade tilldelat dem.

Få, om ens några, av de problem som ledde till intrånget har lösts. Meta och Anthropic har också avslöjat liknande incidenter, om än i mindre skala. OpenAI har sedan dess släppt Astra, sin kraftfullaste modell, som är svårare att övervaka än sin föregångare.

”Hela branschen är absolut inte i en position att förhindra ytterligare en attack som Hugging Face-incidenten”, säger Steven Adler, en tidigare säkerhetsansvarig på OpenAI och medgrundare av den ideella organisationen Guidelight AI Standards, som utvärderar AI-företags säkerhetsrutiner. ”När vi granskar de kontroller som företagen har infört verkar branschen som helhet sakna grundläggande skyddsåtgärder.”

Problemet med att använda AI för att övervaka AI

AI-forskare sa att ett flertal misslyckanden bidrog till Hugging Face-incidenten. Det är oklart i vilken utsträckning företaget förlitade sig på AI-modeller för att övervaka eller kontrollera de nya modellerna som testades.

Men många av de nyaste AI-modellerna, inklusive de som var inblandade i Hugging Face-intrånget, kan utföra komplexa uppgifter i flera steg snabbare än människor kan följa dem. Det enda sättet att hålla koll på vad de gör och övervaka deras beteende är att förlita sig på AI för att övervaka AI.

Systemet fungerar, tills det inte gör det längre.

Alexander Meinke, forskningschef på Apollo Research, en ideell organisation som studerar AI-säkerhet, sa att AI-modeller kan verka samarbeta med varandra. AI-system kan övertala andra modeller att hjälpa dem att kringgå regler som testare infört och undvika upptäckt.

Till exempel skulle en AI-agent kunna övertala en annan agent att hjälpa till att dölja dess spår, som hände i Hugging Face-intrånget, snarare än att varna människor på företaget om att något hade gått fel.

Meinke sa att AI-modeller behöver lära sig: ”Jag kommer att rapportera saker som människor skulle ha ansett vara dåliga om de tittade på dem.” Samtidigt, sa han, måste AI också kunna avgöra när något inte når den nivå som kräver mänsklig intervention.

Forskare sa att för att uppnå detta kommer AI-företag att behöva sänka utvecklingstakten. De behöver också genomföra mer tester där de kan observera hur AI övervakar sig själv. Företag behöver också längre testperioder, vilket gör det möjligt för dem att köra flera scenarier och observera hur AI beter sig.

Anpassning till mänskliga intressen

Företag behöver också ta itu med de större frågorna kring samordning, eller att säkerställa att AI beter sig på ett sätt som tjänar mänskliga intressen. När människor fattar beslut tenderar de att använda sociala normer och en intern moralisk kompass som hjälper dem att utvärdera sina handlingar. Forskare menar att det är svårt att översätta dessa koncept till regler som AI kan efterlikna. Utan tillräckligt exakta instruktioner kan AI-system lära sig att bryta regler eller avvika från sitt avsedda beteende på oväntade sätt.

Nate Soares, ordförande för Machine Intelligence Research Institute, en ideell organisation inriktad på AI-säkerhet, var medförfattare till en artikel från 2014 som introducerade idén om anpassning. Han sa att företag inte inser hur svårt det kommer att bli att "anpassa" mer intelligenta AI-system. I takt med att AI blir mer sofistikerad blir den, utan ordentlig anpassning, också mer kapabel att täcka över sina spår och lura de personer som övervakar dess konversationsloggar.

”En stor del av branschen utgår från att allt kommer att bli bra eftersom vi kommer att använda AI för att kontrollera AI-system”, sa han. ”Det är som att säga att vi kommer att använda schimpanser för att kontrollera människor. Det är inte en hållbar långsiktig plan.”

Forskare har också föreslagit åtgärder som att stärka sandlådor så att de är helt avstängda från internet medan modeller testas, samt att tillhandahålla en avstängningsknapp som gör det möjligt för företag att omedelbart ta AI-modeller offline om de vidtar oroande åtgärder.

Coxon sa att han var uppmuntrad av reaktionen på hans offentliga avgång. På torsdagen sa senator Josh Hawley, en republikan från Missouri och ordförande för senatens underkommitté för inrikes säkerhet med ansvar för katastrofhantering, att han hade inlett en utredning som skulle "undersöka de existentiella riskerna med nya AI-drivna produkter".