AI-agenter behöver mer än en bra prompt

En kodagent kan föreslå en rimlig lösning och meddela att ett fel är åtgärdat utan att ändringen har kontrollerats. Om testerna inte har körts mot den nya versionen vet vi fortfarande inte om lösningen fungerar eller om något annat har påverkats.

Modellvalet är därför bara en del av arbetet. Uppgiften, åtkomsten och kontrollen av resultatet behöver också vara genomtänkta. En bättre prompt kan hjälpa, men den ersätter inte tester eller granskning av den faktiska ändringen.

Vad får agenten faktiskt göra?

När agenten får använda terminalen, läsa kod och anropa andra verktyg behöver uppdraget vara tydligt. Vad ingår, vad ligger utanför och hur ska resultatet kontrolleras? Miljön behöver dessutom begränsa åtkomsten tekniskt. Instruktioner till modellen är inte samma sak som behörighetskontroller.

Det här brukar samlas under begreppet agent harness: arbetsmiljön runt modellen, med instruktioner, verktyg och kontroller för hur uppgiften utförs.

En agent som säger att den är klar är inte samma sak som en ändring som har verifierats.

Tre delar att börja med

• Avgränsade ändringar. Arbeta i steg som går att förstå, granska och återställa.
• Kontrollera att det fungerar. Kör relevanta tester, bygg projektet och titta på gränssnittet när det har ändrats.
• Skriv ner vad som återstår. Nästa session behöver veta vilka beslut som togs, vad som är trasigt och vilka kontroller som faktiskt kördes.

Anthropic beskriver liknande problem i sitt arbete med långkörande agenter: för stora uppgifter och funktioner som förklaras färdiga utan att vara ordentligt kontrollerade. Det är deras observationer från deras upplägg, men resonemanget är värt att läsa även för ett mindre projekt.

Beskriv vad ”klart” betyder

Anta att uppgiften är att rätta en inloggning som accepterar ett tomt lösenord. ”Förbättra inloggningen” är för öppet. Ett avgränsat uppdrag anger i stället att ett tomt lösenord ska nekas, en giltig inloggning fortfarande ska fungera och befintliga behörighetskontroller ska vara kvar.

Agenten kan föreslå kod och tester. Granskningen behöver sedan kontrollera att testerna faktiskt kördes, vad de kontrollerar och om andra delar av inloggningen påverkats. Ett grönt test är värdefullt, men inte om testet har ändrats för att acceptera fel beteende.

All åtkomst behöver inte följa med

Att läsa kod, ändra den och deploya till produktion är olika befogenheter. En begränsad koduppgift behöver inte ge tillgång till hela kedjan. Ett första steg kan vara att låta agenten lämna en diff för granskning, utan produktionsåtkomst.

Samma resonemang gäller verktyg. Om steget är helt förutsägbart kan ett vanligt skript vara enklare att förstå och kontrollera än en agent. AI behövs inte i varje del av ett AI-stött arbetsflöde.

Innan du byter modell

Se först över uppgiften och arbetsmiljön. Är målet tydligt? Finns relevanta kontroller? Går det att förstå vad som ändrats och varför?

Om de delarna saknas är det rimligt att ordna dem innan användningen utökas. För en förutsägbar uppgift kan ett vanligt skript fortfarande vara det enklare valet.

Vidare läsning

Anthropic: Effective harnesses for long-running agents

Anthropic: Demystifying evals for AI agents