Testa AI innan den får kunder
En demo är inte ett test. Ett bra AI-system har en uppsättning fall som går att köra om och om igen. Utan den vet ni bara att det fungerade den dagen någon råkade titta.
Samla riktiga fall först
Börja med frågor och uppgifter som redan finns i verksamheten. Ta mejl, ärenden, dokument och samtal som en erfaren person har löst. Skriv ner vad ett bra svar måste innehålla.
30–50 fall är en bra start. De behöver inte vara perfekt formulerade. Det viktiga är att de liknar det systemet ska möta, inte att de är enkla att få igenom.
Mät mer än ett svar
Ett svar kan vara rätt men bygga på fel källa, eller fel men ändå användbart. Dela upp bedömningen i det som faktiskt betyder något för uppgiften: korrekthet, källor, format, ton, kostnad och tid.
För en agent tillkommer val av verktyg, antal steg och om den bad om hjälp när den borde. För ett RAG-system tillkommer om rätt dokument hittades och om citatet pekade rätt.
- Korrekthet: stämmer svaret med underlaget?
- Källor: pekar de på rätt dokument och stycke?
- Beteende: frågar systemet när det är osäkert?
- Kostnad och tid: klarar vi volymen?
- Säkerhet: läcker känsliga uppgifter eller fel behörighet?
Gör bedömningen repeterbar
Skriv en kort rubric för varje fall. “Rätt svar ska nämna tre saker, citera avsnitt 4 och inte ge en rekommendation.” Då kan två personer bedöma ungefär likadant, och ni kan jämföra över tid.
Låt gärna en person som inte byggde systemet bedöma en del av fallen. Den som har byggt vet varför svaret borde vara rätt. Det gör det lättare att se det som en användare ser.
Kör samma tester vid varje ändring
Varje gång ni byter modell, prompt, verktyg eller sökning ska samma uppsättning köras. Jämför resultatet med förra versionen. En förbättring på ett område är inte värd något om den försämrar tre andra.
Spara resultaten med datum och version. Då går det att svara på varför kvaliteten ändrades, och ni slipper gissa när något blir sämre.
Släpp gradvis
Börja med en liten grupp användare eller en liten del av trafiken. Låt en människa granska svaren under en period. Öka när kvaliteten håller, och ha en enkel väg att stänga av.
Logga det som behövs för att följa upp, men undvik känsliga uppgifter. Ett system som går att stänga av och en person som läser loggen är viktigare än en imponerande demo.
Vad ni inte kan testa er till
Tester säger inte allt om hur systemet känns i vardagen. De säger inte heller om människor litar på det eller om det sparar tid. Det behöver ni mäta med riktiga användare.
Men utan tester blir den frågan omöjlig att svara på. Först när kvaliteten är mätbar går det att se om tiden som sparas är värd något.
Tjänster som hör hit
Läs vidare
Frågor och svar
Hur många testfall behöver vi?
Börja med 30–50 riktiga fall. Fler är bättre om de täcker olika typer av frågor, men ett litet set som faktiskt körs är bättre än ett stort som ingen underhåller.
Kan vi låta en AI bedöma svaren?
Det kan vara ett stöd vid stora volymer, men en människa bör kalibrera bedömningen och granska urvalet. Annars mäter ni mest hur väl bedömaren håller med sig själv.
Måste vi testa varje gång vi byter modell?
Ja, åtminstone mot samma fasta set. Modeller och prompts påverkar varandra, och en ändring som ser liten ut kan ändra beteendet i kanten.