AI som svarar ur era dokument

Ett bra svar börjar med rätt utdrag, inte med en bättre prompt. RAG handlar mindre om modellen än om vilka dokument som hittas, vem som får se dem och hur svaret visar var det kom ifrån.

Frågan avgör om RAG behövs

RAG, retrieval-augmented generation, innebär att systemet först söker upp relevanta stycken och sedan låter modellen svara utifrån dem. Det passar frågor där svaret står i dokument som ändras: manualer, avtal, rutiner och supportsvar.

Om svaret i stället är en beräkning eller en status i ett system ska du hämta det direkt. Om modellen behöver lära sig ett språk eller ett format är träning rätt väg, inte RAG. RAG löser inte heller dåliga dokument.

Bygg kedjan från dokument till svar

En vanlig kedja är: läs in dokumentet, dela upp det i begripliga stycken, skapa embeddings, sök upp kandidater, rangordna om dem och låt modellen svara med källor. Varje steg kan försämra resultatet, så mät dem var för sig.

Jag börjar oftast med en enkel sökning och lägger till omrangordning först när jag ser att rätt stycke finns bland kandidaterna men hamnar för långt ner.

  1. Parsa dokumentet och behåll rubriker, datum och källa.
  2. Dela i stycken som går att förstå utan resten av sidan.
  3. Skapa embeddings och spara dem med metadata.
  4. Sök bredare än du tror behövs, och rangordna om resultatet.
  5. Låt modellen svara, citera och säga nej när underlaget saknas.

Chunkning och metadata

Ett vanligt misstag är att dela var 500:e tecken. då hamnar halva svaret i ett stycke och halva i nästa. Dela hellre vid rubriker och stycken, och behåll en kort kontext om var stycket kommer ifrån.

Metadata är ofta viktigare än själva sökningen. Version, datum, avdelning och behörighet avgör om ett stycke ens får användas. Ett gammalt avtal ska inte vinna över det nya bara för att orden liknar varandra.

Behörigheter får inte lösas i prompten

Om olika användare får se olika dokument måste filtret ligga i sökningen, inte i instruktionen till modellen. Hämta bara de stycken användaren har rätt att läsa. Då kan ett läckt dokument inte dyka upp i ett svar.

Samma sak gäller känsliga fält. Maskera dem innan de skickas till modellen om de inte behövs för svaret. Logga vilka dokument som användes, inte hela innehållet.

Citat och ett ärligt nej

Ett svar utan källa är svårt att granska. Låt modellen returnera korta citat och en länk till dokumentet. Om underlaget inte räcker ska den säga det och föreslå vem som kan svara, i stället för att fylla ut.

Sätt en tröskel för hur relevant ett stycke måste vara. Det är bättre att svara “det står inte i underlaget” än att blanda ihop två dokument som handlar om ungefär samma sak.

Testa med frågor ni faktiskt får

Samla 30–50 frågor från support, sälj och drift. Skriv ner vilket dokument svaret finns i och vad ett korrekt svar måste innehålla. Kör samma uppsättning varje gång du byter chunkning, modell eller sökning.

Mät om rätt dokument hittades, om svaret stämde och om källan pekade rätt. De tre sakerna fångar olika fel. En modell kan ge ett korrekt svar av en slump, men då ska det inte räknas som en träff.

Tjänster som hör hit

AI-utvecklingAI-agenter

Läs vidare

Frågor och svar

Kan vi använda våra egna dokument utan att skicka dem till en extern AI?

Ja. Antingen kör ni modellen lokalt eller så skickar ni bara de stycken som behövs för frågan. Vilket som passar beror på datans känslighet och vilken kvalitet ni behöver.

Hur stora ska styckena vara?

Det finns inget universalvärde. Utgå från dokumentets struktur och testa. Ett stycke ska helst gå att förstå utan resten av sidan, men inte innehålla flera olika svar.

Räcker det att lägga in dokumenten i ChatGPT?

För en snabb test kan det räcka. För ett system som ska användas av flera personer behöver du behörigheter, uppdateringar, källor och ett sätt att mäta kvaliteten.

Låt oss hitta era timmar.

Boka ett introsamtalcontact@antonwester.se

Tar nya uppdrag

Eller skriv några rader