Lokala AI-modeller: när de är värda det
Lokal AI är ett driftbeslut, inte ett ideologiskt. Egen hårdvara löser dataskydd och ibland kostnad. Men den löser inte kvalitet, uppdateringar eller någon annans ansvar klockan tre på natten.
När lokal AI är rätt
Lokal AI betyder att modellen körs på hårdvara ni kontrollerar. Det är rätt när data inte får lämna byggnaden, när nätverket inte är pålitligt eller när volymen är så stor att ett API blir dyrt.
Det är inte automatiskt billigare. En server kostar pengar, någon ska driva den och modellerna blir snabbt äldre. Räkna på tre år, inte på tre månader.
- Känsliga personuppgifter eller affärshemligheter som inte får skickas ut.
- Arbete som måste fungera utan internet.
- Hög och jämn volym där API-kostnaden blir stor.
- Krav på att kunna byta modell utan att byta leverantör.
Hårdvaran sätter taket
Det som avgör vilka modeller ni kan köra är minne och bandbredd, inte bara grafikprocessorn. En modell som inte får plats måste kvantiseras eller delas upp, och då ändras kvaliteten.
För en första installation brukar en maskin med 64–128 GB delat minne räcka för mindre modeller och embeddings. Ska ni köra stora modeller med lång kontext behöver ni mer. Mät på den egna datan innan ni köper.
Välj modell efter uppgift
En stor modell är inte alltid bäst. För klassificering, extrahering och korta svar kan en mindre modell göra jobbet snabbare och billigare. För resonemang och långa dokument behöver ni ofta mer kapacitet.
Tänk på hela stacken: språkmodell, embeddings för sökning och en omrangordnare. En bra embeddingmodell kan göra mer för svarskvaliteten än att byta till en större språkmodell.
Hybrid är ofta det pragmatiska valet
Ni behöver inte välja allt eller inget. En vanlig lösning är att köra känsliga delar lokalt och skicka svårare frågor till en extern modell, men bara efter att känsliga fält maskerats.
Routing kan styras av dokumentets känslighet, uppgiftens typ eller en enkel kvalitetsgräns. Det viktiga är att regeln är synlig och att ingen råkar skicka fel data till fel plats.
Drift och uppdateringar
En lokal modell är en tjänst som alla andra. Den behöver övervakning, loggning, reservdelar och en plan för vad som händer när disken går sönder. Den behöver också uppdateras när en bättre modell kommer.
Sätt en fallback till en extern modell om den lokala går ner, och testa att fallbacken fungerar. Annars upptäcker ni det först när någon står utan svar.
Räkna på helheten
Jämför inte bara priset per token. Ta med hårdvara, el, plats, backup, uppdateringar och tiden för någon som håller det igång. Jämför med API-kostnaden för samma volym och samma kvalitetskrav.
Om volymen är låg och kraven måttliga vinner ofta API:t. Om datan inte får lämna huset vinner det lokala även när det kostar mer, men då ska ni veta att ni betalar för kontroll.
Tjänster som hör hit
Läs vidare
Frågor och svar
Kan vi köra AI helt utan internet?
Ja, med en lokal modell på egen hårdvara. Då ansvarar ni också för uppdateringar, säkerhet och drift.
Blir det billigare än ChatGPT?
Ibland, vid hög och jämn volym. Vid låg volym är API oftast billigare när hårdvara och drift räknas in.
Hur känslig data kan vi skicka till en extern modell?
Det beror på avtal, data och ändamål. Ofta kan känsliga fält maskeras och bara nödvändig kontext skickas. Det ska dokumenteras innan lösningen tas i bruk.