AI lokaal draaien: welke computer heb je écht nodig?

Wat is een lokale AI-computer?

Een lokale AI-computer voert een model uit in je eigen omgeving, in plaats van op de servers van een modelprovider. Dat kan een pc met een losse videokaart zijn, een compacte computer met gedeeld geheugen of een Mac met unified memory.

Bij volledig lokale verwerking hoeven je opdrachten en bestanden niet naar een externe modelprovider. Maar lokaal is geen automatische privacygarantie: een agent kan nog steeds een externe API of webzoekfunctie gebruiken. Je bepaalt dus zelf welke verbindingen toegestaan zijn. De Ollama-documentatie beschrijft bijvoorbeeld hoe je cloudfuncties volledig uitschakelt.

Je betaalt bij lokale inferentie niet per token aan een modelprovider. Hardware, stroom, updates en support blijven wel kosten. En meer parameters betekenen niet automatisch een beter antwoord: modelarchitectuur, training en de concrete taak tellen ook mee.

De specificaties die er echt toe doen

Systeem-RAM is de laatste jaren onderschat. De oude richtlijn van 32 GB laat weinig werkruimte als je tegelijk een groter model, een agent, een browser en documentverwerking wilt gebruiken. Kies bij aankoop niet alleen een hoeveelheid RAM, maar controleer het geheugenbudget van de exacte modelvariant in de tabel hieronder. De kwantisatie, contextlengte en gekozen offloadroute bepalen samen wat je nodig hebt.

Bij een losse GPU zijn systeem-RAM en videogeheugen twee verschillende dingen. Een pc met 64 GB RAM en een videokaart met 16 GB VRAM heeft niet ineens 80 GB snel GPU-geheugen. Moeten veel modelberekeningen naar de CPU omdat de gewichten niet in VRAM passen, dan kan de snelheid flink dalen. Gerichte offload van een n-gram-opzoektabel is iets anders: die hoeft niet continu als geheel te worden doorgerekend. Met ollama ps controleer je bij Ollama waar het model werkelijk draait.

Kwantisatie verkleint de modelgewichten door getallen met minder precisie op te slaan. De vuistregel van ongeveer een halve GB per miljard parameters bij 4-bit geldt alleen voor die gewichten. Schalen, niet-gequantiseerde onderdelen, beeldverwerking, tijdelijke buffers en de contextcache komen daar nog bij. In de sessie hieronder rapporteert ollama ps 18 GB geheugengebruik bij een contextinstelling van 32.768 tokens. Dat is één concrete opstelling, geen vaste verhouding tussen downloadgrootte en geheugengebruik. Ook bij een MoE-model moet je álle experts opslaan, niet alleen de actieve. En een groot contextvenster op de modelpagina betekent niet dat je dat venster gratis kunt gebruiken: meer context vraagt meer geheugen.

Kies daarnaast snelle NVMe-opslag met ruimte voor meerdere modellen: grote modelpakketten kunnen inmiddels honderden GB per stuk vragen.

Welke lokale modellen kun je praktisch draaien?

Onderstaande selectie combineert veelgebruikte families uit de Ollama-bibliotheek met recente open modellen. Het is geen ranglijst van de slimste AI. De modelnamen linken naar Hugging Face. De pakketgroottes komen uit de vermelde Ollama-varianten, voor Qwen3.8-Flash-Next uit de Atomic Dynamic-builds en voor GLM-5.3-Flash uit de Unsloth-GGUF-bestanden en voor de twee nieuwste modellen uit de Ollama-modelpagina's (gecontroleerd op 15 september 2026). Het geheugenadvies hoort bij die specifieke builds. Downloadgrootte is niet hetzelfde als geheugengebruik: bij offload blijft een deel op SSD, terwijl context, beeldverwerking en parallelle taken extra geheugen vragen.

Voor Qwen3.8-Flash-Next geldt: de verpakking is groter dan het etiket doet vermoeden. Naast het hoofdmodel van 125B met 6B actieve parameters bevat het pakket een n-gram-opzoektabel en een MTP-component, samen goed voor ongeveer 180B parameters. Maar niet alles hoeft permanent in snel geheugen te passen. De Qwen-README beschrijft de n-gram-tabel expliciet als geschikt voor offload naar hostgeheugen, met asynchroon vooraf ophalen. Met geschikte runtimes kan die tabel ook op NVMe blijven, waarbij alleen de benodigde delen worden ingelezen.

De Atomic Chat-gids documenteert een kleine Atomic Dynamic-build op een Mac met 64 GB unified memory, met de n-gram-tabel op SSD. 96 GB is dus niet per definitie te krap. Dit vraagt wel een passende kwantisatie en runtime met n-gram-offload; het is geen belofte dat elk Ollama- of LM Studio-pakket zo werkt.

Eindgebruikers rapporteren met NVMe-offload grofweg 22–40 tokens per seconde bij tekstgeneratie op verschillende DGX Spark-opstellingen. Het snelheidsverlies blijft in die tests beperkt, maar de metingen in Hugging Face-discussie #11 laten ook zien dat promptverwerking trager kan worden. Hardware, kwantisatie, context en runtime maken verschil. Volledig in geheugen blijft doorgaans sneller en eenvoudiger, vooral bij lange prompts; met een passende kwantisatie is 128 GB daarvoor een praktisch vertrekpunt.

Onze eigen opstelling bij Voltti laat zien dat het met minder kan. Daar draait Qwen3.8-Flash-Next als EXL3-kwantisatie van 3,05 bits per gewicht in TabbyAPI met ExLlamaV3 als runtime, op een computer met een RTX 5090 (32 GB videogeheugen) en 60 GB werkgeheugen. De runtime houdt de gewichten op de videokaart en de zware n-gram-opzoektabel in het werkgeheugen, precies zoals de Qwen-README voor die opzet beschrijft. Bij dagelijks agentwerk op die machine meten we consistent 50 tot 60 tokens per seconde, met ruim 700 tokens per seconde voor nieuwe promptinvoer. Dat is geen benchmarkrecord, maar het laat zien dat 128 GB geen harde eis is om dit model prettig te laten draaien, zolang de kwantisatie en de runtime bij het model passen.

GLM-5.3-Flash van Z.ai is qua modelomvang nog zwaarder dan Qwen3.8-Flash-Next en gpt-oss:120b, maar kan met voldoende geheugen volledig lokaal draaien. Het multimodale model heeft een MIT-licentie en een contextvenster van ongeveer 1 miljoen tokens. Unsloth's dynamische 4-bitvariant UD-Q4_K_XL is 199,7 GB; daarvoor adviseren we een computer met 256 GB geheugen. Kleinere dynamische quants kunnen op 128 GB, met minder precisie en beperkte ruimte voor context. De 1-bitvariant UD-IQ1_S is bijvoorbeeld 93,1 GB. Dat is alleen het modelpakket: het volledige contextvenster past niet automatisch naast de gewichten. Let op bij de Ollama-modelpagina: die biedt alleen glm-5.3-flash:cloud, gehost door Ollama in de VS en Europa, niet op jouw computer. Voor de lokale route gebruik je Unsloth-GGUF's via Unsloth Desktop of de geschikte llama.cpp-build uit de Unsloth-gids.

Ook twee nieuwe modellen richten zich specifiek op lokale agents. Muse Glimmer van Meta (10 augustus 2026, Apache 2.0) is een dense 30B-model met beeldingang en 128K context; Meta's eigen 4-bit-quant van 17 GB past in 24 GB VRAM, zodat één consumenten-videokaart volstaat. Nemotron 3.5 Lightning van NVIDIA (11 augustus 2026) is een MoE-model met 30B totaal en slechts 3B actieve parameters, met een contextvenster tot 1 miljoen tokens. Het Ollama-pakket is 25 GB; NVIDIA noemt één DGX Spark of RTX 5090 als minimale opstelling. Voor wie een agent continu wil laten doorwerken, verlagen deze twee de drempel aanzienlijk.

Wil je zelf aan de slag? Ollama draait een model met één commando en LM Studio geeft een grafische omgeving om modellen naast elkaar te proberen. Beide tools zijn gratis. Het terminalvenster hieronder toont een echte sessie van onze eigen testmachine: we laden Qwen3.8 in de 27B-variant met 4-bit-compressie, stellen één vraag en bekijken daarna met ollama ps waar het model terechtkomt.

AI-computers met unified memory

Een losse videokaart is niet meer de enige route. Bij unified of gedeeld geheugen gebruiken CPU en GPU dezelfde fysieke geheugenpool, waardoor je op een compacte computer modellen kunt laden die niet in het VRAM van een gewone videokaart passen. Maar capaciteit is niet hetzelfde als snelheid: geheugenbandbreedte, GPU-rekenkracht en softwareondersteuning blijven bepalend. Een computer waarop het model nét past, is niet automatisch een prettige werkplek voor een heel team.

Drie families domineren dit segment. De NVIDIA DGX Spark combineert de GB10 Grace Blackwell Superchip met 128 GB coherent LPDDR5x-geheugen (273 GB/s) en een 4 TB NVMe-SSD. NVIDIA positioneert het toestel expliciet voor modellen tot 200 miljard parameters. Bij onze controle op 7 september stond de Founders Edition bij Alternate in Nederland op voorraad voor € 6.399. Let op: het systeem draait op Arm, controleer dus de compatibiliteit van je andere software.

De Mac Studio kreeg op 25 augustus een nieuwe generatie met M5 Max (tot 128 GB centraal geheugen) en M5 Ultra (tot 512 GB). Apple noemt het expliciet een desktop voor on-device AI die gigantische taalmodellen volledig lokaal draait. De Apple Store in België en Nederland toont vanafprijzen van € 3.029 (M5 Max) en € 6.649 (M5 Ultra); de levering begint volgens Apple op 22 september en de 512 GB-optie volgt eind oktober. Dat zijn basisconfiguraties, geen AI-maximale uitvoeringen.

En dan is er de AMD Strix Halo-familie: de Ryzen AI Max+ 395 combineert 16 Zen 5-cores met Radeon 8060S-graphics en ondersteunt tot 128 GB unified memory, waarvan volgens AMD tot 96 GB als grafisch geheugen kan dienen via Variable Graphics Memory. Compacte mini-pc's zoals de GMKtec EVO-X2 met 128 GB kosten rond de € 3.360. Het LPDDR5x-geheugen is gesoldeerd en dus niet achteraf uitbreidbaar; kies de capaciteit bij aankoop. Boven dit segment bestaat nog de DGX Station met 748 GB geheugen (252 GB HBM3e bij de GPU plus 496 GB LPDDR5X bij de CPU), een andere investeringscategorie die je laat offreren op je eigen workload.

RAM- en GPU-prijzen veranderen je aankoopbeslissing

Wie vandaag een AI-computer plant, stuit op een marktbreed fenomeen: geheugen wordt schaars en duur omdat datacenters het opslorpen. TrendForce rapporteerde dat de contractprijzen voor conventioneel DRAM in het eerste kwartaal van 2026 ongeveer 93 tot 98 procent hoger lagen dan het kwartaal ervoor, en voorspelde voor het tweede kwartaal opnieuw een stijging van 58 tot 63 procent. De industrie wijst leveranciers de richting: hoogcapacitaire servermodules voor AI-servers krijgen voorrang, waardoor er minder ruimte overblijft voor gewoon pc-geheugen. Dat is een industrieel contractcijfer, niet de winkelprijs van jouw DDR5-kit, maar de RAM-prijstracker van Tom's Hardware laat zien dat consumentenmodules dezelfde curve volgen.

Videokaarten volgen hetzelfde patroon. De GPU-prijsmeting van TechSpot van eind augustus 2026 concludeerde dat kaartprijzen in één maand tijd met zo'n 15 procent stegen, over tien landen gemeten, met GeForce-kaarten voor de grootste klappen. De oorspronkelijke adviesprijs is dus geen betrouwbaar budget meer: vergelijk complete offertes en neem RAM, opslag, voeding, koeling, installatie en support mee in de vergelijking. In deze markt kan een unified-memory-computer met vast geheugen soms voordeliger uitvallen dan een uitbreidbare pc die je vandaag alvast moet opvoeren.

De GeForce RTX 5090 maakt dat concreet. Met 32 GB videogeheugen is dit de kaart uit onze eigen testsessie hierboven. De adviesprijs bij de lancering in januari 2025 was $ 1.999; de gemiddelde Amerikaanse marktprijs ligt in september 2026 rond $ 4.500 — ruim het dubbele.