Qwen3.8-Flash-Next met NVMe-offload
Voor Qwen3.8-Flash-Next geldt: de verpakking is groter dan het etiket doet vermoeden. Naast het hoofdmodel van 125B met 6B actieve parameters bevat het pakket een n-gram-opzoektabel en een MTP-component, samen goed voor ongeveer 180B parameters. Maar niet alles hoeft permanent in snel geheugen te passen. De Qwen-README beschrijft de n-gram-tabel expliciet als geschikt voor offload naar hostgeheugen, met asynchroon vooraf ophalen. Met geschikte runtimes kan die tabel ook op NVMe blijven, waarbij alleen de benodigde delen worden ingelezen.
Daardoor kan het model ook op minder geheugen draaien. De Atomic Chat-gids documenteert een kleine build op een Mac met 64 GB unified memory, met de n-gram-tabel op SSD. Op DGX Spark-opstellingen met NVMe-offload melden gebruikers van 22 tokens per seconde tot 40 tokens per seconde, al tonen de metingen in Hugging Face-discussie #11 dat promptverwerking trager kan worden. Dat vraagt een passende kwantisatie en een runtime met n-gram-offload, niet zomaar elk Ollama- of LM Studio-pakket. Volledig in geheugen blijft sneller en eenvoudiger; met een passende kwantisatie is 128 GB daarvoor een praktisch vertrekpunt.
Op onze eigen workstation bij Voltti draait Qwen3.8-Flash-Next nu op 128 GB werkgeheugen, met een RTX 5090 (32 GB videogeheugen) en een Ryzen 9 9950X3D. We gebruiken daarvoor Strata, een runtime die speciaal voor deze modelfamilie gebouwd is, met de 5-bitkwantisatie UD-Q5_K_XL van Unsloth. Strata houdt de experts die een gesprek het vaakst gebruikt in het videogeheugen, de volgende in het werkgeheugen en de rest op de NVMe-schijf, en verschuift ze tijdens het draaien tussen die lagen. Bij onze meting op 15 oktober 2026 haalde die opstelling na kalibratie ongeveer 79 tokens per seconde, met een contextvenster van 512K tokens (Strata noemt die verlenging zelf experimenteel). Een nieuwe meting op 21 en 22 oktober kwam op 78,8 tokens per seconde. Dat is één machine en geen benchmarkrecord; de volledige opzet en meetmethode staan in onze Engelstalige gids over Strata op 128 GB RAM.
Daarvoor draaide hetzelfde model bij ons op 64 GB werkgeheugen, als EXL3-kwantisatie van 3,05 bits per gewicht in TabbyAPI met ExLlamaV3, met ongeveer 50 tokens per seconde (zie de eerdere gids over TabbyAPI). Met een nieuwere ExLlamaV3-versie en andere instellingen werd dat later ongeveer 64 tokens per seconde. 64 GB kan dus werken, maar vrij werkgeheugen is dan de echte grens: zo'n runtime legt beslag op bijna al het RAM, en een tweede model of een browser met veel tabbladen past er niet meer naast.
GLM-5.3-Flash en GLM-5.3
GLM-5.3-Flash van Z.ai is nog groter dan Qwen3.8-Flash-Next: een multimodaal model met een MIT-licentie en een contextvenster van ongeveer 1 miljoen tokens. Unsloth's dynamische 4-bitvariant UD-Q4_K_XL is 199,7 GB; daarvoor adviseren we 256 GB geheugen. Kleinere quants, zoals de 1-bitvariant UD-IQ1_S van 93,1 GB, draaien op 128 GB, met minder precisie en weinig ruimte voor context. Let op: de Ollama-modelpagina biedt alleen glm-5.3-flash:cloud, gehost door Ollama in de VS en Europa, niet op jouw computer. Lokaal draai je de Unsloth-GGUF's via Unsloth Desktop of de llama.cpp-build uit de Unsloth-gids.
Zelf draaien we GLM-5.3-Flash ook op diezelfde workstation met 128 GB werkgeheugen, via Project Maya, een afsplitsing van Strata voor dit model. Maya leest de EXL3-kwantisatie van 3,05 bits per gewicht (125 GB) en laat de experts die niet in videogeheugen of RAM passen op de NVMe-schijf staan; de README noemt die EXL3-route experimenteel en alleen geschikt voor NVIDIA. Bij onze meting op 21 en 22 oktober 2026, met Maya 1.1.21, haalde dat ongeveer 30 tokens per seconde met 512K context: zo'n 40 procent van de Qwen-opstelling, maar voor een veel groter model (zie onze gids over Project Maya).
Het advies van 256 GB geldt dus voor UD-Q4_K_XL volledig in het geheugen; het is niet de enige lokale route. Het vlaggenschip GLM-5.3 van Z.ai (744B totaal, 40B actief) staat in de tabel: de 2-bitvariant van 239 GB vraagt een computer met 256 GB.
DeepSeek-V4.1-Flash: 748B op 128 GB
Het grootste model op diezelfde workstation is DeepSeek-V4.1-Flash, een open model van DeepSeek met 748 miljard parameters en een MIT-licentie. Dat past niet in 128 GB werkgeheugen. Project Maya heeft er een aparte engine voor, met een eigen kwantisatie: Maya-S, met de experts in 2 tot 3 bits. Met de Engram-tabellen erbij is dat ongeveer 340 GB, dus reken op 350 tot 400 GB vrije ruimte op een snelle NVMe-schijf. Tijdens het genereren leest de engine een deel van het model van die schijf.
Bij onze meting op 21 en 22 oktober 2026 (Maya 1.1.21, 262K context) haalde dat ongeveer 25 tokens per seconde, met zo'n 3 seconden wachten op het eerste token. In de praktijk neemt het de hele machine in beslag: wat je ernaast start, duwt experts uit het geheugen, en die moeten dan opnieuw van de SSD komen. De installatie en alle metingen staan in onze Engelstalige gids over DeepSeek-V4.1-Flash met Project Maya.
Welk lokaal model gebruiken we wanneer?
Er draaien nu vier grote open modellen op één machine, maar nooit tegelijk: er past er maar één in het geheugen, en wisselen betekent de ene runtime stoppen en de andere starten. Elk model heeft daarom een eigen rol. Qwen3.8-Flash-Next is onze standaard voor code en agentwerk: het is het snelst en haalde op negen taken uit ons eigen werk in beide rondes de volle score. GLM-5.3-Flash is de tweede mening, op ongeveer 40 procent van die snelheid. DeepSeek-V4.1-Flash haalde ook de volle score, maar schrijft veel trager. Dat model nemen we voor moeilijke problemen waarop we kunnen wachten, niet voor interactief werk. Toen het cloudmodel in een van onze sessies stopte, nam Qwen3.8-Flash-Next het werk over. Hoe dat verliep, lees je in ons artikel over een lokaal model als terugvaloptie.
Het vierde model, Ornith-1.5-122B, draait via TabbyAPI met ExLlamaV3 en gebruikt ruim 60 GB werkgeheugen, dus het laat de meeste ruimte vrij. Het schrijft na Qwen het snelst, maar leest lange prompts het traagst. Een eerdere lage score kwam door onze eigen instellingen: zonder samplerinstellingen koos TabbyAPI soms een heel onwaarschijnlijk woord. Met de instellingen van de modelkaart haalt Ornith 107 tot 108 op 108 punten, ongeveer even hoog als Qwen en DeepSeek. Die taken meten zorgvuldige output, geen slimheid. Draai je zelf een lokaal model? Kijk dan wat je runtime doet als een verzoek geen samplerinstellingen meestuurt. Alle cijfers staan in onze vergelijking van de vier modellen: één machine, één sessie, geen algemene benchmark.
Nieuwe modellen voor lokale agents
Wie een agent de klok rond wil laten werken, kan ook naar twee kleinere modellen voor lokale agents kijken. Muse Glimmer van Meta past met Meta's eigen 4-bit-quant in 24 GB videogeheugen, en Nemotron 3.5 Lightning van NVIDIA activeert maar 3B van de 30B parameters. De tabel geeft hun geheugenbudget.
Welke runtime kies je?
Welke runtime past, hangt af van de grootte van het model. Voor kleine en middelgrote modellen die in je videogeheugen of werkgeheugen passen, begin je met Ollama of LM Studio, allebei gratis. Ollama draait een model met één commando; LM Studio geeft een grafische omgeving om modellen naast elkaar te proberen.
Ollama werkt met NVIDIA-kaarten, met veel AMD Radeon-kaarten via ROCm en met Apple silicon via Metal. Kijk voor je iets koopt of je kaart in de hardwaredocumentatie van Ollama staat.
Voor grote MoE-modellen die nauwelijks of niet in videogeheugen plus werkgeheugen passen, gebruik je een runtime die de experts over videogeheugen, RAM en NVMe verdeelt. Strata doet dat voor Qwen3.8-Flash-Next en Project Maya voor GLM-5.3-Flash en DeepSeek-V4.1-Flash; beide runtimes zijn open source met een MIT-licentie. Past het model volledig in videogeheugen plus RAM, dan is ExLlamaV3 met TabbyAPI een alternatief.
Reken bij die route op meer werk. Project Maya compileert bij de installatie een engine voor je videokaart, wat volgens de documentatie 10 tot 30 minuten duurt, en de kalibratie op onze eigen hardware duurde per runtime 10 à 11 minuten. Tijdens het draaien is de machine in feite exclusief voor dat ene model. Onze eigen opstellingen draaien op Linux met een NVIDIA-kaart.
Hermes vraagt minstens 64.000 tokens context voor agentwerk, dus controleer die grens in elke runtime. Strata en Project Maya zetten de contextlimiet in hun eigen configuratie; bij ons staat die op 512K tokens, en op 262K voor DeepSeek-V4.1-Flash. Wil je dat niet zelf regelen, dan installeert en beheert Hermes Desktop de lokale modelserver voor je, en het kiest per machine een modelbuild met minstens dat contextvenster.
Het terminalvenster hieronder toont de instaproute met Ollama: een echte sessie van onze eigen testmachine. We laden Qwen3.8 in de 27B-variant met 4-bit-compressie, stellen één vraag en bekijken daarna met ollama ps waar het model terechtkomt.