Waar hangt je keuze van af?
Vier vragen geven meestal de doorslag: hoe gevoelig je data is, welk model de taak vraagt, of het werk offline moet kunnen doorlopen en hoe vaak je het gebruikt.
Begin bij je data. Klantdossiers, offertes en personeelsdocumenten hou je makkelijker onder controle als bestanden, kennis en uitvoering in je eigen omgeving blijven. In een hybride opstelling gaat alleen de context die een taak nodig heeft naar de modelprovider die je koos. Welke context dat is, bepaal jij.
Gaat het om persoonsgegevens, dan geldt in België en Nederland ook de AVG. De Nederlandse Autoriteit Persoonsgegevens waarschuwt: "De meeste bedrijven achter chatbots slaan alle ingevoerde gegevens op." Volgens de toezichthouder kun je met de aanbieder ook regelen dat die je ingevoerde gegevens niet opslaat. Loop voordat je die data koppelt eerst onze checklist om AI veilig te gebruiken door. Gebruiken medewerkers nu al zelf chatbots met een privéaccount? Lees dan ook wat shadow AI is en hoe je het aanpakt.
Kijk daarna naar de taak. Complex redeneerwerk en lange documenten gaan vaak het best met een sterk cloudmodel zoals Claude. Eenvoudiger, herhalend werk, zoals mail sorteren of korte notities samenvatten, kan op een kleiner open-weight model als je hardware dat toelaat. Op pure modelkracht wint cloud-AI hier, dat zeggen we eerlijk.
Hoe ver je lokaal komt, hangt van je machine af. Onze eigen workstation bij Voltti heeft een RTX 5090 (32 GB videogeheugen) en 128 GB werkgeheugen. Daarop draaien vier grote open-weight modellen, één tegelijk. Drie ervan hebben elk een eigen rol. Qwen3.8-Flash-Next is de standaard voor code en agentwerk, met ongeveer 79 tokens per seconde. GLM-5.3-Flash is de tweede mening, met ongeveer 30 tokens per seconde. DeepSeek-V4.1-Flash nemen we voor moeilijke vragen waarop we kunnen wachten: ongeveer 25 tokens per seconde, en zo'n 3 seconden voordat het eerste token verschijnt. Ook lokaal kies je dus het model per taak. Dat zijn onze metingen van 21 en 22 oktober 2026 op één machine, geen algemene benchmark. De volledige opstelling lees je in ons artikel over welke computer je nodig hebt voor lokale AI.
Offline werken en snelheid spelen voor de meeste kantoren een kleinere rol. Ze geven wel de doorslag als een verbinding niet gegarandeerd is, of als een taak ter plaatse binnen een fractie van een seconde moet antwoorden.
Tel ten slotte hoe vaak je het gebruikt. Losse vragen passen bij een abonnement. Bij terugkerend werk met een heel team begint een eigen opstelling te lonen, zoals je in de volgende sectie leest.
Is lokale AI het waard?
Dat hangt af van hoeveel je ermee doet. Met cloud-AI maak je een account en kun je meteen beginnen. Lokale AI vraagt een eenmalige installatie, op hardware die je al hebt of op een computer die je ervoor kiest. Voor incidentele vragen is een abonnement logischer.
Bij terugkerend werk (offertes, rapporten, klantenservice, data-analyse) tellen abonnementen per gebruiker op met elke medewerker die toegang nodig heeft. Een hybride opstelling heeft in plaats daarvan eenmalige opstartkosten, plus het gebruik van een taalmodel via de API of het abonnement dat je kiest. Open-weight modellen brengen bovendien geen licentiekosten per gebruiker met zich mee: de kosten zitten in hardware, installatie en support. Wat een opstelling voor jouw bedrijf kost, werken we altijd uit in een offerte op maat.
Denk ook aan wat er niet op een factuur staat. Je bestanden, kennis en uitvoering blijven binnen je eigen muren. Je bent niet afhankelijk van prijswijzigingen bij één provider. En je kunt de omgeving aanpassen als je processen veranderen.
Op onze pagina over veiligheid en privacy lees je hoe we met je bedrijfsdata omgaan. Een eigen opstelling vraagt ook onderhoud. Updates kan je team zelf doen, want Hermes is open source, of je laat updates en monitoring via support aan ons over. En er hoort een plan bij voor als er iets uitvalt: back-ups gaan versleuteld naar een aparte locatie in je netwerk, nooit naar dezelfde machine. In ons artikel over back-up en herstel van je AI-omgeving lees je hoe herstel verloopt.
De hardware zelf hoeft niet extreem te zijn: een degelijke computer volstaat voor de standaardopstelling. Zware hardware heb je pas nodig als je ook het taalmodel lokaal wilt draaien, en hoe zwaar hangt af van het model. Of je voor je team beter een aparte, beheerde Linux-computer neemt, hangt af van hoeveel mensen de agent gebruiken. Dat leggen we uit in wanneer je een Linux-computer nodig hebt voor een AI-agent.
Wat blijft er lokaal in een hybride opstelling?
In de praktijk kiezen de meeste bedrijven het best voor een hybride opstelling. De AI-omgeving (projecten, kennis, configuratie en uitvoering) draait dan bij jou. Voor het taalmodel gebruik je een externe provider naar keuze.
Microsoft beschrijft dezelfde route in zijn ontwikkelaarsgids over cloud- en lokale AI-modellen: "Veel productie-apps maken gebruik van een hybride strategie." Zo'n app probeert eerst een lokaal model en valt terug op de cloud als een taak een groter model vraagt.
Met Hermes maak je die verdeling per soort werk. Een taak die interne documenten leest, kan een model gebruiken dat je met die data vertrouwt, of een lokaal open-weight model. Een taak die een publiek blogconcept schrijft, kan een sterk cloudmodel gebruiken. Wat naar buiten gaat, bepaal je zelf per taak.
Het werkt ook in de andere richting. Een cloudmodel kan midden in een taak stoppen om redenen die jij niet stuurt: een veiligheidsfilter, een storing of een limiet. Dat overkwam ons op 22 oktober 2026 in een van onze eigen Hermes-sessies. We schakelden in dezelfde sessie over naar het lokale Qwen-model: dezelfde tools en dezelfde sessiegeschiedenis, alleen het model wisselde. Het ging trager, sommige stappen duurden 70 tot 115 seconden, maar het werk liep door. Een lokaal model vervangt dus geen sterk cloudmodel. Het is wel een verzekering voor als dat cloudmodel even niet meewerkt. Hoe je zo’n terugvaloptie opzet, lees je in een lokaal model als terugvaloptie voor je AI-agent.
In ons artikel over wat er lokaal blijft in hybride AI zie je welke delen lokaal blijven en welke naar een modelprovider gaan. Een klein praktijkvoorbeeld is onze huisagent Sisu op een Raspberry Pi: de basis draait thuis, het taalmodel via een externe dienst.
Welke keuze past bij jou?
Kies cloud-AI als je alleen af en toe vragen stelt en geen gekoppelde werkomgeving nodig hebt. Kies lokale of hybride AI als je wilt dat de agent met je projecten werkt, je tools gebruikt en binnen je grenzen opereert.
Meer over het verschil tussen een agent en een chatbot lees je in ons artikel over AI-agent versus chatbot.