Kan Hermes automatisch overschakelen naar een lokaal model?

Ja, bij storingen, limieten, authenticatiefouten en herhaaldelijk lege antwoorden. Je stelt het lokale model dan in als terugvalprovider. Hermes schakelt per beurt over en probeert bij het volgende bericht eerst weer het hoofdmodel. Een weigering door een veiligheidsfilter behandelt Hermes als eindresultaat. In dat geval schakel je zelf over met /model.

Is een lokaal model even goed als een cloudmodel?

Meestal niet. De sterkste cloudmodellen blijven voor de meeste taken beter, en een lokaal model is trager. Een lokaal model is vooral een verzekering: het werk loopt door wanneer het cloudmodel stopt. Kies er een dat lange sessies met veel toolaanroepen aankan.

Gaat mijn sessie verloren als ik van model wissel?

Nee. Hermes bewaart de sessiegeschiedenis en de tools, en het nieuwe model gaat verder waar het vorige stopte. Het nieuwe model leest wel de hele geschiedenis opnieuw in, omdat de promptcache niet meegaat. Bij een sessie van meer dan 100.000 tokens vraagt Hermes eerst om bevestiging.

Welke hardware heb je nodig voor een lokaal model als reserve?

Dat hangt af van het model. Wij gebruiken een workstation met een RTX 5090 en 128 GB werkgeheugen voor een groot model met een lang contextvenster. Een kleiner model draait op minder, maar houdt een lange agentsessie minder goed vol. In ons artikel over de computer voor lokale AI vind je de opties per budget.

Mag je een lokaal model gebruiken om een veiligheidsfilter te omzeilen?

Nee, niet om regels te omzeilen. Een filter kan ook gewoon werk tegenhouden, zoals onderhoud aan je eigen systemen. Dan laat een lokaal model dat werk doorgaan. Je blijft zelf verantwoordelijk voor wat de agent doet. Dezelfde afspraken en menselijke controle blijven gelden.

Wat kost een lokaal model als terugvaloptie?

Dat hangt af van de hardware en het model, daarom krijg je een offerte op maat. Met een lokaal model betaal je geen provider voor het verbruik, maar wegen hardware en stroom zwaarder door. Heb je al een geschikte computer, dan kan een kleiner model als reserve volstaan.

Wat als je cloudmodel stopt? Een lokaal model als terugvaloptie voor je AI-agent

Een AI-agent die met een cloudmodel werkt, hangt af van een dienst die jij niet in de hand hebt. Een veiligheidsfilter, een storing, een limiet of een nieuwe regel kan het model midden in een taak laten stoppen. Een lokaal model als terugvaloptie zorgt dat het werk dan toch doorloopt: dezelfde agent, dezelfde tools en dezelfde sessie, alleen een ander model. Zo’n terugvaloptie heet in het Engels een fallback: een tweede model waarnaar je agent overschakelt wanneer het eerste model niet antwoordt.

Dat is geen theorie. Op 22 oktober 2026 stopte het cloudmodel in een van onze eigen sessies met antwoorden, en nam een lokaal model het werk over. Hieronder lees je waarom zoiets gebeurt, waarom opnieuw proberen vaak niets oplost en hoe je een terugvaloptie opzet die werkt wanneer je hem nodig hebt.

Een AI-agent die via een lokale werkplek blijft werken terwijl de lijn naar de cloud onderbroken is

Waarom kan een cloudmodel midden in een taak stoppen?

Een cloudmodel draait bij een provider, en die beslist mee of jouw verzoek een antwoord krijgt. Er zijn vier gewone redenen waarom dat soms niet gebeurt.

De eerste is een veiligheidsfilter. Grote modellen draaien achter filtermodellen die verzoeken tegenhouden die tot misbruik kunnen leiden. Die filters zijn niet perfect. Volgens de documentatie van Anthropic over weigeringen kan ook gewoon beveiligingswerk zo’n filter laten aanslaan. Onze ervaring is dat zo’n filter niet alleen naar je laatste vraag kijkt. Bij een agent telt ook mee wat de agent net heeft gelezen: bestanden, logs en tooluitvoer.

De tweede en derde reden zijn bekender: een storing bij de provider of een limiet die je bereikt. Denk aan een rate limit of aan het verbruik binnen je abonnement. De vierde is een beleidswijziging. Een provider kan een model uitfaseren of de regels aanpassen. Dan weigert het model vandaag verzoeken die gisteren nog werkten.

Waarom helpt opnieuw proberen vaak niet?

Bij een weigering stuur je dezelfde context opnieuw naar hetzelfde model, en precies die context veroorzaakte de weigering. Probeer het daarom op een ander model. Bij een storing of limiet helpt wachten meestal wel.

Anthropic zegt het letterlijk in dezelfde documentatie: “Re-sending a refused request to the same model usually earns another refusal.” Een weigering opnieuw naar hetzelfde model sturen levert dus meestal weer een weigering op.

Een weigering valt ook niet op in je monitoring. Technisch is het een geslaagd antwoord, een HTTP 200 zonder inhoud, en geen foutmelding. Wie alleen op fouten let, ziet niets. Bij Anthropic herken je een weigering aan het veld stop_reason met de waarde refusal; dat veld kun je apart loggen. Soms weet de agent zelf ook niet wat er gebeurde. Dat is precies wat wij meemaakten.

Waarom het model stopt	Wat je ziet	Helpt opnieuw proberen?	Wat wel werkt
Veiligheidsfilter	Een leeg antwoord of een korte standaardtekst, geen foutmelding	Meestal niet: dezelfde context geeft dezelfde weigering	Een ander model, bijvoorbeeld een lokaal model
Storing bij de provider	Serverfouten of time-outs	Soms, na een tijd	Automatisch overschakelen naar een ander model
Limiet bereikt	Een melding dat je te veel verzoeken stuurt of dat je tegoed op is	Pas na de resettijd	Automatisch overschakelen, of wachten
Beleidswijziging	Weigeringen of een model dat niet meer bestaat	Nee	Een ander model of een andere provider kiezen

Wat gebeurde er in onze eigen sessie?

Op 22 oktober 2026 weigerde het cloudmodel midden in een lange onderhoudstaak elk bericht, omdat een veiligheidsfilter aansloeg. We schakelden in dezelfde sessie over naar een lokaal model, en dat maakte het werk af.

We werkten met onze eigen Hermes-installatie bij Voltti aan technisch onderhoud op eigen servers. Halverwege gaf elk bericht hetzelfde korte antwoord: het verzoek was niet verwerkt. Opnieuw proberen en het anders vragen hielpen niet. De agent zelf vermoedde een probleem met de contextlengte of een storing. Het logboek van Hermes gaf de echte reden: het filter reageerde op de technische inhoud die de agent net had gelezen. Onze eigen vraag was gewoon “ga verder”.

Daarop startten we het lokale model op onze workstation: Qwen3.8-Flash-Next op Strata. In dezelfde sessie wisselden we met het commando /model van model. Hermes behield de volledige sessiegeschiedenis, de tools en de afspraken die eerder in de sessie waren gemaakt. Het lokale model maakte het werk af in 66 modelaanroepen, met een context die groeide van ongeveer 121.000 naar 212.000 tokens.

Het ging trager dan in de cloud. Met een warme cache duurde een beurt 3 tot 20 seconden, zonder cache 70 tot 115 seconden. En het was niet foutloos. Een script dat het model schreef, bevatte twee fouten; het model vond ze zelf bij een lokale test. Eén telling in de eindsamenvatting klopte niet met een eerder rapport. Zulke dingen controleer je met elk model.

Hoe neemt een lokaal model een lopende sessie over?

In Hermes is een lokaal model gewoon een extra provider met een OpenAI-compatibel adres. Je kunt op twee manieren overschakelen: zelf met /model, of automatisch met fallback_providers.

Met /model wissel je zelf binnen een lopende sessie van model; de documentatie over modellen legt uit hoe dat werkt. Met fallback_providers stel je een reservemodel (fallback) in waarnaar Hermes automatisch overschakelt. De instelling is een lijst, dus je kunt meerdere reservemodellen opgeven die Hermes op volgorde probeert. Een generiek voorbeeld:

fallback_providers:
  - provider: custom
    model: mijn-lokale-model
    base_url: http://localhost:8000/v1
    key_env: LOCAL_API_KEY

Volgens de documentatie over terugvalproviders schakelt Hermes automatisch over bij limieten en serverfouten, nadat het zelf een paar keer opnieuw heeft geprobeerd. Dat doet het ook bij authenticatiefouten en bij antwoorden die herhaaldelijk leeg of onbruikbaar zijn. Die terugval geldt per beurt. De documentatie zegt het zo: “Fallback is turn-scoped: each new user message starts with the primary model restored.” Bij het volgende bericht probeert Hermes dus eerst weer het hoofdmodel. Een weigering door een veiligheidsfilter is daarentegen een eindresultaat: Hermes toont die en probeert niet opnieuw. Bij een weigering schakel je daarom zelf over met /model.

Reken bij een wissel op twee dingen. De promptcache van het vorige model telt niet mee, dus het nieuwe model leest de hele geschiedenis opnieuw in. Bij een sessie van meer dan 100.000 tokens vraagt Hermes daarom eerst om bevestiging. Heeft het nieuwe model een kleiner contextvenster, dan kan de sessie al dicht bij de compressiegrens zitten. Hermes comprimeert de sessie dan bij het eerstvolgende bericht.

Wat mag je verwachten van een lokaal model als reserve?

Een lokaal model is een verzekering, geen vervanging van een sterk cloudmodel. Het is iets waard als het snel genoeg is, een lang contextvenster heeft en tools betrouwbaar aanroept. Een sessie met 200.000 tokens en tientallen commando’s is iets heel anders dan een chatvraag.

Wij gebruiken voor het meeste werk nog altijd het cloudmodel. Onze workstation heeft een RTX 5090 met 32 GB videogeheugen en 128 GB werkgeheugen. Qwen3.8-Flash-Next haalde daarop ongeveer 79 tokens per seconde, met een contextvenster van 512.000 tokens. In onze eigen taakset, op 21 en 22 oktober 2026, was het het snelste en meest betrouwbare model op die hardware. Dat zijn metingen op één machine, geen algemene benchmark; de volledige vergelijking staat in het Engels online.

Met een kleinere computer kies je een kleiner model en verwacht je minder. Welke hardware bij welk model past, lees je in ons artikel over de computer voor lokale AI.

Waar let je op als je een terugvaloptie opzet?

Een lokaal model als terugvaloptie werkt alleen als je het voorbereidt voordat je het nodig hebt. Dit zijn de punten die bij ons het verschil maakten:

Gebruik één agentframework voor beide routes. De overdracht werkte omdat de sessie en de tools dezelfde bleven; alleen het model wisselde.
Houd het lokale model klaar. Ken het startscript, weet wat er anders op de videokaart draait en test de opstart af en toe.
Kies een model dat lange sessies met veel toolaanroepen aankan, niet alleen een model dat goed scoort op chatvragen.
Log weigeringen apart van fouten. Een weigering is een geslaagd antwoord zonder inhoud en blijft anders onzichtbaar.
Stel automatische terugval in voor storingen en limieten, en spreek af wie bij een weigering zelf overschakelt.
Controleer het werk op dezelfde manier, welk model het ook doet: back-ups vooraf, controles achteraf en een weg terug als er iets misgaat.

Een terugvaloptie is geen manier om regels te omzeilen. Je gebruikt ze voor werk dat binnen je eigen afspraken valt, met dezelfde menselijke controle als anders. Wat het lokale model doet, controleer je net zo goed als het werk van het cloudmodel.

Hoe zet Voltti dit op?

Voltti installeert Hermes Agent bij jou, richt de terugvalroute in en geeft support, voor bedrijven in België en Nederland. Een lokaal model voegen we toe wanneer de toepassing en de hardware dat rechtvaardigen.

Een hybride opstelling is daarbij het vertrekpunt: Hermes draait bij jou, en per taak kies je het model dat past. Hoe je die keuze maakt, lees je in lokale AI versus cloud-AI. Het lokale model dient dan als reserve of voor taken waarbij gegevens op je eigen hardware moeten blijven. Wat daarbij lokaal blijft en wat niet, staat in wat blijft lokaal in een hybride AI-opstelling.

Je krijgt een offerte op maat, want hardware en modelkeuze verschillen per bedrijf. Meer over de opties lees je op onze pagina over lokale AI voor bedrijven. Wil je weten wat er gebeurt als de hardware zelf uitvalt, lees dan wat er met je AI-omgeving gebeurt bij een hardwarestoring.