Lokale AIMet controle

De Hermes-omgeving, kennisbank, configuratie en uitvoering draaien op een systeem bij jou. Dat betekent niet dat elke datastroom lokaal blijft. Kies je een extern model, dan krijgt dat model de context die je in een verzoek meestuurt. Gekoppelde kanalen en diensten verwerken hun eigen gegevens. Welke modellen en koppelingen bij jouw data passen, bepaal jij samen met Voltti. Gaat het om persoonsgegevens, dan geldt de AVG in elke opstelling; de Europese toezichthouders (EDPB) hebben een privacygids voor kleine ondernemingen. Lees wat er lokaal blijft in een hybride opstelling en hoe Voltti toegang en versleutelde back-ups regelt.

In een volledig lokale opstelling draaien zowel de agent als het taalmodel op jouw hardware. In een hybride opstelling draait de agent lokaal en gaan gekozen modelverzoeken naar een externe provider. Zoekopdrachten op het web, chatkanalen en andere koppelingen kunnen in beide gevallen online diensten gebruiken. De meeste opstellingen zijn hybride. Lees de vergelijking van lokale AI versus cloud-AI.

Ja. Met deze opzet kun je van modelprovider wisselen. Als je use case en hardware dat rechtvaardigen, kunnen we een lokaal model toevoegen. Je hoeft dus niet vooraf voor één model te kiezen: per taak kan een ander model het werk doen. Een pilot duurt meestal 2 tot 4 weken, zodat je eerst de omgeving evalueert en daarna de modelkeuze maakt. Lees hoe een pilot bij Voltti stap voor stap verloopt.

Bij een stroomstoring ligt het werk op dat systeem stil tot de stroom terug is. Een back-up vervangt geen stroomvoorziening, maar helpt wel bij herstel als hardware of opgeslagen gegevens beschadigd raken. Daarom gaat er elke dag een versleutelde back-up van de omgeving naar een aparte locatie in jouw netwerk, nooit naar de node zelf. Lees hoe back-ups en herstel bij een AI-omgeving werken.

Met een extern model volstaat vaak een geschikte computer die je al hebt. Voor een lokaal model hangt het af van het model: kleine modellen kunnen op de processor draaien, grotere vragen meer geheugen of een videokaart. Koop je een nieuwe computer voor grotere lokale modellen naast je gewone software, dan is 64 GB systeem-RAM een verstandig vertrekpunt. We bekijken de taak en de hardware tijdens de intake. Of een model op de videokaart of de processor draait, controleer je bijvoorbeeld via de Ollama-documentatie. Lees welke computer je nodig hebt voor lokale AI.

Dat hangt af van je opstelling, daarom krijg je een offerte op maat. De kosten bestaan uit drie delen: installatie en pilot, support en modelverbruik. Met een lokaal model wegen hardware en stroom zwaarder door, maar betaal je geen provider voor modelverbruik. Met een extern model volstaat een degelijke computer en loopt het verbruik via je eigen account bij de provider. Lees wat een AI-agent kost voor een bedrijf.