Lokale AI: waarom je die cloudverbinding niet meer nodig hebt
Je typt een zin in ChatGPT en ergens in een datacenter in Virginia wordt dat verwerkt, beantwoord en teruggestuurd. In milliseconden, ja. Maar in die milliseconden verlaat jouw tekst je apparaat. Dat verandert nu.
Small Language Models (SLM's) zijn AI-modellen die zo compact zijn dat ze gewoon op je telefoon of laptop zelf kunnen draaien. Daarmee ben je niet langer afhankelijk van een server ergens ver weg, er is geen cloudverbinding nodig en er zijn geen hongerige datacenters die meelezen. De AI zit voortaan gewoon in je broekzak.
Wie niet groot is, moet slim zijn
De grote AI-modellen (LLM's, oftewel Large Language Models) waar we de afgelopen jaren aan gewend zijn geraakt, zoals Claude, ChatGPT en Gemini, tellen honderden miljarden parameters en vereisen een serverpark om te draaien. SLM's hebben doorgaans tussen de 500 miljoen en 10 miljard parameters, maar behalen dankzij slimmere trainingstechnieken en betere datasets indrukwekkende resultaten bij de meeste alledaagse taken. Denk aan tekst samenvatten, vertalen, slimme autocorrectie, transcriptie van gesprekken of vragen beantwoorden op basis van documenten die jij aanlevert.
Het onderscheid is praktisch: ultra-compacte modellen van 500 miljoen tot 2 miljard parameters draaien soepel op smartphones en vereisen slechts 1 tot 4 GB RAM, terwijl compactere varianten van 2 tot 5 miljard parameters een balans vinden tussen vermogen en systeemvereisten.
Jouw data gaat nergens meer heen
Dit is het kernargument, en het is simpeler dan je denkt. Wanneer je een AI-dienst in de cloud gebruikt, stuur je informatie naar servers van een bedrijf buiten jouw controle. Je sollicitatiebrief, je medische vragen, de tekst van een interne vergadering die je wilt samenvatten: het gaat allemaal de deur uit en belandt bij iemand waarvan je dat misschien helemaal niet wilt.
Met lokale AI blijft alles op je apparaat staan. Privacygevoelige toepassingen kunnen nu data verwerken zonder dat die het apparaat van de gebruiker verlaten. Geen privacybeleid van derden, geen datalek bij een externe aanbieder, geen advertentiedoeleinden. Het is daarmee de digitale equivalent van fluisteren in een kamer waarin je alleen bent, in plaats van het uit te roepen in een volle treincoupé.
| Onderwerp | Voordeel | Nadeel |
|---|---|---|
| Data | Alles blijft op je apparaat, geen externe partij leest mee | Je bent zelf verantwoordelijk voor beveiliging van je model en data |
| Verbinding | Werkt volledig offline, ook in het vliegtuig of zonder wifi | Eerste download van het model vereist wel een internetverbinding |
| Snelheid | Geen netwerkvertraging, respons voelt direct en vloeiend aan | Trage hardware levert langzame output op, zeker bij grote modellen |
| Prijs | Geen abonnement of kosten per prompt na de eerste setup | Zware modellen vragen om krachtige (en dure) hardware |
| Gebruik | Geen tokenlimieten, geen 'je hebt je daglimiet bereikt', geen onderbrekingen midden in een taak | Jouw RAM en VRAM zijn de enige limiet, en die voelt bij grote modellen ook snel |
| Vermogen | Voor dagelijkse taken als samenvatten en vertalen meer dan goed genoeg | Complexe redenering en creatief schrijven blijven het terrein van grote cloudmodellen |
| Setup | Op nieuwe telefoons al ingebouwd, op laptop snel geregeld via LM Studio | Modellen kiezen, downloaden en beheren vraagt enige technische interesse |
| Updates | Geen verplichte abonnementswijzigingen of API-veranderingen die jouw workflow breken | Nieuwere modellen moet je zelf handmatig downloaden en installeren |
Welke modellen draaien er lokaal?
De meest opvallende nieuwkomer is Google Gemma 4, uitgebracht op 2 april 2026. Zelfs de kleinste telefoonvarianten (E2B en E4B) verwerken tekst, beeld én audio lokaal, zonder internetverbinding. Dat niveau van multimodale ondersteuning op telefoonformaat is nieuw. De Edge-modellen zijn in nauwe samenwerking met Google Pixel, Qualcomm en MediaTek gebouwd voor offline gebruik met vrijwel geen vertraging.
Op de achtergrond van Android-toestellen draait al Gemini Nano, het on-device model dat de AI-functies op de Google Pixel 10 en Samsung Galaxy S26 aandrijft zonder dat er data het toestel verlaat.
Voor laptops met reguliere specificaties blijft Microsofts Phi-4-mini (3,8 miljard parameters) de meest praktische keuze: past in 8 GB RAM en presteert opvallend goed op redeneer- en STEM-taken. Wie een degelijke GPU heeft, kan de grotere Gemma 4-varianten (26B of 31B) draaien voor aanzienlijk meer vermogen, inclusief beeldverwerking.
Mocht je met Meta's Llama 4 Scout aan de slag willen: Scout vereist minimaal 55 GB VRAM in gecomprimeerde vorm en is daarmee voorlopig voorbehouden aan developers met echt serieuze hardware.
Sneller én offline
Bijkomend voordeel dat je meteen merkt is de snelheid van deze kleinere modellen. Het extra verwerkingsvermogen op het apparaat zelf betekent dat functies razendsnel reageren, zonder eerst te hoeven wachten op een reactie vanuit de cloud.
Je zou daardoor kunnen stellen dat dit het moment is waarop AI ophoudt een gimmick te zijn en aanvoelt als gereedschap dat je altijd bij je hebt. Ook zonder internetverbinding, want dan werkt het gewoon door. Dus ook in het vliegtuig, op de camping, in een hotel met belabberde wifi: je AI is altijd bij je en staat altijd tot je beschikking.
Welke apparaten doen dit al in 2026?
De Google Pixel 10 Pro is de meest uitgesproken vertegenwoordiger. De Tensor G5-chip is 60 procent krachtiger op AI-taken, waardoor functies die voorheen cloudverwerking vereisten nu direct op het toestel draaien. Er is daarbij een duidelijk onderscheid tussen de on-device Gemini-modellen die de nieuwe functies aandrijven en de Gemini-app in de cloud: de Pixel 10 Pro is echt een AI-telefoon, maar dan wel eentje waarbij de lokale verwerking centraal staat. Denk aan functies als realtime gesprekstranscriptie, scamdetectie tijdens telefoongesprekken en slimme fotoverwerking die lokaal op het toestel plaatsvinden, zonder dat de data naar externe servers gaat.
Apple doet dat al iets langer met Apple Intelligence op de iPhone 15 Pro en alle iPhone 16- en 17-modellen. Functies als Image Playground draaien lokaal, waardoor je prompts privé blijven. Zwaardere taken worden via Apples eigen Private Cloud Compute-systeem afgehandeld, wat tenminste nog end-to-end versleuteld is. Het is al met al nog wat karig, maar daarin zit met de komende grote update (iOS 27) verandering aan te komen.
De Samsung Galaxy S26-serie combineert meerdere AI-engines: Google Gemini voor agentische taken, Perplexity voor webzoekopdrachten en een eigen versie van Bixby als on-device assistent.
Op het gebied van laptops en desktops maakt Microsofts Phi-reeks het voor Windows-gebruikers met Copilot+-pc's mogelijk om SLM's lokaal te draaien, en op macOS kunnen Apple Silicon-Macs (M1 en nieuwer) nagenoeg alle ingebouwde Apple Intelligence-functies volledig on-device verwerken, al zijn dat geen volledige Language Models. Daarvoor kun je beter met LM Studio of Ollama aan de slag (zie kader hieronder).
Zelf aan de slag met SLM's
Op een recente smartphone hoef je niets te installeren. Op toestellen als de Pixel 10, iPhone 17 en Galaxy S26 draait lokale AI al stilletjes op de achtergrond voor transcriptie, scamdetectie en slimme autocomplete. Wil je er bewust mee experimenteren? Googles eigen AI Edge Gallery-app (Android en iOS) kun je Gemma 4 direct op je telefoon draaien, volledig offline.
Op een laptop of desktop zijn er twee duidelijke keuzes. LM Studio is de makkelijkste instap: een gewone desktop-app met een overzichtelijke modelbibliotheek, ingebouwde chat en geen terminal in zicht. Voor wie wat technischer is ingesteld, is Ollama de standaard, met meer dan 52 miljoen maandelijkse downloads en ondersteuning voor vrijwel alle populaire modellen via één commando.
Een praktische vuistregel: modellen van 7 tot 8 miljard parameters draaien prima op een laptop met 8 GB RAM, en kleinere varianten van 2 tot 4 miljard parameters halen 90 tot 95 procent van de kwaliteit bij een kwart van het geheugengebruik. Voor dagelijkse taken als samenvatten, vertalen en schrijven is dat ruim voldoende.
Niet alles, maar genoeg
Eerlijk is eerlijk: een lokaal draaiend SLM schrijft nog geen epische scriptie, genereert geen fotorealistisch beeld en voert geen complexe redenering uit over duizend pagina's tekst. Daarvoor heb je nog steeds de grote cloudmodellen. Maar voor de dagelijkse taken, samenvatten, vertalen, dicteren, notities ordenen of slimme autocomplete is lokale AI al meer dan goed genoeg.
En het tempo ligt hoog. Platforms als Ollama hebben lokale AI gedemocratiseerd voor ontwikkelaars, terwijl modellen van grootheden als Meta, Google, Microsoft, Alibaba en anderen de keuze bieden over het volledige spectrum van vermogens en efficiëntie.
De cloudvariant zal voorlopig zeker niet verdwijnen, maar voor alles wat persoonlijk, snel en offline moet kunnen, is je eigen apparaat het nieuwe datacenter. En dat is best een geruststellend idee.
