Het aantal mensen dat een taalmodel lokaal draait groeit hard: zowel bedrijven als consumenten verplaatsen AI-verwerking steeds vaker van de cloud naar eigen apparatuur, vaak om privacyredenen. Tools als Ollama en LM Studio maken dat bovendien behoorlijk toegankelijk, ook zonder diepgaande technische kennis.

Lastiger is de keuze voor de juiste laptop. Waar je in het geval van Windows kijkt naar het VRAM van een videokaart, draait bij een Mac alles om unified memory. Met de komst van Apples M5 en Qualcomms Snapdragon X2 is die keuze dit jaar opnieuw op scherp gezet.

Wat bepaalt de keuze bij lokaal LLM draaien?

Een taalmodel moet grotendeels in het geheugen passen om vlot te reageren. Hoe groter het model, hoe meer geheugen je nodig hebt: een compact model van 7 miljard parameters vraagt in geoptimaliseerd formaat zo'n 4 tot 5 GB RAM, een model van 13 miljard parameters ongeveer 8 GB, en een fors model van 70 miljard parameters al snel 40 GB.

Bij een Windows-laptop bepaalt de videokaart dat geheugen, bij een Mac is dat het zogenaamde unified memory dat processor, grafische chip en Neural Engine met elkaar delen. Daarnaast telt de rekenkracht van de NPU mee voor snelheid en tot slot de software: Ollama, LM Studio en Apples eigen MLX-framework verschillen onderling in snelheid en gebruiksgemak.

Wanneer kies je voor een Mac?

Kies sowieso voor een MacBook of Mac mini met Apple Silicon met in elk geval 16 GB RAM als je grotere modellen wilt draaien zonder dat geheugen steeds de bottleneck wordt. Omdat CPU, GPU en Neural Engine in het unified memory-model uit dezelfde geheugenpool putten, gaat er geen tijd en energie verloren aan het rondpompen van data tussen aparte geheugenchips, zoals bij een losse videokaart wel gebeurt. Een Mac met 24 GB unified memory kan daardoor al prima modellen van 7 tot 13 miljard parameters aan.

Een vereenvoudigde weergave van het unified memory van Apple Silicon.

Apples M5-chip, sinds oktober 2025 leverbaar, voegt daar Neural Accelerators in elke grafische kern en een 16-core Neural Engine aan toe, wat gangbare AI-taken nog eens flink versnelt. Wil je het uiterste uit Apple-hardware halen, gebruik dan MLX in plaats van llama.cpp (zie kader hieronder). Dat framework is speciaal geschreven voor Apple Silicon en is daardoor merkbaar sneller.

Ook de accuduur is een reden om voor een Mac te kiezen. Een MacBook Pro met M5 haalt in gemengd productiegebruik al snel 14 tot 16 uur, dus je kunt rustig lokaal met een taalmodel experimenteren zonder oplader in de buurt. Dat sluit aan bij de energiezuinigheid waarmee Apple Silicon zich al langer onderscheidt.

Wat doen llama.cpp en MLX eigenlijk?

Llama.cpp is de motor die onder vrijwel alle populaire AI-tools zit, waaronder Ollama en LM Studio. Met deze tools kun je modellen in het GGUF-formaat draaien op nagenoeg elke chip: van een Mac tot een gewone Windows-laptop. MLX is Apples eigen alternatief, speciaal geschreven om optimaal gebruik te maken van de Neural Engine en de GPU-kernen in Apple Silicon.

Het verschil merk je vooral in snelheid: hetzelfde model draait via MLX doorgaans 20 tot 30 procent vlotter dan via llama.cpp op dezelfde Mac. Op een Windows-laptop met Snapdragon-chip speelt dit onderscheid niet; daar draaien tools als Ollama en LM Studio altijd via llama.cpp, zonder een vergelijkbaar Apple-specifiek alternatief.

Wanneer kies je voor een Windows-laptop met ARM-chip?

Twijfel je toch aan een Mac, dan is een Windows-laptop met Qualcomms nieuwe Snapdragon X2 Elite een serieus alternatief. De Snapdragon X2 Elite Extreme evenaart met zijn 128 GB werkgeheugen de duurste M5 Max-configuratie, en dat voor een aanzienlijk lagere prijs.

De ingebouwde NPU haalt tot 80 TOPS (een maat voor hoeveel AI-berekeningen de chip per seconde aankan; hoe hoger hoe sneller) en levert daarmee aanzienlijk hogere doorvoersnelheden op kleinere modellen dan de vorige Snapdragon-generatie. Ook los van AI-taken is dit een krachtige chip: in multicore-benchmarks verslaat de X2 Elite Extreme de instap-M5 en de nieuwste Intel- en AMD-chips ruimschoots, al moet hij het tegen de M5 Max wel afleggen.

Softwarecompatibiliteit is inmiddels minder een probleem dan bij de eerste Snapdragon-generatie, want de meeste gangbare toepassingen draaien tegenwoordig native op Windows-on-ARM. Werk je liever met een losse videokaart in een gewone Windows-laptop of desktop, dan kun je ook goed uit de voeten met een tweedehands RTX 3090: die biedt 24 GB VRAM voor een fractie van de prijs van een nieuwe RTX 5090.

Op een Windows-machine draai je LLM's met behulp van een grafische kaart met voldoende geheugen.

Dealbreakers

Kies niet zomaar voor de hoogste geheugenspecificatie. Wil je vooral bestaande creatieve software zoals Adobe-toepassingen of videobewerking naast je AI-experimenten gebruiken, dan is macOS door zijn volwassen softwareondersteuning vaak nog altijd de veilige keuze, ook al claimt Qualcomm voor de NPU van de X2 Elite Extreme een hogere AI-inferentiesnelheid dan bij de instap-M5.

Speel je liever games of gebruik je nichesoftware met oudere stuurprogramma's, dan kun je op een ARM-Windows-laptop nog op compatibiliteitsproblemen stuiten, vooral bij anti-cheatsystemen in online games. En wil je vooral experimenteren zonder meteen diep in de buidel te tasten, dan kom je met een gewone laptop met 16 GB werkgeheugen ook al een heel eind voor kleinere modellen. Je hoeft dus niet meteen de duurste chip te kopen om kennis te maken met lokale AI.

Zo kies je de juiste hardware voor lokaal LLM’s draaien

Wil je zonder gedoe grotere modellen draaien, kies dan een Mac met Apple Silicon: unified memory maakt de instap eenvoudig en de ruime accuduur is echt heel prettig. Wil je juist de grootst mogelijke modellen op een laptop kwijt kunnen en vind je Windows geen bezwaar, dan is een laptop met Snapdragon X2 Elite en een berg werkgeheugen op dit moment een interessante keuze.

Begin in beide gevallen eens met een gratis tool als Ollama of LM Studio, eventueel gecombineerd met een tool die je eigen documenten doorzoekbaar maakt: dat installeer je binnen enkele minuten en het laat meteen zien hoe je eigen hardware met een taalmodel omgaat.

Met Ollama draai je eenvoudig een LLM naar keuze op je eigen machine.

Dus…

Een taalmodel lokaal draaien vereist voldoende geheugen om het model volledig te laden: modellen van 7 miljard parameters passen in 4 tot 5 GB RAM, modellen van 70 miljard parameters vragen circa 40 GB. Bij een Mac heet dit geheugen unified memory en wordt het gedeeld tussen CPU, GPU en Neural Engine, wat het rondpompen van data tussen aparte geheugenpools overbodig maakt.

Apple's basis-M5-chip, uitgebracht in oktober 2025, biedt tot 32 GB unified memory; de duurdere M5 Max, sinds maart 2026 leverbaar, gaat tot 128 GB.

Qualcomms Snapdragon X2 Elite Extreme ondersteunt eveneens tot 128 GB werkgeheugen en heeft een NPU van 80 TOPS, en is daarmee een stuk voordeliger in dezelfde geheugenklasse als de duurste MacBook Pro. Gratis tools als Ollama, LM Studio en Apples MLX-framework maken het draaien van een taalmodel op eigen hardware binnen enkele minuten toegankelijk.

Veelgestelde vragen

Wat is het verschil tussen VRAM en unified memory?

VRAM is het aparte geheugen op een videokaart, terwijl unified memory een gedeelde geheugenpool is die CPU, GPU en Neural Engine samen gebruiken. Bij unified memory hoeft data niet tussen aparte geheugenchips heen en weer te reizen, wat vooral bij grote AI-modellen tijd en energie bespaart. Apple past dit principe al sinds de eerste M1-chip uit 2020 toe in zijn MacBooks.

Hoeveel geheugen heb je nodig om een taalmodel lokaal te draaien?

Dat hangt af van de modelgrootte: een model van 7 miljard parameters vraagt in gecomprimeerd formaat ongeveer 4 tot 5 GB, een model van 70 miljard parameters al snel 40 GB. Hoe meer geheugen beschikbaar is, hoe groter en vaak ook slimmer het model dat je kunt laden.

Is een ARM-processor sneller dan een traditionele Intel- of AMD-chip?

Niet per definitie sneller in elke taak, maar wel vaak energiezuiniger bij vergelijkbare prestaties. ARM-chips zoals Apples M-serie en Qualcomms Snapdragon-serie combineren hoge snelheden met een lager stroomverbruik, wat resulteert in langere accuduur en minder warmteontwikkeling dan bij veel x86-laptops.

Kun je een taalmodel ook offline gebruiken nadat je het hebt gedownload?

Ja. Zodra een model eenmaal is gedownload via tools als Ollama, werkt het volledig offline zonder internetverbinding. Alleen het downloaden van het model zelf en eventuele updates vereisen een netwerkverbinding.

Wat is quantisatie bij een lokaal taalmodel?

Quantisatie is een techniek waarbij de precisie van de rekenwaarden in een model wordt verlaagd, bijvoorbeeld van 16-bit naar 4-bit, zodat het model minder geheugen inneemt. Dit maakt het mogelijk om grotere modellen op consumentenhardware te draaien, met een beperkt verlies aan nauwkeurigheid.