OpenAI heeft het met ChatGPT het concept van een AI-chatbot populair gemaakt. Ook andere bedrijven bieden soortgelijke diensten aan. Daarnaast zijn er grote taalmodellen beschikbaar waarmee je zelf een chatbot kunt maken die op je eigen computer draait. Met Jan krijg je toegang tot al deze taalmodellen vanuit één interface.

Een groot taalmodel (Large Language Model of LLM) is een neuraal netwerk met miljarden parameters dat teksten kan genereren. Dit type algoritme kreeg brede bekendheid toen OpenAI in november 2022 de dienst ChatGPT lanceerde. Via deze webinterface kun je eenvoudig chatten met het taalmodel, en de antwoorden lijken vaak alsof ze van een mens komen.

Ook de concurrentie is niet stil blijven staan. Zo biedt het Franse bedrijf Mistral AI een online chatbot op basis van een eigen groot taalmodel. Daarnaast stellen bedrijven als Groq je in staat om allerlei grote taalmodellen in de cloud te draaien. Meta, het moederbedrijf van Facebook, bracht bovendien zijn groot taalmodel Llama uit in kleinere versies, die je zelfs op je eigen computer kunt draaien. Dat werd al snel gevolgd door een reeks andere grote en kleine taalmodellen van diverse bedrijven en onderzoeksinstellingen.

Het kan lastig zijn om al deze modellen uit te proberen: je moet dan allerlei verschillende webinterfaces gebruiken of van diverse locaties modellen downloaden. Jan biedt hiervoor een oplossing: je installeert deze opensourcesoftware op je eigen computer. Daarna verbind je via een API (Application Programming Interface) met een groot taalmodel in de cloud of download je een taalmodel van bijvoorbeeld Meta of Mistral op je eigen computer om het offline te gebruiken. En dat alles in één en dezelfde gebruikersinterface, waarin je eenvoudig tussen verschillende modellen kunt overschakelen.

1 Jan installeren

Jan is beschikbaar voor Windows, macOS (Intel- of Apple-processoren) en Linux. Op de downloadpagina vind je de verschillende versies. Als je lokaal grote taalmodellen wilt draaien, heb je een krachtige computer nodig. Onder Windows en Linux betekent dat een gpu van Nvidia of AMD met minstens 8 GB VRAM. Heb je een recente Mac, dan is een Apple M1-processor of nieuwer ook snel genoeg.

Nadat je Jan hebt gestart, schakel je eerst de hardwareversnelling in. Op Macs met een Apple-processor gebeurt dat automatisch, maar voor Windows en Linux dien je dat handmatig te doen. Raadpleeg de platformspecifieke installatie-instructies om de juiste drivers en andere nodige software te installeren. Voor een Nvidia-gpu open je in Jan de instellingen (het icoontje van het tandwiel linksonder) waar je klikt op Advanced Settings en GPU Acceleration inschakelt.

Voor de beste prestaties laat je Jan gebruikmaken van je gpu.

2 Lokaal AI-model draaien

Als je een groot taalmodel op je eigen computer wilt draaien, moet je dit eerst downloaden. Klik daarvoor in Jan linksboven op het icoontje met de vier vierkantjes. Dit brengt je naar de Hub, een verzameling van modellen die je kunt downloaden. Bij de modellen die je lokaal kunt draaien, staat de bestandsgrootte en een knop Download. Als er Recommended bij staat, draait het model goed op je hardware. Staat er de waarschuwing Slow on your device, dan komt dat bijvoorbeeld omdat je gpu te weinig VRAM heeft. Klik rechts naast de downloadknop voor extra uitleg over het model en klik op Download om het model op te slaan. Download bijvoorbeeld Mistral Instruct 7B Q4. Dat is een goed algemeen model dat al op een gpu met 8 GB VRAM draait.

Zodra het model is gedownload, verandert de downloadknop in Use. Klik erop om een nieuwe ‘thread’ te starten, een conversatie met het model. Dit kan ook door op de tekstballon linksboven te klikken. Voordat je een vraag typt in het tekstveld onderaan, raden we je aan aan de rechterkant naar enkele instellingen te kijken. In het tabblad Assistant kun je onder Instructions specifieke instructies geven die de antwoorden van de chatbot beïnvloeden, zoals de rol die het moet uitvoeren. In het tabblad Model kun je het taalmodel kiezen: naast de gedownloade modellen zijn ook de modellen die je online gebruikt via een API zichtbaar. Laat de andere instellingen voorlopig op hun standaardwaarden staan (zie het kader ‘Modelparameters’ voor de betekenis ervan). Nu kun je je vraag stellen. Jan zal eerst het taalmodel in het VRAM of RAM laden, wat even kan duren. Daarna verschijnt het antwoord redelijk snel. Vervolgvragen worden hierdoor ook sneller beantwoord.

Dankzij Jan kun je met alle mogelijke grote taalmodellen chatten.

3 AI-model in de cloud draaien

Op dezelfde manier kun je modellen in de cloud draaien bij leveranciers als OpenAI, Anthropic, Mistral, Cohere en Groq. Hiervoor moet je eerst een API-sleutel voor de desbetreffende dienst instellen. Keer daarvoor terug naar de instellingen van Jan en klik bij Model Providers op de gewenste dienst. We illustreren dit met OpenAI. Bij API Key moet je een API-sleutel invullen, die je aanmaakt op de pagina API keys van je OpenAI-account. Klik daar op Create new secret key, geef je sleutel een naam en ken ze aan een project toe (er is een Default project). Klik dan op Create secret key. Kopieer nu onmiddellijk de gegenereerde sleutel en vul die in Jan in, want je krijgt die daarna nooit meer te zien.

Je kunt nu in de Hub van Jan naar OpenAI GPT 4o gaan en ernaast op Use klikken om een nieuw gesprek te starten. Of je klikt op de tekstballon linksboven, daarna op het icoontje met het potlood om een nieuwe thread aan te maken, om vervolgens aan de rechterkant bij ModelOpenAI GPT 4o uit de lijst te selecteren. Cloudmodellen waar je geen toegang toe hebt omdat je nog geen API-sleutel hebt ingesteld, zijn grijs weergegeven. Je kunt tijdens het gesprek overigens op elk moment van model veranderen. Als je bijvoorbeeld merkt dat het model niet goed genoeg is voor je vraag, verander dan het model en klik op het knopje Regenerate bij het antwoord.

Creëer een API-sleutel om OpenAI’s grote taalmodellen in Jan te gebruiken.

4 Pdf-documenten samenvatten

Als je een model met lange contextlengte gebruikt, kun je in Jan ook pdf-documenten laten samenvatten of op andere manieren analyseren. Klik daarvoor eerst in de instellingen op Advanced Settings en schakel Experimental Mode in. Je threads tonen nu aan de rechterkant ook een tabblad Tools. Schakel daar Retrieval in.

Klik nu in je thread op het icoontje van de paperclip en kies Document. Selecteer het pdf-bestand dat je wilt analyseren. Nu kun je in het tekstveld onderaan vragen stellen aan het taalmodel over dit document. Als het lijkt alsof het taalmodel de informatie niet volledig heeft verwerkt, kun je experimenteren met de parameters in het tabblad Tools. Wees overigens altijd kritisch over de antwoorden. Vaak zit het taalmodel ernaast of antwoordt het onvolledig.

Als je de datasheet van de Raspberry Pi Pico W met GPT-4o bevraagt, zijn de antwoorden helaas onvolledig.

5 Multimodaal model

Sommige modellen kunnen niet alleen overweg met tekst, maar ook met afbeeldingen. Ze kunnen bijvoorbeeld een afbeelding die je hen voorlegt beschrijven of erover redeneren. We noemen dat multimodale modellen. Een voorbeeld hiervan is LLaVA (Large Language and Vision Assistant). In de Hub van Jan zijn enkele varianten te vinden, zoals LlaVa 7B, BakLlava 1 en LlaVa 13B Q4 (voor GPU’s met meer dan 8 GB VRAM).

Na je selectie kun je een afbeelding uploaden door in een gesprek op de paperclip klikken en voor Image te kiezen. Als het niet om een multimodaal model gaat, blijft Image grijs en kun je het niet selecteren. Daarna kun je vragen stellen over de afbeelding. Helaas bleek in onze test geen van de LLaVA-modellen uit Jans Hub te werken, ook niet met een LLaVA-model dat we van Hugging Face downloadden. Het is een van de redenen waarom de ontwikkelaars van Jan nog steeds waarschuwen dat hun programma in bètafase is.

6 Modellen van Hugging Face

Hugging Face is een Frans-Amerikaans bedrijf dat met zijn Model Hub een populaire website aanbiedt waar iedereen AI-modellen kan publiceren. Jan kan deze modellen van de Hugging Face Model Hub ook lokaal draaien, zolang ze in het formaat GGUF (GPT-Generated Unified Format) worden aangeboden. We illustreren dit met Granite Code 8B, een taalmodel van IBM dat is getraind om programmeertaken uit te voeren.

Als je binnen de Hugging Face Model Hub op de pagina van een GGUF-model rechtsboven op Use this model klikt en vervolgens op Jan, krijg je de vraag om de pagina in Jan te openen. Een andere manier is om in de Hub van Jan de url van het model te plakken. Jan toont je dan informatie over het model en biedt verschillende versies ter download aan. In ons voorbeeld is er maar één versie, maar vaak zijn er verschillende kwantisaties beschikbaar (zie het kader ‘Welke modelvariant kiezen?’). Klik op de downloadknop naast het gewenste model. Zodra het is gedownload, klik je op Use om een gesprek te beginnen.

Jan kan alle GGUF-taalmodellen van Hugging Face downloaden.

7 Modellen die programmeren

Taalmodellen zoals Granite Code, Codestral, Deepseek Coder en CodeNinja zijn gespecialiseerd in alles wat met programmeren te maken heeft. Vraag bijvoorbeeld om een Python-script dat met de bibliotheek Bleak scant naar bluetooth-apparaten in de buurt, en het taalmodel toont je de code hiervoor, inclusief uitleg en instructies om de benodigde bibliotheken te installeren.

De code zelf wordt in afzonderlijke kaders getoond, die je met een klik op het icoontje rechtsboven kopieert, zodat je de code in je eigen code-editor kunt plakken en uitproberen. Je kunt ook code invoeren in Jan en het model vragen om deze uit te leggen. Of geef code waarvan je weet dat er een fout in zit en vraag het model om de code te verbeteren. Vaak krijg je overigens code die niet werkt, of die een foutmelding geeft. Reageer dan met de foutmelding of vertel wat er fout gaat, en je krijgt een verbeterde versie. Na wat heen en weer communiceren krijg je vaak wel een bruikbaar resultaat.

Granite Code kan je helpen bij programmeertaken.

8 Extra cloudmodellen toevoegen

Er komen continu nieuwe taalmodellen bij, en Jan kan dat niet altijd direct volgen. Gelukkig kun je vaak met wat handmatige configuraties de nieuwe modellen toch nog aan de praat krijgen. We illustreren dit met GPT-4o mini, de goedkopere versie van GPT-4o die OpenAI aanbiedt. Tijdens het schrijven stond deze nog niet in Jans Hub, maar je kunt deze eenvoudig toevoegen. Jan slaat de configuratie van elk model op in een bestand in zijn datadirectory. Voor OpenAI’s GPT-4o is dat bijvoorbeeld in het bestand jan\models\gpt-4o\model.json in je persoonlijke map.

Om Jan toegang te geven tot GPT-4o mini, maak je een map gpt-4o-mini aan en kopieer je het bestand model.json van GPT-4o daarnaartoe. Pas nu in dit json-bestand het id aan van gpt-4o naar gpt-4o-mini, de naam van OpenAI GPT 4o naar OpenAI GPT 4o mini en het maximumaantal tokens van 4096 naar 16384. Deze waarde vind je op de website van OpenAI bij de eigenschappen van het model. Sla het bestand op, sluit Jan af en start het programma weer op. Daarna is het model in Jan beschikbaar.

Voeg het nieuwste model van OpenAI aan Jan toe.

9 Meer mogelijkheden

Jan biedt nog heel wat meer mogelijkheden. Zo kun je het programma als server draaien en functionaliteit van de taalmodellen aan andere programma’s aanbieden. In de code-editor Visual Studio Code kun je bijvoorbeeld met de extensie Continue hulp bij het programmeren krijgen. Continue communiceert dan op de achtergrond met een taalmodel dat Jan uitvoert.

Een ander interessant programma is Open Interpreter. Dit laat een groot taalmodel code genereren die dan op je computer wordt uitgevoerd. Je kunt bijvoorbeeld aan een taalmodel van Jan vragen om een bestand met data in te lezen en daar grafieken van te maken. Verder zullen er wellicht nog meer tools komen dan enkel het inlezen van pdf-bestanden.

Jan ondersteunt allerlei integraties om de grote taalmodellen toe te passen.

WhatsApp rolt de komende tijd opnieuw een reeks functies uit die het chatten en videobellen persoonlijker en praktischer moeten maken. Van creatieve AI-hulpmiddelen tot betere zoekopties in groepsgesprekken: dit zijn de belangrijkste vernieuwingen.

Rijkere momenten met live en bewegende foto’s

Gebruikers kunnen nu live foto's (iOS) en bewegende foto's (Android) delen. Die bevatten niet alleen beeld, maar ook geluid en beweging. Het idee is dat gesprekken zo meer diepte krijgen en dat je herinneringen realistischer kunt doorsturen, ongeacht of je gesprekspartner iOS of Android gebruikt. In de praktijk betekent dit dat je niet langer gebonden bent aan statische kiekjes: een lach, een begroeting of een spontaan moment komt beter tot zijn recht, compleet met de sfeer van dat moment. WhatsApp wil hiermee de beleving dichter bij die van een echte ontmoeting brengen, zodat een chat niet alleen informatief is, maar ook emotioneel rijker en levendiger aanvoelt.

Chatthema's en achtergronden met Meta AI

WhatsApp zet ook verder in op kunstmatige intelligentie. Met behulp van Meta AI kun je eigen chatthema's maken en zo je gesprekken een volledig unieke stijl geven. Denk aan kleurenpaletten die aansluiten bij je persoonlijke voorkeuren of achtergronden die zijn geïnspireerd op je favoriete muziek, seizoen of stemming. Daarnaast is het mogelijk om AI-gegenereerde achtergronden te gebruiken tijdens videogesprekken, waardoor je jezelf in een virtuele omgeving plaatst, zoals een tropisch strand of een futuristische skyline. Ook kun je deze achtergronden direct toevoegen bij het maken van foto's en video's in de chat, wat creatieve experimenten eenvoudig maakt. WhatsApp benadrukt dat de uitrol stap voor stap gebeurt: sommige gebruikers zien de opties al, terwijl anderen nog even moeten wachten tot de update beschikbaar is.

©WhatsApp

Nieuwe stickerpakketten

Wie zich liever uitdrukt zonder woorden, krijgt meer keuze uit stickers. WhatsApp voegde pakketten toe met veelzeggende namen als 'Onverschrokken vogel', 'Schooldagen' en 'Vakantie'. De stijl varieert van speels tot gezellig en schattig, zodat er ongetwijfeld voor elke stemming wel een passende illustratie is.

Documenten scannen op Android

Tot slot is de mogelijkheid om documenten te scannen nu ook beschikbaar voor Android. Gebruikers kunnen rechtstreeks vanuit WhatsApp bestanden vastleggen, bijsnijden, opslaan en verzenden. Daarmee wordt het eenvoudiger om bijvoorbeeld contracten, bonnetjes of formulieren snel te delen zonder eerst een aparte scanner- of camera-app te openen. De functie herkent de randen van het document automatisch en zorgt dat het beeld wordt rechtgetrokken voor een nette weergave. iPhone-gebruikers hadden deze optie al langer, maar door de uitbreiding naar Android is het nu voor vrijwel alle WhatsApp-gebruikers mogelijk om documenten direct in de app te digitaliseren en door te sturen.

Je kent het wel: je hebt een drukke dag, weinig zin om koken, maar wel trek in iets warms en voedzaams. Kom er maar in slowcooker! Je vult hem 's ochtends, zet hem aan en later op de dag staat er een complete maaltijd te wachten. Zeker in de herfst, dé tijd voor stevige soepen en stoofgerechten, is de slowcooker een uitkomst. En: je kunt er veel meer mee maken dan je denkt!

Hoe werkt de slowcooker precies?

Een slowcooker werkt anders dan de pan op het fornuis of een braadslee in de oven. Hij gaart gerechten langzaam op lage temperatuur, vaak tussen de 70 en 95 graden. De warmte verspreidt zich gelijkmatig rondom een keramische of metalen binnenpan, terwijl het deksel de stoom en smaken vasthoudt. Omdat er nauwelijks vocht ontsnapt, blijven ingrediënten mals en vol van smaak. Vlees valt na uren sudderen uit elkaar en groente wordt zacht zonder zijn structuur helemaal te verliezen.

Van stoofpot tot nagerecht

Wie denkt dat de slowcooker alleen geschikt is voor stoofpotten, heeft het mis. Natuurlijk kun je er klassiekers als rundvleesstoof of chili con carne mee maken, maar net zo goed linzenstoof, curry of een rijke groentesoep. Voor het ontbijt kun je de avond ervoor havermout in de pan doen, zodat je 's ochtends wakker wordt met een warme kom pap. Zelfs nagerechten zoals rijstepap of een appelcrumble met kaneel (recept verderop) komen goed uit de slowcooker. Sommige modellen hebben bovendien een braadfunctie, zodat je vlees eerst kunt dichtschroeien voordat je het rustig laat garen.

©from_my_point_of_view

Welke apparaten vervangt de slowcooker?

De kracht van de slowcooker zit niet alleen in variatie, maar ook in vervanging. Veel bereidingen die je normaal in de oven of op het fornuis zou doen, kunnen ook prima met de slowcooker. Een stoofpot die je anders urenlang in de gaten moet houden, pruttelt hier vanzelf rustig door zonder dat je steeds hoeft te roeren. Zelfs een rijstkoker, stoommandje of au-bain-marie-apparaat kun je soms links laten liggen, want ook rijst, groente en custard kunnen prima langzaam garen. De slowcooker vervangt niet alle apparatuur in je keuken, maar wel deels.

De voordelen van langzaam garen

Het gebruik van de slowcooker brengt een aantal voordelen met zich mee. Doordat de temperatuur laag blijft, brandt er zelden iets aan en kun je gerust de deur uit terwijl het eten staat te pruttelen. De smaken trekken dieper in de ingrediënten en vlees wordt malser dan dan wanneer je het op hoog vuur bereidt. Bovendien heb je minder olie of boter nodig en kun je vaak goedkopere vleessoorten gebruiken die dankzij het lange garen bijzonder zacht worden. Het energieverbruik is doorgaans lager dan bij een oven of kookplaat, omdat het apparaat constant op een laag pitje werkt.

Waar je op moet letten

Er zijn ook dingen om rekening mee te houden. Omdat er nauwelijks vocht verdampt, is het beter om zuinig te zijn met bouillon of water. Te veel vocht maakt de maaltijd dunner dan de bedoeling is. Kruiden ontwikkelen zich anders bij lage temperaturen en hebben soms minder kracht, waardoor het slim is om vlak voor het serveren je gerecht nog even extra op smaak te brengen. En omdat gerechten vaak vier tot acht uur nodig hebben, vraagt het koken met een slowcooker om planning. Zet hem tijdig aan, zodat je eten op het juiste moment klaar is.

De slowcooker in de herfst

Juist in de herfst laat de slowcooker zich van zijn beste kant zien. Het seizoen van pompoensoep, erwtensoep, goulash en linzenstoof vraagt om comfort food dat langzaam kan trekken. Terwijl de regen tegen de ramen slaat en de dagen korter worden, vult je huis zich met de geur van een gerecht dat urenlang rustig staat te garen. Na een boswandeling of werkdag hoef je alleen nog maar de deksel te lichten en te genieten.

Recept: pompoensoep uit de slowcooker

Pompoensoep past perfect bij de herfst en is eenvoudig te maken in de slowcooker. Gebruik een middelgrote flespompoen, twee winterwortels, een grote ui, twee teentjes knoflook, een liter groentebouillon en een theelepel gemalen komijn. Snijd de pompoen in blokjes (schil mag blijven zitten als hij dun is) en doe samen met wortel, ui en knoflook in de slowcooker. Voeg de bouillon en komijn toe, zet de pan zes uur op de lage stand of drie uur op de hoge stand. Pureer de soep met een staafmixer glad en breng eventueel verder op smaak met peper en zout. Voor een romige variant kun je een scheutje kokosmelk toevoegen. Serveer met brood of een beetje geroosterde pompoenpitten als topping. 

©posinote - stock.adobe.com

Recept: apple crumble uit de slowcooker

Een klassieker die verrassend goed lukt in de slowcooker is apple crumble. Je hebt nodig: zes zoetzure appels, een eetlepel kaneel, twee eetlepels suiker, 100 gram bloem, 75 gram havermout, 100 gram koude boter in blokjes en een snuf zout. Schil de appels, snijd ze in stukjes en leg ze op de bodem van de ingevette slowcooker. Meng bloem, havermout, boter, suiker en zout tot een kruimelig deeg en verdeel dit over de appels. Zet de slowcooker drie uur op de hoge stand, of vijf uur op de lage stand, met een theedoek onder het deksel om condens op te vangen (zodat de crumble-topping knapperig blijft). Zorg er wel voor dat het deksel en de pan goed afgesloten blijven. Serveer de crumble warm, eventueel met een bolletje vanille-ijs of slagroom.

Slowcooker? Ja, graag!

De slowcooker laat zich goed inpassen in een druk dagelijks leven. Hij neemt je een deel van het werk uit handen en zorgt voor supersmaakvolle gerechten. Heb je wat plek over in je keuken, dan is een slowcooker dus zeker aan te raden!