OpenAI heeft het met ChatGPT het concept van een AI-chatbot populair gemaakt. Ook andere bedrijven bieden soortgelijke diensten aan. Daarnaast zijn er grote taalmodellen beschikbaar waarmee je zelf een chatbot kunt maken die op je eigen computer draait. Met Jan krijg je toegang tot al deze taalmodellen vanuit één interface.

Een groot taalmodel (Large Language Model of LLM) is een neuraal netwerk met miljarden parameters dat teksten kan genereren. Dit type algoritme kreeg brede bekendheid toen OpenAI in november 2022 de dienst ChatGPT lanceerde. Via deze webinterface kun je eenvoudig chatten met het taalmodel, en de antwoorden lijken vaak alsof ze van een mens komen.

Ook de concurrentie is niet stil blijven staan. Zo biedt het Franse bedrijf Mistral AI een online chatbot op basis van een eigen groot taalmodel. Daarnaast stellen bedrijven als Groq je in staat om allerlei grote taalmodellen in de cloud te draaien. Meta, het moederbedrijf van Facebook, bracht bovendien zijn groot taalmodel Llama uit in kleinere versies, die je zelfs op je eigen computer kunt draaien. Dat werd al snel gevolgd door een reeks andere grote en kleine taalmodellen van diverse bedrijven en onderzoeksinstellingen.

Het kan lastig zijn om al deze modellen uit te proberen: je moet dan allerlei verschillende webinterfaces gebruiken of van diverse locaties modellen downloaden. Jan biedt hiervoor een oplossing: je installeert deze opensourcesoftware op je eigen computer. Daarna verbind je via een API (Application Programming Interface) met een groot taalmodel in de cloud of download je een taalmodel van bijvoorbeeld Meta of Mistral op je eigen computer om het offline te gebruiken. En dat alles in één en dezelfde gebruikersinterface, waarin je eenvoudig tussen verschillende modellen kunt overschakelen.

1 Jan installeren

Jan is beschikbaar voor Windows, macOS (Intel- of Apple-processoren) en Linux. Op de downloadpagina vind je de verschillende versies. Als je lokaal grote taalmodellen wilt draaien, heb je een krachtige computer nodig. Onder Windows en Linux betekent dat een gpu van Nvidia of AMD met minstens 8 GB VRAM. Heb je een recente Mac, dan is een Apple M1-processor of nieuwer ook snel genoeg.

Nadat je Jan hebt gestart, schakel je eerst de hardwareversnelling in. Op Macs met een Apple-processor gebeurt dat automatisch, maar voor Windows en Linux dien je dat handmatig te doen. Raadpleeg de platformspecifieke installatie-instructies om de juiste drivers en andere nodige software te installeren. Voor een Nvidia-gpu open je in Jan de instellingen (het icoontje van het tandwiel linksonder) waar je klikt op Advanced Settings en GPU Acceleration inschakelt.

Voor de beste prestaties laat je Jan gebruikmaken van je gpu.

2 Lokaal AI-model draaien

Als je een groot taalmodel op je eigen computer wilt draaien, moet je dit eerst downloaden. Klik daarvoor in Jan linksboven op het icoontje met de vier vierkantjes. Dit brengt je naar de Hub, een verzameling van modellen die je kunt downloaden. Bij de modellen die je lokaal kunt draaien, staat de bestandsgrootte en een knop Download. Als er Recommended bij staat, draait het model goed op je hardware. Staat er de waarschuwing Slow on your device, dan komt dat bijvoorbeeld omdat je gpu te weinig VRAM heeft. Klik rechts naast de downloadknop voor extra uitleg over het model en klik op Download om het model op te slaan. Download bijvoorbeeld Mistral Instruct 7B Q4. Dat is een goed algemeen model dat al op een gpu met 8 GB VRAM draait.

Zodra het model is gedownload, verandert de downloadknop in Use. Klik erop om een nieuwe ‘thread’ te starten, een conversatie met het model. Dit kan ook door op de tekstballon linksboven te klikken. Voordat je een vraag typt in het tekstveld onderaan, raden we je aan aan de rechterkant naar enkele instellingen te kijken. In het tabblad Assistant kun je onder Instructions specifieke instructies geven die de antwoorden van de chatbot beïnvloeden, zoals de rol die het moet uitvoeren. In het tabblad Model kun je het taalmodel kiezen: naast de gedownloade modellen zijn ook de modellen die je online gebruikt via een API zichtbaar. Laat de andere instellingen voorlopig op hun standaardwaarden staan (zie het kader ‘Modelparameters’ voor de betekenis ervan). Nu kun je je vraag stellen. Jan zal eerst het taalmodel in het VRAM of RAM laden, wat even kan duren. Daarna verschijnt het antwoord redelijk snel. Vervolgvragen worden hierdoor ook sneller beantwoord.

Dankzij Jan kun je met alle mogelijke grote taalmodellen chatten.

3 AI-model in de cloud draaien

Op dezelfde manier kun je modellen in de cloud draaien bij leveranciers als OpenAI, Anthropic, Mistral, Cohere en Groq. Hiervoor moet je eerst een API-sleutel voor de desbetreffende dienst instellen. Keer daarvoor terug naar de instellingen van Jan en klik bij Model Providers op de gewenste dienst. We illustreren dit met OpenAI. Bij API Key moet je een API-sleutel invullen, die je aanmaakt op de pagina API keys van je OpenAI-account. Klik daar op Create new secret key, geef je sleutel een naam en ken ze aan een project toe (er is een Default project). Klik dan op Create secret key. Kopieer nu onmiddellijk de gegenereerde sleutel en vul die in Jan in, want je krijgt die daarna nooit meer te zien.

Je kunt nu in de Hub van Jan naar OpenAI GPT 4o gaan en ernaast op Use klikken om een nieuw gesprek te starten. Of je klikt op de tekstballon linksboven, daarna op het icoontje met het potlood om een nieuwe thread aan te maken, om vervolgens aan de rechterkant bij Model OpenAI GPT 4o uit de lijst te selecteren. Cloudmodellen waar je geen toegang toe hebt omdat je nog geen API-sleutel hebt ingesteld, zijn grijs weergegeven. Je kunt tijdens het gesprek overigens op elk moment van model veranderen. Als je bijvoorbeeld merkt dat het model niet goed genoeg is voor je vraag, verander dan het model en klik op het knopje Regenerate bij het antwoord.

Creëer een API-sleutel om OpenAI’s grote taalmodellen in Jan te gebruiken.

4 Pdf-documenten samenvatten

Als je een model met lange contextlengte gebruikt, kun je in Jan ook pdf-documenten laten samenvatten of op andere manieren analyseren. Klik daarvoor eerst in de instellingen op Advanced Settings en schakel Experimental Mode in. Je threads tonen nu aan de rechterkant ook een tabblad Tools. Schakel daar Retrieval in.

Klik nu in je thread op het icoontje van de paperclip en kies Document. Selecteer het pdf-bestand dat je wilt analyseren. Nu kun je in het tekstveld onderaan vragen stellen aan het taalmodel over dit document. Als het lijkt alsof het taalmodel de informatie niet volledig heeft verwerkt, kun je experimenteren met de parameters in het tabblad Tools. Wees overigens altijd kritisch over de antwoorden. Vaak zit het taalmodel ernaast of antwoordt het onvolledig.

Als je de datasheet van de Raspberry Pi Pico W met GPT-4o bevraagt, zijn de antwoorden helaas onvolledig.

5 Multimodaal model

Sommige modellen kunnen niet alleen overweg met tekst, maar ook met afbeeldingen. Ze kunnen bijvoorbeeld een afbeelding die je hen voorlegt beschrijven of erover redeneren. We noemen dat multimodale modellen. Een voorbeeld hiervan is LLaVA (Large Language and Vision Assistant). In de Hub van Jan zijn enkele varianten te vinden, zoals LlaVa 7B, BakLlava 1 en LlaVa 13B Q4 (voor GPU’s met meer dan 8 GB VRAM).

Na je selectie kun je een afbeelding uploaden door in een gesprek op de paperclip klikken en voor Image te kiezen. Als het niet om een multimodaal model gaat, blijft Image grijs en kun je het niet selecteren. Daarna kun je vragen stellen over de afbeelding. Helaas bleek in onze test geen van de LLaVA-modellen uit Jans Hub te werken, ook niet met een LLaVA-model dat we van Hugging Face downloadden. Het is een van de redenen waarom de ontwikkelaars van Jan nog steeds waarschuwen dat hun programma in bètafase is.

6 Modellen van Hugging Face

Hugging Face is een Frans-Amerikaans bedrijf dat met zijn Model Hub een populaire website aanbiedt waar iedereen AI-modellen kan publiceren. Jan kan deze modellen van de Hugging Face Model Hub ook lokaal draaien, zolang ze in het formaat GGUF (GPT-Generated Unified Format) worden aangeboden. We illustreren dit met Granite Code 8B, een taalmodel van IBM dat is getraind om programmeertaken uit te voeren.

Als je binnen de Hugging Face Model Hub op de pagina van een GGUF-model rechtsboven op Use this model klikt en vervolgens op Jan, krijg je de vraag om de pagina in Jan te openen. Een andere manier is om in de Hub van Jan de url van het model te plakken. Jan toont je dan informatie over het model en biedt verschillende versies ter download aan. In ons voorbeeld is er maar één versie, maar vaak zijn er verschillende kwantisaties beschikbaar (zie het kader ‘Welke modelvariant kiezen?’). Klik op de downloadknop naast het gewenste model. Zodra het is gedownload, klik je op Use om een gesprek te beginnen.

Jan kan alle GGUF-taalmodellen van Hugging Face downloaden.

7 Modellen die programmeren

Taalmodellen zoals Granite Code, Codestral, Deepseek Coder en CodeNinja zijn gespecialiseerd in alles wat met programmeren te maken heeft. Vraag bijvoorbeeld om een Python-script dat met de bibliotheek Bleak scant naar bluetooth-apparaten in de buurt, en het taalmodel toont je de code hiervoor, inclusief uitleg en instructies om de benodigde bibliotheken te installeren.

De code zelf wordt in afzonderlijke kaders getoond, die je met een klik op het icoontje rechtsboven kopieert, zodat je de code in je eigen code-editor kunt plakken en uitproberen. Je kunt ook code invoeren in Jan en het model vragen om deze uit te leggen. Of geef code waarvan je weet dat er een fout in zit en vraag het model om de code te verbeteren. Vaak krijg je overigens code die niet werkt, of die een foutmelding geeft. Reageer dan met de foutmelding of vertel wat er fout gaat, en je krijgt een verbeterde versie. Na wat heen en weer communiceren krijg je vaak wel een bruikbaar resultaat.

Granite Code kan je helpen bij programmeertaken.

8 Extra cloudmodellen toevoegen

Er komen continu nieuwe taalmodellen bij, en Jan kan dat niet altijd direct volgen. Gelukkig kun je vaak met wat handmatige configuraties de nieuwe modellen toch nog aan de praat krijgen. We illustreren dit met GPT-4o mini, de goedkopere versie van GPT-4o die OpenAI aanbiedt. Tijdens het schrijven stond deze nog niet in Jans Hub, maar je kunt deze eenvoudig toevoegen. Jan slaat de configuratie van elk model op in een bestand in zijn datadirectory. Voor OpenAI’s GPT-4o is dat bijvoorbeeld in het bestand jan\models\gpt-4o\model.json in je persoonlijke map.

Om Jan toegang te geven tot GPT-4o mini, maak je een map gpt-4o-mini aan en kopieer je het bestand model.json van GPT-4o daarnaartoe. Pas nu in dit json-bestand het id aan van gpt-4o naar gpt-4o-mini, de naam van OpenAI GPT 4o naar OpenAI GPT 4o mini en het maximumaantal tokens van 4096 naar 16384. Deze waarde vind je op de website van OpenAI bij de eigenschappen van het model. Sla het bestand op, sluit Jan af en start het programma weer op. Daarna is het model in Jan beschikbaar.

Voeg het nieuwste model van OpenAI aan Jan toe.

9 Meer mogelijkheden

Jan biedt nog heel wat meer mogelijkheden. Zo kun je het programma als server draaien en functionaliteit van de taalmodellen aan andere programma’s aanbieden. In de code-editor Visual Studio Code kun je bijvoorbeeld met de extensie Continue hulp bij het programmeren krijgen. Continue communiceert dan op de achtergrond met een taalmodel dat Jan uitvoert.

Een ander interessant programma is Open Interpreter. Dit laat een groot taalmodel code genereren die dan op je computer wordt uitgevoerd. Je kunt bijvoorbeeld aan een taalmodel van Jan vragen om een bestand met data in te lezen en daar grafieken van te maken. Verder zullen er wellicht nog meer tools komen dan enkel het inlezen van pdf-bestanden.

Jan ondersteunt allerlei integraties om de grote taalmodellen toe te passen.

Hoewel koken op gas voorlopig nog mag, is duidelijk dat de toekomst elektrisch is. Veel mensen stappen nu al over op elektrisch koken – vaak in combinatie met inductie. Ben jij toe aan een nieuwe kookplaat of wil je van het gas af? Dan is het goed om te weten hoe je zo’n elektrische kookplaat aansluit, waar je op moet letten en wanneer je beter een professional kunt inschakelen.

Eén, twee of drie fasen: wat betekent dat?

In tegenstelling tot een gaskookplaat, die je simpelweg aan een gasaansluiting koppelt, is een elektrische kookplaat net iets technischer. Zo'n kookplaat kan worden aangesloten op één, twee of drie elektrische fasen. Welke van de drie je nodig hebt, hangt af van het vermogen van je kookplaat én van de aansluiting in je keuken.

Een 1-fase kookplaat is het eenvoudigst. Die werkt op een gewone stekker met twee pinnen, precies zoals je gewend bent van andere apparaten in huis. Deze modellen hebben een beperkt vermogen – maximaal 3680 watt – maar zijn vaak krachtig genoeg voor wie niet al te fanatiek kookt. Aansluiten is simpel: stekker erin en je kunt aan de slag.

Voor een 2-fase kookplaat heb je een zogenoemde perilex-stekker nodig, met vijf pinnen. Die zie je vooral bij iets krachtigere inductiekookplaten. Meestal worden dit soort kookplaten zonder stekker geleverd, en is het slim om een elektricien in te schakelen voor de installatie. Het benodigde vermogen ligt tussen de 3681 en 7360 watt.

Een 3-fase kookplaat vraagt nog meer stroom en werkt op krachtstroom. Ook hier gebruik je een perilex-stekker met vijf pinnen, maar je moet wel eerst controleren of je meterkast daar op is voorbereid. De aansluitwaarde ligt boven de 7360 watt en het is belangrijk dat de aansluiting klopt – anders werkt de kookplaat niet of loop je zelfs risico op overbelasting. Laat dit daarom bij voorkeur aan een vakman over.

©vectorizer88 - stock.adobe.com

Hoe weet je welke kookplaat bij je keuken past?

Wat je kunt aansluiten, hangt af van het type stopcontact in je keuken. Heb je een standaard wandcontactdoos met twee gaten? Dan past daar alleen een 1-fase kookplaat op. Die worden meestal geleverd met stekker en snoer, zodat je hem meteen kunt gebruiken.

Zie je een perilex-stopcontact (met vijf gaten)? Dan is je keuken in principe geschikt voor een 2- of 3-fase kookplaat. Alleen weet je dan nog niet of je meterkast daadwerkelijk drie fasen aankan. Dat kun je op twee manieren controleren: met een multimeter of door in je meterkast te kijken.

Zo check je de aansluiting met een multimeter

Heb je een multimeter in huis? Dan kun je precies meten hoeveel fasen je aansluiting ondersteunt. Teken op een papier het patroon van het perilex-stopcontact en noteer per gat wat je meet. Prik met één pin in het middelste gat (de aarde) en meet met de andere pin de overige vier. Krijg je twee keer 230 volt en twee keer 0? Dan heb je een 2-fase aansluiting. Meet je drie keer 230 volt en één keer 0? Dan is het een 3-fase aansluiting. Label de gaten met ‘L’ voor stroom en ‘N’ voor nul, zodat je straks precies weet wat waar hoort.

©Dmitriy

Geen multimeter? Kijk in de meterkast

Heb je geen meetapparatuur? Dan kun je in de meterkast zien hoeveel fasen er beschikbaar zijn. Bij een 2-fase aansluiting zie je twee gekoppelde groepen met een hendel ertussen. Zie je vier gekoppelde groepen? Dan is er krachtstroom aanwezig en kun je dus ook een 3-fase kookplaat aansluiten – mits het stopcontact daar geschikt voor is.

©auremar

Zelf een kookplaat aansluiten

Ga je zelf aan de slag? Dan is het belangrijk dat je weet wat je doet. Elektriciteit is geen speelgoed, dus bij twijfel: bel een vakman. Heb je een 1-fase kookplaat met powermanagement die je op een normaal stopcontact wilt aansluiten? Dan moet je deze eerst correct instellen.

Leg om te beginnen een stuk piepschuim onder de kookplaat, zodat je hem veilig kunt omdraaien zonder krassen of barsten. Plak daarna de afdichtband rondom het apparaat, bij voorkeur zo dicht mogelijk bij de glasrand. Begin aan de achterkant, zodat de naad niet in het zicht valt.

Open het aansluitcompartiment onder de kookplaat en controleer het aansluitschema dat daar staat. Gebruik de bijgeleverde bruggetjes om de juiste verbindingen te maken. Sluit het snoer aan: bruin op L, blauw op N en geelgroen op aarde. Zet het snoer vast met trekontlasting en sluit het klepje.

Draai nu de kookplaat weer om en steek de stekker in het stopcontact. Leg de kookplaat op z’n plek in het aanrechtblad. Houd de pauzeknop vijf seconden ingedrukt om het menu te openen. Zoek via de plusknop naar het onderdeel ‘PO’ (power) en stel het vermogen in op 3.7 in plaats van 7.4. Bevestig dit door de pauzeknop nog eens vijf seconden ingedrukt te houden. Je kookplaat is nu geschikt voor een standaard aansluiting.

Een 2-fase kookplaat aansluiten: zo werkt het

Heb je een 2-fase kookplaat? Dan moet je eerst bepalen welke kleur draad bij welk contact hoort. Meet het snoer door met een multimeter, op de piepstand of op de Ohm-stand. Noteer welke draad bij welke stekkerpin hoort en gebruik die info bij het aansluiten.

Open vervolgens het aansluitvak onder de kookplaat en kijk welk aansluitschema je moet gebruiken. L1 en L2 koppel je aan de juiste stroomdraden, 01 en 02 aan de juiste nuldraad. Maak de trekontlasting los, sluit de draden aan zoals je eerder hebt gemeten, en zet alles weer stevig vast.

Steek daarna de stekker in het stopcontact en plaats de kookplaat netjes in het blad. Dankzij de afdichtband blijft alles goed op z'n plek. Zet vervolgens de kookplaat aan en test of alle kookzones werken. Krijg je een foutmelding? Dan is er waarschijnlijk iets misgegaan bij het aansluiten. Geen foutmelding? Dan is je kookplaat klaar voor gebruik.

©S.Engels

Vooral in de zomer is het vaak raak: code geel of code oranje wegens onweer. Weet jij wat je wél en juist níet moet doen als er een onweersbui nadert? Thuis kun je veel risico's beperken, maar juist buitenshuis – en zeker op de camping – is het opletten geblazen. In dit artikel lees je hoe je jezelf en anderen beschermt, of je nu binnen, buiten of aan het kamperen bent.

Lees ook: Regen, regen en nog eens regen … zo voorkom je wateroverlast

Thuis tijdens onweer: veilig, maar niet zonder risico's

In huis ben je relatief goed beschermd tegen blikseminslag, zeker als het gebouw voorzien is van een goede bliksemafleider. Toch zijn er een paar voorzorgsmaatregelen die je serieus moet nemen. Gebruik bij onweer liever geen apparaten die verbonden zijn met het stroomnet of met leidingen. Denk aan de wasmachine, een vaste telefoon of een bedrade computer. Bliksem kiest daarbij meestal de makkelijkste route naar de grond, en dat zijn vaak metalen onderdelen in huis zoals koperdraden of waterleidingen.

Trek bij voorkeur de stekkers uit het stopcontact van kwetsbare apparatuur zoals computers, tv's of de router. Een stekkerdoos met overspanningsbeveiliging biedt wel wat bescherming, maar niet bij een directe inslag. Ga liever ook niet douchen of in bad, want waterleidingen kunnen de elektrische spanning van een blikseminslag geleiden.

Ramen kun je gewoon dicht houden, en als je wilt kijken naar het natuurgeweld, doe dat dan vanaf een veilige plek binnenshuis. Zorg dat huisdieren binnen zijn en zet het alarmsysteem even uit als dat storingsgevoelig is bij blikseminslag.

Buiten bij onweer: voorkom dat je zelf bliksemafleider bent

Ben je onderweg of buiten als het begint te donderen, dan is het zaak om snel te handelen.

Onthoud: als je de bliksem ziet en binnen 10 seconden de donder hoort, zit je binnen de gevarenzone. Zoek dan zo snel mogelijk een veilige schuilplek.

De veiligste plek is een gebouw met muren en een dak – bijvoorbeeld een winkel, huis of station. Een auto met metalen carrosserie is ook een prima optie. Die werkt als een kooi van Faraday en geleidt de stroom om je heen in plaats van door je heen.

Vermijd tijdens onweer open velden zoals weilanden of sportterreinen, want daar ben je letterlijk het hoogste punt. Ook hooggelegen plekken zoals duinen of heuveltoppen vormen een risico. Zoek geen beschutting onder een boom die in z'n eentje op een veld staat – dat is juist een bliksemmagneet. Blijf verder uit de buurt van metalen objecten zoals hekken, masten of fietsen, en houd afstand van water – of dat nu een meer, sloot of zwembad is.

Kun je nergens heen? Maak jezelf dan zo klein mogelijk: hurk neer op je voetzolen, houd je voeten tegen elkaar en wikkel je armen om je knieën. Ga niet liggen; zo vergroot je je contactoppervlak met de grond, wat het risico op aardstroom vergroot.

©ID.nl

Kamperen met onweer: extra opletten in tent of caravan

Kamperen geeft een gevoel van vrijheid, maar bij onweer ben je juist extra kwetsbaar. Een tent biedt geen enkele bescherming tegen bliksem, hoe stevig het doek ook is. Het metalen frame vergroot het risico juist, vooral als je op een open veld kampeert of vlak bij een losse boom staat.

Als er onweer op komst is, zoek dan zo snel mogelijk een veilig onderkomen. Een stenen sanitairgebouw, de receptie of je auto bieden veel meer bescherming dan een tent. Zit je in een camper of caravan met een metalen buitenkant? Dan ben je redelijk veilig, mits je ramen en deuren gesloten houdt en geen contact maakt met metalen delen. Stacaravans met een houten of kunststof omhulsel bieden die bescherming niet: het klopt dat ze geen stroom geleiden, maar ze voeren die ook niet af. Daardoor kan een blikseminslag via leidingen of metalen onderdelen binnen alsnog gevaarlijk uitpakken. Tijdens onweer blijf je dus beter uit de buurt van dat soort constructies.

Laat ook je elektronische spullen niet in de tent of aan opladers zitten. Berg ze los op, zonder kabels of contact met de grond.

Staan er bomen op de camping? Zorg dat je tent daar niet direct onder staat. Bij inslag kunnen takken afbreken of kan de bliksem via de wortels naar de grond doorslaan. Ook op campings in de bergen of aan open water is het risico op blikseminslag extra hoog – check bij aankomst wat de aanbevolen schuilplaatsen zijn.

Tot slot: een goede voorbereiding helpt

Kijk altijd naar de weersvoorspelling voordat je op pad gaat. Veel weerapps geven een melding bij onweerskansen, vaak met een tijdsindicatie en locatie. Op de camping is het handig om bij aankomst al te weten waar je naartoe kunt bij slecht weer.

Zorg ook dat je zaklamp, powerbank en radio of noodaccu paraat hebt als je kampeert, voor het geval de stroom uitvalt. En vooral: blijf rustig. Onweer is gevaarlijk, maar met de juiste kennis en voorzorgsmaatregelen voorkom je ongelukken.