OpenAI heeft het met ChatGPT het concept van een AI-chatbot populair gemaakt. Ook andere bedrijven bieden soortgelijke diensten aan. Daarnaast zijn er grote taalmodellen beschikbaar waarmee je zelf een chatbot kunt maken die op je eigen computer draait. Met Jan krijg je toegang tot al deze taalmodellen vanuit één interface.

Een groot taalmodel (Large Language Model of LLM) is een neuraal netwerk met miljarden parameters dat teksten kan genereren. Dit type algoritme kreeg brede bekendheid toen OpenAI in november 2022 de dienst ChatGPT lanceerde. Via deze webinterface kun je eenvoudig chatten met het taalmodel, en de antwoorden lijken vaak alsof ze van een mens komen.

Ook de concurrentie is niet stil blijven staan. Zo biedt het Franse bedrijf Mistral AI een online chatbot op basis van een eigen groot taalmodel. Daarnaast stellen bedrijven als Groq je in staat om allerlei grote taalmodellen in de cloud te draaien. Meta, het moederbedrijf van Facebook, bracht bovendien zijn groot taalmodel Llama uit in kleinere versies, die je zelfs op je eigen computer kunt draaien. Dat werd al snel gevolgd door een reeks andere grote en kleine taalmodellen van diverse bedrijven en onderzoeksinstellingen.

Het kan lastig zijn om al deze modellen uit te proberen: je moet dan allerlei verschillende webinterfaces gebruiken of van diverse locaties modellen downloaden. Jan biedt hiervoor een oplossing: je installeert deze opensourcesoftware op je eigen computer. Daarna verbind je via een API (Application Programming Interface) met een groot taalmodel in de cloud of download je een taalmodel van bijvoorbeeld Meta of Mistral op je eigen computer om het offline te gebruiken. En dat alles in één en dezelfde gebruikersinterface, waarin je eenvoudig tussen verschillende modellen kunt overschakelen.

1 Jan installeren

Jan is beschikbaar voor Windows, macOS (Intel- of Apple-processoren) en Linux. Op de downloadpagina vind je de verschillende versies. Als je lokaal grote taalmodellen wilt draaien, heb je een krachtige computer nodig. Onder Windows en Linux betekent dat een gpu van Nvidia of AMD met minstens 8 GB VRAM. Heb je een recente Mac, dan is een Apple M1-processor of nieuwer ook snel genoeg.

Nadat je Jan hebt gestart, schakel je eerst de hardwareversnelling in. Op Macs met een Apple-processor gebeurt dat automatisch, maar voor Windows en Linux dien je dat handmatig te doen. Raadpleeg de platformspecifieke installatie-instructies om de juiste drivers en andere nodige software te installeren. Voor een Nvidia-gpu open je in Jan de instellingen (het icoontje van het tandwiel linksonder) waar je klikt op Advanced Settings en GPU Acceleration inschakelt.

Voor de beste prestaties laat je Jan gebruikmaken van je gpu.

2 Lokaal AI-model draaien

Als je een groot taalmodel op je eigen computer wilt draaien, moet je dit eerst downloaden. Klik daarvoor in Jan linksboven op het icoontje met de vier vierkantjes. Dit brengt je naar de Hub, een verzameling van modellen die je kunt downloaden. Bij de modellen die je lokaal kunt draaien, staat de bestandsgrootte en een knop Download. Als er Recommended bij staat, draait het model goed op je hardware. Staat er de waarschuwing Slow on your device, dan komt dat bijvoorbeeld omdat je gpu te weinig VRAM heeft. Klik rechts naast de downloadknop voor extra uitleg over het model en klik op Download om het model op te slaan. Download bijvoorbeeld Mistral Instruct 7B Q4. Dat is een goed algemeen model dat al op een gpu met 8 GB VRAM draait.

Zodra het model is gedownload, verandert de downloadknop in Use. Klik erop om een nieuwe ‘thread’ te starten, een conversatie met het model. Dit kan ook door op de tekstballon linksboven te klikken. Voordat je een vraag typt in het tekstveld onderaan, raden we je aan aan de rechterkant naar enkele instellingen te kijken. In het tabblad Assistant kun je onder Instructions specifieke instructies geven die de antwoorden van de chatbot beïnvloeden, zoals de rol die het moet uitvoeren. In het tabblad Model kun je het taalmodel kiezen: naast de gedownloade modellen zijn ook de modellen die je online gebruikt via een API zichtbaar. Laat de andere instellingen voorlopig op hun standaardwaarden staan (zie het kader ‘Modelparameters’ voor de betekenis ervan). Nu kun je je vraag stellen. Jan zal eerst het taalmodel in het VRAM of RAM laden, wat even kan duren. Daarna verschijnt het antwoord redelijk snel. Vervolgvragen worden hierdoor ook sneller beantwoord.

Dankzij Jan kun je met alle mogelijke grote taalmodellen chatten.

3 AI-model in de cloud draaien

Op dezelfde manier kun je modellen in de cloud draaien bij leveranciers als OpenAI, Anthropic, Mistral, Cohere en Groq. Hiervoor moet je eerst een API-sleutel voor de desbetreffende dienst instellen. Keer daarvoor terug naar de instellingen van Jan en klik bij Model Providers op de gewenste dienst. We illustreren dit met OpenAI. Bij API Key moet je een API-sleutel invullen, die je aanmaakt op de pagina API keys van je OpenAI-account. Klik daar op Create new secret key, geef je sleutel een naam en ken ze aan een project toe (er is een Default project). Klik dan op Create secret key. Kopieer nu onmiddellijk de gegenereerde sleutel en vul die in Jan in, want je krijgt die daarna nooit meer te zien.

Je kunt nu in de Hub van Jan naar OpenAI GPT 4o gaan en ernaast op Use klikken om een nieuw gesprek te starten. Of je klikt op de tekstballon linksboven, daarna op het icoontje met het potlood om een nieuwe thread aan te maken, om vervolgens aan de rechterkant bij ModelOpenAI GPT 4o uit de lijst te selecteren. Cloudmodellen waar je geen toegang toe hebt omdat je nog geen API-sleutel hebt ingesteld, zijn grijs weergegeven. Je kunt tijdens het gesprek overigens op elk moment van model veranderen. Als je bijvoorbeeld merkt dat het model niet goed genoeg is voor je vraag, verander dan het model en klik op het knopje Regenerate bij het antwoord.

Creëer een API-sleutel om OpenAI’s grote taalmodellen in Jan te gebruiken.

4 Pdf-documenten samenvatten

Als je een model met lange contextlengte gebruikt, kun je in Jan ook pdf-documenten laten samenvatten of op andere manieren analyseren. Klik daarvoor eerst in de instellingen op Advanced Settings en schakel Experimental Mode in. Je threads tonen nu aan de rechterkant ook een tabblad Tools. Schakel daar Retrieval in.

Klik nu in je thread op het icoontje van de paperclip en kies Document. Selecteer het pdf-bestand dat je wilt analyseren. Nu kun je in het tekstveld onderaan vragen stellen aan het taalmodel over dit document. Als het lijkt alsof het taalmodel de informatie niet volledig heeft verwerkt, kun je experimenteren met de parameters in het tabblad Tools. Wees overigens altijd kritisch over de antwoorden. Vaak zit het taalmodel ernaast of antwoordt het onvolledig.

Als je de datasheet van de Raspberry Pi Pico W met GPT-4o bevraagt, zijn de antwoorden helaas onvolledig.

5 Multimodaal model

Sommige modellen kunnen niet alleen overweg met tekst, maar ook met afbeeldingen. Ze kunnen bijvoorbeeld een afbeelding die je hen voorlegt beschrijven of erover redeneren. We noemen dat multimodale modellen. Een voorbeeld hiervan is LLaVA (Large Language and Vision Assistant). In de Hub van Jan zijn enkele varianten te vinden, zoals LlaVa 7B, BakLlava 1 en LlaVa 13B Q4 (voor GPU’s met meer dan 8 GB VRAM).

Na je selectie kun je een afbeelding uploaden door in een gesprek op de paperclip klikken en voor Image te kiezen. Als het niet om een multimodaal model gaat, blijft Image grijs en kun je het niet selecteren. Daarna kun je vragen stellen over de afbeelding. Helaas bleek in onze test geen van de LLaVA-modellen uit Jans Hub te werken, ook niet met een LLaVA-model dat we van Hugging Face downloadden. Het is een van de redenen waarom de ontwikkelaars van Jan nog steeds waarschuwen dat hun programma in bètafase is.

6 Modellen van Hugging Face

Hugging Face is een Frans-Amerikaans bedrijf dat met zijn Model Hub een populaire website aanbiedt waar iedereen AI-modellen kan publiceren. Jan kan deze modellen van de Hugging Face Model Hub ook lokaal draaien, zolang ze in het formaat GGUF (GPT-Generated Unified Format) worden aangeboden. We illustreren dit met Granite Code 8B, een taalmodel van IBM dat is getraind om programmeertaken uit te voeren.

Als je binnen de Hugging Face Model Hub op de pagina van een GGUF-model rechtsboven op Use this model klikt en vervolgens op Jan, krijg je de vraag om de pagina in Jan te openen. Een andere manier is om in de Hub van Jan de url van het model te plakken. Jan toont je dan informatie over het model en biedt verschillende versies ter download aan. In ons voorbeeld is er maar één versie, maar vaak zijn er verschillende kwantisaties beschikbaar (zie het kader ‘Welke modelvariant kiezen?’). Klik op de downloadknop naast het gewenste model. Zodra het is gedownload, klik je op Use om een gesprek te beginnen.

Jan kan alle GGUF-taalmodellen van Hugging Face downloaden.

7 Modellen die programmeren

Taalmodellen zoals Granite Code, Codestral, Deepseek Coder en CodeNinja zijn gespecialiseerd in alles wat met programmeren te maken heeft. Vraag bijvoorbeeld om een Python-script dat met de bibliotheek Bleak scant naar bluetooth-apparaten in de buurt, en het taalmodel toont je de code hiervoor, inclusief uitleg en instructies om de benodigde bibliotheken te installeren.

De code zelf wordt in afzonderlijke kaders getoond, die je met een klik op het icoontje rechtsboven kopieert, zodat je de code in je eigen code-editor kunt plakken en uitproberen. Je kunt ook code invoeren in Jan en het model vragen om deze uit te leggen. Of geef code waarvan je weet dat er een fout in zit en vraag het model om de code te verbeteren. Vaak krijg je overigens code die niet werkt, of die een foutmelding geeft. Reageer dan met de foutmelding of vertel wat er fout gaat, en je krijgt een verbeterde versie. Na wat heen en weer communiceren krijg je vaak wel een bruikbaar resultaat.

Granite Code kan je helpen bij programmeertaken.

8 Extra cloudmodellen toevoegen

Er komen continu nieuwe taalmodellen bij, en Jan kan dat niet altijd direct volgen. Gelukkig kun je vaak met wat handmatige configuraties de nieuwe modellen toch nog aan de praat krijgen. We illustreren dit met GPT-4o mini, de goedkopere versie van GPT-4o die OpenAI aanbiedt. Tijdens het schrijven stond deze nog niet in Jans Hub, maar je kunt deze eenvoudig toevoegen. Jan slaat de configuratie van elk model op in een bestand in zijn datadirectory. Voor OpenAI’s GPT-4o is dat bijvoorbeeld in het bestand jan\models\gpt-4o\model.json in je persoonlijke map.

Om Jan toegang te geven tot GPT-4o mini, maak je een map gpt-4o-mini aan en kopieer je het bestand model.json van GPT-4o daarnaartoe. Pas nu in dit json-bestand het id aan van gpt-4o naar gpt-4o-mini, de naam van OpenAI GPT 4o naar OpenAI GPT 4o mini en het maximumaantal tokens van 4096 naar 16384. Deze waarde vind je op de website van OpenAI bij de eigenschappen van het model. Sla het bestand op, sluit Jan af en start het programma weer op. Daarna is het model in Jan beschikbaar.

Voeg het nieuwste model van OpenAI aan Jan toe.

9 Meer mogelijkheden

Jan biedt nog heel wat meer mogelijkheden. Zo kun je het programma als server draaien en functionaliteit van de taalmodellen aan andere programma’s aanbieden. In de code-editor Visual Studio Code kun je bijvoorbeeld met de extensie Continue hulp bij het programmeren krijgen. Continue communiceert dan op de achtergrond met een taalmodel dat Jan uitvoert.

Een ander interessant programma is Open Interpreter. Dit laat een groot taalmodel code genereren die dan op je computer wordt uitgevoerd. Je kunt bijvoorbeeld aan een taalmodel van Jan vragen om een bestand met data in te lezen en daar grafieken van te maken. Verder zullen er wellicht nog meer tools komen dan enkel het inlezen van pdf-bestanden.

Jan ondersteunt allerlei integraties om de grote taalmodellen toe te passen.

Bij ID.nl zijn we dol op kwaliteitsproducten waar je niet de hoofdprijs voor betaalt. Een paar keer per week speuren we binnen een bepaald thema naar zulke deals. Ben je op zoek naar een goedkope soundbar waarmee je het tv-geluid kunt verbeteren? Vandaag hebben we vijf interessante modellen voor je gespot.

Denon DHT-S216

Zoek je een betaalbare soundbar van een bekend hifimerk? In dat geval is de Denon DHT-S216 een interessante kandidaat. Ondanks zijn lage prijskaartje oogt de behuizing erg chic. De stoffen afwerking aan de voorzijde geeft dit audiosysteem een luxe uitstraling. Vanwege de bescheiden hoogte van slechts zes centimeter zet je de DHT-S216 probleemloos voor de meeste televisies neer. Daarnaast kun je het apparaat ook ophangen. Je combineert deze soundbar bij voorkeur met een middelgrote of grote smart-tv, want de behuizing meet 89 centimeter lang.

Een pluspunt is dat je de soundbar op vrijwel elke televisie kunt aansluiten. De achterzijde telt twee HDMI-poorten, een optische ingang en een analoge aansluiting. Dat is erg netjes voor een product in deze prijsklasse. Mooi meegenomen is dat de DHT-S216 videostreams met een meerkanaals audiospoor kan verwerken, zoals Dolby Digital en DTS Virtual:X. De betere films en series klinken hierdoor ruimtelijk. Verder kun je ook nog muziek streamen. Koppel een smartphone of tablet via bluetooth en kies in een willekeurige muziek-app een leuke afspeellijst.

JBL Bar 2.0 All-in-One MK2

Deze compacte soundbar van JBL matcht prima met een wat kleinere televisie. De strak vormgegeven behuizing meet namelijk 61,4 × 5,6 × 9 centimeter. Nuttig voor wie bijvoorbeeld het geluid van een slaapkamer-tv wil upgraden. Met een uitgangsvermogen van 80 watt is de Bar 2.0 All-in-One MK2 behoorlijk krachtig. Je verbindt dit audiosysteem via HDMI of een optische ingang met een beeldbuis. Bij geschikte films, series en tv-programma’s kan de soundbar een Dolby Digital-audiospoor verwerken. Verder is er een bluetooth-adapter ingebouwd, waardoor je rechtstreeks vanaf een mobiel apparaat liedjes streamt.

De Bar 2.0 All-in-One MK2 is maar 5,6 centimeter hoog, zodat hij waarschijnlijk niet jouw tv-scherm blokkeert. Ophangen kan trouwens ook, want de fabrikant levert een eenvoudige muurmontageset mee. Gebruik voor de bediening de knoppen bovenop de behuizing of de inbegrepen afstandsbediening. Benieuwd naar ervaringen van andere gebruikers? Deze onafhankelijke reviewers komen tot een gezamenlijk oordeel van een 8,2.

Bose TV Speaker

Normaal gesproken hebben producten van de Britse audiospecialist Bose een behoorlijke prijs, maar dat valt bij deze soundbar alleszins mee. Een enkele webshop duikt zelfs net onder de prijsgrens van tweehonderd euro. Buiten een schappelijk prijskaartje heeft de Bose TV Speaker ook nog eens een goede reputatie. Zo krijgt dit product van ruim dertig Kieskeurig.nl-bezoekers een gemiddelde beoordeling van een 8,3. Een pluspunt is dat je het apparaat op verschillende manieren met een televisie kunt verbinden. Kies tussen HDMI, de optische aansluiting of de analoge 3,5mm-geluidsingang. Een nuttige functie is dat je met de dialoogfunctie menselijke stemmen kunt versterken. Daarnaast heeft de afstandsbediening een knop om het basniveau op te voeren.

Zoals je van een Bose-product mag verwachten, leent het audiosysteem zich ook goed voor het luisteren van muziek. Verbind een smartphone of tablet via bluetooth en laat je favoriete afspeellijsten op deze soundbar los. Met een maximaal vermogen van honderd watt realiseert de TV Speaker in een kleine tot middelgrote kamer een vol geluid. De stijlvolle behuizing is voor soundbar-begrippen erg compact. Zo bedragen de afmetingen slechts 59,4 × 5,6 × 10,2 centimeter. Houd er rekening mee dat de fabrikant geen HDMI-kabel meelevert.

Lees ook: Zo vind je de ideale soundbar voor jouw televisie

Sharp HT-SBW182

De Sharp HT-SBW182 is een goedkope soundbar met een losse subwoofer. Je zet deze basspeaker neer op een willekeurige plek op de vloer. Een kabel trekken is niet nodig, want de subwoofer communiceert draadloos met de soundbar. Logischerwijs is dit audiosysteem een goede keuze voor liefhebbers van een flinke portie bas. De HT-SBW182 voorziet films en series van een diepe laagweergave. Het totale vermogen bedraagt maximaal 160 watt, waardoor je het volume flink kunt opschroeven.

Met een lengte van 74 centimeter is deze soundbar niet zo lang. Je kunt hem met een kleine of middelgrote smart-tv combineren. Verbind beide apparaten met een optische kabel of HDMI-snoertje. Daarnaast is er nog een analoge 3,5mm-audiopoort. Tot slot bevindt zich in de behuizing een bluetooth-ontvanger, zodat je muziek vanaf een mobiel apparaat kunt streamen. Je past met de aanwezige equalizer de geluidsinstellingen naar eigen smaak aan.

TCL S45H

TCL timmert in de drukbezette televisiemarkt de laatste jaren stevig aan de weg. Bij ID.nl zijn we gek op producten die veel bieden voor weinig, en de TCL S45H (ook wel S45HE) past perfect in dat plaatje. Voor een bedrag ver onder de honderd euro haal je met deze soundbar een flinke audio-upgrade in huis. Verwacht geen losse subwoofer die de vloer laat trillen; dit is een compact 2.0-kanaals alles-in-één systeem. Toch weet TCL indruk te maken met ondersteuning voor zowel Dolby Atmos als DTS Virtual:X, features die je doorgaans pas in veel duurdere modellen terugvindt.

Dankzij het slimme ‘Dual Bass’-systeem en de speciale akoestische kamers klinken films en series een stuk voller en ruimtelijker dan via je standaard tv-speakers. Bovendien is hij met HDMI eARC, optische aansluiting en Bluetooth 5.2 helemaal bij de tijd. Zoek je een betaalbare oplossing voor de slaapkamer of een kleine woonkamer zonder gedoe met extra kabels en kasten? Dan biedt dit model absoluut waar voor je geld.

Je smartphone is tegenwoordig veel meer dan een telefoon; het is de kluis van je digitale leven. Bankzaken, privéfoto's, e-mails en locatiegegevens: het staat er allemaal op. Het goed beveiligen van die toegang is dus geen overbodige luxe. Maar kies je voor het ouderwetse wachtwoord, je vingerafdruk of toch je gezicht? Wij leggen de voor- en nadelen van elke methode naast elkaar.

De klassieker: pincode of wachtwoord

Elke telefoon vraagt erom bij het opstarten: een code. Dit is de basisbeveiliging. Zonder code kun je vaak geen gezichtsherkenning of vingerafdruk instellen. Maar is het ook de beste methode voor dagelijks gebruik?

©ID.nl

Pincode of wachtwoord: de voordelen

• Veiligheid in eigen hand

Het sterke aan een code is dat het in je hoofd zit. Maar een code als 1234 of 0000 is zo gekraakt. Maar kies je voor een langere cijferreeks? Dan is het voor iemand die je smartphone in handen krijgt digitaal gezien nagenoeg onmogelijk om de code te kraken. Voeg je ook letters toe, (zie kader), dan is dit digitaal gezien de moeilijkste methode om te kraken.

• Juridisch sterker

Een interessant weetje: in veel rechtsgebieden val je met een toegangscode onder het zwijgrecht. De politie mag je vaak niet dwingen je code af te staan. Je vinger op een scanner leggen kan in sommige situaties wel als dwangmiddel worden ingezet.

Pincode of wachtwoord: de nadelen

• Afkijken

Iemand die in de trein over je schouder meekijkt, heeft je pincode zo gezien. Ook vette vingers op het scherm kunnen je patroon verraden.

• Gemak

Tachtig keer per dag een lange code intikken gaat vervelen. Mensen kiezen daardoor vaak voor een te simpele code, en dat maakt het juist onveilig.

©ID.nl

2. Lekker snel (maar niet altijd even veilig): vingerafdrukscanner

De vingerafdrukscanner is mateloos populair vanwege het enorme gebruiksgemak: in één soepele beweging pak je je telefoon en ben je vrijwel direct binnen. Toch is het belangrijk om te weten dat de ene scanner de andere niet is en dat dit systeem zowel sterke als zwakke punten heeft.

Vingerafdrukscanner: de voordelen

• Snelheid

Het is vaak de snelste manier om je telefoon te openen, zeker als de scanner in de aan-knop verwerkt zit.

• Betrouwbaarheid (bij de juiste techniek)

Heb je een toestel met een fysieke scanner (achterop/zijkant) of een moderne ultrasone scanner (zoals in de Samsung S-serie)? Dan is de beveiliging uitstekend. Ultrasone scanners maken een 3D-map van je vinger en zijn zeer moeilijk te foppen.

Vingerafdrukscanner: de nadelen

• Natte vingers en pleisters

Heb je natte handen? Dan weigeren veel scanners dienst. Ook met een pleister om je vinger herkent de telefoon je niet. Tip: zorg daarom dat je vingerafdrukken van allebei je handen opslaat.

• Ongewenste toegang

Een klein (maar reëel) risico is dat iemand toegang krijgt terwijl je slaapt of bewusteloos bent, door voorzichtig je vinger op de scanner te leggen.

• Onveilige optische scanners

Veel budget-telefoons hebben een 'optische scanner' onder het scherm. Deze maakt een 2D-foto van je vinger. Dit is minder veilig en makkelijker te foppen dan de ultrasone varianten.

©ID.nl

Gezichtsherkenning: gemak of schijnveiligheid?

Telefoon ontgrendelen door ernaar te kijken voelt als magie. Maar pas op: hier zit de grootste valkuil voor consumenten.

Gezichtsherkenning: de voordelen

• Ultiem gemak

Je hoeft niets aan te raken. Kijken is openen. Ideaal als je bijvoorbeeld handschoenen draagt in de winter.

• Extreem veilig (alleen bij 3D)

Heb je een iPhone (FaceID) of een dure Android met 3D-sensoren? Dan worden er duizenden onzichtbare puntjes op je gezicht geprojecteerd om diepte te meten. Dit is amper te misleiden.

Gezichtsherkenning: de nadelen

• Schijnveiligheid (bij 2D)

Veel goedkopere Android-telefoons gebruiken simpelweg de selfiecamera (2D-herkenning). Dit is niet veilig. Soms is een foto van jou (van Facebook of Instagram) al genoeg om in te breken. Gebruik dit type gezichtsherkenning zeker nooit voor je bank-app.

• Toegang tijdens slaap

Als je niet oplet, kan iemand je telefoon voor je gezicht houden terwijl je slaapt om hem te ontgrendelen. Tip: Zet in de instellingen altijd de optie "Aandacht vereist" of "Ogen open" aan. Dan werkt het alleen als je echt naar het scherm kijkt.

Vingerafdruk, pincode of gezichtsherkenning: wat is het best?

Wat de slimste keuze is, hangt volledig af van je toestel. Heb je een iPhone of een high-end Android-telefoon met 3D-scan? Dan kun je gerust gebruikmaken van gezichtsherkenning; dat is niet alleen snel en makkelijk, maar ook veilig. Bezit je echter een middenklasse- of budgettoestel, kies dan liever voor de vingerafdrukscanner. De gezichtsherkenning op deze modellen is namelijk vaak onveilig.

Vergeet ook de basis niet: zorg altijd voor een sterke toegangscode (liefst alfanumeriek of langer dan vier cijfers) als back-up. Start je telefoon bovendien af en toe opnieuw op. Hierdoor wordt de biometrische beveiliging tijdelijk uitgeschakeld, waardoor je telefoon op zijn veiligst is.

📱Ook interessant: Help! Ik ben het wachtwoord van mijn Apple ID vergeten