OpenAI heeft het met ChatGPT het concept van een AI-chatbot populair gemaakt. Ook andere bedrijven bieden soortgelijke diensten aan. Daarnaast zijn er grote taalmodellen beschikbaar waarmee je zelf een chatbot kunt maken die op je eigen computer draait. Met Jan krijg je toegang tot al deze taalmodellen vanuit één interface.

Een groot taalmodel (Large Language Model of LLM) is een neuraal netwerk met miljarden parameters dat teksten kan genereren. Dit type algoritme kreeg brede bekendheid toen OpenAI in november 2022 de dienst ChatGPT lanceerde. Via deze webinterface kun je eenvoudig chatten met het taalmodel, en de antwoorden lijken vaak alsof ze van een mens komen.

Ook de concurrentie is niet stil blijven staan. Zo biedt het Franse bedrijf Mistral AI een online chatbot op basis van een eigen groot taalmodel. Daarnaast stellen bedrijven als Groq je in staat om allerlei grote taalmodellen in de cloud te draaien. Meta, het moederbedrijf van Facebook, bracht bovendien zijn groot taalmodel Llama uit in kleinere versies, die je zelfs op je eigen computer kunt draaien. Dat werd al snel gevolgd door een reeks andere grote en kleine taalmodellen van diverse bedrijven en onderzoeksinstellingen.

Het kan lastig zijn om al deze modellen uit te proberen: je moet dan allerlei verschillende webinterfaces gebruiken of van diverse locaties modellen downloaden. Jan biedt hiervoor een oplossing: je installeert deze opensourcesoftware op je eigen computer. Daarna verbind je via een API (Application Programming Interface) met een groot taalmodel in de cloud of download je een taalmodel van bijvoorbeeld Meta of Mistral op je eigen computer om het offline te gebruiken. En dat alles in één en dezelfde gebruikersinterface, waarin je eenvoudig tussen verschillende modellen kunt overschakelen.

1 Jan installeren

Jan is beschikbaar voor Windows, macOS (Intel- of Apple-processoren) en Linux. Op de downloadpagina vind je de verschillende versies. Als je lokaal grote taalmodellen wilt draaien, heb je een krachtige computer nodig. Onder Windows en Linux betekent dat een gpu van Nvidia of AMD met minstens 8 GB VRAM. Heb je een recente Mac, dan is een Apple M1-processor of nieuwer ook snel genoeg.

Nadat je Jan hebt gestart, schakel je eerst de hardwareversnelling in. Op Macs met een Apple-processor gebeurt dat automatisch, maar voor Windows en Linux dien je dat handmatig te doen. Raadpleeg de platformspecifieke installatie-instructies om de juiste drivers en andere nodige software te installeren. Voor een Nvidia-gpu open je in Jan de instellingen (het icoontje van het tandwiel linksonder) waar je klikt op Advanced Settings en GPU Acceleration inschakelt.

Voor de beste prestaties laat je Jan gebruikmaken van je gpu.

2 Lokaal AI-model draaien

Als je een groot taalmodel op je eigen computer wilt draaien, moet je dit eerst downloaden. Klik daarvoor in Jan linksboven op het icoontje met de vier vierkantjes. Dit brengt je naar de Hub, een verzameling van modellen die je kunt downloaden. Bij de modellen die je lokaal kunt draaien, staat de bestandsgrootte en een knop Download. Als er Recommended bij staat, draait het model goed op je hardware. Staat er de waarschuwing Slow on your device, dan komt dat bijvoorbeeld omdat je gpu te weinig VRAM heeft. Klik rechts naast de downloadknop voor extra uitleg over het model en klik op Download om het model op te slaan. Download bijvoorbeeld Mistral Instruct 7B Q4. Dat is een goed algemeen model dat al op een gpu met 8 GB VRAM draait.

Zodra het model is gedownload, verandert de downloadknop in Use. Klik erop om een nieuwe ‘thread’ te starten, een conversatie met het model. Dit kan ook door op de tekstballon linksboven te klikken. Voordat je een vraag typt in het tekstveld onderaan, raden we je aan aan de rechterkant naar enkele instellingen te kijken. In het tabblad Assistant kun je onder Instructions specifieke instructies geven die de antwoorden van de chatbot beïnvloeden, zoals de rol die het moet uitvoeren. In het tabblad Model kun je het taalmodel kiezen: naast de gedownloade modellen zijn ook de modellen die je online gebruikt via een API zichtbaar. Laat de andere instellingen voorlopig op hun standaardwaarden staan (zie het kader ‘Modelparameters’ voor de betekenis ervan). Nu kun je je vraag stellen. Jan zal eerst het taalmodel in het VRAM of RAM laden, wat even kan duren. Daarna verschijnt het antwoord redelijk snel. Vervolgvragen worden hierdoor ook sneller beantwoord.

Dankzij Jan kun je met alle mogelijke grote taalmodellen chatten.

3 AI-model in de cloud draaien

Op dezelfde manier kun je modellen in de cloud draaien bij leveranciers als OpenAI, Anthropic, Mistral, Cohere en Groq. Hiervoor moet je eerst een API-sleutel voor de desbetreffende dienst instellen. Keer daarvoor terug naar de instellingen van Jan en klik bij Model Providers op de gewenste dienst. We illustreren dit met OpenAI. Bij API Key moet je een API-sleutel invullen, die je aanmaakt op de pagina API keys van je OpenAI-account. Klik daar op Create new secret key, geef je sleutel een naam en ken ze aan een project toe (er is een Default project). Klik dan op Create secret key. Kopieer nu onmiddellijk de gegenereerde sleutel en vul die in Jan in, want je krijgt die daarna nooit meer te zien.

Je kunt nu in de Hub van Jan naar OpenAI GPT 4o gaan en ernaast op Use klikken om een nieuw gesprek te starten. Of je klikt op de tekstballon linksboven, daarna op het icoontje met het potlood om een nieuwe thread aan te maken, om vervolgens aan de rechterkant bij Model OpenAI GPT 4o uit de lijst te selecteren. Cloudmodellen waar je geen toegang toe hebt omdat je nog geen API-sleutel hebt ingesteld, zijn grijs weergegeven. Je kunt tijdens het gesprek overigens op elk moment van model veranderen. Als je bijvoorbeeld merkt dat het model niet goed genoeg is voor je vraag, verander dan het model en klik op het knopje Regenerate bij het antwoord.

Creëer een API-sleutel om OpenAI’s grote taalmodellen in Jan te gebruiken.

4 Pdf-documenten samenvatten

Als je een model met lange contextlengte gebruikt, kun je in Jan ook pdf-documenten laten samenvatten of op andere manieren analyseren. Klik daarvoor eerst in de instellingen op Advanced Settings en schakel Experimental Mode in. Je threads tonen nu aan de rechterkant ook een tabblad Tools. Schakel daar Retrieval in.

Klik nu in je thread op het icoontje van de paperclip en kies Document. Selecteer het pdf-bestand dat je wilt analyseren. Nu kun je in het tekstveld onderaan vragen stellen aan het taalmodel over dit document. Als het lijkt alsof het taalmodel de informatie niet volledig heeft verwerkt, kun je experimenteren met de parameters in het tabblad Tools. Wees overigens altijd kritisch over de antwoorden. Vaak zit het taalmodel ernaast of antwoordt het onvolledig.

Als je de datasheet van de Raspberry Pi Pico W met GPT-4o bevraagt, zijn de antwoorden helaas onvolledig.

5 Multimodaal model

Sommige modellen kunnen niet alleen overweg met tekst, maar ook met afbeeldingen. Ze kunnen bijvoorbeeld een afbeelding die je hen voorlegt beschrijven of erover redeneren. We noemen dat multimodale modellen. Een voorbeeld hiervan is LLaVA (Large Language and Vision Assistant). In de Hub van Jan zijn enkele varianten te vinden, zoals LlaVa 7B, BakLlava 1 en LlaVa 13B Q4 (voor GPU’s met meer dan 8 GB VRAM).

Na je selectie kun je een afbeelding uploaden door in een gesprek op de paperclip klikken en voor Image te kiezen. Als het niet om een multimodaal model gaat, blijft Image grijs en kun je het niet selecteren. Daarna kun je vragen stellen over de afbeelding. Helaas bleek in onze test geen van de LLaVA-modellen uit Jans Hub te werken, ook niet met een LLaVA-model dat we van Hugging Face downloadden. Het is een van de redenen waarom de ontwikkelaars van Jan nog steeds waarschuwen dat hun programma in bètafase is.

6 Modellen van Hugging Face

Hugging Face is een Frans-Amerikaans bedrijf dat met zijn Model Hub een populaire website aanbiedt waar iedereen AI-modellen kan publiceren. Jan kan deze modellen van de Hugging Face Model Hub ook lokaal draaien, zolang ze in het formaat GGUF (GPT-Generated Unified Format) worden aangeboden. We illustreren dit met Granite Code 8B, een taalmodel van IBM dat is getraind om programmeertaken uit te voeren.

Als je binnen de Hugging Face Model Hub op de pagina van een GGUF-model rechtsboven op Use this model klikt en vervolgens op Jan, krijg je de vraag om de pagina in Jan te openen. Een andere manier is om in de Hub van Jan de url van het model te plakken. Jan toont je dan informatie over het model en biedt verschillende versies ter download aan. In ons voorbeeld is er maar één versie, maar vaak zijn er verschillende kwantisaties beschikbaar (zie het kader ‘Welke modelvariant kiezen?’). Klik op de downloadknop naast het gewenste model. Zodra het is gedownload, klik je op Use om een gesprek te beginnen.

Jan kan alle GGUF-taalmodellen van Hugging Face downloaden.

7 Modellen die programmeren

Taalmodellen zoals Granite Code, Codestral, Deepseek Coder en CodeNinja zijn gespecialiseerd in alles wat met programmeren te maken heeft. Vraag bijvoorbeeld om een Python-script dat met de bibliotheek Bleak scant naar bluetooth-apparaten in de buurt, en het taalmodel toont je de code hiervoor, inclusief uitleg en instructies om de benodigde bibliotheken te installeren.

De code zelf wordt in afzonderlijke kaders getoond, die je met een klik op het icoontje rechtsboven kopieert, zodat je de code in je eigen code-editor kunt plakken en uitproberen. Je kunt ook code invoeren in Jan en het model vragen om deze uit te leggen. Of geef code waarvan je weet dat er een fout in zit en vraag het model om de code te verbeteren. Vaak krijg je overigens code die niet werkt, of die een foutmelding geeft. Reageer dan met de foutmelding of vertel wat er fout gaat, en je krijgt een verbeterde versie. Na wat heen en weer communiceren krijg je vaak wel een bruikbaar resultaat.

Granite Code kan je helpen bij programmeertaken.

8 Extra cloudmodellen toevoegen

Er komen continu nieuwe taalmodellen bij, en Jan kan dat niet altijd direct volgen. Gelukkig kun je vaak met wat handmatige configuraties de nieuwe modellen toch nog aan de praat krijgen. We illustreren dit met GPT-4o mini, de goedkopere versie van GPT-4o die OpenAI aanbiedt. Tijdens het schrijven stond deze nog niet in Jans Hub, maar je kunt deze eenvoudig toevoegen. Jan slaat de configuratie van elk model op in een bestand in zijn datadirectory. Voor OpenAI’s GPT-4o is dat bijvoorbeeld in het bestand jan\models\gpt-4o\model.json in je persoonlijke map.

Om Jan toegang te geven tot GPT-4o mini, maak je een map gpt-4o-mini aan en kopieer je het bestand model.json van GPT-4o daarnaartoe. Pas nu in dit json-bestand het id aan van gpt-4o naar gpt-4o-mini, de naam van OpenAI GPT 4o naar OpenAI GPT 4o mini en het maximumaantal tokens van 4096 naar 16384. Deze waarde vind je op de website van OpenAI bij de eigenschappen van het model. Sla het bestand op, sluit Jan af en start het programma weer op. Daarna is het model in Jan beschikbaar.

Voeg het nieuwste model van OpenAI aan Jan toe.

9 Meer mogelijkheden

Jan biedt nog heel wat meer mogelijkheden. Zo kun je het programma als server draaien en functionaliteit van de taalmodellen aan andere programma’s aanbieden. In de code-editor Visual Studio Code kun je bijvoorbeeld met de extensie Continue hulp bij het programmeren krijgen. Continue communiceert dan op de achtergrond met een taalmodel dat Jan uitvoert.

Een ander interessant programma is Open Interpreter. Dit laat een groot taalmodel code genereren die dan op je computer wordt uitgevoerd. Je kunt bijvoorbeeld aan een taalmodel van Jan vragen om een bestand met data in te lezen en daar grafieken van te maken. Verder zullen er wellicht nog meer tools komen dan enkel het inlezen van pdf-bestanden.

Jan ondersteunt allerlei integraties om de grote taalmodellen toe te passen.

Als je nu een Android-toestel koopt, dan is de kans groot dat je daar zowel Google Assistent als Google Gemini op aantreft. We kunnen ons voorstellen dat je daar niet altijd op zit te wachten. Daarom leggen we in dit artikel uit hoe je de assistenten uitschakelt.

Laten we wel wezen: chatbots op je smartphone kunnen handig zijn. Zelf kunnen we niet zonder Google Gemini als we Lord of the Rings: The Rings of Power aan het kijken zijn, maar niet iedereen zit op die digitale hulp te wachten.

Buiten dat zitten ze soms in de weg. Als je een verkeerd knopje indrukt of een bepaalde zin uitspreekt, kan het zomaar zijn dat er onder in beeld ineens een pop-up verschijnt met de vraag waar de Assistent of Gemini je mee kan helpen. Nou, met het uitschakelen van je aanwezigheid, wat dacht je daarvan?

Eerste stap: overstappen op Google Assistent

De kans is heel groot dat je Android-toestel standaard Gemini ingeschakeld heeft als stemassistent. Je kunt die chatbot uitschakelen door over te stappen op de Google Assistent, die we daarna uitzetten. Maar eerst moet je het volgende doen:

Tweede stap: Google Assistent uitschakelen

Nu hebben we Google Gemini uitgeschakeld. Vervolgens kunnen we de Google Assistent uitschakelen. Volg daarvoor de onderstaande stappen op.

Je kunt de stemassistenten weer inschakelen door de bovenstaande stappen op te volgen en een andere keuze te maken, of door bijvoorbeeld de powerknop ingedrukt te houden. Het is helaas niet mogelijk de Assistent of Gemini volledig te verwijderen.

Is je smartphonebatterij veel te snel leeg of merk je dat bepaalde apps veel van je batterij vragen? Met deze 15 praktische tips voor zowel iOS als Android kun je de batterijduur verlengen.

Let erop dat de menustructuur van jouw Android-smartphone kan afwijken van wat wij beschrijven.

1 Schermhelderheid

Je beeldscherm is een van de grootste stroomverbruikers van je smartphone. Als je de helderheid van je scherm aanpast, kun je aanzienlijk meer tijd doorbrengen op je mobiel. Zet de helderheid zo laag mogelijk of schakel de automatische helderheid in die op basis van het omgevingslicht werkt. Zo zal je scherm niet helderder dan nodig worden verlicht. Vrijwel alle smartphones hebben een instelling om de helderheid handmatig aan te passen in het bedieningspaneel.

In iOS veeg je omhoog om het bedieningspaneel te openen, hier pas je handmatig de helderheid aan.

2 Donkere modus

Op een oledscherm, wat de meeste recente smartphones hebben, vragen donkere kleuren minder van je batterij dan heldere kleuren. Gelukkig kun je zowel in iOS als Android een donkere modus instellen. Op een iPhone ga je naar Instellingen / Beeldscherm en helderheid en kies je voor Donker. Op een Android-toestel ga je naar Instellingen / Scherm en selecteer je Donker thema. Dit vermindert overigens niet alleen het energieverbruik, maar is ook prettiger voor je ogen in slecht verlichte omgevingen.

De donkere modus is niet alleen beter voor het energieverbruik, maar ook voor je ogen.

3 Achtergrondactiviteit

Veel apps blijven je batterij belasten, zelfs als je die apps niet actief gebruikt. Door de achtergrondactiviteit te beperken, kun je de batterijduur verlengen. Controleer in de instellingen van je telefoon welke apps onnodig veel stroom gebruiken en beperk de achtergrondactiviteit. In iOS ga je naar Instellingen / Algemeen / Ververs op achtergrond. In Android ga je naar Instellingen / Wachtwoorden en accounts en schakel je App-gegevens automatisch synchroniseren uit.

Bepaal per app of ze op de achtergrond mogen blijven draaien.

Goed om te weten: Zo doe je jarenlang met je smartphone

4 Locatie uitschakelen

Locatieservices, zoals gps, zijn erg handig, maar vreten heel veel stroom. Bovendien is het helemaal niet nodig dat elke app op elk moment toegang tot je locatie heeft.

Op een iPhone ga je naar Instellingen / Privacy en beveiliging / Locatievoorzieningen. Geef daar bij Bij gebruik aan welke apps toegang tot jouw locatie mogen hebben. Op Android-telefoons ga je naar Instellingen / Locatie en pas je de machtigingen aan, zodat apps alleen toegang tot je locatie hebben wanneer het nodig is. Voor een nog grotere batterijbesparing kun je de locatieservices volledig uitschakelen. Maar wees je ervan bewust dat je dan bijvoorbeeld niet meer kunt navigeren binnen Google Maps.

Continue locatiebepaling kan veel van je batterij vragen.

5 Meldingen uitschakelen

Als je een melding krijgt, dan gebeuren er een aantal dingen: je scherm licht op, je smartphone speelt een geluid af, het vibreert en waarschijnlijk wordt er ook nog een animatie afgespeeld. Niet alle meldingen zijn nuttig, schakel dan ook de meldingen van die apps uit. Dat is niet alleen handig om de batterijduur te verlengen, maar het voorkomt ook dat je voortdurend naar je smartphone kijkt. In iOS vind je de notificaties bij Instellingen / Meldingen, waar je de instellingen per app aanpast. Binnen Android ga je naar Instellingen / Meldingen / App-meldingen.

Van welke apps hoef jij niet per se meldingen te ontvangen?

6 5G uitschakelen

Hoewel 5G-snelheden indrukwekkend zijn, verbruikt het ook meer energie dan oudere netwerktypen. Als je geen gebruik hoeft te maken van de hogere snelheden, overweeg dan om terug te schakelen naar 4G om de batterij te besparen. In iOS vind je dit bij Instellingen / Mobiel netwerk / Opties mobiele data / Gesprekken en data. Binnen Android ga je naar Instellingen / Netwerk en internet / Simkaarten waar je terugschakelt naar 4G.

Schakel terug naar 4G als je de snelheid van 5G niet per se nodig hebt.

7 Vliegtuigmodus aanzetten

Ben je op een plek waar je slecht bereik hebt, zet je telefoon dan op vliegtuigmodus. Heb je namelijk ergens een belabberde ontvangst, dan blijft je smartphone constant naar een sterker signaal zoeken. Dit trekt de batterij snel leeg. Als die locatie wel beschikt over een wifi-netwerk, schakel dan alleen de wifi in. Je smartphone is hierdoor niet bereikbaar voor inkomende belletjes (tenzij je bellen via wifi hebt ingeschakeld) of andere zaken waarvoor het mobiele netwerk of bluetooth nodig is. De vliegtuigmodus vind je in het bedienings- of notificatiepaneel op je smartphone.

De vliegtuigmodus kan veel batterij besparen.

8 Synchronisatie aanpassen

Automatische synchronisatie van e-mails en de agenda kan de batterij sneller leeg laten lopen. Overweeg eens om de synchronisatie-instellingen aan te passen, zodat apps minder vaak worden gesynchroniseerd of zelfs alleen worden gesynchroniseerd als jij dat handmatig aangeeft. In iOS kun je dit voor mails en agenda’s apart instellen. Ga naar Instellingen en kies voor Agenda of Mail. Bij beide opties tik je op Accounts / Nieuwe gegevens en kies je voor een langer interval onder Ophalen. Op een Android-toestel ga je naar Instellingen / Wachtwoorden en accounts en beheer je de synchronisatie-instellingen per account.

Door handmatig apps te synchroniseren, bespaar je batterij.

9 Batterijgebruik inzichtelijk

Dat je batterij snel leeg raakt, kan ook te maken hebben met een bepaalde app die buitengewoon veel energie verbruikt. Om te zien welke apps de meeste energie slurpen, ga je in iOS naar Instellingen / Batterij. Je ziet nu welke apps in de afgelopen 24 uur het meest hebben verbruikt. Door op Toon activiteit te tikken, zie je hoeveel minuten je de app hebt gebruikt. In Android ga je naar Instellingen / Batterij / Batterijverbruik.

Achterhaal welke apps (te) veel gebruikmaken van de batterij.

10 Batterijcapaciteit controleren

Algemeen bekend is dat een batterij van een smartphone ook gewoon na verloop van tijd slechter wordt. In iOS kun je de batterijgezondheid controleren via Instellingen / Batterij / Batterijconditie en opladen. Achter Maximumcapaciteit zie je wat de status van je batterij is. Bij Apple kun je je batterij laten vervangen tussen de 79 en 109 euro, afhankelijk van je model. Op een Android-smartphone vind je informatie over de capaciteit van je batterij bij Instellingen / Batterij. Een extra app als AccuBattery maakt inzichtelijk in hoeverre je accu versleten is.

Is jouw batterij nog gezond? Deze batterij is aan vervanging toe.

11 Batterijbesparingsmodus

Elke moderne smartphone heeft tegenwoordig een optie om de batterij te ontlasten met een batterijbesparingsmodus. Deze modus beperkt bijvoorbeeld de achtergrondactiviteit van apps, verlaagt de helderheid van je scherm en schakelt animaties uit. Op iOS activeer je dit via Instellingen / Batterij / Energiebesparingsmodus. Binnen Android kun je naar Instellingen / Batterij / Batterijbesparing gaan om deze modus in te schakelen. Het gebruik van deze functie is vooral nuttig wanneer je batterij al bijna leeg is.

De batterijbesparingsmodus is vooral handig als je geen oplader bij de hand hebt en je telefoon bijna leeg is.

12 App-updates beheren

Vergelijkbaar met het beperken van de achtergrondactiviteit, is het voorkomen van automatische app-updates. Ook deze vinden vaak in de achtergrond plaats en belasten de batterij. Om zuiniger met je batterij om te gaan, kun je deze instelling uitschakelen en ervoor kiezen om apps alleen te updaten wanneer je je telefoon oplaadt. In iOS ga je naar Instellingen / App Store en schakel je App-updates uit. Binnen Android open je de Google Play Store, ga je naar Instellingen / Netwerkvoorkeuren / Apps automatisch updaten en kies je Apps niet automatisch bijwerken.

Je kunt ervoor kiezen om apps niet automatisch te laten updaten.

13 OS updaten

Het regelmatig bijwerken van het besturingssysteem is belangrijk om de prestaties te optimaliseren. In elke update worden bugs en foutjes gecorrigeerd die ook voor je batterij gunstig uit kunnen pakken. Op je iPhone controleer je op updates via Instellingen / Algemeen / Software-update. Op je Android-toestel ga je naar Instellingen / Systeem / Systeemupdate. Onder Instellingen / Beveiliging en privacy / Updates kun je ook de status van Google Play-systeemupdates controleren. Zorg ervoor dat je smartphone volledig is opgeladen of opgeladen wordt wanneer je een update uitvoert.

Zorg dat je besturingssysteem up-to-date is.

14 Widgets uitzetten

Widgets en live achtergronden zijn visueel aantrekkelijk, maar ze verbruiken wel constant stroom, doordat ze gegevens verversen en je scherm activeren. In iOS kun je widgets verwijderen door naar het Vandaag-scherm te gaan (één veeg naar rechts), onderin op Wijzig te tikken en ongewenste widgets te verwijderen. Binnen Android kun je door lang te drukken op het startscherm widgets verwijderen. Als je dynamische of live achtergronden hebt ingesteld en je batterij is niet meer zo best, dan kun je beter een statische afbeelding instellen via het instellingenmenu van je smartphone. Dit werkt op elke smartphone net even anders.

Verwijder widgets van je startscherm.

15 Algemene tips

Er zijn een aantal algemene tips wat betreft het opladen en het gebruik van je smartphone. De 20/80-regel betekent dat je je smartphone oplaadt wanneer je rond de 20 procent lading over hebt. Stop vervolgens met opladen als je rond de 80 procent zit. Dit is optimaal voor je batterij. Mede hierom is het niet handig om je smartphone ’s nachts aan de oplader te laten liggen. Doe je dat wel, en heb je een iPhone die beschikt over de functie Geoptimaliseerd opladen, controleer dan of die optie is ingeschakeld. Tot slot: kijk uit met het gebruik van je smartphone in weersextremen, zoals in volle zon of bij hele lage temperaturen.

Laat een smartphone nooit compleet leeglopen voordat je hem weer oplaadt.