ChatGPT is een handige tool van OpenAI waaraan je allerlei vragen kunt stellen. Maar het is ook mogelijk om de slimme chatbot in je eigen programma’s in te zetten. In deze nieuwe reeks leren we je hoe je ChatGPT in Python gebruikt en zo teksten samenvat, informatie uit teksten haalt, teksten vertaalt of een eigen chatbot creëert.

ChatGPT is een chatbot met uitgebreide mogelijkheden. Je geeft instructies in een tekstvenster en krijgt een antwoord terug. Je kunt zelfs een hele conversatie voeren en extra vragen stellen. De tool is ontwikkeld door OpenAI en getraind op een grote dataset van teksten.

De dienst is gratis uit te proberen, maar je moet er wel voor aanmelden. Bezoek hiervoor de OpenAI-website en klik op Sign up. Voer een e-mailadres en een wachtwoord in, of meld je aan met een bestaand account bij Google, Microsoft of Apple. OpenAI stuurt een e-mail naar je opgegeven adres; klik op de link om je e-mailadres te bevestigen. Daarna vul je je naam en een mobiel telefoonnummer in. OpenAI stuurt een zescijferige code via sms naar je telefoon, die je op de website invoert om je account aan te maken.

Je bent nu aangemeld op de website, die vanaf nu ook te openen is via de pagina https://chat.openai.com. Je krijgt enkele voorbeelden te zien van vragen die je kunt stellen en een overzicht van de mogelijkheden en beperkingen. In het tekstveld onderaan begin je een conversatie met ChatGPT. Maar daarover gaat deze workshop niet, want we gaan die conversaties in onze eigen software integreren. Dat kan met hetzelfde account die je voor de website hebt aangemaakt.

Op de website van ChatGPT voer je eenvoudig conversaties met de chatbot.

Python installeren

In deze reeks van vijf workshops gaan we de mogelijkheden van ChatGPT gebruiken in onze eigen programma’s, die we schrijven in de programmeertaal Python. In macOS en Linux is Python al standaard geïnstalleerd. In Windows ga je naar de downloadpagina van Python en installeer je de nieuwste Python-versie.

Start het gedownloade installatieprogramma. In het installatievenster vink je Add python.exe to PATH aan. De optie Use admin privileges when installing py.exe staat standaard ook aangevinkt. Als dat niet hoeft, omdat je alleen met je huidige gebruikersaccount Python wilt gebruiken, zet dit dan gerust uit. Klik daarna bovenaan op Install Now. Klik in de laatste stap op Close. Na de installatie open je de Opdrachtprompt en typ je het volgende in om te testen of Windows de Python-opdracht herkent:

Je zou nu het versienummer van de geïnstalleerde Python te zien moeten krijgen.

Installeer Python en voeg python.exe aan je pad toe.

Visual Studio Code

Om je programma’s te schrijven heb je een code-editor nodig. In deze workshop gebruiken we Visual Studio Code, een gratis en uitbreidbare code-editor van Microsoft die zowel op Windows, macOS als Linux draait. Klik links op de website op de blauwe knop Download for Windows - Stable Build. Wanneer de download is voltooid, voer je het installatieprogramma uit. Je kunt in de eerste stap een taal kiezen, maar helaas geen Nederlands. Accepteer de licentieovereenkomst en vink eventueel optionele acties aan.

Nadat je Visual Studio Code geopend hebt, klik je in de linkerzijbalk op het icoontje met de blokjes of je drukt op Ctrl+Shift+X om de Extensions Marketplace te openen. Installeer daar de uitbreiding Python van Microsoft. Deze zal je helpen met het schrijven van Python-code en maakt gebruik van de Python-installatie uit de vorige stap om je code uit te voeren.

Installeer de Python-uitbreiding in Visual Studio Code.

API-toegang

Om nu vanuit onze eigen Python-code toegang tot ChatGPT te krijgen, moeten we eerst een API-sleutel aanvragen. API staat voor Application Programming Interface en is een set afspraken waarmee ons programma de diensten van OpenAI kan gebruiken. Elke keer dat we ChatGPT willen gebruiken in ons programma, moeten we die sleutel meegeven.

Meld je met je OpenAI-account aan op https://platform.openai.com en klik rechts bovenaan op je profiel. In het menu dat verschijnt, klik je op View API keys. Klik dan op Create new secret key, vul een naam in voor je sleutel en klik op Create secret key. Je krijgt dan je sleutel te zien, een lange reeks tekens.

Kopieer de sleutel en gebruik hem in de volgende paragraaf van deze workshop. Let op: nadat je op Done hebt geklikt, krijg je de sleutel nooit meer te zien; ben je de sleutel kwijt, dan moet je een nieuwe aanmaken.

Nieuwe accounts krijgen een klein bedrag gratis voor gebruik van de OpenAI-API. Nadien moet je in Billing betaalgegevens invullen.

Maak een API-sleutel aan bij OpenAI.

Python-code

Klik nu in Visual Studio Code op File / New File… / Python File. Plaats hierin de volgende Python-code:

Klik op de afbeelding voor een grotere weergave.

Met import openai importeren we de Python-module die OpenAI aanbiedt om de API te gebruiken. Tussen de aanhalingstekens na API_KEY plak je je eigen API-sleutel. DEFAULT_MODEL verwijst naar het taalmodel dat we willen gebruiken. Zie het kader ‘GPT-4’ als je het nieuwere taalmodel van ChatGPT wilt gebruiken.

Daarna maken we een hulpfunctie om gemakkelijker met de OpenAI-API te werken. Aan die functie geven we een prompt door (dat is de vraag die je stelt) en een optioneel model. De functie creëert dan een completion en haalt hieruit het resultaat. Op die manier kunnen we eenvoudig een prompt aan de functie doorgeven en het resultaat met print op de opdrachtregel tonen, zoals je in de laatste drie regels van dit Python-script ziet.

Stel in voor hoeveel geld per maand je de API kunt gebruiken.

Eerste API-gebruik

Sla het codebestand uit de vorige paragraaf in Visual Studio Code op met Ctrl+S en geef het een naam. Klik dan op Terminal / New Terminal, waarna er onder je code een nieuw deelvenster opent met een opdrachtprompt. Typ hierin de volgende opdracht om de OpenAI-module voor Python te installeren:

Klik na de installatie rechts bovenaan op het afspeelknopje (het driehoekje met als je er met je muis boven blijft hangen de tooltip Run Python File). Als alles goed gaat, krijg je nu in de terminal een antwoord op de vraag die je in de variabele prompt in je code hebt gezet.

Onze eerste Python-code die van ChatGPT gebruikmaakt.

Tokens

Een belangrijk concept bij gebruik van de OpenAI-API zijn tokens. Een token is een vaak voorkomende opeenvolging van tekens, zoals letters, cijfers of leestekens. Hier kun je zelf zien uit welke tokens een ingevoerde tekst bestaat.

Het taalmodel produceert token na token, gebaseerd op de kans dat ze na de vorige tokens komen. Een token kan een volledig woord of een deel van een woord zijn. Voor Engelse tekst komen 100 tokens ruwweg met 75 woorden overeen. Standaard genereert ChatGPT en dus ook ons Python-script een antwoord met zoveel tokens als er nodig zijn, maar je kunt dit inperken door de parameter max_tokens toe te voegen. De aanroep van openai.ChatCompletion.create ziet er dan als volgt uit:

Dat aantal tokens is belangrijk, omdat je voor het gebruik van OpenAI-API betaalt per token. Voor veelvuldig geautomatiseerd gebruik van de API kan het dus de moeite zijn om een maximum aantal tokens in te stellen. Overigens levert dit wel vaak een antwoord op dat bruusk afgebroken is.

Heel wat woorden worden gecodeerd als één token. Andere bestaan uit meerdere tokens.

Parameters

Als je het Python-script uitvoert, zul je merken dat het altijd hetzelfde antwoord geeft. Dat is omdat we de parameter temperature de waarde 0 gegeven hebben. Je kunt deze parameter een waarde van 0 tot 2 geven, waarbij 0 betekent dat het antwoord elke keer hetzelfde is en hogere waardes een willekeuriger antwoord opleveren. Als je de waarde niet instelt, staat ze op 1, wat redelijk wat variatie tot gevolg geeft. Probeer het effect van de parameter maar eens uit door de parameter temperature in je code enkele andere waarden te geven en je script meerdere keren uit te voeren.

Twee andere parameters (die we hier niet hebben gebruikt) zijn presence_penalty en frequency_penalty. Beide hebben een standaardwaarde 0 en kunnen variëren van -2 tot 2. Met een positieve presence_penalty verlaag je de kans dat al gebruikte tokens nog eens in de tekst voorkomen. Dat verhoogt de kans dat het model over nieuwe onderwerpen begint. Met een positieve frequency_penalty wordt de kans dat een token gebruikt wordt verlaagd naarmate hij al vaker is gebruikt. Dat verlaagt dus concreet de kans dat het model een zin letterlijk herhaalt.

In de praktijk pas je deze twee parameters niet zo vaak aan. Ze zijn wel nuttig als je merkt dat het model voor specifieke vragen wat repetitieve antwoorden geeft. Probeer dan beide parameters eens op een waarde tussen 0,1 en 1 te zetten om die herhaling wat te verminderen.

Met temperatuur 1 geeft ons Python-script altijd een iets verschillend antwoord op dezelfde vraag.

Maak je prompts specifieker

Net zoals bij het gebruik van ChatGPT op de website zijn de resultaten bij het gebruik van de API bruikbaarder wanneer je je prompts zo specifiek mogelijk maakt. Een eerste tip is dat je gewoon aangeeft hoe lang de tekst moet zijn. Bijvoorbeeld met de volgende prompt:

Dat geeft doorgaans een beter resultaat dan de parameter max_tokens, omdat de tekst dan tenminste niet bruusk wordt afgekapt. Maar omdat het taalmodel geen woorden kan tellen en intern met tokens werkt, kan de opgegeven limiet weleens overschreden worden. Je moet dit dus altijd nog zelf testen als de opgegeven limiet belangrijk is. Toon bijvoorbeeld het aantal woorden in de uitvoer met de volgende regel op het einde van het Python-bestand:

Vraag om een specifiek format

Een andere manier om je prompts specifieker te maken, is dat je het taalmodel vraagt om zijn antwoord in een specifiek format te geven. Bijvoorbeeld met:

Klik op de afbeelding voor een grotere weergave.

Met de drie aanhalingstekens maken we een multi-line-string in Python aan, waardoor we eenvoudig een prompt over meerdere regels kunnen spreiden voor wat meer overzicht. En het antwoord van ons script is nu ook kernachtiger en duidelijker.

Vraag het taalmodel om zijn antwoord in een specifiek format te formuleren.

Vermijd hallucinaties

Taalmodellen hebben de neiging om antwoorden te verzinnen als ze kennis missen over je vraag. Stel je bijvoorbeeld de vraag om het magazine Computer Power te beschrijven (dat niet bestaat!), dan verzint ons script een Belgisch tijdschrift met die naam. Deze neiging noemen we ‘hallucinaties’ en je moet hier altijd beducht op zijn, ook bij het gebruik van ChatGPT op de website.

Je kunt die neiging wel wat afzwakken door in je prompt expliciet te zeggen wat het taalmodel moet doen als het niet voldoende informatie heeft:

Daarop antwoordt ons script dat het dit magazine niet kent, maar dat het waarschijnlijk over computers en technologie gaat.

Meer informatie

Wil je meer weten over het gebruik van de OpenAI-API, lees dan de ‘API reference’ op de website van OpenAI, en dan specifiek die van ChatCompletion. Hier vind je meer informatie over de verschillende parameters.

En wil je meer leren over hoe je het meeste uit de taalmodellen haalt met de juiste prompts, bekijk dan zeker het webinar ChatGPT Prompt Engineering for Developers van DeepLearning.AI, dat we hebben geraadpleegd bij het schrijven van deze workshopreeks.

De OpenAI-API is uitgebreid gedocumenteerd, inclusief voorbeelden van het gebruik in Python en Node.js.

Volgende week maandag het tweede deel van deze reeks! We gaan hierin de kennis uit dit eerste deel toepassen om teksten te laten samenvatten door een taalmodel.

Vervolg: Deel 2: Programmeren in Python met ChatGPT

Bij ID.nl zijn we dol op kwaliteitsproducten waar je niet de hoofdprijs voor betaalt. Een paar keer per week speuren we binnen een bepaald thema naar zulke deals. Ben je op zoek naar een superdeluxe koelkast met een ijsblokjesmaker? Vandaag hebben we vijf interessante modellen voor je gespot.

Samsung RS6HA8891SL

Deze chique Amerikaanse koelkast is van alle gemakken voorzien. Zo springt het forse aanraakscherm op de rechterdeur direct in het oog. Dat fungeert als een soort 'familiehub' binnen het huishouden. Zo bestel je bijvoorbeeld boodschappen, beheer je de gezinsagenda, voer je handsfree telefoongesprekken en bedien je muziek via het scherm. Sta je in de supermarkt en weet je niet of je een vers kuipje boter of nieuwe fles cola nodig hebt? Dankzij de geïntegreerde camera bekijk je altijd en overal de inhoud van je koelkast. Dat werkt via een app op je smartphone.

Het koelgedeelte aan de rechterkant heeft een inhoud van 389 liter, terwijl je links ook nog flink wat voedingswaren kunt invriezen. Het vriescompartiment is goed voor een inhoud van 225 liter. Fijn is dat de Samsung RS6HA8891SL geen ijs ontwikkelt, want dit model ondersteunt No Frost. Gebruik het bedieningspaneel aan de rechterzijde om koud water en ijsblokjes te tappen. Mooi meegenomen is het geringe geluidsniveau van 36 decibel, waardoor je hem dicht bij de woonkamer of eettafel kunt neerzetten. Deze koelkast is in een zilverkleurige en zwarte behuizing te koop.

LG GSLC41PYPE

Met een totale inhoud van 641 liter kun je heel wat eten en drinken in de LG GSLC41PYPE kwijt. De koel- en vriesruimte hebben een inhoud van respectievelijk 420 en 221 liter. Dankzij meerdere lades, planken en deurvakken berg je alle voedingswaren overzichtelijk op. Vul de geïntegreerde tank met 4,3 liter water en tap aan de voorzijde ijsklontjes of ijswater. Het is dus niet nodig om dit apparaat aan de waterleiding te koppelen.

Het betreft een Amerikaans model met twee deuren. Houd dan ook rekening met een ruime omvang van 91,3 × 179 × 73,5 centimeter. Zowel het vries- als koelgedeelte hebben ledverlichting, waardoor je alle producten ziet liggen. Zoals je van deze luxe koelkast mag verwachten, is er geen sprake van ijsvorming. De GSLC41PYPE ondersteunt namelijk No Frost. Tot slot is de stille werking van 36 decibel een pluspunt. Geïnteresseerden kiezen tussen een zilverkleurige en zwarte uitvoering.

ETNA AKV578IZWA

Voor een Amerikaanse koelkast valt de prijs van dit exemplaar van ETNA erg mee. Kies tussen een zwarte en zilverkleurige behuizing. Ruim twintig consumenten beoordelen het apparaat met een gemiddelde score van een 9,3. Zij waarderen onder meer de ijs- en waterdispenser aan de voorzijde. Dankzij de geïntegreerde watertank van 4,5 liter is er geen aansluiting op de waterleiding vereist. Andere benoemde voordelen zijn de fraaie verlichting, prettige indeling, grote handgreep en mooie vormgeving. Bovendien is ontdooien dankzij No Frost nooit nodig.

Zodra je de rechterdeur open doet, heb je toegang tot een koelgedeelte van 334 liter. Gebruik twee lades, vier legplanken en drie deurvakken om producten koel te bewaren. Daarnaast levert ETNA een handig rek met plek voor vijf flessen mee. De vriezer heeft een respectabele inhoud van 165 liter. Met behulp van vier planken en twee lades verdeel je de ingevroren etenswaren netjes in deze ruimte. De voorkant heeft boven de waterdispenser een bescheiden bedieningspaneel. Daarmee stel je voor beide compartimenten de gewenste temperatuur in. Verder activeer je desgewenst het deuralarm en de ecomodus.

Lees ook: 🧊 Houd je eten langer vers: zo deel je je koelkast optimaal in

Hisense RS818N4TIC

Voor een Amerikaans model vallen de energiekosten van de Hisense RS818N4TIC mee. Ga op jaarbasis uit van een stroomverbruik van zo'n 221 kilowattuur. Een ander pluspunt is het lage geluidsniveau van 36 decibel. Deze koelkast leent zich met een riante totaalinhoud van 632 liter perfect voor een ruim gezin. Er is 417 liter toegewezen aan het koelgedeelte, terwijl de resterende 215 liter aan de vrieskast is toebedeeld. Wees trouwens niet bang voor ijsvorming, want dit apparaat ondersteunt de techniek No Frost.

Je koppelt deze slimme koelkast eventueel aan wifi. Vraag vervolgens op elke plek de apparaatstatus op. Zo kun je met een app op je smartphone de temperatuur reguleren. Zodra je de deur van het koel- of vriesgedeelte open doet, gaat er een felle ledlamp branden. Hierdoor zie je niets over het hoofd. Hisense levert een rek voor vijf flessen mee, zodat je frisdrank en wijn efficiënt kunt opbergen. Tot slot is de gecombineerde ijs- en waterdispenser aan de voorzijde een pluspunt. Hiervoor is er een watertank van 4,5 liter ingebouwd. Deze koelkast is verkrijgbaar in een zilverkleurige en zwarte behuizing. Lees hier enkele reviews van andere consumenten.

LG GSXE90EVDD

De onlangs verschenen LG GSXE90EVDD heeft een deur-in-deur-functie. Open het glazen deurtje en pak heel snel de producten die je het vaakst gebruikt, zoals melk, kwark of yoghurt. Voor toegang tot het volledige koelvak van 407 liter kun je uiteraard ook de reguliere deur gebruiken. Aan gebruiksgemak is er bepaald geen gebrek, want de linkerkant heeft een dispenser. Kies hiermee tussen ijsblokjes, ijswater en water. Door een aansluiting op de waterleiding hoef je niet steeds een watertank handmatig te vullen. De vriezer heeft een capaciteit van 192 liter en ondersteunt No Frost. Beide compartimenten bevatten ledverlichting.

Veel Amerikaanse koelkasten hebben een behoorlijk energieverbruik, maar dat is bij dit model te overzien. De GSXE90EVDD vereist ongeveer 276 kilowattuur stroom per jaar. Met een opgegeven geluidsniveau van slechts 35 decibel is deze koelkast zéér stil. Nuttig voor wie het apparaat vlak bij de woonkamer of keukentafel positioneert. Dankzij een koppeling met het draadloze thuisnetwerk volg je de apparaatstatus in een smartphone-app. Is er onverhoopt een storing, dan kun je hiermee wellicht het probleem oplossen.

Waarom is er zo veel aandacht voor DeepSeek? Ontdek in dit artikel wat deze AI-chatbot zo bijzonder maakt en waar je op moet letten.

Eind januari was er opeens sprake van opschudding in de techwereld, maar ook daarbuiten. DeepSeek werd gelanceerd en leidde tot bijna 1 biljoen (1000 miljard) dollar daling van de waarde van grote techbedrijven op de aandelenmarkt. Het tot dan toe kleine Chinese DeepSeek kwam namelijk met taalmodel R1 op de markt.

Deze nieuwe versie van hun AI-chatbot vertoonde prestaties die vergelijkbaar waren met onder meer ChatGPT, wat tot dan toe zon beetje de gouden standaard was. Het grote voordeel van DeepSeek? Het model gebruikt een fractie van de rekenkracht van concurrenten voor vergelijkbare resultaten en kost daardoor stukken minder.

©hadrian - ifeelstock

Minder rekenkracht en dus lagere kosten

Het grote probleem van AI is het enorme energieverbruik. Daarom kost het bakken met geld en zijn er vragen over de herkomst en duurzaamheid van de stroom. Zowel het trainen als het gebruik van AI vergt veel energie. Voor de training van ChatGPT 4 was bijvoorbeeld 50 gigawattuur nodig, oftewel 50 miljoen kilowattuur.

In Nederland ligt de stroomprijs boven de 30 cent per kilowattuur, waardoor de kosten hier zouden neerkomen op ruim 15 miljoen euro. In de VS liggen de prijzen gelukkig een stukje lager, maar de kosten zijn alsnog fors. En dat is nog los van de enorme investeringen in chips en apparatuur die nodig zijn.

Het mysterie van DeepSeek

China heeft geen toegang tot de meest geavanceerde chips ter wereld, mede omdat de VS er alles aan doet om dat te voorkomen. Ook internationale spelers, zoals het Nederlandse techbedrijf ASML, ervaren de gevolgen van deze beperkingen. Ondanks het gebrek aan de nieuwste chiptechnologie is DeepSeek er toch in geslaagd een competitief taalmodel te ontwikkelen, dat vooral uitblinkt in efficiëntie. Ter vergelijking: de ontwikkelings- en trainingskosten van DeepSeek bedragen slechts zo'n 3 procent van die van ChatGPT.

©MclittleStock

Is zo veel rekenkracht wel nodig?

Niet alleen de bedrijven die taalmodellen ontwikkelen, maar ook de chipindustrie heeft enorme verliezen geleden – met name de aandelen van Nvidia kelderden sterk. DeepSeek laat zien dat voor AI niet per se zo veel rekenkracht nodig is. Terwijl in de VS miljarden worden geïnvesteerd in enorme datacenters voor het trainen en draaien van AI, lijkt deze massale investeringsinspanning soms overbodig. DeepSeek bewijst dat efficiënter werken mogelijk is zonder de allerkrachtigste hardware.

De unieke werkwijze van DeepSeek

DeepSeek onderscheidt zich dus vooral doordat de ontwikkelingskosten slechts een fractie bedragen van die van ChatGPT en het uitvoeren van een gebruikersopdracht veel minder rekenkracht vergt. Dat komt doordat het systeem niet telkens het volledige model activeert.

In plaats daarvan maakt DeepSeek gebruik van een techniek die het bedrijf 'Mixture-of-Experts' noemt: het model is opgedeeld in gespecialiseerde onderdelen, en voor elke vraag worden alleen de relevante segmenten ingeschakeld. Stel dat iemand een vraag stelt over middeleeuwse kastelen, dan activeert het systeem uitsluitend het deel dat over historische kennis beschikt. Daardoor is er aanzienlijk minder rekenkracht nodig.

De prestaties van DeepSeek

Volgens diverse experts levert DeepSeek uitstekende resultaten. Het model scoort op nauwkeurigheid en komt minstens even goed weg als de grote concurrenten. Op het gebied van feitelijke presentatie, logisch redeneren en coderen presteert DeepSeek zelfs vaak beter. Wel merken sommige gebruikers dat er nog ruimte is voor verbetering qua gebruiksvriendelijkheid en de nuance in het genereren van teksten.

©WEI ZHENG

Speelt DeepSeek vals?

OpenAI heeft DeepSeek ervan beschuldigd dat zij met hun model voortborduren op het werk van ChatGPT, in plaats van iets geheel nieuws te bieden. Dat zou gedeeltelijk de lage ontwikkelingskosten kunnen verklaren. Tot op heden is er echter geen concreet bewijs gepresenteerd ter ondersteuning van deze beschuldigingen.

Daarnaast zijn er de nodige privacy-issues. Een belangrijk punt van zorg is dat de servers van DeepSeek zich in China bevinden, wat betekent dat gebruikersgegevens daar worden opgeslagen. Andere taalmodellen maken vaak gebruik van servers in de VS. Beide opties roepen uiteraard privacyvragen op, zeker gezien de huidige politieke context. Ongeacht het model is het voor gebruikers belangrijk om zich bewust te zijn van de mogelijke risico’s rondom de verwerking en opslag van hun data.

Voordelen voor de consument

Voor gebruikers van taalmodellen betekent de komst van DeepSeek in principe alleen maar positief nieuws. Zelfs als je ervoor kiest om andere modellen te blijven gebruiken, zorgt de nieuwe concurrentie voor meer innovatie en lagere prijzen. Grote aanbieders zoals OpenAI hebben hun tarieven al verlaagd, wat aantoont dat AI niet onvermijdelijk duur hoeft te zijn.