In deel 1 van deze artikelreeks leerde je hoe je ChatGPT in je zelfgeschreven programma’s inzet. Daarvoor gebruikten we de OpenAI-API in de programmeertaal Python. Laten we nu eens kijken hoe we dit toepassen om Word-documenten met verslagen van vergaderingen samen te vatten. Want daar is ChatGPT vrij goed in.

ChatGPT is getraind voor conversaties, maar heeft ook allerlei andere vaardigheden. Eén daarvan is het samenvatten van teksten. Stel, je hebt een heleboel verslagen van vergaderingen in de vorm van Word-bestanden, dan zou je deze een voor een kunnen openen, de tekst kopiëren en in de webinterface van ChatGPT plakken met de vraag om ze samen te vatten. Maar dat is nogal repetitief werk. Dankzij de OpenAI-API kunnen we dat automatiseren.

Word-bestanden inlezen

We gaan ervan uit dat je verslagen in Word-bestanden staan. Die kunnen we in Python inlezen met de bibliotheek python-docx. Installeer die dus eerst met pip op de Opdrachtprompt van Windows, of gebruik Terminal op macOS of Linux:

We gebruiken net als in deel 1 het programma Visual Studio Code om de code in te schrijven. Open Visual Studio Code, klik op File / New File… en kies Python File. Plaats hierin de volgende Python-code die alle docx-bestanden in een gegeven directory inleest en de tekst daarvan toont:

De code kun je bekijken in het bestand gptcode-dl2.txt, te downloaden via deze pagina.

Allereerst definiëren we een functie read_docx die van een Word-bestand in een bepaalde map alle paragrafen met tekst aan elkaar plakt en teruggeeft. Die functie roepen we aan in de functie process_docx_files, die van een gedefinieerd directorypad alle bestanden met de extensie docx opvraagt en daaruit de tekst haalt.

Tot slot kijkt de code op het einde of je een directorypad als argument doorgeeft. Zo ja, dan wordt dit aan de functie process_docx_files doorgegeven en wordt het resultaat getoond met zowel de bestandsnaam als de uit het document gehaalde tekst.

Programma uitproberen

Sla dit Python-script onder de naam read_docx_files.py op in Visual Studio Code met Ctrl+S (of bekijk het voorbeelddocument dat je kunt downloaden zoals aangegeven in het kader ‘Code downloaden’) en open een opdrachtvenster met het menu Terminal / New Terminal. Voer het programma hierin als volgt uit:

Vervang directorymetdocumenten door het pad waar je verslagen in de vorm van Word-documenten staan. Na de bevestiging met Enter krijg je in de terminal de inhoud van alle documenten als platte tekst te zien. Dat is uiteraard nog altijd de volledige tekst, dus nu gaan we ons programma uitbreiden om die uitgelezen teksten samen te vatten met de OpenAI-API.

Systeemboodschap

We kunnen de code van de eerste workshop in deze reeks hergebruiken om met de OpenAI-API een ‘completion’ te creëren. We geven dan een tekst die we uit een Word-document lezen door als prompt, met ervoor de vraag om die tekst samen te vatten. Maar we gaan hier nog iets extra’s toepassen: een systeemprompt. Dit is een extra prompt die je aan de API doorgeeft met instructies die het gedrag van het taalmodel bepalen.

Voeg eerst bovenaan de code van je programma read_docx_files.py de volgende regels toe om de OpenAI API te kunnen gebruiken:

De code kun je bekijken in het bestand gptcode-dl2.txt, te downloaden via deze pagina.

De API-sleutel is degene die je in deel 1 hebt aangemaakt op de website van OpenAI, of maak een nieuwe aan. Wij hebben de gewoonte om voor elk script een nieuwe sleutel aan te maken, zodat we die eenvoudig kunnen intrekken als we de sleutel per ongeluk lekken, zonder dat onze andere scripts stoppen met werken. We geven hier ook een systeemprompt op waarmee we het taalmodel de instructie geven om de gebruikersprompts samen te vatten.

De documentatie van OpenAI bespreekt de verschillen tussen een systeemprompt en gebruikersprompt.

Teksten samenvatten

Voeg nu een licht aangepaste versie van de functie get_completion uit deel 1 toe, waaraan we ook de systeemprompt toevoegen:

De code kun je bekijken in het bestand gptcode-dl2.txt, te downloaden via deze pagina.

Je ziet dat de parameter system_prompt hier aan de lijst met boodschappen voor de API wordt toegevoegd met als rol system.

Het enige wat je nu nog in je code moet aanpassen om je teksten te laten samenvatten, is de laatste regel met print(text) vervangen door:

Voer je dit programma nu uit met als argument een directorypad, dan leest het alle Word-documenten in die directory in en toont een samenvatting.

Meer structuur

Waarschijnlijk werkt dit al vrij goed. Maar zoals we in deel 1 al hebben gezien, werkt het taalmodel nog beter als je het specifiekere instructies geeft. De systeemprompt kan dan ook veel concreter om de aard van de samenvatting te sturen. Zo zouden we een maximum aantal woorden kunnen opgeven.

Maar in veel gevallen krijg je het beste resultaat als je een specifieke structuur van het antwoord vraagt. Voor verslagen van vergaderingen, zoals we hier in dit voorbeeld gebruiken, is dat ideaal. Want vergaderingen hebben sowieso al een agenda en er worden specifieke punten besproken. Daarvan kunnen we gebruikmaken. Verander bijvoorbeeld de systeemprompt tot het volgende:

De code kun je bekijken in het bestand gptcode-dl2.txt, te downloaden via deze pagina.

Als je nu weer je programma uitvoert, toont het van elk Word-document een samenvatting in de gevraagde vorm.

In onze voorbeeldcode die je kunt downloaden, is het eindresultaat van deze paragraaf ook terug te vinden in het bestand summarize_docx_files.py.

Ons Python-script maakt samenvattingen in de gewenste vorm van onze vergaderverslagen.

Systeem- of gebruikersprompt?

Op het forum van OpenAI vinden we gemengde ervaringen van gebruikers over de systeemprompt: die zou niet in alle gevallen het gewenste gedrag opleveren. Mocht dat bij jou ook het geval zijn, gebruik dan alleen de gebruikersprompt en behoud de functie get_completion uit de vorige workshop van deze reeks.

Verwijder dan de constante SYSTEM_PROMPT uit het begin van de code en vervang de laatste regel print(get_completion(text, SYSTEM_PROMPT)) door de volgende regels om de samen te vatten tekst aan het einde van de instructies te plakken:

De code kun je bekijken in het bestand gptcode-dl2.txt, te downloaden via deze pagina.

Zoals vaak bij het werken met taalmodellen kruipt veel tijd in het experimenteren om de juiste prompt te vinden. Maar zodra je die hebt, kan het je heel wat tijd uitsparen!

In onze voorbeeldcode die je kunt downloaden, is het eindresultaat van deze paragraaf ook terug te vinden in het bestand summarize_docx_files_without_system_prompt.py.

De systeemprompt werkt niet in alle gevallen, melden gebruikers op het forum van OpenAI.

Volgende week maandag het derde deel van deze reeks! Hierin laten we ChatGPT de onderwerpen extraheren uit de teksten die we in dit deel geïmporteerd hebben.

Lees ook:

Bij ID.nl zijn we dol op kwaliteitsproducten waar je niet de hoofdprijs voor betaalt. Een paar keer per week speuren we binnen een bepaald thema naar zulke deals. Ben je op zoek naar een superdeluxe koelkast met een ijsblokjesmaker? Vandaag hebben we vijf interessante modellen voor je gespot.

Samsung RS6HA8891SL

Deze chique Amerikaanse koelkast is van alle gemakken voorzien. Zo springt het forse aanraakscherm op de rechterdeur direct in het oog. Dat fungeert als een soort 'familiehub' binnen het huishouden. Zo bestel je bijvoorbeeld boodschappen, beheer je de gezinsagenda, voer je handsfree telefoongesprekken en bedien je muziek via het scherm. Sta je in de supermarkt en weet je niet of je een vers kuipje boter of nieuwe fles cola nodig hebt? Dankzij de geïntegreerde camera bekijk je altijd en overal de inhoud van je koelkast. Dat werkt via een app op je smartphone.

Het koelgedeelte aan de rechterkant heeft een inhoud van 389 liter, terwijl je links ook nog flink wat voedingswaren kunt invriezen. Het vriescompartiment is goed voor een inhoud van 225 liter. Fijn is dat de Samsung RS6HA8891SL geen ijs ontwikkelt, want dit model ondersteunt No Frost. Gebruik het bedieningspaneel aan de rechterzijde om koud water en ijsblokjes te tappen. Mooi meegenomen is het geringe geluidsniveau van 36 decibel, waardoor je hem dicht bij de woonkamer of eettafel kunt neerzetten. Deze koelkast is in een zilverkleurige en zwarte behuizing te koop.

LG GSLC41PYPE

Met een totale inhoud van 641 liter kun je heel wat eten en drinken in de LG GSLC41PYPE kwijt. De koel- en vriesruimte hebben een inhoud van respectievelijk 420 en 221 liter. Dankzij meerdere lades, planken en deurvakken berg je alle voedingswaren overzichtelijk op. Vul de geïntegreerde tank met 4,3 liter water en tap aan de voorzijde ijsklontjes of ijswater. Het is dus niet nodig om dit apparaat aan de waterleiding te koppelen.

Het betreft een Amerikaans model met twee deuren. Houd dan ook rekening met een ruime omvang van 91,3 × 179 × 73,5 centimeter. Zowel het vries- als koelgedeelte hebben ledverlichting, waardoor je alle producten ziet liggen. Zoals je van deze luxe koelkast mag verwachten, is er geen sprake van ijsvorming. De GSLC41PYPE ondersteunt namelijk No Frost. Tot slot is de stille werking van 36 decibel een pluspunt. Geïnteresseerden kiezen tussen een zilverkleurige en zwarte uitvoering.

ETNA AKV578IZWA

Voor een Amerikaanse koelkast valt de prijs van dit exemplaar van ETNA erg mee. Kies tussen een zwarte en zilverkleurige behuizing. Ruim twintig consumenten beoordelen het apparaat met een gemiddelde score van een 9,3. Zij waarderen onder meer de ijs- en waterdispenser aan de voorzijde. Dankzij de geïntegreerde watertank van 4,5 liter is er geen aansluiting op de waterleiding vereist. Andere benoemde voordelen zijn de fraaie verlichting, prettige indeling, grote handgreep en mooie vormgeving. Bovendien is ontdooien dankzij No Frost nooit nodig.

Zodra je de rechterdeur open doet, heb je toegang tot een koelgedeelte van 334 liter. Gebruik twee lades, vier legplanken en drie deurvakken om producten koel te bewaren. Daarnaast levert ETNA een handig rek met plek voor vijf flessen mee. De vriezer heeft een respectabele inhoud van 165 liter. Met behulp van vier planken en twee lades verdeel je de ingevroren etenswaren netjes in deze ruimte. De voorkant heeft boven de waterdispenser een bescheiden bedieningspaneel. Daarmee stel je voor beide compartimenten de gewenste temperatuur in. Verder activeer je desgewenst het deuralarm en de ecomodus.

Lees ook: 🧊 Houd je eten langer vers: zo deel je je koelkast optimaal in

Hisense RS818N4TIC

Voor een Amerikaans model vallen de energiekosten van de Hisense RS818N4TIC mee. Ga op jaarbasis uit van een stroomverbruik van zo'n 221 kilowattuur. Een ander pluspunt is het lage geluidsniveau van 36 decibel. Deze koelkast leent zich met een riante totaalinhoud van 632 liter perfect voor een ruim gezin. Er is 417 liter toegewezen aan het koelgedeelte, terwijl de resterende 215 liter aan de vrieskast is toebedeeld. Wees trouwens niet bang voor ijsvorming, want dit apparaat ondersteunt de techniek No Frost.

Je koppelt deze slimme koelkast eventueel aan wifi. Vraag vervolgens op elke plek de apparaatstatus op. Zo kun je met een app op je smartphone de temperatuur reguleren. Zodra je de deur van het koel- of vriesgedeelte open doet, gaat er een felle ledlamp branden. Hierdoor zie je niets over het hoofd. Hisense levert een rek voor vijf flessen mee, zodat je frisdrank en wijn efficiënt kunt opbergen. Tot slot is de gecombineerde ijs- en waterdispenser aan de voorzijde een pluspunt. Hiervoor is er een watertank van 4,5 liter ingebouwd. Deze koelkast is verkrijgbaar in een zilverkleurige en zwarte behuizing. Lees hier enkele reviews van andere consumenten.

LG GSXE90EVDD

De onlangs verschenen LG GSXE90EVDD heeft een deur-in-deur-functie. Open het glazen deurtje en pak heel snel de producten die je het vaakst gebruikt, zoals melk, kwark of yoghurt. Voor toegang tot het volledige koelvak van 407 liter kun je uiteraard ook de reguliere deur gebruiken. Aan gebruiksgemak is er bepaald geen gebrek, want de linkerkant heeft een dispenser. Kies hiermee tussen ijsblokjes, ijswater en water. Door een aansluiting op de waterleiding hoef je niet steeds een watertank handmatig te vullen. De vriezer heeft een capaciteit van 192 liter en ondersteunt No Frost. Beide compartimenten bevatten ledverlichting.

Veel Amerikaanse koelkasten hebben een behoorlijk energieverbruik, maar dat is bij dit model te overzien. De GSXE90EVDD vereist ongeveer 276 kilowattuur stroom per jaar. Met een opgegeven geluidsniveau van slechts 35 decibel is deze koelkast zéér stil. Nuttig voor wie het apparaat vlak bij de woonkamer of keukentafel positioneert. Dankzij een koppeling met het draadloze thuisnetwerk volg je de apparaatstatus in een smartphone-app. Is er onverhoopt een storing, dan kun je hiermee wellicht het probleem oplossen.

Waarom is er zo veel aandacht voor DeepSeek? Ontdek in dit artikel wat deze AI-chatbot zo bijzonder maakt en waar je op moet letten.

Eind januari was er opeens sprake van opschudding in de techwereld, maar ook daarbuiten. DeepSeek werd gelanceerd en leidde tot bijna 1 biljoen (1000 miljard) dollar daling van de waarde van grote techbedrijven op de aandelenmarkt. Het tot dan toe kleine Chinese DeepSeek kwam namelijk met taalmodel R1 op de markt.

Deze nieuwe versie van hun AI-chatbot vertoonde prestaties die vergelijkbaar waren met onder meer ChatGPT, wat tot dan toe zon beetje de gouden standaard was. Het grote voordeel van DeepSeek? Het model gebruikt een fractie van de rekenkracht van concurrenten voor vergelijkbare resultaten en kost daardoor stukken minder.

©hadrian - ifeelstock

Minder rekenkracht en dus lagere kosten

Het grote probleem van AI is het enorme energieverbruik. Daarom kost het bakken met geld en zijn er vragen over de herkomst en duurzaamheid van de stroom. Zowel het trainen als het gebruik van AI vergt veel energie. Voor de training van ChatGPT 4 was bijvoorbeeld 50 gigawattuur nodig, oftewel 50 miljoen kilowattuur.

In Nederland ligt de stroomprijs boven de 30 cent per kilowattuur, waardoor de kosten hier zouden neerkomen op ruim 15 miljoen euro. In de VS liggen de prijzen gelukkig een stukje lager, maar de kosten zijn alsnog fors. En dat is nog los van de enorme investeringen in chips en apparatuur die nodig zijn.

Het mysterie van DeepSeek

China heeft geen toegang tot de meest geavanceerde chips ter wereld, mede omdat de VS er alles aan doet om dat te voorkomen. Ook internationale spelers, zoals het Nederlandse techbedrijf ASML, ervaren de gevolgen van deze beperkingen. Ondanks het gebrek aan de nieuwste chiptechnologie is DeepSeek er toch in geslaagd een competitief taalmodel te ontwikkelen, dat vooral uitblinkt in efficiëntie. Ter vergelijking: de ontwikkelings- en trainingskosten van DeepSeek bedragen slechts zo'n 3 procent van die van ChatGPT.

©MclittleStock

Is zo veel rekenkracht wel nodig?

Niet alleen de bedrijven die taalmodellen ontwikkelen, maar ook de chipindustrie heeft enorme verliezen geleden – met name de aandelen van Nvidia kelderden sterk. DeepSeek laat zien dat voor AI niet per se zo veel rekenkracht nodig is. Terwijl in de VS miljarden worden geïnvesteerd in enorme datacenters voor het trainen en draaien van AI, lijkt deze massale investeringsinspanning soms overbodig. DeepSeek bewijst dat efficiënter werken mogelijk is zonder de allerkrachtigste hardware.

De unieke werkwijze van DeepSeek

DeepSeek onderscheidt zich dus vooral doordat de ontwikkelingskosten slechts een fractie bedragen van die van ChatGPT en het uitvoeren van een gebruikersopdracht veel minder rekenkracht vergt. Dat komt doordat het systeem niet telkens het volledige model activeert.

In plaats daarvan maakt DeepSeek gebruik van een techniek die het bedrijf 'Mixture-of-Experts' noemt: het model is opgedeeld in gespecialiseerde onderdelen, en voor elke vraag worden alleen de relevante segmenten ingeschakeld. Stel dat iemand een vraag stelt over middeleeuwse kastelen, dan activeert het systeem uitsluitend het deel dat over historische kennis beschikt. Daardoor is er aanzienlijk minder rekenkracht nodig.

De prestaties van DeepSeek

Volgens diverse experts levert DeepSeek uitstekende resultaten. Het model scoort op nauwkeurigheid en komt minstens even goed weg als de grote concurrenten. Op het gebied van feitelijke presentatie, logisch redeneren en coderen presteert DeepSeek zelfs vaak beter. Wel merken sommige gebruikers dat er nog ruimte is voor verbetering qua gebruiksvriendelijkheid en de nuance in het genereren van teksten.

©WEI ZHENG

Speelt DeepSeek vals?

OpenAI heeft DeepSeek ervan beschuldigd dat zij met hun model voortborduren op het werk van ChatGPT, in plaats van iets geheel nieuws te bieden. Dat zou gedeeltelijk de lage ontwikkelingskosten kunnen verklaren. Tot op heden is er echter geen concreet bewijs gepresenteerd ter ondersteuning van deze beschuldigingen.

Daarnaast zijn er de nodige privacy-issues. Een belangrijk punt van zorg is dat de servers van DeepSeek zich in China bevinden, wat betekent dat gebruikersgegevens daar worden opgeslagen. Andere taalmodellen maken vaak gebruik van servers in de VS. Beide opties roepen uiteraard privacyvragen op, zeker gezien de huidige politieke context. Ongeacht het model is het voor gebruikers belangrijk om zich bewust te zijn van de mogelijke risico’s rondom de verwerking en opslag van hun data.

Voordelen voor de consument

Voor gebruikers van taalmodellen betekent de komst van DeepSeek in principe alleen maar positief nieuws. Zelfs als je ervoor kiest om andere modellen te blijven gebruiken, zorgt de nieuwe concurrentie voor meer innovatie en lagere prijzen. Grote aanbieders zoals OpenAI hebben hun tarieven al verlaagd, wat aantoont dat AI niet onvermijdelijk duur hoeft te zijn.