ID.nl logo
Programmeren in Python met ChatGPT - Deel 3
© Dahina - stock.adobe.com
Huis

Programmeren in Python met ChatGPT - Deel 3

In deel 2 van deze artikelreeks leerde je hoe je verslagen van vergaderingen kon samenvatten met de OpenAI-API in de programmeertaal Python. Maar je kunt nog meer: het taalmodel achter ChatGPT is in staat om teksten te analyseren en daaruit besproken onderwerpen te halen. Zo kun je documenten automatisch op onderwerp ordenen.

In dit derde deel laten we ChatGPT onze teksten analyseren om daaruit de onderwerpen te extraheren, zodat we zelf gemakkelijker onze teksten kunnen taggen of ordenen:

  • Eerst zorgen we ervoor dat de juiste bestanden gevonden worden
  • Daarna laten we de bestanden analyseren
  • Tot slot zorgen we ervoor dat de gevonden onderwerpen worden omgezet in tags

Lees ook: Weg met de chaos! Organiseer je bestanden met TagSpaces

Code downloaden In deze workshop worden wat voorbeelden van stukken code gegeven. Omdat overtikken van code erg foutgevoelig is, kun je die code beter downloaden en daarna bekijken of kopiëren. Via deze link kun je twee bestanden downloaden: het bestand extract_tags.py (dat het eindresultaat van deze workshop bevat) en het bestand gptcode-dl3.txt (dat alle losse opdrachten uit deze hele aflevering bevat).

In deel 2 zagen we al dat ChatGPT veel meer kan dan gewoon conversaties voeren. Het taalmodel draait zijn hand bijvoorbeeld niet om voor de taak om teksten samen te vatten. We kunnen dat principe in nog veel extremere vorm doorzetten: vraag om de besproken onderwerpen van een tekst te geven in enkele woorden. Dat is ideaal om automatisch tags aan teksten toe te kennen om ze daarna sneller terug te vinden. In dit deel realiseren we dit met de OpenAI-API in Python waar je ondertussen al wat vertrouwd mee bent.

Alle bestanden doorlopen

Kopieer het Python-script summarize_docx_files.py uit deel 2. Dit bestand gebruiken we als basis en passen we hier aan. Vervang allereerst de systeemprompt in het begin:

SYSTEM_PROMPT = "Beschrijf de vijf belangrijkste onderwerpen die in de volgende tekst besproken zijn."

We gaan de systeemprompt later nog verder aanpassen, want zoals we in de vorige delen van de reeks hebben gezegd, moet die prompt zo specifiek mogelijk zijn. Maar we moeten ergens beginnen.

Voor het samenvatten van verslagen gingen we ervan uit dat alle Word-bestanden zich in dezelfde directory bevonden. Nu willen we veel meer bestanden verwerken, ook als ze zich in subdirectory’s bevinden. Daarom veranderen we de functie process_docx_files in:

De code kun je bekijken in het bestand gptcode-dl3.txt, te downloaden via deze pagina.

Met rglob krijgen we een lijst van alle paden die op .docx eindigen. We controleren dan nog voor de zekerheid of het om een bestand gaat en niet om een directory waarvan de naam eindigt op .docx. Daarna lezen we de inhoud met de functie read_docx die we vorige keer hadden gemaakt.

Sla in Visual Studio Code met Ctrl+S het script op onder de naam extract_tags.py en open een opdrachtregelvenster met het menu Terminal / New Terminal. Voer het programma hierin als volgt uit:

python extract_tags.py directorymetdocumenten

Vervang directorymetdocumenten door het daadwerkelijke pad waarin al je te analyseren documenten staan.

Grotere bestanden analyseren

Als je dit nu toepast op een directory met grotere documenten, crasht je Python-programma met een foutmelding zoals:

openai.error.InvalidRequestError: This model's maximum context length is 4097 tokens. However, your messages resulted in 4202 tokens. Please reduce the length of the messages.

Dat is een beperking van het model gpt-3.5-turbo, dat maar iets meer dan 4000 tokens kan verwerken. Met een ander model kunnen we meer tokens verwerken, maar allereerst willen we dat het programma niet meer crasht en gewoon doorgaat met de volgende teksten als één specifieke tekst te lang is. Vervang daarom de regel print(get_completion(text, SYSTEM_PROMPT)) helemaal op het einde door:

De code kun je bekijken in het bestand gptcode-dl3.txt, te downloaden via deze pagina.

Voor elk document dat te groot is, krijgen we nu nog altijd de foutmelding. Maar het programma gaat dan verder met het volgende document.

Zoals gezegd kunnen we ook nog het model in het begin van het programma vervangen:

DEFAULT_MODEL = "gpt-3.5-turbo-16k"

Dit 16K-model ondersteunt vier keer zoveel tokens, maar je betaalt er wel twee keer zoveel voor per token.

De taalmodellen van OpenAI bestaan in verschillende versies. Wil je langere documenten analyseren, dan betaal je meer.

Van onderwerpen naar tags

Als je de voorgaande code uitvoert, krijg je volledige zinnen of korte steekwoorden terug met beschrijvingen van de onderwerpen. Dat is niet onze bedoeling. We moeten dus in de systeemprompt duidelijk maken wat we wél willen: korte tags van één of twee woorden:

SYSTEM_PROMPT = "Geef de vijf belangrijkste tags die de volgende tekst beschrijven. Elke tag is één of twee woorden lang. Scheid de tags van elkaar door een komma."

Het resultaat is deze keer wel wat we verwachten, al slipt er soms een tag van drie woorden door. Maar als dat iets als ‘Raspberry Pi Pico’ is, zien we dat door de vingers. Als we deze tags verder willen verwerken, moeten we ze wel consistent maken. Daarvoor schrijven we een extra functie.

Nabewerking

Een voorbeeld maakt dit duidelijk. Stel dat ons programma de volgende tags uit een tekst haalt: Zigbee, Z-Wave, Bluetooth Mesh, Thread, Domoticaprotocollen. Dan willen we daar een lijst van maken met tags zigbee, z-wave, bluetooth-mesh, thread en domoticaprotocollen. Dat doen we met de volgende functie:

De code kun je bekijken in het bestand gptcode-dl3.txt, te downloaden via deze pagina.

De parameter tags is gewoon een string zoals ‘Domoticacontroller, Home Assistant, Raspberry Pi, Domoticatoestellen, Installatie’ die we van de OpenAI-API terugkrijgen. We splitsen die op elke komma, waardoor we een lijst met tags krijgen. Voor elke tag in die lijst halen we met strip() eerst alle spaties in het begin en eind weg, zetten we met lower() alle letters om naar kleine letters en vervangen we dan elke spatie in het midden door een koppelteken (-).

Om nu de tags te normaliseren, vervangen we de regel print(get_completion(text, SYSTEM_PROMPT)) op het einde van het script door:

De code kun je bekijken in het bestand gptcode-dl3.txt, te downloaden via deze pagina.

Je krijgt nu voor elk document de tags te zien in de vorm van een lijst in Python:

['zigbee', 'z-wave', 'bluetooth-mesh', 'thread', 'domoticaprotocollen']

Artikelen per tag

Tot nu toe gebruiken we de tags gewoon als een heel beknopte samenvatting van documenten. Maar we kunnen het ook omdraaien: na het extraheren van alle tags, kunnen we aan elke tag de documenten koppelen die door deze tag worden beschreven. Zo kunnen we achteraf heel eenvoudig opvragen welke documenten bij een specifieke tag horen.

Hoe doen we dit? Daarvoor vervangen we de hele for-lus op het einde van het programma door de volgende code:

De code kun je bekijken in het bestand gptcode-dl3.txt, te downloaden via deze pagina.

We maken dus eerst een lege dictionary documents aan. Daarna lopen we weer door alle bestanden met hun overeenkomstige tekst. We vragen aan de OpenAI-API om de tags uit te tekst te extraheren en we normaliseren die. Voor elke tag bekijken we dan of die al in de dictionary zit. Zo nee, dan voegen we die toe met als bijbehorende waarde een lege lijst. Daarna voegen we het pad van het geanalyseerde document aan die tag toe.

Uiteindelijk wanneer we alle bestanden op deze manier hebben geanalyseerd, bevat de dictionary documents tags met een lijst van bijbehorende bestanden. Die laten we nu tag na tag zien. En zo weet je onmiddellijk welke documenten je nodig hebt als je meer over een onderwerp wilt weten!

Kijk welke documenten over specifieke tags gaan.

Volgende week maandag het vierde deel van deze reeks! Hierin laten we ChatGPT in Python teksten vertalen en geschreven opdrachten omzetten in een computertaal.

Lees ook:

▼ Volgende artikel
Wintersport voorbij? Zo houd je je skikleding fris en waterdicht
© Gorilla
Huis

Wintersport voorbij? Zo houd je je skikleding fris en waterdicht

Na een week vol sneeuwpret, frisse berglucht en indrukwekkende pistes is je skikleding niet meer zo fris. Eenmaal thuis gekomen blijft de tas met vuile was liggen voor de wasmachine. Want hoe was je eigenlijk skikleding? Als je je kleding niet goed wast en opbergt, is de kans groot dat je volgend jaar niet zo warm en droog blijft tijdens de afdaling. Onze tips helpen je om je skikleding te wassen, drogen en veilig op te bergen voor volgend jaar.

Dit artikel in het kort: ⛷️ Wacht niet te lang met je skikleding wassen. ⛷️ Bereid de kleding voor op de wasbeurt. ⛷️ Was op lage temperaturen met weinig wasmiddel en geen wasverzachter. ⛷️ Impregneer de kleding. ⛷️ Droog de kleding in een geventileerde ruimte.

Lees ook: Dit wil je weten over de wasprogramma's van je wasmachine

Was snel na je weekje wintersport

Het op de juiste wijze je skikleding wassen is belangrijk: daardoor blijft de kwaliteit van de kleding goed. Ook blijft de kleding warm en waterdicht. Veel skikleding is gemaakt van kunststoffen, zoals polyamide en polyester. Deze stoffen zijn waterafstotend, sterk en licht. De kleding is van tevoren extra behandeld om ze waterdicht te maken, waardoor sneeuw of regen niet door de kleding komt. Was je de kleding verkeerd? Dan kan de beschermende functie verloren gaan. Je zweet en vuiligheid tasten de kleding namelijk aan. Laat je skikleding na wintersport dus niet te lang voor de wasmachine liggen.

Check voordat je gaat wassen altijd het wasetiket van de kleding. Dan weet je precies hoe het kledingstuk gewassen mag worden. Lees ook: Betekenis wassymbolen: wat zijn die wasvoorschriften?

©Lyudmila

Wasmiddel en voorbereiding

Gebruik weinig wasmiddel om je skikleding te wassen. En koop een speciaal wasmiddel voor sport- en outdoorkleding om zeker te weten dat het goed is of gebruik een fijnwasmiddel. Giet er geen wasverzachter bij, want dat is niet goed voor de kleding. Laat de kleding ook niet stomen en gebruik geen bleekmiddelen.

Bereid de kleding altijd eerst voor op de wasbeurt. Leeg alle zakken, sluit alle ritsen, knopen en klittenband om schade aan de stoffen te voorkomen. Zitten er vlekken op de kleding? Behandel deze eerst. Zorg dat de kleding binnenstebuiten de wasmachine in gaat. Ook belangrijk: doe de trommel niet te vol. Er moet voldoende ruimte zijn wil de kleding schoon worden.

Wassen met de wasmachine

Nu de kleding op de juiste wijze in de wasmachine zit, is het tijd om het juiste programma aan te zetten. Kies een programma met lage temperaturen, maximaal 30 °C. Hogere temperaturen kunnen ervoor zorgen dat de waterdichte coating beschadigd raakt. Zit er een speciaal programma op je wasmachine voor outdoor kleding? Kies dan dit programma. Het programma heeft een laag toerental bij het centrifugeren. Doe naast je skikleding geen andere kleding in de wasmachine.

©Oriol Roca

Waterdicht maken van de skikleding

Heb je voor deze wintersportvakantie net nieuwe kleding gekocht? Dan is de kans groot dat deze gewoon waterdicht is gebleven na de wasbeurt. Als je kleding wat ouder is, kan het zijn dat deze niet meer zo waterdicht is als voorheen. Misschien heb je tijdens het skiën of snowboarden wel gemerkt dat er wat vocht doorheen kwam. Was dan de kleding nog een keer, maar nu met een impregneermiddel. Of spuit de kleding in met een speciale waterdicht-spray.

Drogen en opbergen

Als er op het waslabel staat dat de skikleding in de droger mag, dan kun je de kleding zo laten drogen. Anders hang je de kleding op, of leg je die ergens plat neer. Dit doe je in een ruimte waar er genoeg ventilatie is. Hang de kleding niet op in de zon. Drogen op een verwarming kun je beter ook niet doen.

Het wasetiket geeft ook aan of je de kleding mag strijken, mocht je de behoefte hebben om je skibroek te strijken. Je mag de kleding dan op een lage temperatuur strijken. Omdat je de skikleding een lange tijd waarschijnlijk niet meer gebruikt, is het verstandig om de kleding goed op te bergen. Hang de kleding op aan een haakje in de kast of vouw de kleding losjes op, zodat het op een plank kan liggen. Daardoor haal je je kleding volgend jaar weer fris uit de kast, direct klaar om van de pistes te zoeven.

▼ Volgende artikel
Waar voor je geld: 5 nieuwe smartphones van Samsung
© Samsung
Huis

Waar voor je geld: 5 nieuwe smartphones van Samsung

Bij ID.nl zijn we dol op kwaliteitsproducten waar je niet de hoofdprijs voor betaalt. Een paar keer per week speuren we binnen een bepaald thema naar zulke deals. Ben je op zoek naar een gloednieuwe smartphone van Samsung? Deze toestellen zijn vers van de pers!

Samsung Galaxy S25

Samsung fabriceert zijn recent verschenen Galaxy S25 in meer dan twintig uitvoeringen. Op dit moment is het basismodel met 128 GB lokale opslag in de kleurstellingen groen, zilver, lichtblauw en donkerblauw breed verkrijgbaar. Wil je een toestel met meer opslagruimte, dan kun je een exemplaar met 256 GB (groen/zilver/lichtblauw/donkerblauw) of 512 GB (groen/zilver/lichtblauw/donkerblauw) opslag overwegen. De Galaxy S25 is naar huidige maatstaven een compacte smartphone met een amoledscherm van 6,2 inch. Pluspunten zijn de behoorlijke resolutie van 2340 × 1080 pixels en hoge vernieuwingsfrequentie van 120 hertz. Animaties en videobeelden verschijnen dus vloeiend in beeld.

Als alternatief voor Samsungs eigen processor gebruikt het Koreaanse merk voor de Galaxy S25-serie ditmaal een exemplaar van Qualcomm. Een goede keuze, want de Snapdragon 8 Elite is pijlsnel. Acht rekenkernen zijn afgeregeld op een maximale kloksnelheid van 4,47 GHz. Daarnaast heeft het toestel 12 GB RAM. Zoveel werkgeheugen is geen overbodige luxe, want je hebt toegang tot verschillende veeleisende AI-functies. De achterzijde heeft drie kwalitatieve camera's. Dankzij 3× optische zoom haal je objecten zonder pixelverlies dichterbij. Verder kun je zéér scherpe 8K-video's maken. Neem de Galaxy S25 gerust overal mee naartoe, want de aluminium behuizing is volledig water- en stofdicht.

Samsung Galaxy S25+

Onder de naam Galaxy S25+ brengt Samsung zijn nieuwe paradepaardje ook in een groter formaat op de markt. Het 6,7inch-amoledscherm telt 3120 × 1440 pixels. Deze hoge resolutie resulteert in een indrukwekkende pixeldichtheid van 513 ppi. Vergeleken met de eerder besproken Galaxy S25 (416 ppi)  scheelt dat aanzienlijk. Kijk dus naar haarscherpe Netflix-streams en YouTube-filmpjes. Door het nogal platte ontwerp valt het gewicht van 190 gram voor een smartphone van dit formaat erg mee. De behuizing voldoet aan de IP68-norm, waardoor het toestel bestand is tegen water en stof.

De processor, het werkgeheugen en de camera's zijn gelijk aan die van de Galaxy S25. Wel is er een ruimere accu met een capaciteit van 4900 mAh ingebouwd. Volgens het Koreaanse merk kun je daarmee tot dertig uur achtereen video's afspelen. Het basismodel van de plus-editie bevat met 256 GB bovendien meer opslag. Kies tussen de kleurstellingen groen, zilver, lichtblauw en donkerblauw. Verder is de Galaxy S25+ ook met 512 GB opslagruimte (groen/zilver/lichtblauw/donkerblauw) te koop. Meer weten? Lees dan onze Galaxy S25 Plus-review.

Samsung Galaxy S25 Ultra

Kan het jou niet groot genoeg? De Galaxy S25 Ultra is het recentste vlaggenschip van Samsung. Dankzij het riante 6,9inch-amoledscherm van 3120 × 1440 pixels heb je min of meer een minitablet in handen. De fabrikant levert dan ook een stylus mee. Daarmee maak je (aan)tekeningen en voer je nauwkeurige fotocorrecties uit. Ondanks het ruime formaat is de Galaxy S25 Ultra nogal licht. Dit apparaat van 218 gram kun je dan ook langdurig vasthouden. De accu heeft een respectabele capaciteit van 5000 mAh. Volgens de specificaties kun je daarmee tot 31 uur achtereen video's afspelen.

Aan rekenkracht geen gebrek! Net als de andere S25-modellen is de rappe Qualcomm Snapdragon 8 Elite verantwoordelijk voor de prestaties. Dat gecombineerd met 12 GB werkgeheugen zorgt ervoor dat je soepel complexe AI-taken uitvoert en veeleisende 3D-games speelt. Een verschil met de eerder besproken S25-toestellen is dat de camera van het Ultra-model 5× optische zoom ondersteunt. Je kunt dus zonder kwaliteitsverlies een eindje inzoomen. Het recente besturingssysteem Android 15 is voorgeïnstalleerd op een opslagdrager van 256 GB. Kies tussen een zwarte, grijze, zilverkleurige en blauwe uitvoering. Tegen een meerprijs is de Galaxy S25 Ultra ook met 512 GB (zwart/grijs/zilver/blauw) en zelfs 1 TB (zwart/grijs/zilver/blauw) verkrijgbaar. In onze Galaxy S25 Ultra-review lees je meer over dit model.

Samsung Galaxy S24 FE

Zoek je een betaalbare smartphone met een groot scherm en goede prestaties? Dan is de Samsung Galaxy S24 FE een uitstekende keuze. Samsungs eigen Exynos 2400e-processor vormt het hart van dit toestel. De genoemde chipset heeft maar liefst tien rekenkernen, waarbij de rapste core is geklokt op een snelheid van 3,1 GHz. Dankzij 8 GB werkgeheugen gebruik je probleemloos meerdere zware apps tegelijk. Bovendien kun je met dit toestel ook prima gamen. Een ander pluspunt is de lange updateondersteuning tot 31 oktober 2031.

De Galaxy S24 FE heeft een ruim amoledscherm van 6,7 inch. Met een resolutie van 2340 × 1080 pixels en vernieuwingsfrequentie van 120 hertz zijn de beeldprestaties dik in orde. De hoofdcamera ondersteunt een resolutie van 50 megapixel. Bovendien kun je tot 3× optisch inzoomen en in 8K-kwaliteit filmen. De goedkoopste uitvoering van de Galaxy S24 FE bevat 128 GB interne opslag. Kies tussen de kleuren zwart, blauw, groen en geel. Als je meer gegevens wilt opslaan, koop je een exemplaar met 256 GB opslagruimte (zwart/blauw/groen/geel). Lees voor meer informatie deze positieve review op ID.nl.

Samsung Galaxy A16 5G

De Samsung Galaxy A16 5G is goedkoop én heeft ook nog eens een lange verwachte levensduur. Het Koreaanse elektronicaconcern biedt namelijk tot 31 oktober 2030 updateondersteuning. Dit toestel is geschikt voor mensen die hun smartphone voornamelijk voor basistaken gebruiken, zoals appen, internetbankieren, fotograferen en eenvoudige spelletjes spelen. Het toestel bevat 128 GB interne opslag en 4 GB werkgeheugen. Je kiest tussen een donkerblauwe, lichtgrijze en groene versie. Als je meer gegevens wilt opslaan, prik je een eigen microSD-kaart van maximaal 1,5 TB in de behuizing.

Gunstig is het grote 6,7inch-amoledscherm van 2340 × 1080 pixels. Dat is ruim genoeg om onderweg bijvoorbeeld sportwedstrijden of tv-programma's te volgen. Voor fotografiedoeleinden heeft de Galaxy A16 5G in totaal vier camera's. De hoofdlens ondersteunt een resolutie van 50 megapixel. Je kunt alles dus haarfijn vastleggen! Het hier besproken model kan overweg met snelle 5G-netwerken. Heb jij genoeg aan 4G? In dat geval is de lager geprijsde Samsung Galaxy A16 4G een interessante kandidaat. Kies tussen de kleuren zwartgrijs en groen.