ID.nl logo
Programmeren in Python met ChatGPT - Deel 3
© Dahina - stock.adobe.com
Huis

Programmeren in Python met ChatGPT - Deel 3

In deel 2 van deze artikelreeks leerde je hoe je verslagen van vergaderingen kon samenvatten met de OpenAI-API in de programmeertaal Python. Maar je kunt nog meer: het taalmodel achter ChatGPT is in staat om teksten te analyseren en daaruit besproken onderwerpen te halen. Zo kun je documenten automatisch op onderwerp ordenen.

In dit derde deel laten we ChatGPT onze teksten analyseren om daaruit de onderwerpen te extraheren, zodat we zelf gemakkelijker onze teksten kunnen taggen of ordenen:

  • Eerst zorgen we ervoor dat de juiste bestanden gevonden worden
  • Daarna laten we de bestanden analyseren
  • Tot slot zorgen we ervoor dat de gevonden onderwerpen worden omgezet in tags

Lees ook: Weg met de chaos! Organiseer je bestanden met TagSpaces

Code downloaden In deze workshop worden wat voorbeelden van stukken code gegeven. Omdat overtikken van code erg foutgevoelig is, kun je die code beter downloaden en daarna bekijken of kopiëren. Via deze link kun je twee bestanden downloaden: het bestand extract_tags.py (dat het eindresultaat van deze workshop bevat) en het bestand gptcode-dl3.txt (dat alle losse opdrachten uit deze hele aflevering bevat).

In deel 2 zagen we al dat ChatGPT veel meer kan dan gewoon conversaties voeren. Het taalmodel draait zijn hand bijvoorbeeld niet om voor de taak om teksten samen te vatten. We kunnen dat principe in nog veel extremere vorm doorzetten: vraag om de besproken onderwerpen van een tekst te geven in enkele woorden. Dat is ideaal om automatisch tags aan teksten toe te kennen om ze daarna sneller terug te vinden. In dit deel realiseren we dit met de OpenAI-API in Python waar je ondertussen al wat vertrouwd mee bent.

Alle bestanden doorlopen

Kopieer het Python-script summarize_docx_files.py uit deel 2. Dit bestand gebruiken we als basis en passen we hier aan. Vervang allereerst de systeemprompt in het begin:

SYSTEM_PROMPT = "Beschrijf de vijf belangrijkste onderwerpen die in de volgende tekst besproken zijn."

We gaan de systeemprompt later nog verder aanpassen, want zoals we in de vorige delen van de reeks hebben gezegd, moet die prompt zo specifiek mogelijk zijn. Maar we moeten ergens beginnen.

Voor het samenvatten van verslagen gingen we ervan uit dat alle Word-bestanden zich in dezelfde directory bevonden. Nu willen we veel meer bestanden verwerken, ook als ze zich in subdirectory’s bevinden. Daarom veranderen we de functie process_docx_files in:

De code kun je bekijken in het bestand gptcode-dl3.txt, te downloaden via deze pagina.

Met rglob krijgen we een lijst van alle paden die op .docx eindigen. We controleren dan nog voor de zekerheid of het om een bestand gaat en niet om een directory waarvan de naam eindigt op .docx. Daarna lezen we de inhoud met de functie read_docx die we vorige keer hadden gemaakt.

Sla in Visual Studio Code met Ctrl+S het script op onder de naam extract_tags.py en open een opdrachtregelvenster met het menu Terminal / New Terminal. Voer het programma hierin als volgt uit:

python extract_tags.py directorymetdocumenten

Vervang directorymetdocumenten door het daadwerkelijke pad waarin al je te analyseren documenten staan.

Grotere bestanden analyseren

Als je dit nu toepast op een directory met grotere documenten, crasht je Python-programma met een foutmelding zoals:

openai.error.InvalidRequestError: This model's maximum context length is 4097 tokens. However, your messages resulted in 4202 tokens. Please reduce the length of the messages.

Dat is een beperking van het model gpt-3.5-turbo, dat maar iets meer dan 4000 tokens kan verwerken. Met een ander model kunnen we meer tokens verwerken, maar allereerst willen we dat het programma niet meer crasht en gewoon doorgaat met de volgende teksten als één specifieke tekst te lang is. Vervang daarom de regel print(get_completion(text, SYSTEM_PROMPT)) helemaal op het einde door:

De code kun je bekijken in het bestand gptcode-dl3.txt, te downloaden via deze pagina.

Voor elk document dat te groot is, krijgen we nu nog altijd de foutmelding. Maar het programma gaat dan verder met het volgende document.

Zoals gezegd kunnen we ook nog het model in het begin van het programma vervangen:

DEFAULT_MODEL = "gpt-3.5-turbo-16k"

Dit 16K-model ondersteunt vier keer zoveel tokens, maar je betaalt er wel twee keer zoveel voor per token.

De taalmodellen van OpenAI bestaan in verschillende versies. Wil je langere documenten analyseren, dan betaal je meer.

Van onderwerpen naar tags

Als je de voorgaande code uitvoert, krijg je volledige zinnen of korte steekwoorden terug met beschrijvingen van de onderwerpen. Dat is niet onze bedoeling. We moeten dus in de systeemprompt duidelijk maken wat we wél willen: korte tags van één of twee woorden:

SYSTEM_PROMPT = "Geef de vijf belangrijkste tags die de volgende tekst beschrijven. Elke tag is één of twee woorden lang. Scheid de tags van elkaar door een komma."

Het resultaat is deze keer wel wat we verwachten, al slipt er soms een tag van drie woorden door. Maar als dat iets als ‘Raspberry Pi Pico’ is, zien we dat door de vingers. Als we deze tags verder willen verwerken, moeten we ze wel consistent maken. Daarvoor schrijven we een extra functie.

Nabewerking

Een voorbeeld maakt dit duidelijk. Stel dat ons programma de volgende tags uit een tekst haalt: Zigbee, Z-Wave, Bluetooth Mesh, Thread, Domoticaprotocollen. Dan willen we daar een lijst van maken met tags zigbee, z-wave, bluetooth-mesh, thread en domoticaprotocollen. Dat doen we met de volgende functie:

De code kun je bekijken in het bestand gptcode-dl3.txt, te downloaden via deze pagina.

De parameter tags is gewoon een string zoals ‘Domoticacontroller, Home Assistant, Raspberry Pi, Domoticatoestellen, Installatie’ die we van de OpenAI-API terugkrijgen. We splitsen die op elke komma, waardoor we een lijst met tags krijgen. Voor elke tag in die lijst halen we met strip() eerst alle spaties in het begin en eind weg, zetten we met lower() alle letters om naar kleine letters en vervangen we dan elke spatie in het midden door een koppelteken (-).

Om nu de tags te normaliseren, vervangen we de regel print(get_completion(text, SYSTEM_PROMPT)) op het einde van het script door:

De code kun je bekijken in het bestand gptcode-dl3.txt, te downloaden via deze pagina.

Je krijgt nu voor elk document de tags te zien in de vorm van een lijst in Python:

['zigbee', 'z-wave', 'bluetooth-mesh', 'thread', 'domoticaprotocollen']

Artikelen per tag

Tot nu toe gebruiken we de tags gewoon als een heel beknopte samenvatting van documenten. Maar we kunnen het ook omdraaien: na het extraheren van alle tags, kunnen we aan elke tag de documenten koppelen die door deze tag worden beschreven. Zo kunnen we achteraf heel eenvoudig opvragen welke documenten bij een specifieke tag horen.

Hoe doen we dit? Daarvoor vervangen we de hele for-lus op het einde van het programma door de volgende code:

De code kun je bekijken in het bestand gptcode-dl3.txt, te downloaden via deze pagina.

We maken dus eerst een lege dictionary documents aan. Daarna lopen we weer door alle bestanden met hun overeenkomstige tekst. We vragen aan de OpenAI-API om de tags uit te tekst te extraheren en we normaliseren die. Voor elke tag bekijken we dan of die al in de dictionary zit. Zo nee, dan voegen we die toe met als bijbehorende waarde een lege lijst. Daarna voegen we het pad van het geanalyseerde document aan die tag toe.

Uiteindelijk wanneer we alle bestanden op deze manier hebben geanalyseerd, bevat de dictionary documents tags met een lijst van bijbehorende bestanden. Die laten we nu tag na tag zien. En zo weet je onmiddellijk welke documenten je nodig hebt als je meer over een onderwerp wilt weten!

Kijk welke documenten over specifieke tags gaan.

Volgende week maandag het vierde deel van deze reeks! Hierin laten we ChatGPT in Python teksten vertalen en geschreven opdrachten omzetten in een computertaal.

Lees ook:

▼ Volgende artikel
Firefox-profielen: zo houd je werk en privé netjes gescheiden
© Mozilla
Huis

Firefox-profielen: zo houd je werk en privé netjes gescheiden

In je browser lopen werk, bankzaken en privé al snel door elkaar. Voor meer overzicht is het slimmer om te scheiden wat je voor je werk doet en wat voor jezelf. In Firefox kan dat eenvoudig met verschillende profielen. In dit artikel lees je wat profielen zijn, waarom ze handig zijn en hoe je ze instelt.

🦊 Dit artikel in het kort

Met meerdere profielen in Firefox kun je werk, privé en andere activiteiten makkelijk scheiden. Elk profiel is een eigen omgeving met afzonderlijke gegevens, aanmeldingen en instellingen. Dat voorkomt verwarring tussen accounts, houdt je browser overzichtelijk en maakt testen of experimenteren veiliger. Je maakt profielen eenvoudig aan, wisselt er snel tussen en kunt ze zelfs afzonderlijk synchroniseren.

Lees ook: De handigste extensies om je browser mee uit te breiden

Wat is een Firefox-profiel?

Zie een profiel als een aparte kamer in je digitale huis. Net zoals je slaapkamer en keuken een eigen inrichting hebben, bewaart elk profiel zijn eigen instellingen, bladwijzers en add-ons. De gegevens van verschillende profielen staan los van elkaar en worden op een andere plaats op de schijf opgeslagen. Je kunt dus meerdere 'kamers' aanmaken: bijvoorbeeld één voor je werkaccount, een andere voor je persoonlijke mail en een derde voor experimenten. Vind je het nieuwe profielmenu niet in de werkbalk, dan kun je altijd about:profiles in de adresbalk typen om bij de profielbeheerder te komen.

Waarom zou je meerdere profielen gebruiken?

Het grote voordeel van meerdere profielen is dat alles netjes gescheiden blijft. Binnen één profiel wordt alles gedeeld: websites gebruiken dezelfde sessies, cookies, extensies en instellingen. Dat betekent dat je bijvoorbeeld voor je werk ingelogd blijft op een dienst zolang de cookie geldig is, ook al wil je diezelfde site later met een ander account bezoeken. Door voor werk en privé aparte profielen te gebruiken, blijft de aanmelding beperkt tot één omgeving en hoef je niet steeds uit te loggen om van account te wisselen. Werk en privé blijven letterlijk uit elkaar, zodat er geen onbedoelde overlap ontstaat tussen diensten of voorkeuren. Daarnaast is het prettig om een testprofiel te hebben waarin je nieuwe extensies of instellingen probeert zonder dat je stabiele omgeving daar last van heeft. Deel je de computer met huisgenoten of kinderen, dan kun je iedereen een eigen profiel geven zodat wachtwoorden, bladwijzers en webgeschiedenis niet door elkaar lopen.

Een nieuw profiel aanmaken

Een nieuw profiel aanmaken gaat snel. Klik in Firefox op het accountpictogram rechts bovenin, kies Profielen en vervolgens + Nieuw profiel. Er opent een tweede venster waarin je de naam van het nieuwe profiel invoert en eventueel een thema en avatar kiest. Firefox bewaart je wijzigingen direct en het nieuwe profiel verschijnt in de lijst. Zie je geen profieloptie, ga dan naar about:profiles en klik daar op Nieuw profiel aanmaken. Mozilla raadt aan de standaardlocatie voor het profiel te gebruiken. Kies je zelf een map, zorg dan dat die leeg is, omdat alles in die map wordt verwijderd als je het profiel ooit weggooit.

©Mozilla

Profielen beheren en personaliseren

Je kunt profielen verder naar wens aanpassen. Geef ze duidelijke namen zodat je snel kunt schakelen. Kies bij elk profiel een ander thema, zodat je aan de kleur van het venster ziet in welke omgeving je werkt. Via dezelfde menuknop wissel je tussen profielen: klik op je huidige profielnaam en selecteer het profiel dat je wilt openen. Een profiel hernoemen of verwijderen kan vanuit de profielbeheerder. Als je een profiel verwijdert, kun je ervoor kiezen de bijbehorende bestanden te bewaren. Dat is handig wanneer je later nog bladwijzers of wachtwoorden wilt terughalen. Denk eraan dat definitief verwijderen alle gegevens verwijdert; maak dus een back-up als je niet zeker weet of je alles kwijt wilt.

Profielen selecteren en synchroniseren

Wil je bij het starten van Firefox kunnen kiezen welk profiel er wordt gebruikt, dan vink je in de profielbeheerder de optie Een profiel kiezen wanneer Firefox wordt geopend aan. Let op: dit kan alleen wanneer je de profielbeheerder start als Firefox gesloten is, omdat dan geen enkel profiel in gebruik is. Verderop lees je hoe je dat doet.  Laat je deze instelling uit, dan opent Firefox automatisch met het laatst gebruikte profiel. De inhoud van profielen wordt niet automatisch naar andere apparaten gestuurd. Wil je je bladwijzers en wachtwoorden op meerdere computers gebruiken, maak dan voor ieder profiel een eigen Mozilla-account aan en schakel synchronisatie in. Het is niet mogelijk om met dezelfde account meerdere profielen op één apparaat te synchroniseren; zo wordt voorkomen dat gegevens door elkaar raken.

De profielbeheerder starten wanneer Firefox gesloten is

Via de opdrachtprompt kun je de profielbeheerder starten wanneer Firefox gesloten is. Druk daarvoor op de Windows-toets + R, typ firefox.exe -P en bevestig je met Enter. Het venster Gebruikersprofiel kiezen verschijnt, waarna je profielen kunt aanmaken, hernoemen of verwijderen. Ook kun je hier instellen dat een bepaald profiel automatisch gebruikt moet worden zodra Firefox wordt opgestart. Als je meerdere Firefox-installaties op één computer hebt, vervang je firefox.exe door het volledige pad naar de gewenste installatie. Je ziet ook de optie Offline werken; klik je die aan, dan wordt het geselecteerde profiel geladen en start Firefox zonder verbinding te maken met internet. Je kunt eerder bezochte websites bekijken en experimenteren met je profiel.

©ID.nl

Alternatief: containers

De add-on Multi-Account Containers houdt cookies, websitegegevens en aanmeldingen per container apart. Omdat er gewerkt wordt met tabbladen in verschillende kleuren, zie je meteen in welke container je zit. Dit is handig als je bijvoorbeeld een privérekening en een zakelijke rekening bij dezelfde webdienst hebt. Bladwijzers, extensies en instellingen blijven hierbij wel gemeenschappelijk. Containers zijn daardoor lichter en sneller dan volledige profielen, maar bieden minder afscherming. Voor de meeste gebruikers is een combinatie van beide praktisch: containers voor snelle scheiding van accounts en profielen voor volledige scheiding van omgevingen.

©Mozilla


Voor de allerkleinste Firefox-fans

Vrolijke vosjes om mee te knuffelen
▼ Volgende artikel
Review Xiaomi Redmi Pad 2 Pro – Capabel en betaalbaar
© Wesley Akkerman
Huis

Review Xiaomi Redmi Pad 2 Pro – Capabel en betaalbaar

De Xiaomi Redmi Pad 2 Pro is een Android-tablet, verkrijgbaar in twee configuraties. De adviesprijs is 299 euro voor 6 GB werkgeheugen en 128 GB opslagruimte of 349 euro voor 8 GB werkgeheugen en 256 GB aan ruimte. Wij hebben de laatstgenoemde variant getest.

Uitstekend
Conclusie

De Xiaomi Redmi Pad 2 Pro is een solide keuze voor wie een betaalbare en krachtige Android-tablet zoekt. De grootste pluspunten zijn het 12,1-inch matte Dolby Vision-scherm, de vier Dolby Atmos-speakers en de royale 12.000mAh-accu. De tablet leent zich uitstekend voor studenten en voor dagelijks gebruik, bijvoorbeeld voor streaming, lezen en lichte productiviteitstaken – zeker in combinatie met de accessoires. Minpunten zijn het trage opladen en het ontbreken van een IP-rating.

Plus- en minpunten
  • Accu met veel vermogen
  • Groot scherm dat weinig reflecteert
  • Optionele accessoires
  • Capabele processor
  • Goede prijs-kwaliteitverhouding
  • Lange software-ondersteuning
  • Omgekeerd opladen aanwezig
  • Opladen duurt lang (3 uur)
  • Niet stof- of waterdicht
  • Lage maximale helderheid

De Redmi Pad 2 Pro oogt verrassend hoogwaardig voor zijn prijs. Het aluminium frame en de matte achterkant geven hem een stevige, vingerafdrukbestendige afwerking, al is het oppervlak wat glad. Met een gewicht van 610 gram en een dikte van 7,5 millimeter ligt de tablet prettig in de hand: solide, maar toch goed draagbaar. Een IP-certificaat ontbreekt, maar daar staat een aantal handige extra's tegenover, zoals vier Dolby Atmos-speakers, een audiojack en ondersteuning voor micro-sd-kaarten.

Het 12,1-inch lcd-scherm met een resolutie van 2560 bij 1600 pixels valt meteen op door de matte, papierachtige afwerking. Dankzij de anti-reflecterende coating heb je nauwelijks last van schittering, waardoor lezen buitenshuis of in fel licht prettig blijft. De tablet biedt verder een verversingssnelheid van 120 hertz, ondersteuning voor Dolby Atmos en HDR10+, en verschillende instellingen die je ogen ontzien. Alleen de maximale helderheid van 500 nits had wat hoger mogen zijn.

©Wesley Akkerman

Veel vermogen

De Redmi Pad 2 Pro draait op de Snapdragon 7s Gen 4-processor, die in de praktijk zorgt voor vlotte en stabiele prestaties. De tablet verwerkt moeiteloos meerdere apps en tientallen browsertabs (op de achtergrond) zonder merkbare vertraging. De chip is krachtig genoeg voor 4K-videobewerking en veeleisende werktoepassingen. Daarnaast ondersteunt hij moderne verbindingsstandaarden als wifi 6 en bluetooth 5.4, en kun je de opslag eenvoudig uitbreiden met een micro-sd-kaart.

De accuduur is een sterk punt, dankzij de forse 12.000mAh-batterij. Daardoor kun je de tablet dagenlang gebruiken zonder tussentijds opladen, zeker als je hem slechts af en toe erbij pakt. Minder overtuigend is de laadsnelheid: met de meegeleverde 33W-lader duurt het ruim drie uur voordat hij volledig is opgeladen. Wel praktisch is de ondersteuning voor omgekeerd opladen, waarmee je de tablet als een powerbank voor andere apparaten kunt inzetten.

©Wesley Akkerman

Lange software-ondersteuning

De Xiaomi Redmi Pad 2 Pro draait op het overzichtelijke HyperOS 2, gebaseerd op Android 15, met een belofte van vijf Android-upgrades (en zeven jaar aan beveiligingsupdates!). De interface is schoon en maakt multitasking gemakkelijk; de tablet kan drie apps in splitscreen of maximaal vier zwevende vensters tegelijk beheren. Mocht je veel andere Xiaomi-apparaten in huis hebben, dan kun je die prima bedienen van dit apparaat, dankzij de Interconnectiviteit van Xiaomi.

De tablet heeft aan zowel de voor- als achterkant een 8MP-camera, allebei vooral bedoeld voor praktische toepassingen. Fotokwaliteit staat hier niet centraal: beelden ogen wat zacht en missen levendigheid en diepte. De achtercamera leent zich goed voor het scannen van documenten en legt tekst duidelijk vast. De frontcamera is helder genoeg voor videogesprekken in 1080p, ook bij weinig licht, al ligt de vaste focus wat te dicht bij het gezicht.

©Wesley Akkerman

Optionele accessoires

De optionele keyboardcover maakt van de Xiaomi Redmi Pad 2 Pro een volwaardige werktablet. De hoes verbindt via bluetooth, heeft een eigen batterij en dient tegelijk als standaard. De toetsen bieden voldoende travel (diepte) voor prettig typen, al ontbreekt achtergrondverlichting. Ook is er geen touchpad aanwezig. De cover beschikt over een eigen usb-c-poort voor het opladen en heeft ruimte voor een los verkrijgbare stylus.

Voor creatieve gebruikers en studenten is er de Redmi Smart Pen. Deze stylus ondersteunt 4096 drukniveaus en benut de 240Hz-touchsampling van het scherm, waardoor schrijven en tekenen soepel aanvoelt. De pen maakt eveneens verbinding via bluetooth en heeft twee knoppen. Opladen gebeurt via een eigen usb-c-poort; magnetisch opladen via de tablet is niet mogelijk.

©Wesley Akkerman

Xiaomi Redmi Pad 2 Pro kopen?

De Xiaomi Redmi Pad 2 Pro is al met al een solide keuze voor wie een betaalbare en krachtige Android-tablet zoekt. De grootste pluspunten zijn het 12,1-inch matte Dolby Vision-scherm, de vier Dolby Atmos-speakers en de royale 12.000mAh-accu. De tablet leent zich uitstekend voor studenten en voor dagelijks gebruik, bijvoorbeeld voor streaming, lezen en lichte productiviteitstaken – zeker in combinatie met de accessoires. Minpunten zijn het trage opladen en het ontbreken van een IP-rating.