ID.nl logo
 Kunstmatige intelligentie (AI) in beeld: Stable Diffusion
Huis

Kunstmatige intelligentie (AI) in beeld: Stable Diffusion

De afgelopen maanden veroverde een nieuw stukje kunstmatige intelligentie (oftewel Artificial Intelligence, of AI) de wereld. De naam: Stable Diffusion. Wat is het, wat kan het en hoe kun je met deze grafische AI aan de slag?

Stable Diffusion is in een rap tempo uitgegroeid tot een van de populairste stukjes kunstmatige intelligentie. In dit artikel praat ID.nl jou bij. We behandelen onder andere het volgende:

  • De toegevoegde waarde 
  • Google Colab
  • Parameters
  • Wil jij meer leren over AI? Lees dan: AI genereert video's

Waar de kunstmatige intelligentie (AI) achter Dall-E 2 geheim is, werd enkele maanden geleden een opensource-alternatief gepubliceerd waarmee iedereen – zelfs op vrij bescheiden eigen hardware – afbeeldingen kan maken op basis van een Engelse beschrijving (prompt genaamd). 

Het moois heet Stable Diffusion (of kortweg SD) en de publicatie ervan zorgde voor veel discussie, want sommigen vonden dat je zo’n krachtig stuk gereedschap niet zomaar aan iedereen beschikbaar kunt stellen vanwege mogelijk misbruik. Ondertussen beleven echter miljoenen mensen plezier aan SD en worden er allerlei prachtige nieuwe programma’s omheen gebouwd terwijl dat beoogde misbruik minimaal lijkt. 

 

In dit artikel bekijken we de verschillende manieren om online of op je eigen pc met SD aan de slag te gaan. 

 Lees ook: Google, Microsoft en ChatGPT: de AI-strijd barst los

Instapmodel 

Omdat SD opensource is, wemelt het ondertussen van de aanbieders. Bij sommige partijen betaal je iets voor het gebruik van hun hardware, maar er zijn online ook gratis mogelijkheden, zoals het absolute instapmodel dat luistert naar de naam VoiceArt en dat iedereen met een smartphone gratis kan gebruiken (iOS, Android ). 

 

De naam verwijst naar het feit dat je je prompts zelfs kunt inspreken. Intypen kan echter ook en wanneer we A cute kitten invoeren, verschijnt al snel een afbeelding van een jong katje. Ben je niet tevreden over het resultaat, dan tik je simpelweg op het pictogram rechtsboven waarna SD een nieuwe afbeelding genereert. Ben je wel tevreden dan kun je het plaatje onder andere opslaan, mailen en delen via Instagram of Whatsapp.  

Maar hoe kan SD eigenlijk steeds een ander plaatje maken uit één opdracht? 

De eenvoudigste manier om SD te gebruiken is via VoiceArt. 

 

Toegevoegde waarde 

Een zeer interessant alternatief voor VoiceArt is Wombo Dream. Deze kun je online gebruiken (dream.ai) of via een iOS- of Android-App. Dream draait al langer mee en maakt daarom naast SD gebruik van allerlei oudere AI. Voordat je in Dream een plaatje maakt moet je een visuele stijl kiezen. Kies je voor Realistic dan gebruik je SD in pure vorm. Andere stijlen voegen (onbekende) trefwoorden toe aan je prompt om het uiterlijk te beïnvloeden. Sommige stijlen gebruiken SD en anderen een oudere (en zeer veel tragere) AI. Je merkt dus snel genoeg met welke je te maken hebt.  

 

Een test 

Als voorbeeld maken we een plaatje met de meer uitgewerkte prompt a painting of a city street at night, a detailed matte painting by Evgeny Lushpin, featured on cg society, american scene painting, matte drawing, matte painting, concept art met stijl Realistic. Zoals je ziet verschijnt het resultaat razendsnel. 

In de app zie je bij sommige stijlen het woord Premium. Deze zijn alleen beschikbaar voor betalende gebruikers (€ 5,49 per maand of eenmalig € 119,99). Betalende gebruikers hebben als bijkomend voordeel dat Dream per prompt vier afbeeldingen genereert en je prompt-geschiedenis onthoudt. Bovendien kunnen ze Dream gebruiken op het Discord-platform. Een nadeel van Dream is dat je geen controle hebt over instellingen en dat uitvoer altijd in portret-formaat is, wat bij SD lang niet altijd ideaal is. Op dit moment rollen de makers van Dream ook DreamBooth uit, een techniek om eigen beeld aan SD toe te voegen. 

 

Wombo Dream biedt allerlei voorgebakken stijlen. 

Het resultaat valt niet tegen maar het beeldformaat is niet ideaal. 

Van de makers 

Om fondsen te werven voor meer gratis AI biedt het bedrijf achter SD ook een mogelijkheid om de AI online te gebruiken genaamd Dream Studio. In tegenstelling tot de vorige aanbieders heb je hier toegang tot allerlei parameters waarmee je het resultaat kunt beïnvloeden en waar we later op terug komen. Ook kun je gebruik maken van een bestaande afbeelding als startpunt en van inpainting; het veranderen van een deel van een plaatje door middel van een prompt. Na het maken van een account krijg je een aantal gratis credits om het systeem te leren kennen en daarna kun je voor $10 duizend credits kopen, genoeg voor evenveel plaatjes in standaardformaat. 

 

We testen Dream Studio met een prompt voor een meer abstract werkje: abstract transcendental bubbles, by ernie barnes, michael hutter, don maitz, tim white and craola

In Dream Studio heb je toegang tot allerlei parameters voor meer controle over het resultaat. 

Volop keus 

De laatste gebruiksvriendelijke online aanbieder van SD die we willen noemen is Nightcafe. Ook Nightcafe stelt je in staat om allerlei parameters van SD in te stellen. Bovendien heb je – net als bij Wombo - de beschikking over zogeheten presets waarmee je makkelijk bepaalde visuele stijlen kunt creëren. 

 

Heb je een gratis account gemaakt bij deze dienst dan heb je als grote voordeel dat je er ook gebruik kunt maken van Dall-e 2 en van oudere modellen zoals VQGAN+CLIP. Zo’n ouder model levert niet het realisme van SD maar kan creatief gezien wel interessant zijn. Bijkomend voordeel van Nightcafe is dat je credits kunt krijgen voor gepubliceerde plaatjes en er daarnaast sowieso dagelijks 5 krijgt. Wil je meer credits gebruiken dan je gratis kunt verdienen dan kun je ofwel een abonnement afsluiten vanaf $9,99 per maand voor 100 credits of credit packs kopen. Dream Studio is aanzienlijk goedkoper maar geeft alleen toegang tot SD. 

Nightcafe is wat duurder maar biedt verschillende AI en geeft dagelijks gratis credits. 

Colab 

Hebben de voorbeelden van de verschillende online aanbieders je belangstelling gewekt maar wil je meer en gratis dan kan dat online via Google Colab. Dankzij het Open Source-karakter van SD wemelt het inmiddels van de afstammelingen en varianten zodat het lastig is om te kiezen welke je het best kunt gebruiken. Een goede is Deforum waarmee je naast plaatjes ook animaties kunt maken (wat wij hier overigens niet zullen doen). 

 

Er zijn twee vereisten. Je moet een Google-account hebben (en dus een Google Drive) en je moet een account hebben bij Hugging Face. Heb je die niet dan kun je rechtsboven op deze site kiezen voor Sign Up

 

Nu kun je op huggingface.co/CompVis/stable-diffusion-v-1-4-original het getrainde model van SD downloaden. Log daarvoor zo nodig in en accepteer de voorwaarden. Hierna kun je het bestand sd-v1-4.ckpt (circa 4 GB) downloaden. Ga vervolgens naar je Google Drive en maak daar een map AI en daaronder een map models en een map output. Upload het cktp-bestand naar de map models

 

Colab gebruiken 1 

Ga nu naar colab.research.google.com/github/deforum/stable-diffusion/blob/main/Deforum_Stable_Diffusion.ipynb.  

 

Een Colab werkblad bestaat uit verschillende cellen die elk een afspeelknop hebben. Klik op de bovenste (bij NVIDIA GPU). Bij het eerste gebruik moet je toestemming geven om het werkblad uit te voeren. Als de cel is uitgevoerd krijgt deze een groen vinkje. Je ziet nu het type GPU dat je in de gratis versie van Colab toegewezen hebt gekregen, vaak een Tesla T4. Die is krachtig genoeg om SD te gebruiken. Vervang in de tweede cel op de eerste twee regels /content door /AI en voer de cel uit. Zoals je ziet worden de namen van de mappen daaronder automatisch aangepast. Voer nu de derde cel uit (Setup Environment) en als deze klaar is cel 4 (Python Definitions).  

Een Colab script lijkt lastig maar is voornamelijk een kwestie van op afspeelknoppen klikken. 

 

Colab gebruiken 2 

Heeft cel 4 ook een groen vinkje dan voer je cel 5 uit (Select and Load). Dat duurt eenmalig enkele minuten omdat je model van SD wordt gecontroleerd en er het een ander moet worden geïnstalleerd op het Colab-systeem (dus niet op je eigen pc!). 

 

Zoals gezegd ondersteunt Deforum animatie en de instellingen daarvoor vind je in cel 6. Meer informatie hierover vind je op dreamingcomputers.com/deforum-stable-diffusion/deforum-stable-diffusion-settings/. Wij voeren cel 6 uit zoals hij is. Let op: de volgende cel (Prompts) heeft nummer 9. Voer ook deze uit. Voer tot slot cel 10 (Run) uit en scroll naar beneden. Je ziet nu achter elkaar twee afbeeldingen verschijnen die corresponderen met de twee rode prompts in cel 9. 

 

Wil je nieuwe plaatjes maken dan vervang je de rode prompts simpelweg door andere (meer dan twee kan ook) en voer je de cellen 9 en 10 opnieuw uit. Ga je naar je Google Drive dan vind je in de map AI/StableDiffusion mappen met gegenereerde plaatjes. Mocht je instellingen willen bewaren voor een volgend gebruik dan kun je een Colab-werkblad ook kopiëren naar je Google Drive (knop bovenaan werkblad) en hem vervolgens vanaf daar starten.  

De gemaakte plaatjes verschijnen onderaan het script… 

…en op je Google Drive. 

SD Lokaal 

Verreweg de meest veelzijdige manier om SD te gebruiken is op je eigen pc via Stable Diffusion WebUI. Deze werkt al op grafische chips van nVidia met 4 GB geheugen (maar ook op GPU’s van AMD al heeft dat niet de voorkeur). Om WebUI te kunnen gebruiken moeten we enkele voorbereidingen treffen.  

Allereerst downloaden we de Python-versie die wordt genoemd op github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Dependencies. Op moment van schrijven is dat de 64-bit Windows-installer 3.10.6. Start deze, zet een vinkje bij Add Python to PATH en rond de installatie af. De tweede vereiste component is de 64-bit installer van Git die je vindt op git-scm.com/download/win

 

Open na installatie daarvan een Opdrachtprompt door cmd in het zoekvak van Windows te typen. Vervolgens ga je naar de root van de schijf waar je WebUI wilt installeren (met bijvoorbeeld cd c:\ of cd d:\). Hier geef je het commando git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git dat je desgewenst kunt kopiëren en plakken vanaf de WebUI-site. 

 

Model installeren 

Er is nu een nieuwe map aangemaakt met de naam Stable-Diffusion-WebUI. Daaronder vind je een map models\Stable-diffusion. We moeten nu de AI downloaden en installeren. Dat kan met de methode die we hierboven beschreven bij Colab voorbereiden, maar op github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Dependencies vind je nog een alternatieve link die geen account bij Hugging Face vereist en een torrent-link. 

 

Heb je op één van deze manieren sd-v1-4.ckpt gedownload dan kopieer je deze vervolgens naar bovengenoemde map. Optioneel kun je ook nog GFPGAN v1.4 downloaden en deze kopiëren naar de map Stable-Diffusion-WebUI. GFPGAN is een aanvullende AI die gezichten kan verbeteren die SD heeft gemaakt. 

 

We zijn er bijna. Ga in Verkenner naar Stable-Diffusion-WebUI en dubbelklik op webui-user.bat. Dit bat-bestand zal de rest van de benodigde componenten automatisch downloaden en installeren. De eerste keer duurt dat even. Aan het eind zie je in het cmd-venster een lokaal web-adres http://127.0.0.1:7860/. Kopieer dit, open je browser en plak het in de adresbalk. En daar is je werkende WebUI, waar we bovenin een prompt kunnen invullen die met een klik op Generate tot plaatje wordt omgetoverd. 

Webui-user.bat stelt automatisch alles voor je in. 

Onze eerste creatie in SD op onze eigen WebUI. 

 

Parameters 1 

Bij VoiceArt en Dream kun je niets zelf aanpassen maar bij Dream Studio, Nightcafe, Colab en WebUI heb je (vrijwel) dezelfde parameters waarmee je afbeeldingen kunt beïnvloeden. We behandelen er enkele aan de hand van WebUI. Onder het promptvak biedt WebUI de optie om ‘negatieve prompts’ op te geven; dingen die je juist niet wilt zien. Dit kan helpen om tekst of lijstjes te vermijden die soms je resultaat ontsieren. 

 

Sampling Steps bepaalt hoe snel het plaatje wordt gegenereerd. Er is een verband tussen deze parameter en CFG Scale die je wat lager ziet. De standaardwaarden van 7 en 20 werken vaak goed. Een groter aantal Sampling Steps maakt het resultaat niet per se beter maar meestal wel anders. CFG Scale bepaalt hoe strikt SD zich aan de prompt moet houden. Hogere waarden vergen vaak ook wat meer Sampling Steps, bijvoorbeeld 12 en 40 is ook een goede combinatie. 

Spelend met CFG Scale en Sampling Steps kun je resultaten beïnvloeden, zoals hier 7 en 20… 

…of 12 en 40. 

 

Parameters 2 

Telkens wanneer je op Generate klikt krijg je met dezelfde prompt een ander plaatje omdat het startgetal (seed) willekeurig wordt gekozen. Vul je bij Seed een vast getal in, bijvoorbeeld 100, dan kun je toch nog meer verschillende plaatjes krijgen door een andere Sampling Method te selecteren. Deze bepaalt de manier waarop SD vanaf de oorspronkelijk ruis tot zijn resultaat komt. 

 

Alhoewel je bij exact dezelfde instellingen ook exact het zelfde plaatje krijgt, zal dit zelfs al afwijken wanneer je de waarden van Width en Height aanpast. Wanneer je aan een prompt wilt gaan sleutelen is het dan ook raadzaam om meteen te beginnen in de gewenste resolutie. 

 

Met 512x512 zul je altijd het beste resultaat bereiken maar zeker landschapsformaat (bijvoorbeeld 768x512) werkt meestal ook uitstekend. Bij portretformaat (zoals 512x768) moet je vaak wat meer experimenteren met parameters om een overtuigend resultaat te krijgen. Heb je GFPGAN geïnstalleerd dan kun je deze bij Settings/Face restoration activeren. Zet je vervolgens een vinkje bij Restore Faces op het tabblad Txt2Img dan kan deze menselijke portretten voor je verbeteren. Alle afbeeldingen die je maakt worden automatisch opgeslagen in een map outputs onder de programmamap. 

Twee hoofden zijn niet ongebruikelijk in portretmodus. Spelen met parameters kan helpen. 

Afsluiten 

Om WebUI te sluiten ga je naar het venster met de Opdrachtprompt en daar toets je Ctrl-C en antwoord je Y op de gestelde vraag. Vervolgens kun je de Opdrachtprompt en het browservenster sluiten. 

 

Wil je WebUI later weer gebruiken dan start je opnieuw webui-user.bat en open je in de browser weer http://127.0.0.1:7860/. De vele extra mogelijkheden die WebUI biedt (zoals inpainting, het gebruik van DreamBooth om jezelf aan de AI toe te voegen en meer) moeten we voor nu helaas onbesproken laten maar hopelijk heb je de smaak voldoende te pakken om zelf verder te experimenteren. 

▼ Volgende artikel
Review JBL Flip 7 – Kleine speaker speelt luider dan ooit
© JBL
Huis

Review JBL Flip 7 – Kleine speaker speelt luider dan ooit

De Flip 7 voegt heel wat toe aan het beproefde succesrecept van JBL. Is dat voldoende om de iconische bluetooth-speaker weer de publieksfavoriet te maken? Dat lees je in deze review.

Fantastisch
Conclusie

Met een prijs van bijna 150 euro is de Flip 7 niet de goedkoopste bluetooth-speaker die je kunt aanschaffen. Je krijgt wel heel wat voor die prijs. Want niet alleen is deze JBL heel goed opgewassen tegen een slechte behandeling, hij projecteert muziek met veel emotie de kamer in. Ook voor buiten in de tuin of het strand heeft de Flip 7 de power om een feestje te bouwen. Het betere batterijleven en de gecontroleerde bassen van deze generatie zijn mooie upgrades ten opzichte van de Flip 6, al vind je misschien die oude versie voor een veel lagere prijs. Dan is het afwegen wat je belangrijk vindt. 

Plus- en minpunten
  • Goede accuduur
  • Speelt loeihard voor zo'n klein ding
  • IP68-label
  • Veel kleurkeuzes
  • Auracast
  • Op wat afstand geplaatst krachtige kamervuller
  • Relatief hoge prijs
  • Niet de lichtste speaker
  • Lus en karabijnhaak geen grote vernieuwing

Met de Flip 7 brengt JBL een update uit voor een wel zeer populaire bluetooth-speaker. Zoals die '7' al aangeeft, is dat verre van de eerste keer dat dit gebeurt. Deels gaat het dan om kleuren en design, zodat een nieuwe Flip helemaal de laatste trends volgt. Maar ook deze keer weet het bedrijf weer op technisch vlak wat verbeteringen toe te voegen. Auracast en AI Sound Boost zijn de belangrijkste, naast een verhoogde batterijduur van 16 uur.

Beschikbaar in zeven kleuren 

Even belangrijk zijn de nieuwe kleurtjes, met een weelderig paars als de opvallendste. Een 'Squad' camouflage-editie ontbreekt ook niet, terwijl een oranje randje rond het JBL-letterlogo een subtielere toevoeging is. De adviesprijs blijft 149,99 euro, dat blijft onveranderd.

©JBL

De Flip 7 is verkrijgbaar in zeven kleuren, waaronder een aantal nieuwe.

Het design van de Flip is grotendeels onveranderd gebleven sinds de eerste versie uit 2012. Ook de Flip 7 is een kleine cilinder, ongeveer even groot als een blik bier van een halve liter. Je kunt hem neerleggen of recht plaatsen. En aan elke uiteinde vind je een (passieve) woofer met het JBL-logo. Zodra je muziek iets luider zet, zie je ze heen en weer dansen. Een iconische gimmick mag je het noemen, maar het verhoogt wel de fun-factor. Hetzelfde design zie je ook terugkomen bij de grotere bluetooth-speakers van JBL, zoals de even nieuwe Charge 6 en de Xtreme 4.  

Met haak of lus te gebruiken

Niet zoveel veranderingen op designvlak dus. Maar details zijn belangrijk en dat is ook waar JBL zijn pijlen op richt. Een opvallend toevoeging is de mogelijkheid om een lus van stevig textiel of een karabijnhaak aan de speaker vast te maken. Beide accessoires vind je in de doos. Hoewel je de haak of lus kunt verwijderen via een kliksysteem, zit het muurvast genoeg om de Flip 7 zorgeloos aan een rugzak te hangen. 

©JBL

De haak of lus zit muurvast via een handig mechanisme.

Bestand tegen water en stof 

De Flip 7 is gemaakt om overal mee naartoe te nemen. Het IP68-etiket maakt duidelijk dat er weinig is waar deze speaker niet tegen kan. Stof en water deren hem niet gauw. Je kunt deze speaker in het (ondiepe) zwembad laten vallen en hem gewoon daarna weer gebruiken. De Flip 7 is daarmee ook net iets meer waterbestendig dan zijn voorganger. De hele behuizing is bovendien heel robuust, met dikke rubberen dopje aan de uiteinden. Het geeft echt de indruk dat je deze bluetooth-speaker niet gauw kapot zou krijgen. Handig op de camping, maar ook gewoon thuis in een tienerkamer.

©Jamie Biesemans

In de JBL Portable-app vind je niet veel opties.

Zeer goede batterijduur

Qua vermogen gaat de Flip 7 er niet echt op vooruit, maar 35 W is wel indrukwekkend voor zo'n klein ding. Door het gebruik van AI Sound Boost kan de speaker wel luid én helder blijven spelen, wat best indrukwekkend is. AI is natuurlijk een geweldig buzzwoord momenteel; hier worden AI-algoritmes in ieder geval gebruikt om de woofer en tweeter optimaal te laten presteren. Playtime Boost heeft ook een impact op de klank. Schakel dit via de JBL Portable-app in en de speelduur wordt verlengd van 14 tot maximaal 16 uur. Houd er wel rekening mee dat je dan geen audiopreset van de equalizer kunt gebruiken.

Bouw een feestje met meerdere speakers

De JBL Portable-app heb je eigenlijk niet echt nodig om de speaker te bedienen, tenzij je via de equalizer nog de klank wilt aanpassen of een stereopaar wil vormen met een tweede Flip 7. Je kunt daarnaast meerdere compatibele JBL-speakers koppelen zodat ze allemaal dezelfde muziek spelen. Leuk om op een feestje met vrienden een groot muzieksysteem te bouwen. Dit kon vroeger ook al, via PartyTogether in de app, maar nu voegt JBL ook Auracast aan de Flip 7 (en de Charge 6) toe. Je kunt echter geen oude en nieuwe speakers combineren.

©Jamie Biesemans

De Auracast-knop licht op als je deze functie gebruikt.

Even tikken op het knopje met het A-logo op de speaker volstaat zo om de Flip 7 een Auracast-stream te laten afspelen. En je kunt compatibele speakers blijven toevoegen, er lijkt geen rem op het aantal te staan.

Luider zonder vervorming

Op het vlak van geluidskwaliteit is de Flip 7, onder andere dankzij AI Sound Boost, een indrukwekkende speaker geworden. Zelfs als je hem hard zet, wordt muziek open neergezet – zeker als je rekening houdt met het formaat van deze speaker. JBL opteert natuurlijk graag voor wat extra bass, wat de Flip 7 heel geschikt maakt voor feestjes of om even stoom af te blazen tussen het studeren door.

Lage tonen zijn vaak het moeilijkst voor kleine speakers, maar hier kun je dankzij de diepe audiokennis van JBL rekenen op bassen die merkbaar aanwezig zijn. Stemmen worden goed geplaatst, waardoor je helder podcasts kunt beluisteren.

©JBL

De speaker klinkt ook buiten zeer goed.

Warmer geluid

Door zijn kleinere formaat en relatief eenvoudige opbouw (met slechts één tweeter) is de Flip 7 wel nogal directioneel. Dat heb je vaak bij dit type speakers. Heel dichtbij hoor je het snel doffer worden als je wat schuiner gaat zitten. Ideaal is als je de Flip 7 wat verder weg plaatst en met het JBL-logo naar je feestgezelschap richt. Dan wordt Stromae's 'Ma Meilleure Ennemie' van het tweede seizoen van het indrukwekkende 'Arcane' heel vol in de kamer geplaatst, met een afgemeten beat die de track zijn snelheid geeft. Het is zeker een warm geluid, wat het heel oorvriendelijk maakt als 'Colors' van Black Pumas in de achtergrond speelt. Als het gaat om een feestje of gewoon een gezellig moment, dan doet de Flip 7 uitstekend zijn werk.

Conclusie

Met een prijs van bijna 150 euro is de Flip 7 niet de goedkoopste bluetooth-speaker die je kunt aanschaffen. Je krijgt wel heel wat voor die prijs. Want niet alleen is deze JBL heel goed opgewassen tegen een slechte behandeling, hij projecteert muziek met veel emotie de kamer in. Ook buiten heeft de Flip 7 de power om een feestje te bouwen. Het betere batterijleven en de gecontroleerde bassen van deze generatie zijn upgrades ten opzichte van de Flip 6, al vind je misschien die oude versie voor een veel lagere prijs. Dan is het afwegen wat je belangrijk vindt. 

▼ Volgende artikel
Bedien je slimme apparaten met een zelfgebouwd touchscreen
© InfiniteFlow - stock.adobe.com
Huis

Bedien je slimme apparaten met een zelfgebouwd touchscreen

Houd je van knutselen én automatiseer je alles in en om je huis met Home Assistant? Kijk dan zeker eens naar ESPHome. Je kunt eindeloos variëren met componenten. Dankzij de koppeling met Home Assistant bouw je gemakkelijk en voor weinig geld een lichtschakelaar of sensor, om maar wat te noemen. De LVGL-bibliotheek zorgt ervoor dat je nu ook eenvoudig met een touchscreen en zelfbedachte gebruikersinterface kunt werken. We laten zien hoe dat werkt met tips voor passende projecten.

In dit artikel laten we zien hoe je een touchscreen-interface bouwt voor Home Assistant met ESPHome en LVGL:

  • Installeer ESPHome en configureer een ESP32-microcontroller voor je project
  • Sluit een touchscreen aan en stel de juiste GPIO-pinnen en drivers in
  • Gebruik LVGL-widgets voor een interactieve interface
  • Integreer je touchscreen met Home Assistant voor directe bediening van je slimme apparaten

Lees ook: 5 fouten die je niet moet maken in je smarthome

Code downloaden

In dit artikel staat een voorbeeld van wat YAML-code. Omdat YAML erg gevoelig is voor foute spaties, kun je die code beter downloaden en daarna bekijken of kopiëren. In het bestand espcode.txt staan alle regels voorbeeldcode zoals ze in dit artikel aan bod komen. Maar je vindt ook een uitgewerkt voorbeeld in het bestand cyd-demo.yaml. Beide bestanden zijn hier te downloaden.

Uitgewerkt voorbeeld

Het meest uitgewerkte voorbeeld voor de demo met LVGL vind je op deze GitHub-pagina van auteur Gertjan Groen. In de code die je kunt downloaden (ook in het losse bestand cyd-demo.yaml) hebben we ook de RGB-led op de achterzijde toegevoegd, die je bijvoorbeeld als statusmelding kunt gebruiken. Verder is een timer toegevoegd om de backlight te regelen, zodat deze bij inactiviteit wordt uitgeschakeld. Tot slot laten we zien hoe je de GPIO-pinnen kunt gebruiken via de I2C-bus. Op de GitHub-pagina vind je nog meer handige informatie.

ESPHome maakt het heel makkelijk om apparaten te maken voor een slim huis, zoals je eigen sensors. Zo bouwden we eerder al eens een luchtkwaliteitsmonitor, een infraroodzender/ontvanger en een controller met drukknoppen en leds, waarmee je apparaten kunt bedienen en de status aflezen. Hoe je dat doet, lees je in dit artikel: Zo maak je met ESPHome apparaten geschikt voor je smarthome.

De basis voor ESPHome is een kleine, voordelige en zuinige microcontroller, meestal de ESP32. ESPHome ondersteunt enorm veel componenten en biedt daardoor haast onbegrensde mogelijkheden. We helpen je kort op weg met ESPHome, maar gaan ook meteen een stapje verder met de toevoeging van een touchscreen en de LVGL-bibliotheek. Daar kun je sinds augustus 2024 officieel gebruik van maken binnen ESPHome.

Met LVGL kun je aan de hand van widgets een grafische gebruikersinterface opbouwen en weergeven (zie kader ‘Grafische interfaces met widgets’). Soms kom je de term HMI (Human Machine Interface) tegen, waarmee een grafische gebruikersinterface voor het bedienen van apparatuur wordt bedoeld.

De kracht van ESPHome is dat je niet alleen lokaal aangesloten apparaten bedienbaar kunt maken, bijvoorbeeld via een relais, maar ook alle apparaten die je binnen Home Assistant gebruikt.

Grafische interfaces met widgets

LVGL staat voor Light and Versatile Graphics Library. Het is een opensource-bibliotheek die sinds 2016 bestaat. Je kunt ermee werken binnen ESPHome, Arduino, Tasmota en openHASP. Het laatste project is zelfs specifiek bedoeld voor microcontrollerfirmware met LVG.

De bibliotheek is heel licht, waardoor het soepel en snel kan werken op apparaten met beperkte capaciteit, bijvoorbeeld met een microcontroller. Bovendien kan LVGL flexibel met verschillende lay-outs, schermformaten en invoermethodes werken. Naast touchscreens kun je ook bijvoorbeeld muis, toetsenbord, losse knoppen en draaiknoppen toevoegen.

Via meer dan dertig widgets kun je een grafische gebruikersinterface opbouwen. Het uiterlijk is via thema’s en stijlen eenvoudig aan te passen. Bovendien kun je met animaties werken.

LVGL wordt gebruikt in slimme apparaten zoals thermostaten, smartwatches en keukenapparatuur, en zelfs in touchscreens voor industriële omgevingen. Op de website vind je enkele interactieve demo’s voor bekende toepassingen, waarbij de gebruikersinterface in de browser wordt getoond.

Met LVGL kun je via widgets een gebruikersinterface bouwen.

1 Wat gaan we doen?

Met ESPHome kun je relatief eenvoudig apparaatjes voor je slimme huis maken. Een voordeel ten opzichte van bijvoorbeeld Arduino en MicroPython is dat je niet hoeft te programmeren. Je hoeft alleen een configuratiebestand te maken waarin je de gebruikte microcontroller, verbindingsgegevens voor je wifi-netwerk en alle aangesloten componenten aanduidt. Hierna wordt firmware gemaakt en weggeschreven op je microcontroller. Alleen die eerste keer is dit soms wat lastig. Heb je het eenmaal werkend? Alle keren erna kun je heel eenvoudig de configuratie aanpassen en over-the-air (OTA) naar de microcontroller sturen.

In dit artikel gaan we met LVGL werken. Hiermee kun je binnen ESPHome grafische interfaces maken via widgets. Voor veel projecten zul je daarom niet eens componenten hoeven aan te sluiten, maar heb je genoeg aan een touchscreen. Denk bijvoorbeeld aan een lichtknop en helderheidsregeling voor een slimme lamp in Home Assistant, zoals we in dit artikel demonstreren. Je kunt natuurlijk ook geavanceerdere gebruikersinterfaces maken voor vrijwel elk apparaat in Home Assistant.

©pozitivo - stock.adobe.com

Je kunt bijvoorbeeld zelf een gebruikersinterface voor je slimme lampen bouwen, zodat je ze eenvoudig kunt bedienen.

2 Wat heb je nodig?

Wat hardware betreft, is het vrij eenvoudig. De ESP32-chip heeft snel de voorkeur boven de verouderde ESP8266-versie, zeker als je met een touchscreen gaat werken. De Raspberry Pi Pico W (zie gelijknamig kader) is ook een optie, maar die wordt nog niet volledig ondersteund binnen ESPHome.

Makkelijk om mee te starten is een eenvoudig ontwikkelbordje rondom de ESP32 dat je voor ongeveer 5 euro kunt aanschaffen. Het is wel fijn als je hier goede documentatie bij hebt, zodat je op zijn minst weet waar alle aansluitingen zitten.

Er zijn diverse varianten van de ESP32-module. Bekende opties zijn de ESP-WROOM-32E, ESP32-C3 en ESP32-S3. De ESP32-C3 wordt vaak in extra compacte bordjes gebruikt, die je onder de naam ‘super mini’ tegenkomt – handig als je niet veel aansluitingen nodig hebt of niet veel ruimte hebt.

De ESP32-S3 is een fijne optie vanwege de beschikbaarheid van PSRAM (Pseudo Static RAM), een voordelig type werkgeheugen dat onder meer nuttig is bij grafische toepassingen. Staat een touchscreen centraal in jouw project en wil je snel van start, overweeg dan een model met ingebouwde ESP32-chip (zie volgende paragraaf).

De ESP32-module is in verschillende uitvoeringen verkrijgbaar.

Raspberry Pi Pico W

De Raspberry Pi Pico is een voordelige en flexibele serie ontwikkelbordjes rondom de RP2040-microcontroller. De eerste versie verscheen in januari 2021. De Pico W is vanwege de wifi-connectiviteit een interessante optie voor ESPHome. Recent werd de Pico 2 W aangekondigd die op meerdere fronten is verbeterd. Dat model is op het moment van schrijven echter nog niet geschikt voor ESPHome.

De Raspberry Pi Pico W is ook bruikbaar in Home Assistant.

3 Touchscreen

Als je een touchscreen gaat gebruiken in je ESPHome-project, dan kun je eventueel een los exemplaar op de microcontroller aansluiten en configureren. Maar je kunt ook een touchscreen met ingebouwde ESP32 kiezen. Dat is vaak veel handiger en goedkoper. Je hoeft niet te solderen en kunt direct een gebruikersinterface bouwen in YAML-code. Het scheelt ook wat tijd. Bovendien zijn er zelfs modellen compleet met behuizing.

Kies een scherm dat door ESPHome wordt ondersteund. De website van ESPHome geeft goede suggesties. Je kunt ook afgaan op ervaringen van anderen. Het kan dan een iets grotere uitdaging zijn om de juiste configuratie voor je display in ESPHome te vinden. Je zult daarbij waarschijnlijk wel even moeten experimenteren, niet alleen bij het instellen van je display, maar ook bijvoorbeeld voor het touchgedeelte. Zelfs bij het vrij gangbare touchscreen dat we in dit artikel gebruiken, was dat een beetje prutsen.

Kies een touchscreen dat door ESPHome wordt ondersteund.

4 Scherm met ESP32

Voor dit artikel hebben we een eenvoudige ESP32-2432S028 gebruikt, met een resistief touchscreen van 2,8 inch met 240 × 320 pixels. Dit model wordt ook wel de ‘Cheap Yellow Display’ genoemd, wat vooral met de gele printplaat te maken heeft.

Er zijn meerdere varianten. Zo wordt in de schermpjes vaak de ILI9341-chip als aansturing gebruikt, maar soms ook de ILI9342, zoals in ons exemplaar. Dat vergt dan een heel kleine, maar noodzakelijke aanpassing in je configuratie.

Je kunt het scherm flexibel inzetten voor je IoT-projecten. Zoek je een wat groter touchscreen, dan kun je bijvoorbeeld de CrowPanel van Elecrow overwegen. Die is er in een versie van 5 inch (ca. 32 euro) en 7 inch (ca. 42 euro), inclusief acrylbehuizing en verzending via de fabrikant. Beide versies hebben een touchscreen met hoge resolutie van 800 × 480 pixels en zijn voorzien van de modernere ESP32-S3-chip. Het touchscreen is capacitief, wat zeker voor kleinere bedieningselementen fijner werkt dan het resistieve touchscreen in ons goedkope alternatief.

Tegenwoordig bestaan er ook ronde touchscreens. Een leuke optie (zij het met beperkte schermruimte) is de ESP32-2424S012 met een ESP32-C3-microcontroller, een rond kleuren-touchscreen van 1,28 inch en in een witte of zwarte behuizing. Makerfabs heeft een vergelijk schermpje zonder behuizing. De LilyGo T-RGB heeft een wat groter 2,1inch-scherm (zonder behuizing), maar is ruim twee keer zo duur.

De ESP32-2432S028 is een voordelig scherm (onder), een wat duurder alternatief is het capacitieve 5inch-aanraakscherm met ESP32 van Elecrow (boven).

5 Add-ons voor ESPHome

Hoewel je bijvoorbeeld een pc met Python kunt gebruiken voor het bewerken van je configuratiebestanden en het flashen van de microcontroller met de software voor ESPHome, is het meestal veel makkelijker om de add-on voor ESPHome binnen Home Assistant te gebruiken. Dat geeft ook een ander groot voordeel: je kunt de configuratie voor alle apparaten met ESPHome binnen Home Assistant beheren. Je zult zeker in de testfase veel wijzigingen aan de configuratie moeten maken.

Via de add-on voor ESPHome voeg je eenvoudig microcontrollers toe.

6 Microcontroller toevoegen

We gaan nu een verse microcontroller toevoegen. Je kunt eventueel ESPHome Web gebruiken om de microcontroller voor te bereiden voor gebruik met ESPHome, maar wij geven zoals gezegd de voorkeur aan de ESPHome-add-on, die je binnen Home Assistant kunt openen.

Je kunt voor deze methode de microcontroller gewoon via usb aansluiten op je eigen pc, maar dit vereist wel dat je Home Assistant opent via een beveiligde https-verbinding. Lukt dat niet? Als alternatief kun je de microcontroller ook via usb aansluiten op het systeem met Home Assistant zelf, voordat je verder gaat in ESPHome.

Het dashboard van ESPHome toont alle toegevoegde apparaten.

Ook leuk: Werk met wat je hebt: creëer je eigen alarmsysteem met Home Assistant

7 Configuratie

Klik binnen ESPHome op New device om een nieuwe microcontroller te initialiseren. Vul bij Name een naam in voor het apparaat. Bij Network name vul je de naam (SSID) in van het wifi-netwerk waarmee de microcontroller moet verbinden en bij Password het bijbehorende wachtwoord. Klik dan op Next.

In de volgende stap zal ESPHome een configuratiebestand maken, firmware bouwen en de microcontroller flashen. Klik daarvoor dus eerst op Connect. Als het goed is, kun je nu de com-poort selecteren waarmee de microcontroller is verbonden. Zie je geen com-poort, dan zul je eerst drivers moeten installeren. De instructies krijg je als je het venster sluit zonder een com-poort te selecteren. Als de verbinding is gelukt, zal de installatie verdergaan. Lukt het niet? Dan kun je kiezen voor Skip this step gevolgd door een handmatige configuratie.

Vul een naam in en de details voor het wifi-netwerk.

Toepassingen voor een touchscreen

Er zijn veel leuke toepassingen voor een touchscreen. Zo kun je bijvoorbeeld een soort weerstation maken, dat je voorziet van actuele informatie van Home Assistant. Ook kun je live de opbrengst van je zonnepanelen laten zien of het verbruik in huis. Je zou een schermpje voor Music Assistant kunnen maken met bijvoorbeeld de weergave van het nummer en volumeregeling (zie ook: Met Music Assistant ben jij de baas over jouw muziekcollectie). Tot slot kun je een scherm gebruiken voor statusmeldingen of loggegevens.

8 Touchscreen met ESP32

We gebruiken in dit artikel zoals gezegd de ESP32-2432S028 als voorbeeld. Dit is een touchscreen met ingebouwde ESP32-chip. Dit apparaatje kun je direct toevoegen aan ESPHome: precies zoals in paragraaf 7 staat omschreven, al moesten we in dit geval na het aanwijzen van de com-poort wel de boot-knop even indrukken.

Overigens bevat het apparaat meestal een voorgeprogrammeerde demo met een gebruikersinterface op basis van LVGL. Die zie je als je hem zo uit de doos op een voeding aansluit. Je kunt daarmee meteen de werking controleren. Je zult bij een model met resistief aanraakscherm overigens iets harder moeten drukken dan je misschien gewend bent.

We gebruiken dit voordelige 2,8inch-aanraakscherm, dat ook wel ‘Cheap Yellow Display’ wordt genoemd.

9 Schermconfiguratie

Na het toevoegen van je touchscreen heb je direct een basisconfiguratie voor ESPHome. Via Edit kun je deze configuratie aanpassen. Zowel voor het aansturen van het display als de registratie van het aanraken wordt SPI (Serial Peripheral Interface) gebruikt. Voor onze ESP32-2432S028 is dit de configuratie, rekening houdend met de gebruikte interne GPIO-pinnen:

We voegen nu eerst de configuratie van het display toe en in paragraaf 11 het touchgedeelte. Voor het display is de configuratie als volgt:

Merk op dat er ook een (oudere) variant van dit touchscreen is met de ILI9341. In dat geval gebruik je model: ILI9341 en invert_colors: false. Na het maken van de aanpassingen kies je Install. Je kunt nu kiezen hoe je de firmware wilt overbrengen. Meestal kies je Wirelessly voor over-the-air-updates. Het apparaat hoeft daarbij niet meer met jouw pc te zijn verbonden.

Binnen ESPHome kun je eenvoudig de configuratie bewerken.

10 LVGL-bibliotheek

Binnen ESPHome kon je voorheen met displays werken door binnen de component display met lambda bijvoorbeeld teksten met een bepaald lettertype naar je scherm te sturen. Als je LVGL gaat gebruiken, gebruik je geen lambda meer, maar alleen LVGL en widgets. Als eerste voegen we de LVGL-bibliotheek toe aan de YAML-code:

lvgl:
  buffer_size: 25%

De optie buffer_size is ons geval noodzakelijk, vanwege de afwezigheid van PSRAM. In paragraaf 13 voegen we ook nog widgets toe. Omdat we dat hier nog niet hebben gedaan, zie je na het flashen als het goed is een demo met een knop, checkbox, cirkel met tekst en schuifbalk.

11 Configuratie touchscreen

Bediening via het scherm is nog niet mogelijk. Daarvoor moeten we het touchscreen toevoegen aan de configuratie van ESPHome:

Bewaar de aanpassingen en installeer de nieuwe firmware. Controleer of je de demo goed kunt bedienen. De regels onder on_touch zorgen dat in de logs de geregistreerde coördinaten worden getoond. Er kunnen aanpassingen nodig zijn in de regels onder calibration en transform.

12 Backlight

Het display is voorzien van een achtergrondverlichting (backlight) via pin 21. We definiëren deze output als volgt:

Daarna configureren we de achtergrondverlichting, waarbij we verwijzen naar de hierboven gedefinieerde output.

Na het flashen zal de backlight standaard aanstaan. Eventueel kun je deze vanuit Home Assistant aan- en uitzetten en de helderheid ervan regelen, bijvoorbeeld op basis van afwezigheid. Je kunt ook een script maken om de helderheid bij inactiviteit terug te brengen. Daarvoor verwijzen we je naar het uitgewerkte voorbeeld op GitHub (zie kader ‘Code downloaden’).

Binnen Home Assistant kun je eventueel ook de backlight aan- en uitzetten.

13 Widgets toevoegen

Onder de regel lvgl kun je nu de gewenste LVGL-componenten toevoegen aan je YAML-configuratie. Denk aan bijvoorbeeld knoppen, schuifregelaars, grafieken of labels. In dit voorbeeld voegen we aan de bovenkant alleen twee widgets toe voor een dimbare led, te weten een schakelaar (button) en schuifregelaar (slider).

De meeste opties dienen voor het positioneren van de widget. We geven bijvoorbeeld de breedte (width) en hoogte (height) aan, halen de widgets iets van de rand of met x en y, en regelen de uitlijning met align. Het gedeelte bij on_click zorgt dat de bewuste lamp in Home Assistant wordt omgeschakeld bij het klikken op de button. Voor de slider doen we hetzelfde onder on_release. Die acties zijn overigens om veiligheidsredenen niet direct mogelijk. In paragraaf 16 leggen we uit hoe je dit kunt toestaan.

We voegen in dit voorbeeld alleen twee eenvoudige widgets toe.

Cookbook voor ESPHome en LVGL

We houden het hier redelijk eenvoudig, maar je kunt natuurlijk veel geavanceerdere gebruikersinterfaces maken. Zo is bijvoorbeeld een geneste structuur mogelijk, kun je op verschillende manieren een grid maken, en met pagina’s individuele schermen of secties in je gebruikersinterface maken. Daarbij kan elke pagina zijn eigen widgets hebben. ESPHome geeft op zijn website in een ‘cookbook’ nog wat praktische voorbeelden voor het werken met LVGL, ook in combinatie met Home Assistant.

De website van ESPHome heeft veel voorbeelden voor het werken met LVGL.

14 Interactie met Home Assistant

De entiteit voor de dimbare lamp heeft in Home Assistant de naam light.wledkantoor. De waardes zijn nodig om de widgets de juiste status te kunnen geven. Daarom voegen we hieronder een binary_sensor toe voor de status (aan of uit) en een sensor voor het helderheidsniveau. We werken vervolgens bij on_state en on_value de widgets bij als de status verandert in Home Assistant. Bij id vul je uiteraard de id van de betreffende widget in.

Gebruik de logfunctie om te zien of bijvoorbeeld een status verandert.

15 Toevoegen aan Home Assistant

De add-on voor ESPHome hebben we gebruikt om de microcontroller van firmware te voorzien. Maar je zult het apparaat hierna nog wel moeten toevoegen aan Home Assistant. Dat is heel eenvoudig: het wordt automatisch gevonden. In Home Assistant zie je via Instellingen / Apparaten en diensten het bewuste apparaat direct terug op het tabblad Integraties. Klik op de knop Toevoegen om het aan Home Assistant toe te voegen.

Het apparaat met ESPHome moet je nog toevoegen aan Home Assistant.

16 Acties toestaan

Als je het touchscreen bedient, zal Home Assistant een melding geven dat het ESPHome-apparaat heeft geprobeerd een actie in Home Assistant uit te voeren. Standaard is dit om veiligheidsredenen niet toegestaan, maar dit is eenvoudig op te lossen.

Ga naar Instellingen / Apparaten en klik dan onder het kopje Geconfigureerd op ESPhome. Achter het bewuste apparaat klik je vervolgens op Configureren. Zet een vinkje bij Toestaan dat het apparaat Home Assistant-acties uitvoert. Klik op Verzenden. Hierna zijn alle acties zoals het omschakelen van de lamp en regelen van de helderheid wel toegestaan.

Zorg dat het apparaat acties in Home Assistant mag uitvoeren.