Software die uit zichzelf kan leren, daar kijken we niet meer van op. Denk aan spraakherkenning die ons telkens beter begrijpt, of een slimme thermostaat die na een tijdje weet wanneer we dagelijks van ons werk komen en dan de verwarming al op tijd wat hoger zet. Maar hoe werkt machine learning precies?

We spreken van machinelearning als een programma in staat is om zonder menselijke inbreng te leren hoe het een specifieke taak kan uitvoeren en beter wordt in die taak hoe meer ervaring het heeft. Er is dus geen mens die een algoritme programmeert om die taak uit te voeren; de mens programmeert een algoritme dat uit zichzelf leert om de taak uit te voeren.

Hoe programmeer je zo’n algoritme om te leren? Kort door de bocht bestaat dat leren eruit dat het algoritme zoveel mogelijk informatie uit een verzameling gegevens haalt en zo een signaal van ‘ruis’ kan onderscheiden in die gegevens. Zo zijn in spraakherkenningstechnologie de gegevens een geluidsopname, terwijl de informatie de uitgesproken woorden zijn. Al de rest van de geluidsopname is ruis.

In de praktijk trainen we de software op een trainingset, een verzameling gegevens die een goede voorstelling vormen van de gegevens die de software zal tegenkomen. Nadat de software op die manier getraind is, kan ze ook onbekende gegevens aan. Wel moet de taak altijd duidelijk afgelijnd zijn. Software die spraak herkent, kun je niet integraal inzetten om muziek te herkennen en al zeker niet om gezichten te herkennen.

Neuraal netwerk

Neurale netwerken (‘artificial neural networks’) vormen een belangrijke aanpak in machinelearning. Ze bootsen de werking van de hersenen na, die een biologisch neuraal netwerk vormen: een kluwen van ontzettend veel verbindingen tussen neuronen (hersencellen). Een kunstmatig neuraal netwerk bestaat meestal uit meerdere lagen: een invoerlaag van neuronen die de invoer van een probleem voorstellen, een uitvoerlaag van neuronen die de oplossing van het probleem voorstellen, en één of meer tussenliggende lagen die berekeningen uitvoeren.

Bij een fully connected neural network krijgt elk neuron invoer van alle neuronen in de laag ervoor en geeft het zijn uitvoer aan alle neuronen in de laag erna. Bij een convolutioneel neuraal netwerk is een neuron niet afhankelijk van alle neuronen in de vorige laag. Een neuraal netwerk programmeer je niet door expliciet aan te geven hoe het een probleem moet oplossen; je ‘traint’ het door het vele voorbeelden van een probleem te geven, waardoor het uit zichzelf de taak leert.

Deep learning

Vooral deeplearning maakt de laatste jaren furore in de wereld van machinelearning. Bij deeplearning gebruikt het algoritme een groot aantal lagen tussen input en output. De invoerlaag verwerkt de input en stuurt die door naar de volgende laag, die zijn input verwerkt en naar de volgende laag doorstuurt, enzovoort, tot er aan het einde de output uitkomt. Dit grote aantal lagen maakt complexe transformaties mogelijk.

Een prominente gebruiker van deeplearning is Google DeepMind. In 2014 nam Google de start-up DeepMind uit Cambridge over. Begin 2016 kwam het in het nieuws met de overwinning van AlphaGo op de menselijke kampioen in het bordspel go. En het systeem van DeepMind blinkt uit in het spelen van games zoals Space Invaders en Pac Man.

Google DeepMind combineert deeplearning op een convolutioneel neuraal netwerk met het zogenoemde Q-learning om spelletjes te leren spelen zonder dat het hoeft te weten wat de goede zet is: het algoritme krijgt alleen informatie over ‘winst’ of ‘verlies’. Google DeepMind noemt hun techniek deep reinforcement learning.

Wat heeft Google DeepMind dat anderen niet hebben? “Vooral geld,” zegt Sander Bohte, onderzoeker bij het Amsterdamse CWI (Centrum voor Wiskunde & Informatica). “Wanneer je een industrieel onderzoekslabo hebt waar een paar honderd briljante mensen werken, verkrijg je de resultaten van Google DeepMind. Google heeft het geld om de beste mensen ter wereld aan te nemen en ze hebben geld voor krachtige computerclusters. Zij kunnen dus op een heel andere schaal werken dan universiteiten.”

Facebook, Microsoft, Apple...

Google is niet de enige die geld investeert in machinelearning. Facebook heeft een Applied Machine Learning-team dat spam herkent, foto’s automatisch tagt en nog heel wat andere slimme taken uitvoert op het sociale netwerk.

In 2015 kocht Microsoft het bedrijf Equivio, dat patronen in grote hoeveelheden e-mails en documenten doorspit. En Apple nam in 2016 de vooraanstaande onderzoeker Ruslan Salakhutdinov aan als hoofd van zijn AI Research team. Ook Amazon, Twitter en Baidu zijn bezig met machinelearning. En dan is er nog IBM, dat met zijn supercomputer Watson belangrijke toepassingen ontwikkelt.

De kunstmatige neurale netwerken die een belangrijke rol spelen in machinelearning zijn losjes geïnspireerd op de neuronen in onze hersenen. Maar ze werken helemaal niet zo efficiënt, zegt Sander Bohte: “Onze hersenen verbruiken zo’n 25 W energie. Een neuraal netwerk op een pc verbruikt al snel 300 W. Dat kunnen we niet in een drone implementeren, want die verbruikt dan te veel energie om lang in de lucht te blijven op zijn batterijlading."

"En als we een neuraal netwerk ter grootte van de hersenen zouden maken, zou dat 5 MW verbruiken. Onze kunstmatige neurale netwerken zijn dus aanzienlijk minder efficiënt dan hun biologische evenknieën.”

De grote uitdaging is dus om dat verschil te verkleinen. Dat kunnen we volgens Sander Bohte bereiken als we ons nog meer laten inspireren op biologische neurale netwerken: “Neuronen in onze hersenen communiceren met pulsen. Gemiddeld sturen ze één puls per seconde. Maar neuronen zijn niet continu actief. Soms doen ze een seconde niets en soms vuren ze tien keer op een seconde.”

Spiking neural networks

Sander Bohte doet onderzoek naar spiking neural networks, die net zoals biologische neuronen geen energie gebruiken wanneer er niets gebeurt. “We hopen zo neurale netwerken toch een factor 100 energie-efficiënter te maken,” zegt hij. IBM gebruikt dezelfde aanpak in zijn TrueNorth-processor, die met een miljoen neuronen maar 70 mW verbruikt.

Spiking neurale netwerken hebben volgens Sander Bohte nog een ander voordeel: ze zijn compatibel met biologische neuronen omdat ze dezelfde taal spreken. “We kunnen een spiking neuraal netwerk in principe rechtstreeks op ons brein aansluiten. Zo werk ik nu samen met het Leids Universitair Medisch Centrum om cochleaire implantaten te verbeteren. "

"Ik verwacht dat neuroprotheses met spiking neurale netwerken binnen vijf jaar mogelijk zijn. En ik verwacht ook veel van het Amerikaanse DARPA, dat veel geld steekt in projecten binnen het BRAIN Initiative met als doel om 1 miljoen gelijktijdige ‘aansluitingen’ met de hersenen te maken.”

Onbetrouwbare resultaten

Een nadeel van neurale netwerken is dat ze een soort ‘black box’ vormen: wanneer ze een resultaat geven, weet je niet hoe ze tot dat resultaat komen. In sommige domeinen is dat helemaal geen wenselijke eigenschap. Stel dat we software ontwikkelen om een arts te helpen bij het nemen van juiste beslissingen. Als de software een diagnose stelt, maar de arts helemaal niet weet waarop die diagnose gebaseerd is, kan hij daarop niet vertrouwen. Een verkeerde beslissing kan immers een grote impact hebben.

“In zulke domeinen werk je daarom liever met predictieve modellen die voor de expert te begrijpen zijn,” zegt Gilles Vandewiele, doctoraatsstudent aan het Internet Technology and Data Science Lab (IDLab) van de Universiteit Gent – imec. Gilles Vandewiele werkt daarom met decision support systemen.

“Dat vereist vaak meer menselijke inbreng dan een neuraal netwerk, omdat we zelf aan feature extraction (het verminderen van de hoeveelheid middelen die nodig zijn om een grote set van gegevens te beschrijven – red.) doen, terwijl dat bij deeplearning automatisch gebeurt. Maar het resultaat is dan wel een begrijpelijk model dat vaak sneller getraind kan worden dan zijn tegenpool, omdat we dan geen miljoenen parameters meer moeten leren.”

Naast de medische sector zijn ook de financiële en juridische sectoren geïnteresseerd in deze aanpak, omdat experts in die domeinen een uitleg moeten kunnen geven bij hun beslissingen. “De nauwkeurigheid ligt bij deeplearning wel nog hoger. Bij de keuze tussen deeplearning- en decision support-systemen maak je altijd de afweging tussen nauwkeurigheid en begrijpelijkheid van het model.”

Ook IBM Watson is op deze aanpak gebaseerd. De DeepQA-software die het hart uitmaakt van Watson kan allerlei gestructureerde en ongestructureerde gegevens combineren en zijn beslissingen uitleggen. IBM heeft Watson dan ook al in meerdere ziekenhuizen ingezet en waagt zich met het systeem ook aan weersvoorspellingen.

Lees verder op de volgende pagina.

Vandewiele wijst ook op Kaggle, een online platform dat programmeerwedstrijden in data science-problemen organiseert. “Op Kaggle vind je heel veel state-of-the-art oplossingen voor machinelearning-problemen. Voor problemen die niet over afbeeldingen, video’s of geluid gaan, is de meest prominente tactiek om hoge classificaties te halen het trainen van heel veel verschillende modellen op basis van geëxtraheerde features en dan de voorspellingen van die modellen gebruiken als nieuwe features voor een finaal model.

Een van de meest voorkomende algoritmes daarvoor is eXtreme Gradient Boosting (XGBoost), een algoritme gebaseerd op beslissingsbomen.” In 2015 en 2016 haalden doctoraatsstudenten van de Universiteit Gent de eerste respectievelijk tweede plaats in de Data Science Bowl van Kaggle.

Bayesiaans netwerk

Nog een andere aanpak in machinelearning vormen de Bayesiaanse netwerken. Een Bayesiaans netwerk is een probabilistisch grafisch model dat de conditionele afhankelijkheden van willekeurige variabelen voorstelt. Zo kun je de relaties tussen ziektes en symptomen voorstellen. Bij het voorkomen van bepaalde symptomen, kun je dan berekenen wat de kans is op allerlei ziektes.

“Voor een Bayesiaans netwerk moet je ontzettend sterke aannames maken over de wereld,” zegt Peter Grünwald van het Amsterdamse CWI. “Je moet aangeven hoe groot de kans is op alle mogelijke toestanden van de wereld, je prior beliefs. Voor complexere problemen gaat dat al snel over een kansverdeling van miljoenen getallen. Het is conceptueel niet zo eenvoudig om je dan voor te stellen waar je nu eigenlijk mee bezig bent.”

Peter Grünwald is daarom voorstander van een informatietheoretische aanpak. “Eigenlijk is dat een veralgemening van de Bayesiaanse methode, maar de interpretatie ervan is helemaal anders, in termen van datacompressie. De kern bestaat uit het minimum description length (MDL) principle. Dit principe zegt dat de beste hypothese voor een bepaalde verzameling gegevens degene is die leidt tot de beste compressie van deze gegevens.”

Als je ruwe data zoals x- en y-coördinaten letterlijk zou opschrijven zonder enige compressie, zouden die veel ruimte innemen. Maar als er een patroon tussen x en y bestaat, bijvoorbeeld y is een functie van x, dan kun je die gegevens kleiner opschrijven. Je schrijft dan de functie op en daarna de x-coördinaten. Die tweede manier comprimeert de gegevens beter dan de eerste en is dus een betere hypothese.

Machine learning en robots

We denken bij machinelearning doorgaans aan ‘virtuele’ oplossingen zoals slimme assistenten en vertaalprogramma’s, maar we zien ook meer en meer oplossingen in robotica, die een effect in de echte wereld hebben. “Het is een hele uitdaging om robots te leren bewegen en ze zo adaptief mogelijk te maken in menselijke situaties,” zegt Francis wyffels, die hiernaar onderzoek doet aan het IDLab van de Universiteit Gent.

Vooral in kleinere bedrijven is die aanpak interessant. Terwijl grotere productiebedrijven vaak grotendeels geautomatiseerde fabrieken hebben met robots die zonder enige menselijke inbreng hun werk doen, gaat het bij mkb’s vaak anders: de robots krijgen steeds wisselende taken en voeren die in nauwe samenwerking met mensen uit. Dat vereist heel wat meer intelligentie én aanpassingsvermogen.

Om intelligentere robots mogelijk te maken, is ook heel wat fundamenteel onderzoek nodig. Zo bekijken onderzoekers hoe ze de werking van robots meer door biologische processen kunnen laten inspireren. “In onze ruggengraat zitten de Central Pattern Generators (CPG’s), neurale netwerken die de spieren aansturen. Voor motorische controle op hoog niveau zijn de hersenen natuurlijk nog nodig, maar de CPG’s werken op een lager niveau. De controle gebeurt dus door neurale netwerken op verschillende niveaus,” legt Francis wyffels uit.

“We kunnen dan ook allerlei basisbewegingen doen zonder dat onze hersenen dat moeten aansturen. Robots werken daarentegen doorgaans met één centraal programma dat alles aanstuurt. Wat als je nu de bewegingen van een robot ook hiërarchisch laat aansturen, met onafhankelijk werkende motorneuronen zoals in onze ruggengraat? Dit onderzoek staat wel nog in zijn kinderschoenen, maar het is een veelbelovende aanpak.”

Binnen enkele jaren zouden we ons domoticasysteem volgens Francis wyffels niet meer via een aanraakscherm aan de muur of via onze tablet aansturen, maar we zouden ermee op een natuurlijke manier communiceren via een soort kunstmatige huiscoach.

“Zo’n sociale robot waarmee je spreekt kan de aversie van veel mensen voor technische systemen overwinnen. Veel mensen zijn bang voor een domoticasysteem omdat ze in de war raken door al die knopjes en instellingen. Dat is allemaal veel te abstract voor hen. We hebben alle bouwblokken om een sociale interactie met ons domoticasysteem te ontwikkelen: goede spraakherkenning, beeldverwerking, kennis over human-robot interaction enzovoort. De ontwikkelingen zullen hier dus niet zo heel lang op zich laten wachten.”

De toekomst

De vooruitgang in machinelearning zal niet alleen in ons dagelijks leven gevolgen hebben, maar ook breder in onze maatschappij. Vaak hoor je het doemscenario dat we allemaal onze banen gaan verliezen aan computers. Artsen, journalisten, juristen, ... volgens de doemdenkers is hun baan binnen afzienbare tijd bijna volledig te automatiseren. Onderzoeksbureau Forrester voorspelt dat in 2021 al zes procent van de banen in de VS door robots zijn overgenomen.

Toch is het toekomstbeeld niet zo negatief voor onze baanvooruitzichten als vaak wordt voorgesteld. In zijn rapport ‘Preparing for the Future of Artificial Intelligence’ van eind 2016 schetste de Obama-administratie in één van zijn laatste publicaties dat we onze banen kunnen behouden als we mens en machine laten samenwerken om elkaars zwakheden te compenseren.

Zo vermeldt het rapport een studie waarbij afbeeldingen van cellen van lymfeknopen door een computer of door een dokter beoordeeld werden om te bepalen of het om kanker ging. De computer maakte 7,5 procent fouten, de menselijke patholoog 3,5 procent fouten. Maar als de patholoog werd bijgestaan door een computer, werd het foutpercentage van de gecombineerde aanpak gereduceerd tot 0,5 procent.

De grootste uitdaging in het domein is volgens Francis wyffels dat we te weinig mensen hebben die onderzoek doen naar machinelearning. Dat is volgens hem ook een gevolg van het gebrek aan interesse in wetenschappen en technologie bij de jeugd, in het bijzonder de informaticawetenschappen. Het sterotypische beeld van de asociale computernerd is nog altijd niet uitgeroeid.

“Hier ligt een grote taak voor de overheden en scholen: zij moeten onze jeugd voldoende laten kennismaken met informaticawetenschappen en hen leren om met de snelle veranderingen in de toekomst om te gaan. Er zijn gelukkig heel wat scholen die al op eigen houtje initiatieven invoeren om hun leerlingen warm te maken voor informaticawetenschappen.” Om leerkrachten daarbij te helpen, richtte Francis wyffels de vzw Dwengo op en heeft hij didactisch materiaal op de website program-uurtje verzameld.

Wanneer je je dekbed gewassen hebt, wil je dat het natuurlijk weer lekker dik en luchtig aanvoelt. Maar wanneer je hem gewoon in de droger gooit, kan de vulling gaan klonteren, zodat er dunne stukken en dikke stukken ontstaan. Dat slaapt niet echt lekker. Om dat te voorkomen, gooien veel mensen er een paar tennisballen bij. Helpt dat echt?

Wat tennisballen in de droger doen

Tijdens het drogen raken de tennisballen telkens het dekbed. Dat helpt vooral bij dons en veren. Als die nat zijn, blijven ze aan elkaar plakken en zakt de vulling in. Door de constante beweging vallen die samengepakte delen weer uiteen, waardoor de vulling zich opnieuw verspreidt. Zo kan de warme lucht overal beter bij en droogt het dekbed gelijkmatiger. De droogtijd wordt er niet korter van, maar het dekbed komt wel duidelijk voller uit de droger.

Hoeveel tennisballen zijn genoeg?

Met één tennisbal in de wasdroger merk je vaak weinig, zeker bij een groot dekbed. Die verdwijnt al snel in de stof en heeft dan weinig effect. Met twee tot vier ballen werkt het beter, omdat ze het dekbed op meerdere plekken tegelijk in beweging houden. Zolang de ballen vrij kunnen bewegen en niet vast blijven zitten in de vulling, doen ze hun werk.

Kun je elke tennisbal gebruiken bij het drogen van een dekbed in de droger?

iet elke tennisbal is even geschikt. Vooral nieuwe of felgekleurde ballen kunnen bij hogere temperaturen kleur afgeven en kleine pluisjes verliezen van de vilten buitenlaag. Dat komt niet vaak voor, maar het risico is wel aanwezig. Gebruik je oudere tennisballen, dan is de kans hierop kleiner. Wil je dat verder beperken, dan kun je de ballen in een oude witte sok stoppen en die dichtknopen. Het effect blijft grotendeels hetzelfde, al is het iets minder uitgesproken dan met losse ballen.

Geef het dekbed genoeg ruimte in de droger

Tennisballen helpen alleen als het dekbed voldoende ruimte heeft om te bewegen. Is de trommel te vol, dan draait alles als één geheel rond en gebeurt er weinig. Wil je grote tweepersoonsdekbedden drogen, dan heb je een droger met een ruime trommel nodig. Heb je die niet zelf? Kijk dan of er een wasserette bij je in de buurt is. Meer ruimte zorgt voor meer beweging en daarmee voor een beter eindresultaat.

Niet elk dekbed kan in de droger

Tennisballen hebben vooral effect bij dons- en verendekbedden. Bij synthetische vulling is dat verschil kleiner en kan de constante beweging van de ballen de vulling na verloop van tijd zelfs vervormen. Wol, zijde en andere natuurlijke materialen mogen meestal helemaal niet in de droger. Check daarom altijd eerst het waslabel voordat je het dekbed in de trommel legt.

Even tussendoor opschudden helpt

Haal het dekbed halverwege het programma even uit de droger en schud het los, alsof je het bed opmaakt. Leg het daarna omgedraaid terug in de trommel. Zo verdeelt de vulling zich opnieuw en kan het dekbed gelijkmatiger drogen.

Wat kun je van het eindresultaat verwachten?

Tennis- of drogerballen zijn vooral een hulpmiddel, geen vervanging voor de juiste drooginstellingen. Droog het dekbed niet te vaak of te heet: kies een lage of middelhoge temperatuur en selecteer een speciaal dons- of beddengoedprogramma als dat op je droger zit. Zorg ook voor voldoende ruimte in de trommel. Als je dan ook nog eens ballen laat meedraaien, heb je er alles aan gedaan om te zorgen dat je dekbed weer lekker vol uit de droger komt!

Waarom start een computer met een SSD binnen enkele seconden op, terwijl een oude harde schijf blijft ratelen? Het vervangen van een HDD door een SSD is de beste upgrade voor een trage laptop of pc. We leggen in dit artikel uit waar die enorme snelheidswinst vandaan komt en wat het fundamentele verschil is tussen deze twee opslagtechnieken.

Iedereen die zijn computer of laptop een tweede leven wil geven, krijgt vaak hetzelfde advies: vervang de oude harde schijf door een SSD. De snelheidswinst is direct merkbaar bij het opstarten en het openen van programma's. Maar waar komt dat enorme verschil in prestaties vandaan? Het antwoord ligt in de fundamentele technologie die schuilgaat onder de behuizing van deze opslagmedia.

De vertraging van mechanische onderdelen

Om te begrijpen waarom een Solid State Drive (SSD) zo snel is, moeten we eerst kijken naar de beperkingen van de traditionele harde schijf (HDD). Een HDD werkt met magnetische roterende platen. Dat kun je vergelijken met een geavanceerde platenspeler. Wanneer je een bestand opent, moet een fysieke lees- en schrijfkop zich naar de juiste plek op de draaiende schijf verplaatsen om de data op te halen. Dat fysieke proces kost tijd, wat we latentie noemen. Hoe meer de data op de schijf verspreid staat, hoe vaker de kop heen en weer moet bewegen en wachten tot de juiste sector onder de naald doordraait. Dit mechanische aspect is de grootste vertragende factor in traditionele opslag.

©Claudio Divizia

Flashgeheugen en directe gegevensoverdracht

Een SSD rekent definitief af met deze wachttijden omdat er geen bewegende onderdelen in de behuizing zitten. De naam 'Solid State' verwijst hier ook naar; het is een vast medium zonder rammelende componenten. In plaats van magnetische platen gebruikt een SSD zogenoemd NAND-flashgeheugen. Dat is vergelijkbaar met de technologie in een usb-stick, maar dan veel sneller en betrouwbaarder. Omdat de data op microchips wordt opgeslagen, is de toegang tot bestanden volledig elektronisch. Er hoeft geen schijf op toeren te komen en er hoeft geen arm te bewegen. De controller van de SSD stuurt simpelweg een elektrisch signaal naar het juiste adres op de chip en de data is direct beschikbaar.

Toegangstijd en willekeurige leesacties

Hoewel de maximale doorvoersnelheid van grote bestanden bij een SSD indrukwekkend is, zit de echte winst voor de consument in de toegangstijd. Een besturingssysteem zoals Windows of macOS is constant bezig met het lezen en schrijven van duizenden kleine systeembestandjes. Een harde schijf heeft daar enorm veel moeite mee, omdat de leeskop als een bezetene heen en weer moet schieten. Een SSD kan deze willekeurige lees- en schrijfopdrachten (random read/write) nagenoeg gelijktijdig verwerken met een verwaarloosbare vertraging. Dat is de reden waarom een pc met een SSD binnen enkele seconden opstart, terwijl een computer met een HDD daar soms minuten over doet.

©KanyaphatStudio

Van SATA naar NVMe-snelheden

Tot slot speelt de aansluiting een rol in de snelheidsontwikkeling. De eerste generaties SSD's gebruikten nog de SATA-aansluiting, die oorspronkelijk was ontworpen voor harde schijven. Hoewel dat al een flinke verbetering was, liepen snelle SSD's tegen de grens van deze aansluiting aan. Moderne computers maken daarom gebruik van het NVMe-protocol via een M.2-aansluiting. Deze technologie communiceert rechtstreeks via de snelle PCIe-banen van het moederbord, waardoor de vertragende tussenstappen van de oude SATA-standaard worden overgeslagen. Hierdoor zijn snelheden mogelijk die vele malen hoger liggen dan bij de traditionele harde schijf.