Informatie uit onlinebronnen: maak je eigen nieuwsdienst

Hoe vaak bezoek je dezelfde websites? Misschien open je elke ochtend een handvol nieuwssites, controleer je een paar blogs, kijk je of er nieuwe video’s op een YouTube-kanaal verschenen zijn, wil je het weerbericht zien of zoek je naar vacatures. Op zich lijkt dit niet veel werk, maar op jaarbasis gaat het al snel om vele tientallen uren om bronnen te controleren die vaak ook weinig nieuws bevatten.

Het is veel efficiënter om die websites en diensten zelf het werk te laten doen. In plaats van informatie op te halen, zorg je ervoor dat nieuwe informatie automatisch naar je toekomt. Dit kan via e-mail, rss-feeds, webmonitors, berichtenapps en flexibele automatiseringstools.

Het mooie is dat je klein kunt beginnen. Een eenvoudige Google Alert levert bijvoorbeeld al automatisch nieuwe informatie op. Je kunt daar vervolgens rss-feeds aan toevoegen, alles centraal verzamelen en de belangrijkste berichten automatisch naar bijvoorbeeld je smartphone laten sturen. Of je koppelt er een automatiseringsplatform aan dat de informatiestroom filtert en verwerkt tot je eigen persoonlijke informatiecentrale.

Een handige manier om nieuwe informatie automatisch te ontvangen is via de gratis dienst Google Alerts. Deze gebruikt de index van Googles zoekmachine en volgt nieuw geïndexeerde webinhoud van uiteenlopende websites, blogs en forums. Ga naar www.google.com/alerts en log in met je Google-account. Vul een zoekterm in. Gebruik dubbele aanhalingstekens voor een woordgroep. Tussen meerdere woorden geldt doorgaans de AND-operator, maar je kunt ook OR gebruiken. Om een woord uit te sluiten, plaats je een minteken ervoor (bijvoorbeeld -Trump). Via site:<mijnsite.nl> <zoekterm> beperk je resultaten tot één website. Hoe specifieker je zoekt, hoe minder irrelevante resultaten je ontvangt, bijvoorbeeld met (“artificiële intelligentie” OR AI) Anthropic.

Klik op Opties tonen om frequentie, bronnen, taal, regio en selectie in te stellen. Bij Verzenden naar kies je voor e-mail of RSS-feed. Bevestig met Melding maken. Klik vervolgens op het rss-pictogram naast de melding voor de rss-link (www.google.com/alerts/feeds/<code>). Deze kun je toevoegen aan een rss-reader zoals FreshRSS, Inoreader of Feedly. Via het tandwielpictogram bij Mijn meldingen stel je desgewenst een bezorgingstijd in voor e-mailmeldingen en geef je aan of je een samenvattende mail verkiest.

Een gratis alternatief is Talkwalker Alerts. Klik op Create Your Free Alerts!, vul alle opties in en bevestig via de link in de e-mail (voor een wachtwoord). Bij Result type kun je meerdere brontypes selecteren, zoals Twitter, Blogs, News en Discussions. Ook hier kun je rss-feeds gebruiken via het rss-pictogram naast een alert of naast global RSS feed voor alle meldingen samen.

Ook het recente en modernere Alertmouse volgt vermeldingen op websites, blogs, nieuwsbronnen en sociale media, en bezorgt de resultaten via dagelijkse of wekelijkse e-mailoverzichten. Daarnaast kun je alle gevonden vermeldingen raadplegen in een fraai online dashboard met grafieken en filters. De gratis versie is beperkt tot één alert met maximaal 10 dagelijkse meldingen. Een API is beschikbaar voor betaalde enterprise-accounts.

Via Google Alerts en Talkwalker kun je rss-feeds genereren, maar ook veel websites en onlinediensten bieden rss of het nauw verwante Atom aan zonder dit expliciet te vermelden. De werking is eenvoudig: een website publiceert een speciale feed met berichten, podcasts, video’s en andere content, waarna een rss-reader of online rss-dienst deze regelmatig controleert en nieuwe items automatisch binnenhaalt. Het gaat dus om een vorm van semi-push, waarbij de rss-reader of -dienst als tussenstation fungeert. Rss is misschien geen mainstream-technologie (meer), maar kent een heropleving bij gebruikers die meer controle willen over hun informatiebronnen.

Een browserextensie zoals RSS Feed Finder, beschikbaar in de Firefox add-ons en Chrome Web Store, kan zulke feeds automatisch detecteren. Zet de extensie vast in de knoppenbalk en klik erop om beschikbare feeds te bekijken en eventueel aan je rss-reader toe te voegen.

We tonen kort hoe je op enkele populaire platformen gericht naar rss- of Atom-feeds kunt zoeken.

Zo heeft vrijwel elk openbaar YouTube-kanaal een eigen rss-feed, met als url www.youtube.com/feeds/videos.xml?channel_id=<KANAAL_ID>. Een handige web-app om snel een channel_id te achterhalen is Comment Picker. Vul de kanaal- of gebruikersnaam in en laat de tool het kanaal-ID opzoeken. Het resultaat verschijnt in het witte infopaneel.

Ook Reddit ondersteunt volop rss-feeds. Voor een subreddit volstaat het meestal om .rss aan de url toe te voegen. Zo wordt bijvoorbeeld www.reddit.com/r/artificial/ automatisch de feed www.reddit.com/r/artificial/.rss. Je kunt hiervan ook specifieke overzichten volgen, zoals alleen nieuwe berichten via www.reddit.com/r/artificial/new/.rss of populaire bijdragen via www.reddit.com/r/artificial/top/.rss.

Helaas bieden lang niet alle websites nieuwsfeeds aan; veel overheidsportalen en bedrijfswebsites bijvoorbeeld laten deze technologie links liggen. In dat geval bieden PolitePaul en RSSHub uitkomst. Beide genereren feeds voor websites zonder eigen rss, maar doen dit totaal verschillend.

PolitePaul ‘scrapet’ een webpagina: het leest de structuur uit en zet onderdelen automatisch om naar een feed. Na aanmelding selecteer je via een visuele editor zelf elementen zoals titels, datums of afbeeldingen. Denk aan een datatabel op een site als www.gemeente-x.nl/vacatures: zodra er een vacature bijkomt, verschijnt deze in je rss-reader. Je kunt gratis tot 20 feeds creëren die elk uur verversen.

Het opensource-project RSSHub werkt via vaste sjablonen oftewel routes en mikt op meer gevorderde gebruikers. Je zoekt in de documentatie naar de gewenste dienst, vervangt plaatsaanduidingen als USERNAME of een kanaal-ID door de juiste waarden en plakt dit achter het adres van een RSSHub-server, zoals https://rsshub.app/youtube/channel/<kanaal_id>. Je vindt deze routes hier. Helaas werken veel routes niet stabiel via publieke servers als rsshub.app, vooral wanneer platformen zoals X of Instagram, blokkades opwerpen of inloggegevens vereisen. Ze werken pas betrouwbaar als je zelf een RSSHub-server draait, bijvoorbeeld via Docker op een NAS of VPS. We hebben jammer genoeg niet de ruimte om hier dieper op in te gaan.

Niet elke website biedt rss-feeds aan. Wanneer ook PolitePaul of RSSHub de gewenste informatie niet kunnen ontsluiten, of als je deze liever niet gebruikt, kun je terugvallen op zogeheten mutatiedetectie. Populaire diensten zoals Distill.io, Visualping en ChangeDetection.io controleren een webpagina op regelmatige tijdstippen en sturen een melding zodra de inhoud wijzigt. Een rss-feed is daarbij niet nodig: de dienst vergelijkt simpelweg de actuele versie van een pagina met een eerdere versie.

De gratis versies van Distill.io en Visualping hebben wel beperkingen, onder meer in het aantal te volgen pagina’s en controles. Dat geldt ook voor ChangeDetection.io, tenzij je de server zelf host, bijvoorbeeld via Docker op Windows of een NAS. Een belangrijk voordeel van ChangeDetection.io is dat het wijzigingsmeldingen ook als rss-feed kan aanbieden, waardoor integratie met bijvoorbeeld een eigen rss-server eenvoudiger wordt (zie verderop).

Op een Windows-pc bijvoorbeeld kan dit als volgt, met Docker Desktop gestart (hier downloaden). Maak in een teksteditor het volgende bestand aan. Gebruik voor elk inspringniveau telkens twee spaties, gebruik geen tabs:

services:
  changedetection:
    image: dgtlmoon/changedetection.io:latest
    container_name: changedetection
    hostname: changedetection
    ports:
      - "5000:5000"
    volumes:
      - ./changedetection-data:/datastore
    environment:
      - BASE_URL=http://localhost:5000
      - TZ=Europe/Amsterdam
    restart: unless-stopped

Bewaar dit bestand als docker-compose.yml in bijvoorbeeld de lege submap \changedetection. Zorg dat Docker actief is en voer vanuit deze map het opdrachtregelcommando docker compose up -d uit. Daarna is de server bereikbaar via het lokale adres http://localhost:5000.

Distill.io: www.distill.io

Visualping: www.visualping.io

ChangeDetection.io: https://changedetection.io/

Met de hierboven vermelde diensten en technieken kun je dus heel veel informatie naar je laten toekomen in de vorm van rss-feeds. Deze wil je natuurlijk niet als ruwe xml-data bekijken, maar in een geformatteerde, gebruiksvriendelijke vorm. Daar heb je een rss-reader voor nodig. Degelijke en gratis opensource apps zijn alvast Fluent Reader (Windows), Feeder (Android) en NetNewsWire (iOS). Alle drie zijn ze in de respectieve stores beschikbaar en kunnen volledig met een lokale database werken, via een rechtstreekse verbinding met rss-feeds van je favoriete sites.

We nemen heel kort Fluent Reader als voorbeeld. Klik op het tandwielpictogram en vul de feed-url in bij Bron toevoegen. Bevestig met Toevoegen. Als je meerdere feeds van dezelfde bron wilt, ga dan na of je deze daar als een OPML-bestand (Outline Processor Markup Language) kunt exporteren, waarna je dit via Importeren in Fluent Reader binnenhaalt.

Je kunt hier ook een OPML-bestand exporteren voor alle feeds. Met het volgende codestramien kun je eventueel ook zelf rss-feeds in zo’n OPML-bestand zetten:

<?xml version="1.0" encoding="UTF-8"?>
<opml version="2.0">
  <head>
    <title> <Feeds-titel> </title>
  </head>
  <body>
    <outline text="Feed 1"
             title="Feed 1"
             type="rss"
             xmlUrl="https://..." />
    <outline text="Feed 2"
             title="Feed 2"
             type="rss"
             xmlUrl="https://..." />
  </body>
</opml>

Het voordeel van eenvoudige rss-readers die puur lokaal werken, is de eenvoud en de privacy, maar dit mes snijdt aan twee kanten: doordat ze alles op je apparaat bewaren, wordt onder meer de (on)gelezen-status niet overal automatisch gesynchroniseerd.

Wil je dit, dan is de eenvoudigste methode een rss-cloudserver als het krachtige Inoreader (www.inoreader.com) of het gebruiksvriendelijke Feedly (www.feedly.com), beide ook als mobiele app beschikbaar.

We gaan hier even uit van Inoreader. Nadat je bij de dienst bent aangemeld, vul je een feed-url in of zoek je via trefwoorden naar een geschikte feed, die je vervolgens toevoegt met Follow. Links, bij Feeds, krijg je een overzicht van de toegevoegde feeds. Via de knop met de drie puntjes kun je met een betaald account onder meer notities toevoegen, maar ook een regel creëren met een eigen if-then-structuur, bijvoorbeeld If Title contains Mythos Then Send to Email / Google Drive / Team-channel of Trigger webhook. Bij dit laatste stuurt Inoreader bij elk nieuw item automatisch een http-verzoek naar een zelfgekozen url. Om te testen kun je een gratis dienst als www.webhook.site gebruiken. Deze levert een unieke url waarop je meteen kunt zien welke gegevens Inoreader doorstuurt. Gevorderde gebruikers kunnen zo’n webhook ook koppelen aan een automatiseringsplatform als n8n.

Diensten als Inoreader of Feedly zijn gebruiksvriendelijk, maar er zijn goede redenen om een eigen rss-server te draaien. Zo analyseert geen externe dienst je leesgedrag en behoud je volledige controle over je data, aangezien alles op je eigen server blijft staan. Er zijn geen abonnementskosten, advertenties of limieten op het aantal feeds en je bepaalt zelf hoelang artikelen bewaard blijven. Bovendien kun je zo’n server eenvoudig integreren met andere tools, zoals Docker, Changedetection.io en automatiseringsplatformen als n8n.

Gratis, populaire en opensource rss-platformen zijn NewsBlur en FreshRSS. Deze laatste is minder complex, stelt weinig systeemeisen en nemen we daarom kort als voorbeeld. Net als ChangeDetection.io kun je ook deze server het eenvoudigst als Docker-image opzetten, bijvoorbeeld op je NAS of Windows-toestel. Gebruik hiervoor het volgende docker-compose.yml-bestand (let ook hier op correct inspringen) en voer vanuit die submap docker compose up -d uit:

services:
  freshrss:
    image: freshrss/freshrss:latest
    container_name: freshrss
    ports:
      - "8888:80"
    volumes:
      - ./data:/var/www/FreshRSS/data
      - ./extensions:/var/www/FreshRSS/extensions
    restart: unless-stopped

Wanneer je de server vervolgens voor het eerst opent via http://localhost:8888, stel je nog enkele zaken in, zoals de taal (Nederlands), de database (SQLite is wellicht het handigst) en je login. Na je aanmelding kun je via Abonnementenbeheer alle gewenste feeds (en OPML-bestanden) toevoegen en rubriceren. Via het tandwielpictogram bereik je talrijke configuratie-opties. Zo kun je bij Lezen onder meer allerlei filters instellen.

Je kunt de server uiteraard ook vanuit je mobiele browser gebruiken, maar handiger is een app als FeedMe (Android) of Reeder (iOS). Deze apps kunnen rechtstreeks synchroniseren met je FreshRSS-server. Deze opzet vergt wel enige voorbereiding in FreshRSS.

Klik op het tandwielpictogram en kies Authenticatie. Schakel Sta API toegang toe[…] in en bevestig met Opslaan. Open vervolgens de rubriek Profiel (linksboven) en vul een Wachtwoord API in. Noteer hier het API-adres: http://<server-ip-adres>:8888/api/.

We gaan nu uit van de mobiele app FeedMe. Kies hier bij het toevoegen van een account voor Self Host / FreshRSS Google Reader API. Vul vervolgens het adres van je server in, bijvoorbeeld http://<server-ip-adres>:8888/api/greader.php, samen met de logingegevens. Je zult zien dat alle feeds binnen FreshRSS netjes gesynchroniseerd worden, zowel op je pc als je smartphone.

Wil je de server ook buitenshuis gebruiken, dan moet deze uiteraard bereikbaar zijn via internet. Dat kun je doen met portforwarding, maar een reverse proxy met https of een (mesh-)VPN zoals Tailscale is doorgaans veiliger. Helaas valt dit buiten het bestek van dit artikel.

Wil je nog een (flinke) stap verder gaan, dan kun je een automatiseringsplatform als n8n inzetten. Hiermee laat je informatie uit rss-feeds, sociale media, databronnen, webhooks en API’s automatisch verwerken volgens zelfgekozen filters en regels.

Een workflow kan bijvoorbeeld bestaan uit een rss-feed, eventueel afkomstig van FreshRSS, die door n8n wordt uitgelezen. Vervolgens kun je alleen berichten doorlaten waarin woorden als AI of beveiliging voorkomen. De overblijvende berichten kun je eventueel laten samenvatten of vertalen, of combineren met andere bronnen. De resultaten kun je vervolgens automatisch laten opslaan in Google Sheets of een database, maar ook laten doorsturen naar e-mail, Telegram, Discord of andere platformen.

Je kunt de community-versie van n8n ook via Docker installeren, met bijvoorbeeld het volgende docker-compose.yml-bestand:

services:
  n8n:
    image: n8nio/n8n:latest
    container_name: n8n
    ports:
      - "5678:5678"
    environment:
      - TZ=Europe/Amsterdam
      - GENERIC_TIMEZONE=Europe/Amsterdam 
      - N8N_ENFORCE_SETTINGS_FILE_PERMISSIONS=true
    volumes:
      - ./n8n_data:/home/node/.n8n
    restart: unless-stopped

Nadat je docker compose up -d in deze submap hebt uitgevoerd is de server bereikbaar op http://localhost:5678. Na je aanmelding kun je via Build a workflow de nodige trigger(s) en actie(s) instellen.