Google, Facebook, Amazon en de ‘kleinere’ concurrenten op de zoekmarkt weten samen volgens internetwijsheid slechts de weg op één procent van het internet; het topje van de ijsberg. De rest is het zogenaamde Deep Web. Welke mysterieuze informatie kun je daar vinden? En hoe doe je dat?

Zoekmachines en sociale netwerken kunnen redelijk goed omgaan met publiek beschikbare informatie op internet, zoals websites, blogs, downloads, webwinkels en openbare sociale media. Maar het grootste deel van internet bestaat uit afgeschermde content, zoals webmail, sites en servers met logins, instituuts- en bedrijfsdatabanken, cloudopslag, enzovoort.

Dit deel van het internet wordt niet gezien door de Googles, Facebooks en Amazons van deze wereld, is daardoor onbekend bij de gemiddelde internetgebruiker en vaak niet eens bereikbaar met een normale webbrowser. Deze niet-publieke informatie wordt Deep Web genoemd.

Een klein deel van het Deep Web wordt aangeduid met de term Dark Web. Dit is een verzamelnaam voor versleutelde webdiensten waar enerzijds politieke dissidenten en klokkenluiders veilig zouden kunnen communiceren, maar waar dankzij cryptovaluta ook drugs, geweld en andere narigheid te koop zijn. Het Deep Web is dus veel meer dan het Dark Web.

Hoe vind je informatie op het Deep Web dan wel? Onderstaande sites helpen je daarbij.

Deep Web Tech

©PXimport

Onderzoeksorganisaties en grote bedrijven kunnen met het doorzoeken van het Deep Web hun resultaten verbeteren. Deep Web Tech biedt daarvoor de dienst Explorit Everywhere! aan. Dit is een zoekmachine die reguliere bronnen op internet combineert met wat je er zelf aan toevoegt.

Dat kunnen bijvoorbeeld betaalde zoekdiensten zijn, abonnementen op databanken met onderzoeksgegevens en ga zo maar door. Door gebruik te maken van de technologie van Deep Web Tech is het mogelijk om vanuit één zoekvenster al die verschillende bronnen te doorzoeken om vervolgens de resultaten te filteren. Dat maakt zoeken door uitgebreide bronnen overzichtelijker.

Deze zoekmachine is niet gratis, maar de website biedt een testvenster aan om te laten zien wat mogelijk is. Met een zoekopdracht op de website kun je in één keer door 63 verschillende overheidsbronnen zoeken. Het brengt leuk in beeld hoeveel verschillen er zijn tussen zulke specifieke resultaten en bijvoorbeeld de standaardresultaten van Google.

DuckDuckGo

©PXimport

DuckDuckGo is als zoekmachine vooral bekend doordat de dienst altijd aangehaald wordt als privacy-vriendelijk alternatief voor Google. Je kunt er gewoon mee zoeken op het reguliere internet waarbij DuckDuckGo belooft advertentietrackers te blokkeren, zoekgeschiedenis privé te houden en je persoonlijke gegevens te respecteren.

Resultaten van zoekopdrachten blijven breder doordat ze niet aan je klikgedrag uit het verleden worden aangepast. Naast deze functionaliteit biedt DuckDuckGo meer. Zo zijn er plugins om de allround privacy van browsers te verbeteren en deze zoekmachine als standaard in te stellen. Qua zoekgedrag is DuckDuckGo zeer geschikt voor mensen die het Deep Web willen onderzoeken. Er worden namelijk ook bestemmingen op plaatsen als het TOR-netwerk en Wolfram|Alpha geïndexeerd.

Maar hoe komt een zoekdienst aan geld? Uiteindelijk willen de 55 medewerkers van DuckDuckGo ook graag een salaris aan het einde van de maand. Welnu, de zoekdienst haalt omzet uit het serveren van advertenties via het Yahoo-Bing alliance network en door samenwerking met Amazon en eBay.

Google Scholar

©PXimport

Is het mogelijk om een tekst over zoekmachines te schrijven zonder Google te noemen? Klaarblijkelijk niet. Wie een zoektocht door het Deep Web gaat ondernemen kan niet aan de slag zonder Google Scholar te overwegen.

Via deze loot aan de Google boom kun je zoeken in academische teksten en (Amerikaanse) jurisprudentie. Het is een bijna onmisbaar stuk gereedschap voor academici en (Amerikaanse) juristen die niet de populairste teksten zoeken, maar juist de obscure onderzoeken, rapporten en boeken die nodig zijn om een onderzoek af te kunnen ronden met betrouwbare bronvermelding.

Buiten Google Scholar om zijn er ook vergelijkbare andere diensten. CiteSeerX bijvoorbeeld is een gratis alternatief dat wat minder resultaat biedt en daarnaast zijn er betaalde diensten zoals Scopus van Elsevier. Google Scholar biedt gratis toegang tot naar schatting 389 miljoen academische documenten, wat het tot de grootste academische zoekmachine in de wereld maakt.

Hidden Wiki

©PXimport

Internet browsen via TOR doet soms denken aan de roerige begintijden in de vroege jaren 90. The Hidden Wiki biedt binnen dat kader een mooie casus over de complexiteit van een volledig vrij internet. Deze overzichtspagina werkt als een index van Deep Web-websites voor mensen die via TOR browsen.

Het is opgezet als een Wiki, wat inhoudt dat iedereen de pagina kan bewerken en er altijd naarstig gezocht wordt naar vrijwilligers om orde in de chaos te scheppen. De inhoud van de index kan daardoor van dag tot dag radicaal veranderen. Naar verluidt is de privésleutel van deze site een aantal jaar geleden gestolen waardoor het ook nooit helemaal zeker is of je op de echte Hidden Wiki bent. De link die wij bieden is die voor de etalage op het reguliere internet. Dat is vooralsnog het beste startpunt om op de Hidden Wiki terecht te komen.

Qua inhoud wordt door de aanhang veel tijd besteed aan het ophemelen van de geneugten van absolute vrijheid op internet. Wat je vooral tegenkomt zijn zaken als drugs, wapens, maak je eigen bom en verhandelingen rondom cryptovaluta zoals Bitcoin. Natuurlijk is er ook een mogelijkheid om naar Wikileaks te uploaden en anoniem te praten, maar daar ligt niet het zwaartepunt van deze bestemming. Hopelijk spreekt het voor zich dat je uiterst voorzichtig doet met de links op deze pagina.

Internet Archive: Wayback Machine

©PXimport

Websites komen en gaan, en zelfs degenen die lang blijven veranderen over tijd. Het Internet Archive probeert websites te archiveren en biedt via de eigen website een Wayback Machine aan. Vul hier het adres van een website in en het archief geeft je een tijdlijn met daarin momentopnames.

Je kunt zien hoe vaak de website is gearchiveerd en via een kalender de momentopnames van deze site bezoeken. De dienst is onofficieel van start gegaan in 1996 en officieel gelanceerd in 2001. Toen waren er al tegen de 10 miljard gearchiveerde webpagina’s beschikbaar. Vanzelfsprekend is niet iedere wijziging op iedere pagina te vinden. Een standaard indexering van internet met de ‘crawlers’ van het archief kost ongeveer anderhalf jaar.

Ook opslag is een factor. Het internet archief groeit sinds 2014 met 20 terabytes per maand en op dit moment neemt het meer dan 25 petabytes opslagruimte in. Meer dan genoeg om enkele regenachtige zondagen aan nostalgisch surfen te wijden.

Ga verder naar deel 2.

Wikipedia heeft een deal gesloten met bedrijven als Microsoft, Amazon en Mistral AI. Zij gaan voortaan betalen voor toegang tot Wikipedia Enterprise. In ruil krijgen ze toegang tot grote hoeveelheden content uit de online encyclopedie.

De samenwerking werd gisteren aangekondigd – precies op de vijfentwintigste verjaardag van Wikipedia. De samenwerking tussen de encyclopedie en bedrijven als Microsoft, Meta, Amazon, Mistral AI en Perplexity zorgt ervoor dat zij allen gebruik kunnen maken van Wikipedia Enterprise. Het is niet bekend hoeveel deze bedrijven betalen voor hun lidmaatschap.

Wat is Wikipedia Enterprise?

Wikipedia Enterprise is de commerciële tak van Wikipedia waarbij aangesloten bedrijven op grote schaal data aangeleverd krijgen via een API-dienst. Zo kunnen AI-bedrijven, zoekmachines en spraakassistenten op grote schaal betrouwbare data van Wikipedia ontvangen die door machines gelezen kan worden.

Kortgezegd is dit een efficiënte en makkelijke manier voor bedrijven om de informatie uit Wikipedia-pagina's voor hun eigen producten te gebruiken. Daarbij gaat het ook om de meest recente versies van Wikipedia-pagina's, zodat informatie altijd zo nieuw mogelijk en dus relevant is.

Lees ook: Kennis delen? Zo werk je mee aan Wikipedia

Waarom sluiten bedrijven zich bij Wikipedia Enterprise aan?

Hoewel elk bedrijf zijn eigen reden heeft om zich bij Wikipedia Enterprise aan te sluiten, lijken de deze week aangekondigde samenwerkingen vooral te maken te hebben met het gebruik van Wikipedia-info voor AI. Op die manier kunnen AI-bots getraind worden met correcte info van Wikipedia die door mensen is geschreven, waardoor ze steeds slimmer worden en ook steeds meer informatie kunnen bieden.

De samenwerking voelt deels symbolisch: bedrijven laten hun AI-modellen al geruime tijd gebruikmaken van Wikipedia en alle andere bronnen op het internet, waardoor Wikipedia aanzienlijk minder bezoek krijgt vergeleken met enkele jaren geleden. Wikipedia riep AI-bedrijven afgelopen jaar dan ook op te betalen voor het gebruik van Wikipedia-pagina's voor AI-training. Daar hebben Microsoft, Meta, Amazon en consorten nu dus gehoor aan gegeven. Andere bedrijven, zoals Google, hadden zich al aangesloten bij Wikipedia Enterprise.

Het was al bekend dat Lego dit jaar met een nieuwe set gebaseerd op Nintendo's populaire gamereeks gaat komen, en nu zijn er zowel details als foto's van de 'The Legend of Zelda: Ocarina of Time'-set opgedoken.

De informatie en afbeeldingen zijn afkomstig van het Reddit-account Brick Tap. Het account plaatste deze op de Lego Leaks-subreddit, en onthulde daarmee dat de set een diorama van het laatste gevecht in The Legend of Zelda: Ocarina of Time is. 

Link neemt het hierin op tegen de kwaadaardige Ganondorf, en beide personages zijn dan ook inbegrepen. Ook Princess Zelda is van de partij, en de doos toont al dat we ook Ganon in zijn demonenvorm kunnen bouwen bij aankoop van de 'The Final Battle: Ocarina of Time'-set.

De set is dus nog niet officieel onthuld, maar volgens Brick Tap bevat de doos 1003 steentjes om het eindgevecht uit Ocarina of Time mee na te bouwen. Ook zegt hij dat de prijs 120 euro zal worden. Op 1 maart moet deze Lego-set in de winkels liggen, dus het valt te verwachten dat Lego deze binnenkort officieel uit de doeken doet. 

Vorig jaar werd al bekend dat Lego nog een Legend of Zelda-set uit ging brengen, nadat het bedrijf eerder al een set gebaseerd op de Great Deku Tree uit de Nintendo-franchise had uitgebracht. Die set kon je op twee manieren bouwen: als de Deku Tree uit The Legend of Zelda: Breath of the Wild, of als de versie van Ocarina of Time. 

Nintendo is zelf ook nog altijd bezig met The Legend of Zelda. Hoewel er nog weinig bekend is over het volgende deel in de reeks, bracht het bedrijf in 2024 The Legend of Zelda: Echoes of Wisdom uit, waarin de titulaire prinses voor het eerst de hoofdrol speelde. Ook heeft het Japanse bedrijf de handen ineen geslagen met Sony Pictures om een live-action Zelda-film te maken, waarvan in 2025 de eerste beelden zijn getoond. De film draait vanaf 7 mei 2027 in de bioscoop.