ID.nl logo
Complete website downloaden met HTTrack
© PXimport
Huis

Complete website downloaden met HTTrack

Het kan soms nuttig zijn een complete website te downloaden. Daarvoor leent de tool HTTrack zich uitstekend. Bezint echter voor je begint, want het zorgt voor een hoop extra dataverkeer bij de aanbieder van de site die je gaat binnenhalen.

Een website downloaden is handig om deze lokaal altijd achter de hand te hebben. In onze moderne contreien speelt dat probleem eigenlijk niet meer. De tijd van inbelmodems en trage, onbetrouwbare verbindingen ligt ver achter ons. Maar als je op vakantie of een werktrip naar verre oorden gaat, is een betrouwbare internetverbinding een heel stuk minder vanzelfsprekend. Dat kan een reden zijn om een bepaalde site die je beslist voor werk of studie nodig hebt qua referentiemateriaal voor vertrek te downloaden. 

Een veel interessanter scenario is het downloaden van verweesde, historisch interessante websites met unieke inhoud. Daarvan verdwijnen er steeds meer voorgoed. Bijvoorbeeld omdat de eigenaar ervan komt te overlijden, een hoster oude ‘rommel’ verwijdert enzovoort.

Geschiedenis verdwijnt daarmee beetje bij beetje. Heb jij een specifieke hobby waarvoor je sites gebruikt waarvan je merkt dat er al jarenlang geen aanpassingen meer geweest zijn, dan groeit de kans op onverwacht verdwijnen. Zo’n scenario rechtvaardigt downloaden.

Ideaal voor op nas

Ga in principe niet in het wilde weg actuele en goed bijgehouden websites downloaden. Dat kost de aanbieder een hoop dataverkeer. Bovendien is het gedownloade materiaal dan slechts een snapshot in de tijd en al heel snel achterhaald. Focus op die echt bijzondere sites, of op die enkele keer dat je zo’n snapshot nodig hebt in een internetloos gebied. 

Om een site te kunnen downloaden komt de gratis tool – zonder meer een veteraan te noemen die al heel lang meedraait – HTTrack best van pas. Hij is er in een variant voor Linux en Windows. Met name de Linux-variant is erg interessant. Het downloaden van een grote site kan dagen tot soms meer dan een week duren. Snelheden worden namelijk maar al te vaak vanaf de kant van de website gelimiteerd. 

Het betekent dat de Windows-variant wat onhandig is, want daarvoor moet je een pc dagen en nachten achter elkaar aan laten staan. Niet alleen zonde van het energieverbruik, maar de kans dat Windows tussen de bedrijven door herstart vanwege een of andere update is ook vrij groot.

Je kunt beter bijvoorbeeld een virtueel Linux-systeem op je NAS installeren (als je die optie hebt), en daar HTTrack op installeren. Dat ding staat meestal toch al 24/7 aan, dus een mooi klusje erbij kost je de kop niet aan extra energieverbruik. Of denk eens aan een Raspberry Pi met een wat ruimer bemeten SD-opslag.

Debian als voorbeeld

Wij gaan aan de slag met de Linux-variant (maar als je Windows gebruikt kun je ook meedoen!), een Debian-machine draaiend als VM op een Synology NAS. Om HTTrack te installeren start je de app Software (klik op Activiteiten linksboven en dan in het geopende dock op de boodschappentas). Klik in het geopende venster op het vergrootglaasje linksboven en tik als zoekterm in ’t daarvoor bestemde veld webhttrack.

Klik op WebHTTrack Website Copier en installeer de tool met behulp van de daarvoor bestemde knop op de geopende pagina. Je kunt de virtuele softwarewinkel weer sluiten.

©PXimport

De Linux-versie vind je vervolgens terug in je software-overzicht, in Debian te bereiken met een klik op de veelstippige knop onderaan het dock. Vervolgens wordt je browser gestart. Precies dat is het essentiële verschil tussen de Windows- en Linux-versie. De Windows-versie is een traditioneel .exe-programma, de Linux-variant wordt via een lokale webserver in je browser getoond.

De functionaliteit is echter gelijk, met als enig minpuntje dat de Windowsversie wat ‘gedateerd’ toont qua uiterlijk. Maar het werkt als een tierelier in beide gevallen, en dat is waar het om gaat natuurlijk. Klik op de knop Volgende – rechts onder in beeld – om aan de slag te gaan.

©PXimport

Aan de slag

Als voorbeeld gaan we een kopie trekken van https://www.landley.net. Ga nou niet óók deze site lokaal spiegelen, het is slechts een voorbeeldje. In ieder geval een site met heel veel historische interessante informatie, met name onder Computer History

Om te beginnen vul je achter Nieuw projectnaam (de Nederlandse taalmodule is niet helemáál foutloos) een omschrijving van je project in. Dat kan – logischerwijs – de naam van de site zijn, met eventueel een keyword waar het om gaat. De overige instellingen kun je in principe laten zoals ze zijn. Klik op Volgende

Kopieer de URL van de lokaal te spiegelen website en plak deze in het URL-blok. Klik dan op Instellingen definiëren. Er is heel veel mogelijk, hierna adviezen betreffende settings die tot het beste resultaat leiden.

Optimale instellingen

De instellingen onder Links, Struktuur, MIME typen, Browser ID, Filters, Protocol, Index, Cache en Proxy laat je staan op de standaardwaarden. Alleen als je heel specifieke wensen hebt kun je hier wat gaan sleutelen, maar dat zal zelden tot nooit nodig zijn. Gaan we naar Expert. De ervaring leert dat daar de – onder Globale doorloopmodus – de optie Op dezelfde domain blijven vaak betere (lees: completere) resultaten oplevert dan de standaard geselecteerde optie Op hetzelfde adres blijven (default). Krijg je niet de complete site binnen (of juist alleen het deel dat je wilt), dan is dit de plek om even wat te experimenteren.

©PXimport

Let op de maxima

Tik bovenaan op Stroomcontrole, ook hier kun je de instellingen in principe ‘r best zo laten staan als ze zijn. Eventueel kun je het aantal verbindingen achter N# verbindingen iets verhogen. Maakt het spiegelen wellicht iets sneller, maar vormt ook een hogere belasting voor de server waar de site op staat. 

Laten we proberen het een beetje netjes te houden en hier dus niet iets als ‘100’ in te vullen… Klik op Beperkingen en zet hier vooral de optie Maximum externe diepte op 0. Doe je dat niet, dan loop je het risico om ’t complete internet te gaan downloaden. Dat gaat niet alleen lang duren, maar vergt ook – understatement – flink wat lokale opslagruimte. 

De Maximale transfersnelheid kun je naar eigen inzicht verhogen, denk aan bijvoorbeeld de helft van je download-bandbreedte die beschikbaar is. Kijk even naar de overige instellingen, wellicht is daar nog iets van je gading te vinden. 

Op erg grote en complexe sites is het niet onverstandig om de Maximale diepte ietwat te beperken, tot bijvoorbeeld vijf niveau’s. Daar haal je dan wellicht niet de complete site mee binnen, maar wel de belangrijkste zaken. Scheelt downloadtijd en vooral opslagruimte. Een veld zonder waarde betekent trouwens ‘geen limiet’.

©PXimport

Robot

Veel websites – zo niet alle, tegenwoordig – hebben een tekstbestandje ingebouwd dat aangeeft dat de site niet gekopieerd mag worden door robots. Dit, om te voorkomen dat allerlei automatische tools en crawlers complete sites gaan downloaden en de bandbreedte volledig wordt dichtgetrokken. In principe houdt HTTrack zich ook aan deze regel. Het gevolg laat zich raden: er wordt niks of bijna niks van de site die je wilt kopiëren binnengehaald. 

Ofwel: we moeten nu even heel onbeleefd gaan doen en die regel (wens) negeren. Klik daarvoor op Spider en kies onder Volg de regels in Robot.txt de optie Geen robots.txt regels. In principe ben je qua settings nu klaar; klik op OK om alle hierboven gemaakte aanpassingen in een keer door te voeren.

©PXimport

Handige indexpagina

Klik op Volgende en dan Start, waarna het downloaden (lokaal spiegelen) van de site begint. Kan zoals gezegd bij grotere sites een flinke tijd duren, dus erbij blijven zitten heeft meestal weinig nut. Als de spiegeling voltooid is, zie je daarvan vanzelf een melding en kan het browservenster gesloten worden. 

Je vindt de site terug in de in de allereerste stap gekozen map, onder Debian is dat standaard de home-map (Persoonlijke map) die bij je Debian-account hoort. Daarin vind je de map websites met de gedownloade sites. 

Aardig is dat HTTrack een handige indexpagina maakt. Dubbelklik op het bestand index.html in de map websites en je ziet daar links naar alle onderliggende gedownloade sites verschijnen.

▼ Volgende artikel
Waar voor je geld: 5 alles-in-één laserprinters voor een mooie prijs
© Tim Allen
Huis

Waar voor je geld: 5 alles-in-één laserprinters voor een mooie prijs

Bij ID.nl zijn we gek op producten waar je niet de hoofdprijs voor betaalt. Een paar keer per week speuren we daarom binnen een bepaald thema naar zulke deals. Een all-in-one-printer is een handig apparaat voor het scannen, kopiëren en printen van documenten en foto's. De allerbeste afdrukkwaliteit krijg je met een laserprinter. Wij vonden vijf betaalbare modellen voor je.

Een laserprinter maakt gebruik van toner in plaats van inkt om afdrukken te produceren. Toner is een fijn poeder dat met hoge temperaturen op het papier wordt gesmolten. Dit proces zorgt ervoor dat je met grote toners kunt printen, wat betekent dat je langere tijd kunt blijven afdrukken zonder de toner te hoeven vervangen. Laserprinters zijn vaak snel en efficiënt, waardoor ze uitstekend zijn voor gebruik op kantoor. Maar ook als je thuis veel print, bijvoorbeeld als zzp'er, kan een laserprinter uitkomst bieden.

HP Color Laser 179fnw

De HP Color Laser MFP 179fnw is een van de kleinste kleurenlaserprinters in zijn klasse en is daardoor ideaal voor thuisgebruik en plekken waar niet veel plek voor een printer is. Met functies zoals printen, scannen, kopiëren en zelfs nog faxen biedt deze 4-in-1 printer een hoop veelzijdigheid. De afdruksnelheid bedraagt tot 18 pagina's per minuut in zwart-wit en 4 ppm in kleur, met een resolutie van 600 x 600 dpi.

Dankzij de automatische documentinvoer (ADF) voor 40 pagina's en wifi-verbinding is deze printer gebruiksvriendelijk en multi-inzetbaar. Hoewel de afdruksnelheid lager ligt dan bij sommige concurrenten, is zijn compacte formaat juist een pluspunt.

Brother DCP 1610W

De Brother DCP-1610W is een compacte zwart-wit laserprinter die printen, kopiëren en scannen combineert. Met een afdruksnelheid van 20 pagina's per minuut en een resolutie van 2400 x 600 dpi levert hij haarscherpe resultaten. Dankzij wifi-connectiviteit kunnen meerdere gebruikers eenvoudig draadloos printen.

De papierlade biedt plaats aan 150 vellen en het apparaat is voorzien van anti-jam-technologie om papierstoringen tot een minimum te beperken. In vergelijking met de HP Color Laser MFP 179fnw biedt deze printer geen kleurafdrukken, maar hij is wel een stuk sneller met zijn afdrukken.

HP Laserjet Pro 2Z622

De HP LaserJet Pro 2Z622 is geschikt voor onder meer kantooromgevingen. Met afdruksnelheden tot 42 pagina's per minuut en functies zoals dubbelzijdig printen, scannen, kopiëren en faxen is dit een lekker veelzijdige 4-in-1-laserprinter. Het apparaat ondersteunt zowel bekabelde als draadloze netwerken en biedt geavanceerde beveiligingsfuncties.

Canon i-SENSYS MF272wd

De Canon i-SENSYS MF272dw is een monochrome laserprinter en drukt af met en snelheid van 29 pagina's per minuut. Met een resolutie van 2400 x 600 dpi levert hij snelle en scherpe resultaten. Dankzij automatische dubbelzijdige afdrukken, wifi- en ethernetverbinding is hij veelzijdig inzetbaar.

In vergelijking met de Brother DCP-1610W levert deze Canon i-SENSYS MF272dw snellere prestaties en meer connectiviteitsopties, hoewel hij geen kleurendruk ondersteunt; dan moet je toch echt bij de HP Color Laser MFP 179fnw zijn.

Xerox B225 A4

De Xerox B225 is een zwart-wit all-in-one-laserprinter die printen, kopiëren en scannen combineert. Met een afdruksnelheid van maar liefst 34 pagina's per minuut en een eerste afdruktijd van slechts 6,4 seconden is hij goed in te zetten als je veel en vaak print. De printer beschikt over automatische dubbelzijdige afdrukken, een papierlade voor 250 vellen en kan via wifi of een vaste netwerkverbinding met je thuisnetwerk worden verbonden.

▼ Volgende artikel
Garmin kondigt Instinct 3 - Tactical Edition aan
Gezond leven

Garmin kondigt Instinct 3 - Tactical Edition aan

Garmin heeft de Instinct 3 - Tactical Edition aangekondigd, een nieuwe serie tactische smartwatches die verkrijgbaar zijn met een AMOLED-scherm of een display op zonne-energie.

De smartwatches zijn volgens Garmin ontworpen voor gebruik in uitdagende omgevingen en voorzien van een met metaal versterkte rand voor extra duurzaamheid, een rucking-activiteit voor training en ingebouwde LED-verlichting op zowel de 45mm als 50mm modellen. De batterijduur van het AMOLED-model kan oplopen tot 24 dagen in smartwatchmodus, terwijl de modellen op zonne-energie onder ideale omstandigheden onbeperkt kunnen functioneren.

Robuust ontwerp

De Instinct 3 - Tactical Edition is voorzien van een stevige constructie met een metalen versterkte rand, een behuizing van met vezels versterkt polymeer en een krasbestendig scherm. De smartwatches zijn gebouwd volgens de MIL-STD 810 norm voor thermische en schokbestendigheid en zijn waterdicht tot 100 meter. De ingebouwde zaklamp biedt variabele lichtsterktes, een groene modus om het natuurlijke nachtzicht te behouden en een stroboscoopmodus voor locatiebepaling in moeilijk terrein. Voor nachtelijk gebruik is er een NVG-modus (Night Vision Goggle) die het scherm dimt tot een niveau dat functioneel blijft voor de gebruiker maar vrijwel onzichtbaar is voor anderen.

Uitgebreide functionaliteit

De Instinct 3 - Tactical Edition beschikt over diverse speciale functies, waaronder rucking-activiteit waarmee gebruikers het gewicht van hun bepakking kunnen invoeren voor beter inzicht in hun fysieke inspanning. Deze functie kan ook worden gebruikt bij activiteiten zoals trailrunning, wandelen en hiken. Alle modellen bevatten de Applied Ballistics solver en zijn compatibel met de Applied Ballistics Quantum app.

De smartwatches zijn verkrijgbaar in twee formaten: 45mm of 50mm met display op zonne-energie, en een 50mm-variant met AMOLED-scherm. De zonne-efficiëntie is verbeterd met een grotere, efficiëntere zonnelens. Vergeleken met het vorige model heeft het nieuwe 50mm model op zonne-energie een vijf keer langere batterijduur in GPS-modus bij opladen via zonlicht.

De smartwatch biedt multi-band GPS met SatIQ technologie voor nauwkeurige positiebepaling met geoptimaliseerde batterijduur. Voor gezondheidsmonitoring houdt de Instinct 3 stappen, hartslag, slaap, zuurstofsaturatie via de pols, hartslagvariabiliteit en meer bij.

Gebruikers ontvangen e-mails, sms'jes en meldingen direct op het horloge wanneer dit is gekoppeld met een compatibele Apple of Android smartphone.

Navigatie en veiligheid

Gebruikers kunnen navigeren met een 3-assig kompas, barometrische hoogtemeter en multi-band GPS. De Instinct 3 kan worden gekoppeld met de Garmin Explore App voor gedetailleerde kaarten, waypoints en routes.

Voor gebruik op gevoelige locaties biedt de Stealth Mode de mogelijkheid om draadloze communicatie uit te schakelen terwijl het horloge nog steeds activiteitsgegevens verzamelt zonder locatiegegevens op te slaan. De Kill Switch kan alle gebruikersgeheugen wissen als de veiligheid in het geding komt. Andere functies zijn weergave van twee posities tegelijkertijd op één scherm, Jumpmaster en geprojecteerde waypoints.

Trainingsfuncties

De Instinct 3 - Tactical Edition bevat sportapps voor rucken, wandelen, hardlopen, klimmen, jagen, skiën en meer. De TracBack-functie helpt bij het uitstippelen van een route terug naar het beginpunt. Naast buitensportapps bevat de smartwatch ook apps voor HIIT, cardio, hardlopen op binnen- en buitenbanen, basketbal en andere activiteiten.

Gebruikers kunnen trainingsplannen volgen met Garmin Coach voor hardlopen en fietsen, of workouts maken uit meer dan 1.600 oefeningen in de Garmin Connect app. De smartwatch volgt ook intensiteitsminuten, VO2 max en hersteltijd.

Veiligheidsfuncties zoals incidentdetectie en Assistance kunnen een bericht met de GPS-locatie van de gebruiker naar contactpersonen sturen in noodsituaties, wanneer het horloge gekoppeld is met een smartphone.

Beschikbaarheid en prijzen

Het Instinct 3 - Tactical Edition AMOLED-model is vanaf 30 april te bestellen op Garmin.com voor een adviesprijs van 599,99 euro. De modellen op zonne-energie beginnen bij een adviesprijs van 499,99 euro.

Bekijk andere Garmin-producten op Kieskeurig.nl: