Zoekmachines blokkeren in .htaccess

Enige tijd zien wij vaak dat bepaalde crawlers/spider van verschillende zoekmachines langs komen op Magento webshop die bij ons onder zijn gebracht. Deze gebruiken vaak onnodig veel dataverkeer en maken geen gebruiken van jouw eventuele geplaatste robots.txt. Vaak zien wij dat deze zoekmachines zo actief websites spideren, dat dit problemen kan opleveren voor de snelheid van jouw Magento webshop. Dit artikel beschrijft hoe je kan voorkomen dat ongewenste crawlers/spiders jouw website crawlen en geeft een overzicht van de meest voorkomende indexatie/crawler/spiders. Deze lijst werken wij actief bij.

Probleem ontdekken

1. Log in op cPanel door jouw domeinnaam in te voeren gevolgd door /cpanel. Bijvoorbeeld www.domeinnaam.nl/cpanel.

cPanel log in

2. Vervolgens kies je voor Webalizer onder het kopje Metingen.

Webalizer

3. Onder Webalizer kun je de user agent strings bekijken van de verschillende zoekmachines die je wilt indexeren. Deze statistieken zijn maandelijks zichtbaar.

4. Kies eerst voor welk domein je de statistieken wilt inzien. Druk hiervoor op het Vergrootglas naast de domeinnaam.

band5

5. Vervolgens kies je voor de laatst beschikbare maand.

band6

In de onderste tabel kun je zien welke zoekmachines het vaakst op jouw website komen. (Let op: in deze tabel staan ook de gegevens van normale bezoekers.) De user agent voorbeelden zijn gemarkeerd in het geel.

botblok4

Blokkeren van zoekmachines

In het onderstaande gedeelte gaan we de verschillende zoekmachines blokkeren. Dit doen we door in het .htaccess bestand een aantal regels toe te voegen.

1. Log in op cPanel door jouw domeinnaam in te voeren gevolgd door /cpanel. Bijvoorbeeld www.domeinnaam.nl/cpanel

cPanel-log-in

2. Vervolgens kies je voor Bestandsbeheer onder het kopje Bestanden.

Bestandsbeheer

3. Eenmaal in het Bestandsbeheer kies je rechtsboven voor instelling.

Instellingen

4. Daar vink je zowel Basismap van website (public_html or www) als Verborgen bestanden tonen (dotfiles) aan.

Voorkeuren

5. Vervolgens klik je op Save om verder te gaan.

6. Je bevind je nu in een lijst met bestanden waar het .htaccess bestand tussen staat. Het verstandig om eerst een kopie te maken van het .htaccess-bestand.

7. Vervolgens Klik met de rechtermuisknop op dit bestand en klik vervolgens op Edit om dit bestand aan te passen.

edit .htaccess

8. Vervolgens klik je nogmaals op Edit om het bestand te mogen aanpassen.

Edit

8. In het .htaccess-bestand voegen we het onderstaande stuk tekst toe:

De code valt iets buiten het scherm maar is gewoon te kopiëren. Begin bij de regel met de # en selecteer de code tot en met BADBOT.

#######################################
##Block bad bot by Skyberate, do not remove
SetEnvIfNoCase ^User-Agent$ .*(PetalBot|80legs|Baidu|Exabot|MJ12|Yand|Ahrefs|maver|moget|ichro|dotbot|gigabot|ia_archiver|GrapeshotCrawler|BLEXBot|360spider|TeezirAgent|TurnitinBot|proximic|Ezooms|SISTRIX|EasouSpider|SemrushBot|Vegabondo|ShopWiki) HTTP_SAFE_BADBOT
Deny from env=HTTP_SAFE_BADBOT

De hele code ziet er als volgt uit:

Zoekmachine blokkeren

9. Als je stukje tekst hebt toegevoegd klik je op Wijzigingen opslaan rechtsboven in het scherm.

Wijzigingen opslaan

Nadat je de aanpassingen hebt doorgevoerd is het verstandig om de website eerst goed te testen. Eventuele typefouten kunnen problemen opleveren.

Contact

Mocht je nog vragen hebben naar aanleiding van deze handleiding, neem dan contact met ons op. Dit kan via info@skyberate.nl of 0316-712000.

in Magento 1Magento 2
Was dit artikel behulpzaam?