Pourquoi votre protection contre les bots empêche le crawler Labrika de scanner le site?

Une instruction pour résoudre ce problème

Ajouter les IPs de Labrika à la liste blanche

Les “mauvais” bots représentent l'une des menaces les plus sérieuses pour les sites web aujourd'hui. Le trafic malveillant des bots peut entraîner une diminution des performances du site, une distortion des informations sur la disponibilité des biens et services sur les plateformes en ligne, une violation de la confidentialité des données personnelles et, par conséquent, un afflux de trafic et une perte de profit.

Les bots attaquent les sites web, causant une multitude de problèmes pour les entreprises, comme le détournement de comptes, les attaques DDoS, l'abus d'API, le scraping web, la création de spam, la distortion des analyses et la fraude.

La capacité à distinguer entre les bons et les mauvais bots est une priorité pour les entreprises modernes. Cependant, selon le rapport Radware sur la sécurité des applications, 79 % des organisations ne peuvent pas distinguer avec précision le trafic des bots utiles et malveillants.

Le trafic des bots et la menace de leur impact destructeur sur les entreprises augmentent rapidement. Cela signifie que des solutions spécialisées pour se protéger contre les attaques de bots sont fondamentalement importantes pour les entreprises. La situation est devenue encore plus compliquée avec l'émergence d'une nouvelle génération de bots malveillants capables d'imiter le comportement d'un utilisateur réel et de contourner facilement les systèmes de sécurité traditionnels.

En utilisant l'outil http_info de Labrika, vous pouvez vérifier si l'erreur lors du scan du site est le résultat de la protection du site contre les bots. Pour ce faire, vous devez cocher l'affichage du contenu et voir le code de réponse de la page. En général, s'il y a des inscriptions comme “protéger” dans le code de réponse, nous pouvons conclure que la protection du site est la cause de l'erreur.

Si votre site a installé une protection contre les bots, vous devrez procéder comme suit :

• Ajouter les adresses IP de Labrika (178.32.114.61, 162.55.244.68) à la liste blanche.
• Ensuite, dans les paramètres du site dans Labrika, dans la section “Paramètres de crawl du site”, cochez l'option “Utiliser uniquement les adresses IP de base”.

Comment ajouter une IP à la liste blanche :

1. SUCURI

Whitelist an IP Address

Par défaut, le pare-feu Sucuri restreindra l'accès à vos pages administratives (par exemple, /wp-admin, /administrator ou /admin) afin que seules les IP autorisées puissent se connecter. De cette façon, si vos comptes utilisateurs sont jamais compromis, votre site restera en sécurité.

Pour autoriser une IP à se connecter à votre site, vous devrez l'ajouter à la liste blanche dans votre tableau de bord. Si vous recevez l'erreur suivante en essayant d'accéder à votre site, vous devez ajouter votre propre IP à la liste blanche.

Block ID: IPB17 
Block reason: Your request was not allowed due to IP blocking (not white listed).

Ajouter des IPs à la liste blanche en utilisant le tableau de bord

Ajouter des IPs à la liste blanche est très simple et il y a deux façons de le faire.

• Cliquez ici et entrez votre adresse IP actuelle dans la section Adresses IP de la liste blanche.
• Cliquez sur Whitelist pour ajouter votre adresse IP une fois que vous l'avez saisie dans la case.

Ajouter des IPs à la liste blanche en utilisant l'API

Cliquez ici pour accéder à vos paramètres API, puis cliquez sur le bouton vert Whitelist IP dans la section Liens rapides.

Ajouter des plages d'IP à la liste blanche

À moins que cela ne soit absolument nécessaire, cela n'est pas recommandé en raison des risques de sécurité associés à l'ajout de trop d'adresses IP à la liste blanche.

Désactiver la restriction du panneau d'administration

Cliquez sur le lien ici.

Dans les options de sécurité avancées, décochez l'option “Panneau d'administration restreint uniquement aux adresses IP sur liste blanche” et cliquez sur Procéder.

2. Wordfence

Étape 1 – Trouvez votre IP

Le moyen le plus rapide et le plus simple de découvrir votre adresse IP publique est de taper dans Google.com “quelle est mon adresse IP“. Vous la verrez en haut. Mettez en surbrillance et copiez cette adresse.

Étape 2 – Ouvrir l'administration WordPress

Naviguez vers votredomaine.com/wp-admin – et connectez-vous. Si vous êtes actuellement bloqué, vous devrez peut-être ajouter votre adresse e-mail et passer par le processus de récupération de WordFence.

Étape 3 – Naviguer vers WordFence > Pare-feu > Toutes les options de pare-feu

Survolez WordFence dans le menu de gauche, cliquez sur Pare-feu dans l'écran qui s'ouvre.

Ensuite, sur l'écran qui s'ouvre, cliquez sur “Toutes les options de pare-feu”.

Dans l'écran suivant, la première option devrait être une case pour saisir “Adresses IP sur liste blanche qui contournent toutes les règles” – ajoutez votre adresse IP copiée dans cette case et cliquez sur “Sauvegarder les modifications” dans la case bleue en haut à droite.

3. iThemes Security

Depuis votre tableau de bord WordPress, vous devez aller dans les paramètres de sécurité d'iThemes > Paramètres globaux > Configurer les paramètres.

Ensuite, vous serez dirigé vers la page suivante, où vous ferez défiler jusqu'à la section “Liste blanche des verrouillages” pour entrer les IP à ajouter à la liste blanche.

Une fois terminé, cliquez sur “sauvegarder les paramètres” pour compléter le processus.

4. Cloudflare

Connectez-vous à votre compte Cloudflare.

1. Cliquez sur l'icône Pare-feu puis sur l'onglet Outils.
2. Listez les adresses IP de crawl de ContentKing sous les règles d'accès IP :
   • Entrez l'adresse IP.
   • Choisissez Whitelist comme action.
   • Choisissez le site web auquel les règles de liste blanche s'appliqueront.
3. Cliquez sur Ajouter.
4. Répétez avec toutes nos adresses IP de crawl.

5. Brute-Force Firewall

Connectez-vous à WHM en tant qu'utilisateur 'root'.

1. Naviguez vers “Accueil » Centre de sécurité » Protection contre les attaques par force brute cPHulk”.
2. Ouvrez l'onglet “Gestion de la liste blanche”.
3. Entrez l'adresse IP ou la plage d'adresses IP à ajouter à la liste blanche dans la case “Nouveaux enregistrements de liste blanche”.
4. Cliquez sur le bouton “Ajouter”.

6. Malcare

Pour ajouter des adresses IP à la liste blanche avec MalCare, suivez ces étapes : installez MalCare et allez dans l'onglet Sécurité et pare-feu. Sélectionnez la section Demandes de trafic, et trouvez l'IP que vous souhaitez ajouter à la liste blanche. Survolez l'icône d'édition, et cliquez sur 'Ajouter à la liste blanche'.