Perrypedia-Infokanal

[GolfSierra]

Zur Hintergrundinformation hier die Beschreibung der Vorgehensweise aus Sicht einer Anbieters für ein Scraping-Tool (Octoparse). Daraus wird ersichtlich, wie sie vorgehen. Umgekehrt kann man daraus ableiten, wie man den Crawlern das Leben schwermacht bzw. sie hindert, die Website lahmzulegen.
https://www.octoparse.de/blog/anti-craw ... eiden-kann

[breitsameter]

Die Perrypedia wurde leider in den letzten 24 Stunden mehrfach von aussen derart belastet, dass sie für alle nicht erreichbar war. Momentan läuft die Perrypedia zwar wieder, aber wer weiß wie lange. Mehrere Crawler haben sich weiterentwicklet und haben neue Wege gefunden, rücksichtslos alle möglichen Inhalte abzusaugen um die Informationen in KI-Tools bereitzustellen. Wir versuchen nun ebenso rücksichtslos alle derartigen Abfragen auszusperren.

Das Sperren der IP-Bereiche, von denen diese zügellosen Zugriffe, ist leider der einzig wirklich sinnvolle Weg. Wir hatten solche Zugriffslawinen hier im Forum auch und nach der Sperrung der entsprechenden IPs hat sich die Serverlast innerhalb von Minuten beruhigt - und das dauerhaft.
Besonders der KI-Crawler von Facebook und Alibaba ist mir hier sehr unangenehm aufgefallen.