Perrypedia-Infokanal

[GolfSierra]

Zur Hintergrundinformation hier die Beschreibung der Vorgehensweise aus Sicht einer Anbieters für ein Scraping-Tool (Octoparse). Daraus wird ersichtlich, wie sie vorgehen. Umgekehrt kann man daraus ableiten, wie man den Crawlern das Leben schwermacht bzw. sie hindert, die Website lahmzulegen.
https://www.octoparse.de/blog/anti-craw ... eiden-kann

[breitsameter]

Die Perrypedia wurde leider in den letzten 24 Stunden mehrfach von aussen derart belastet, dass sie für alle nicht erreichbar war. Momentan läuft die Perrypedia zwar wieder, aber wer weiß wie lange. Mehrere Crawler haben sich weiterentwicklet und haben neue Wege gefunden, rücksichtslos alle möglichen Inhalte abzusaugen um die Informationen in KI-Tools bereitzustellen. Wir versuchen nun ebenso rücksichtslos alle derartigen Abfragen auszusperren.

Das Sperren der IP-Bereiche, von denen diese zügellosen Zugriffe, ist leider der einzig wirklich sinnvolle Weg. Wir hatten solche Zugriffslawinen hier im Forum auch und nach der Sperrung der entsprechenden IPs hat sich die Serverlast innerhalb von Minuten beruhigt - und das dauerhaft.
Besonders der KI-Crawler von Facebook und Alibaba ist mir hier sehr unangenehm aufgefallen.

[thinman]

Webserver beißt sich mit Wikisoftware.

Bearbeitungen führen zu einem 403 Fehlerstatus in einfacher Type

thinman

[Kringel]

Ist in Arbeit.

[thinman]

PP ist heute gegen 23:25 verschwunden, Server not found. Minuten früher habe ich nocj die letzten Änderungen akualisiert und jetzt das und Problem loaing page.
Back up scripte laufen doch erst nach Mitternacht, oder?

[Kringel]

Heute auch kein Zugriff möglich, nicht mal lesend. Keine Ahnung, was da gerade los ist.

[Uschi Zietsch]

Sie ist wieder da!

[thinman]

Intermittierende Ausfälle von ein paar Minuten dauer.

Unter Attack?

[Kringel]

Man könnte auf die Idee kommen.

[Andreas Eschbach]

Ein Brennendes Nichts im Server??

[Kringel]

Zu modern. Wahrscheinlich sind einfach nur die Lochkarten ausgeleiert oder ein Relais hat sich verklemmt. Jeden Moment muss ein ölverschmierter Techniker kommen, der sich um das Problem kümmert.

[kah299792]

Dagegen treten hilft

[Alana]

Bei den alten vielleicht.

[thinman]

Und wieder "Problem loading page"

Kann mal jemand des Wespen zwischen den Netzwerkkabeln einen Apfel aufscheiden?

[breitsameter]

Das sind wieder die KI-Bots. Wenn man denen nicht den Zugang etwas einschränkt, überlasten die immer wieder die Server.