worldoffline.de

Ich fasse es nicht. So manche Suchmaschine übertreibt es einfach. In einer meiner Webseiten kommt eine sehr bekannte Suchmaschine so massiv, dass ich einen deutlichen Ausschlag erkennen kann an den Zugriffen. Zig Datenbankzugriffe, zig Seitenaufrufe und immer wieder der gleiche searchbot. Die robots.txt hilft da nicht viel weiter. Wenn ich keine Möglichkeit finde, muss ich per .htaccess größere IP Bereiche aussperren, damit die Suchmaschine nicht mehr kommt. Sowas verursacht ja nur unnötig Traffic und verursacht unter Umständen Kosten. Zudem wird das System unnötig belastet.