Ankündigung

**Kurosaki.Ichigo** · 04.01.2020, 01:30

Hallo Michael,
ich habe gerade Deinen Beitrag gelesen und mir ist da gleich die eine IP-Adresse des Google-Bots aufgefallen:
62.195.40.19 gehört nicht zur Google IP-Range, sondern zu dem niederländischen Provider Liberty Global B.V / Ziggo B.V. Ich gehe davon aus, dass hier jemand in dem Fall den User-agent gefaked hat und sich als vermeintlicher Google-Bot ausgibt.
Der Google-Bot kommt meist mit IPs aus dem Bereich 66.249.x.x (vgl. IP-Ranges von Google Inc.: https://ipinfo.io/AS15169#blocks)

Hast Du auf Deiner Webseite eine Web-Application-Firewall (WAF) laufen?
Viele dieser WAF stellen Verbindungen zu den WAF-Servern der jeweiligen Dienstleister her und fragen ab, ob eine IP in der letzten Zeit auffällig war und blocken diese dann automatisch.

Viele Grüße,
Ichigo

**Michael_M** · 04.01.2020, 01:55

Hi,

>62.195.40.19 gehört nicht zur Google IP-Range, sondern zu dem niederländischen Provider Liberty Global B.V / Ziggo B.V. Ich gehe davon aus, dass hier jemand in dem Fall den User-agent gefaked hat und sich als vermeintlicher Google-Bot ausgibt.

ah - Sorry, da hast Du absolut recht - Ich hatte eine falsche IP rausgesucht die meisten von Google fangen mit 6 an - Da hab ich mir gerade beim Copy&Paste verleiten lassen
...ich bin seit den Problemen _extrem_ zu viel am Rechner ^^
Wie viele IPs ich schon überprüft und gesperrt habe .... unglaublich

>Hast Du auf Deiner Webseite eine Web-Application-Firewall (WAF) laufen?

Nein, genau das ist mein Problem - Irgendwo auf dem Weg von Google zu unserem Server muss die Abfrage geblockt werden.
Ich selber blocke nur über die htaccess wenn jemand penetrant unseren Server überfährt.

Seit 2 Wochen hab ich sogar unsere sitemaps gegen Zugriffe geschützt und logge dort die Zugriffe mit.
Es ist Wahnsinn wer alles mit den Sitemaps was anfangen 'könnte'.
Ich gebe die jetzt nur noch frei, wenn die Anfrage wirklich vom richtigen Host kommt.

Das größte Problem ist, dass ich aktuell der dumme in der Mitte bin.
DF sagt das liegt nicht an ihnen - Google sagt es liegt nicht an uns.

Über 10 Jahre habe ich den Server jetzt bei DF und ich scheue auch ehrlich gesagt den Aufwand eines Umzuges,
aber ich warte jetzt noch bis Morgen und dann muss ich reagieren....

Gruß
Michael

**Kurosaki.Ichigo** · 04.01.2020, 02:26

Du erwähnst, dass Du auch über htaccess blockst.
Werden über die htaccess ausschließlich IPs geblockt oder sind darin auch noch andere Regeln enthalten (bspw. Umleitungen, Sperren, Zugriffsregelungen u.ä.)?
Weitere Ideen meinerseits: Läuft Fail2ban, Apache Mod-Security o.ä.?
Sofern möglich auch Zugriffs-Logs prüfen, die durch iptables erstellt werden.
Soweit erstmal, was mir noch spontan eingefallen wäre,

Viele Grüße,
Ichigo

**Michael_M** · 04.01.2020, 02:46

Hi,

>oder sind darin auch noch andere Regeln enthalten (bspw. Umleitungen, Sperren, Zugriffsregelungen u.ä.)?

ja - Aber reichlich gegengetestet UND seit den Problemen nicht mehr einfach geblockt, sondern intern weitergeleitet, mit dem passenden Header versehen und geloggt.
UND auch bei allen Regeln die robots.txt ausgeschlossen ^^

z.B (ist aber gekürzt).:

<IfModule mod_rewrite.c>
RewriteCond %{HTTP_USER_AGENT} ^.*(EmailCollector|SeznamBot|xxxyy|zzzzzzzmeu|zune zzzz).*$ [NC,OR]
RewriteCond %{REQUEST_URI} !^/shop/error/.*.(php|gif)$ [NC]
RewriteCond %{REQUEST_URI} !^/robots.txt$ [NC]
RewriteRule ^(.*)$ https://www.meindedomain.de/shop/err....php?e=410&r=3 [L,R=308]
</IfModule>

Es gibt in der htaccess (zumindest nicht in der für den "öffentlichen" Teil) keine deny,allow Regel.
Es gibt für alles Regeln die dann in die error.php laufen.
Durch das "e=410&r=3" sehe ich dann auch welche Regel gegriffen hat.

Normale Fehler dann auch mit
ErrorDocument 404 /shop/error/error.php?e=404

Das "lustige" ist ja, dass das ganze so ist, dass der Zugriff (wenn er mal zwischendurch funktioniert)
dann 1-2 Tage völlig Problemlos ist und dann (ohne Veränderungen auf dem Server) ist dann wieder für
mehrere Tage Schluss. Am 30 + 31.12. ging es z.B. mal wieder - Am 31.12 war dann erstmal Schluss und
am 01.01 ging es dann für 2 Stunden und seit dem ist wieder Stille.
Das sieht für mich wie eine automatische Sperre aus, die nach einer Zeit X wieder aufgehoben wird.

>Weitere Ideen meinerseits: Läuft Fail2ban, Apache Mod-Security o.ä.?

Ich denke mal nein - Ich hab nen Managed Server und keinen eigenen Apache installiert.

>Sofern möglich auch Zugriffs-Logs prüfen, die durch iptables erstellt werden.

Da hab ich keinen Zugriff - Ich denke mal das geht nur bei einem Root-Server - oder?

>iptables v1.4.21: can't initialize iptables table `filter': Permission denied (you must be root)

Gruß
Michael

**Kurosaki.Ichigo** · 04.01.2020, 03:13

Hallo Michael,

Code:

RewriteCond %{REQUEST_URI} !^/shop/error/.*.(php|gif)$ [NC] <- Wenn ich mich nicht irre, sollte hier dann ein [NC,[B]OR[/B]] rein
RewriteCond %{REQUEST_URI} !^/robots.txt$ [NC]

Da hast Du ja bereits einiges an Tests laufen lassen, um dem Problem auf den Grund zu gehen

Da es ein Managed Server ist, würde ich ggf. den Support mal bitten, ob die Dir nicht die entsprechenden Logs zur Verfügung stellen könnten und eventuell auch die Info geben könnten, ob Fail2Ban, Mod-Security o.ä. laufen.

Solche Zugriffsprobleme zu analysieren und der Ursache auf den Grund zu gehen, können definitiv Zeit kosten, vor allem, wenn man nicht selbst gleich auf alles an Logs und Daten unmittelbar Zugriff hat. Zugriffsprobleme durch Google können vorkommen, manchmal liegen sie auch bei Google, aber ich würde das Problem nach der Zeit nicht mehr bei Google verorten. Auffällig ist ja gerade, dass die Site-Verification möglich ist, während der Google-Bot keinen Zugriff hat.

Du schreibst in Deinem Eingangsposting, der Google-Bot käme gar nicht erst an. Schließen wir aus, dass der Fehler bei Google liegt, könnte der Server einen Block bereits vornehmen, bevor die Anfrage den Apache erreicht. Hier wären dann tatsächlich Logs interessant, da hierbei, meine Vermutung, irgendeine Regelung (Fail2Ban, Mod-Sec) zum Block des Google-Bot geführt haben könnte.

Weitere Faktoren: Fehlerhaftes Update des Servers, Änderungen an Systemeinstellungen uvm. - aber das ist jetzt ins Blaue hineingeraten.

Sorry, würde Dir gerne direkt die passende Antwort / Hilfe zu Deinem Problem liefern, aber kann hier nur momentan mit Tipps und etwas Brainstorming helfen.

**Michael_M** · 04.01.2020, 03:25

Hi,
>RewriteCond %{REQUEST_URI} !^/shop/error/.*.(php|gif)$ [NC] <- Wenn ich mich nicht irre, sollte hier dann ein [NC,OR] rein
>RewriteCond %{REQUEST_URI} !^/robots.txt$ [NC]

Die letzten beiden will ich ja mit UND verknüpfen - Wenn Regel 1 oder 2 oder 3 UND nicht 4 UND nicht 5 Ich muss das aber auch immer nachlesen, bzw. hier lokal einmal kurz testen ;-)

EDIT: Sehe gerade da ist ein Fehler drin, der aber dadurch resultiert, dass ich 3 Zeilen raus-genommen habe

Code:

<IfModule mod_rewrite.c>
RewriteCond %{HTTP_USER_AGENT} ^.*(EmailCollector|SeznamBot|xxxyy|zzzzzzzmeu|zune zzzz).*$ [NC,OR]   #Die ODER
RewriteCond %{HTTP_USER_AGENT} ^.*(EmailCollector|SeznamBot|xxxyy|zzzzzzzmeu|zune zzzz).*$ [NC] # Diese 
RewriteCond %{REQUEST_URI} !^/shop/error/.*.(php|gif)$ [NC] # ABER NICHT wenn das hier aufgerufen wird
RewriteCond %{REQUEST_URI} !^/robots.txt$ [NC] # UND NICHT wenn das hier aufgerufen wird
RewriteRule ^(.*)$ [URL="https://www.meindedomain.de/shop/error/error.php?e=410&r=3"]https://www.meindedomain.de/shop/err....php?e=410&r=3[/URL] [L,R=308]
</IfModule>

Mit den Zeilen oben müsste das so passend sein

>Sorry, würde Dir gerne direkt die passende Antwort / Hilfe zu Deinem Problem liefern, aber kann hier nur momentan mit Tipps und etwas Brainstorming helfen.

Danke trotzdem für den Input! Manchmal übersieht man ja einen Punkt.
Ich mach den Kram zwar schon 20 Jahre (aber ausschließlich autodidaktisch), aber bei dem Problem bekomme ich gerade graue Haare.

Gruß
Michael

**Kurosaki.Ichigo** · 04.01.2020, 03:42

Mir ist gerade beim nochmaligen Lesen einer der Beiträge folgendes aufgefallen:

Das "lustige" ist ja, dass das ganze so ist, dass der Zugriff (wenn er mal zwischendurch funktioniert)
dann 1-2 Tage völlig Problemlos ist und dann (ohne Veränderungen auf dem Server) ist dann wieder für
mehrere Tage Schluss. Am 30 + 31.12. ging es z.B. mal wieder - Am 31.12 war dann erstmal Schluss und
am 01.01 ging es dann für 2 Stunden und seit dem ist wieder Stille.
Das sieht für mich wie eine automatische Sperre aus, die nach einer Zeit X wieder aufgehoben wird.

Das wäre für mich ein interessanter Hinweis, der für fail2ban sprechen könnte. Hier werden Blocks i.d.R. für einen vordefinierten Zeitraum x Minuten/Stunden vorgenommen und danach wird die IP dann wieder freigegeben bis wieder ein Trigger den Block auslöst.

Ich mach den Kram zwar schon 20 Jahre (aber ausschließlich autodidaktisch), aber bei dem Problem bekomme ich gerade graue Haare.

Bin auch einer dieser Autodidakten und kann Dich gut verstehen, manchmal gibt es Probleme, die einen gewaltig grübeln lassen.

Ich werde mich dann mal langsam in die Koje begeben, wünsche Dir aber noch viel Erfolg beim Forschen. Denke aber auch an Deine Gesundheit und schlage Dir nicht die Nacht um die Ohren (soll keine Belehrung sein, aber aus eigener Erfahrung kann ich nur sagen, die Gesundheit ist das wichtigste Gut!

)

**Michael_M** · 09.01.2020, 13:16

OK - Das macht alles keinen Sinn mehr

Ich hab jetzt 3 Wochen damit verbraten eine Lösung für das Problem zu finden, was definitiv _VOR_ unserem Server zu suchen ist.

Da aber seit dem 20.12.19 keiner in der Lage ist es zu finden bin ich nach über 10 Jahren dann mal raus.

Vielleicht soll es einfach so sein .....

Gruß
Michael

Ankündigung

Probleme mit Googlebot / Wird wahrscheinlich geblockt?

Probleme mit Googlebot / Wird wahrscheinlich geblockt?

Kommentar

Kommentar

Kommentar

Kommentar

Kommentar

Kommentar

Kommentar

Kommentar