Semalt Expert: Ein Leitfaden, um zu verhindern, dass Google alte Sitemaps crawlt

Wenn Ihre Website wächst, werden Sie Ihr Bestes geben, um Wege zu finden, um ihre Sichtbarkeit und Glaubwürdigkeit im Internet zu verbessern. Manchmal bleiben die Auswirkungen der Funktionsweise unserer Websites zurück, und hier sollten wir darauf achten.

Lesen Sie die folgenden Tipps von Max Bell, dem Customer Success Manager von Semalt , um zu verhindern, dass Google alte Websites crawlt .

Vor einigen Wochen erzählte mir einer meiner Kunden, dass er eine E-Commerce-Website habe. Es wurden verschiedene Änderungen vorgenommen: Von der URL-Struktur bis zur Sitemap wurde alles geändert, um die Site besser sichtbar zu machen.

Der Kunde bemerkte einige Änderungen in seiner Google Search Console und fand dort die Crawling-Fehler. Was er beobachtete, war, dass es eine große Anzahl alter und neuer URLs gab, die gefälschten Verkehr erzeugten. Einige von ihnen zeigten jedoch Fehler bei Zugriff verweigert 403 und Nicht gefunden 404.

Mein Kunde sagte mir, dass das größte Problem, das er hatte, eine alte Sitemap war, die im Stammordner vorhanden war. Seine Website verwendete früher eine Vielzahl von Google XML-Sitemaps-Plugins, jetzt war er für die Sitemap auf WordPress SEO von Yoast angewiesen. Verschiedene alte Sitemap-Plugins sorgten jedoch für Chaos. Sie befanden sich im Stammordner mit dem Namen sitemap.xml.gz. Seit er die Yoast-Plugins zum Erstellen von Sitemaps für alle Beiträge, Seitenkategorien und Tags verwendet, benötigt er diese Plugins nicht mehr. Leider hat die Person die Datei sitemap.xml.gz nicht an die Google Search Console gesendet. Er hatte nur seine Yoast-Sitemap eingereicht, und Google hat auch seine alten Sitemaps gecrawlt.

Was soll ich kriechen?

Die Person hat die alte Sitemap nicht aus dem Stammordner gelöscht, sodass sie auch indiziert wurde. Ich meldete mich bei ihm und erklärte, dass eine Sitemap nur ein Vorschlag dafür ist, was in den Suchmaschinenergebnissen gecrawlt werden soll. Sie denken wahrscheinlich, dass das Löschen der alten Sitemaps Google daran hindert, die nicht mehr funktionierende URL zu crawlen, aber das stimmt nicht. Meiner Erfahrung nach versucht Google mehrmals täglich, jede alte URL zu indizieren, um sicherzustellen, dass die 404-Fehler echt sind und kein Unfall.

Googlebot kann den Speicher alter und neuer Links speichern, die in der Sitemap Ihrer Website gefunden werden. Es besucht Ihre Website in regelmäßigen Abständen und stellt sicher, dass jede Seite korrekt indiziert ist. Googlebot versucht zu bewerten, ob die Links gültig oder ungültig sind, damit die Besucher keine Probleme haben.

Es ist offensichtlich, dass die Webmaster verwirrt sind, wenn die Anzahl ihrer Crawling-Fehler zunimmt. Alle wollen es stark reduzieren. Wie kann ich Google informieren, um alle alten Sitemaps zu ignorieren? Sie können dies tun, indem Sie alle unerwünschten und seltsamen Sitemap-Crawls beenden. Bisher war die einzige Möglichkeit, dies zu ermöglichen, die .htaccess-Dateien. Vielen Dank an WordPress für die Bereitstellung einiger Plugins.

Die WordPress-Websites haben diese Datei in ihren Stammordnern. Sie müssen also nur auf das FTP zugreifen und die versteckten Dateien in cPanel aktivieren. Gehen Sie zur Option Dateimanager, um diese Datei gemäß Ihren Anforderungen zu bearbeiten. Sie sollten nicht vergessen, dass eine fehlerhafte Bearbeitung Ihre Website beschädigen kann. Sie sollten daher immer alle Daten sichern.

Sobald Sie das Snippet zur Datei hinzugefügt haben, verschwinden alle abgelaufenen URLs in kürzester Zeit aus Ihren Crawling-Fehlern. Sie sollten nicht vergessen, dass Google möchte, dass Sie Ihre Website am Leben erhalten, wodurch die Wahrscheinlichkeit von 404-Fehlern verringert wird.