Bei der Verwendung von Google Sitemaps sollte dringend darauf geachtet werden, dass keinerlei doppelte URLs darin enthalten sind! Für ein Projekt war ich gerade dabei über die Webmaster-Tools eine Sitemap mit ca. 16000 Links einzureichen. Die Links dazu wurden alle über ein Skript aus einem Onlineshop ausgelesen.
Durch einen Fehler im Shopsystem waren nun einige Links doppelt enthalten. Überträgt man diese Sitemap nun in die Webmaster-Tools, wird weder ein Fehler, noch eine Warnung angezeigt. Lediglich die Anzahl der übertragenen Links stimmte nicht mit der Anzahl Links in der xml-Datei überein. In meinem Fall waren es nur 267 Links, die von Google als in der xml-Datei enthalten angezeigt wurden.
Bei einer genauen Analyse der Sitemap ist mir aufgefallen, dass dort doppelte URL-Einträge vorhanden sind. Bisher war ich immer davon ausgegangen, dass diese einfach ignoriert werden. Dem ist jedoch nicht so! Findet Google in einer Sitemap eine größere Anzahl gleicher Links, wird die komplette Sitemap einfach stark gekürzt übertragen.
Im Google Support findet sich dazu noch folgende Aussage:
Q: Why is my Sitemap file showing a submitted URL count that does not match the number of entries in my Sitemap file?
A: The number of submitted URLs reflects the number of unique URLs submitted in your Sitemap file, not the number of entries in the file. Should Google find a significant number of duplicate URLs, we may limit the number of URLs that we include for this count. You can resolve this issue by making sure that your Sitemap file does not contain duplicate URLs.
