Ich habe vor einigen Tagen eine vollkommen neue Website mit mozilo erstellt. Bei einem Blick in die Google Search Console heute ist mir aufgefallen, dass Google auch die Seiten unter docu/ aufsucht und indiziert. Das ist doch ziemlich sinnlos. Aus meiner Sicht wäre es angebracht, Google und anderen Bots, die sich an die Regeln halten, mitzuteilen, dass dieser Bereich nicht indiziert werden soll.
Das Mittel der Wahl hierfür wäre wohl die Datei robots.txt
Wenn ich das richtig sehe, dann ist es wohl so, dass mozilo bei der Installation bzw. beim Anlegen einer Sitemap auch die Datei robots.txt erstellt. Hier müsste der entsprechende Routine erweitert werden, so dass nicht nur die Verzeichnisse admin, cms und tmp mit disallow vom Indizieren ausgenommen werden sondern auch docu.
Das Mittel der Wahl hierfür wäre wohl die Datei robots.txt
Wenn ich das richtig sehe, dann ist es wohl so, dass mozilo bei der Installation bzw. beim Anlegen einer Sitemap auch die Datei robots.txt erstellt. Hier müsste der entsprechende Routine erweitert werden, so dass nicht nur die Verzeichnisse admin, cms und tmp mit disallow vom Indizieren ausgenommen werden sondern auch docu.