Neuigkeiten:

moziloCMS verwendet Cookies. Wenn Sie auf unserer Seite weitersurfen, stimmen Sie der Cookie-Nutzung zu Datenschutzerklärung
moziloCMS Layouts
moziloCMS Plugins

Hauptmenü

robots.txt

Begonnen von Paul, 15. März 2023, 11:39:25

« vorheriges - nächstes »

Paul

Ich habe vor einigen Tagen eine vollkommen neue Website mit mozilo erstellt. Bei einem Blick in die Google Search Console heute ist mir aufgefallen, dass Google auch die Seiten unter docu/ aufsucht und indiziert. Das ist doch ziemlich sinnlos. Aus meiner Sicht wäre es angebracht, Google und anderen Bots, die sich an die Regeln halten, mitzuteilen, dass dieser Bereich nicht indiziert werden soll.
Das Mittel der Wahl hierfür wäre wohl die Datei robots.txt
Wenn ich das richtig sehe, dann ist es wohl so, dass mozilo bei der Installation bzw. beim Anlegen einer Sitemap auch die Datei robots.txt erstellt. Hier müsste der entsprechende Routine erweitert werden, so dass nicht nur die Verzeichnisse admin, cms und tmp mit disallow vom Indizieren ausgenommen werden sondern auch docu.
Website: BPGS.DE

marusti

Hallo Paul,
da hast du vollkommen Recht, das ist mir auch schon aufgefallen (zb wenn du in Google nach moziloCMS suchts, kommen sehr viele Dokuanleitungen).
Ist definitiv notiert. In der Zwischenzeit könntest du es manuell bei dir eintragen (falls du es nicht eh schon gemacht hast).

Paul

Hallo marusti, ja manuell habe ich es gemacht.
Website: BPGS.DE