Google ändert Regeln für Robots.txt

Ab 1. September gelten neue Regeln für die Robots.txt. Google unterstützt dann einige Anweisungen in der Robots.txt nicht mehr!
Hier soll nun nur noch die Regel via HTML-Meta-Tag oder X-Robots-Tag-HTTP-Header gesetzt werden!

Das Tag oder die Anweisung <meta name=“robots“ content=“noindex“ /> gilt für Suchmaschinen-Crawler.
Um andere Crawler wie AdsBot-Google zu blockieren, müssen Sie möglicherweise Anweisungen hinzufügen, die auf den entsprechenden Crawler ausgerichtet sind, z. B. <meta name=“AdsBot-Google“ content=“noindex“ />.

Weitere Infos zum Thema:
https://developers.google.com/search/reference/robots_meta_tag?hl=de

https://developers.google.com/search/reference/robots_txt?hl=de

Eure Meinung zu dem Artikel ist gefragt! Schreibt mir ein Kommentar

Hat Euch der Artikel weitergeholfen oder gefallen?
Ich freue mich auf einen Blick auf meine Amazon-Wunschliste. Vielen Dank!

Hat Euch der Artikel geholfen oder gefallen?
Ich freue mich auf einen Blick auf meine Amazon-Wunschliste.
Vielen Dank!

Ich bin freiberuflicher TYPO3-Entwickler, Web-Entwickler und Frontend-Entwickler. Ich arbeite im und für das Web etwas mehr als 12 Jahre. Mehr Infos zu der TYPO3 Internetagentur - INGENIUMDESIGN.

Leave a Reply

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahre mehr darüber, wie deine Kommentardaten verarbeitet werden.

2 Kommentare

  1. Martin

    Ich danke Ihnen für den interessanten Artikel. Das ist wirklich ein gutes Beispiel dafür, dass man immer auf dem aktuellen Stand bleiben sollte, was die Suchmaschinenoptimierung betrifft.

Next ArticleWebseiten - Front-End Checklist