Google ändert Regeln für Robots.txt

Ab 1. September gelten neue Regeln für die Robots.txt. Google unterstützt dann einige Anweisungen in der Robots.txt nicht mehr!
Hier soll nun nur noch die Regel via HTML-Meta-Tag oder X-Robots-Tag-HTTP-Header gesetzt werden!

Das Tag oder die Anweisung <meta name=“robots“ content=“noindex“ /> gilt für Suchmaschinen-Crawler.
Um andere Crawler wie AdsBot-Google zu blockieren, müssen Sie möglicherweise Anweisungen hinzufügen, die auf den entsprechenden Crawler ausgerichtet sind, z. B. <meta name=“AdsBot-Google“ content=“noindex“ />.

Weitere Infos zum Thema:
https://developers.google.com/search/reference/robots_meta_tag?hl=de

https://developers.google.com/search/reference/robots_txt?hl=de

Eure Meinung zu dem Artikel ist gefragt! Schreibt mir ein Kommentar

Hat Euch der Artikel weitergeholfen oder gefallen?
Ich freue mich auf einen Blick auf meine Amazon-Wunschliste. Vielen Dank!

Hat Euch der Artikel geholfen oder gefallen?
Ich freue mich auf einen Blick auf meine Amazon-Wunschliste.
Vielen Dank!


Ich bin TYPO3 Freelancer, TYPO3-Entwickler, Web-Entwickler und Frontend-Entwickler. Ich arbeite im und für das Web seit 2004.
Mehr Infos zu der TYPO3 Internet-Agentur INGENIUMDESIGN.

Besucht auch unser TYPO3 Hilfe Forum.

Leave a Reply

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahre mehr darüber, wie deine Kommentardaten verarbeitet werden.

2 Kommentare

  1. Martin Pilat

    -
    0

    Danke für den tolllen Artikel.

  2. Martin

    -
    0

    Ich danke Ihnen für den interessanten Artikel. Das ist wirklich ein gutes Beispiel dafür, dass man immer auf dem aktuellen Stand bleiben sollte, was die Suchmaschinenoptimierung betrifft.

Next ArticleWebseiten - Front-End Checklist