Google ändert Regeln für Robots.txt

Ab 1. September gelten neue Regeln für die Robots.txt. Google unterstützt dann einige Anweisungen in der Robots.txt nicht mehr!
Hier soll nun nur noch die Regel via HTML-Meta-Tag oder X-Robots-Tag-HTTP-Header gesetzt werden!

Das Tag oder die Anweisung <meta name=“robots“ content=“noindex“ /> gilt für Suchmaschinen-Crawler.
Um andere Crawler wie AdsBot-Google zu blockieren, müssen Sie möglicherweise Anweisungen hinzufügen, die auf den entsprechenden Crawler ausgerichtet sind, z. B. <meta name=“AdsBot-Google“ content=“noindex“ />.

Weitere Infos zum Thema:
https://developers.google.com/search/reference/robots_meta_tag?hl=de

https://developers.google.com/search/reference/robots_txt?hl=de

Eure Meinung zu dem Artikel ist gefragt! Schreibt mir ein Kommentar

Hat Euch der Artikel weitergeholfen oder gefallen?
Ich freue mich auf einen Blick auf meine Amazon-Wunschliste. Vielen Dank!

Hat Euch der Artikel geholfen oder gefallen?
Ich freue mich auf einen Blick auf meine Amazon-Wunschliste.
Krypto-Donate an:
BTC: 1Emte6AxnifWqt7N8vSqSF7JK1K6CYuBj4
LTC: Lfs2F8DabYuunxYw2ym9CRLAMBKZUaaBNh
ETH: 0x95298b41564f070bc83bc76159bb7804d26483d6
Vielen Dank!

Ich bin freiberuflicher TYPO3-Entwickler, Web-Entwickler und Frontend-Entwickler. Ich arbeite im und für das Web etwas mehr als 12 Jahre. Mehr Infos zu der TYPO3 Internetagentur - INGENIUMDESIGN.

Leave a Reply

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahre mehr darüber, wie deine Kommentardaten verarbeitet werden.

1 Kommentar

  1. Ich danke Ihnen für den interessanten Artikel. Das ist wirklich ein gutes Beispiel dafür, dass man immer auf dem aktuellen Stand bleiben sollte, was die Suchmaschinenoptimierung betrifft.

Next ArticleWebseiten - Front-End Checklist