Google ändert Regeln für Robots.txt

Ab 1. September gelten neue Regeln für die Robots.txt. Google unterstützt dann einige Anweisungen in der Robots.txt nicht mehr! Hier soll nun nur noch die Regel via HTML-Meta-Tag oder X-Robots-Tag-HTTP-Header gesetzt werden! Das Tag oder die Anweisung <meta name=“robots“ content=“noindex“ /> gilt für Suchmaschinen-Crawler. Um andere Crawler wie AdsBot-Google zu blockieren, müssen Sie möglicherweise Anweisungen
Continue reading...