c't-Tipp der Woche: Crawler identifizieren, die robots.txt ignorieren from Heise's blog

Mit einem kleinen PHP-Skript können Sie verfolgen, welche Crawler die Anweisungen auf Ihrer Webseite befolgen und welche nicht.

Source: https://www.heise.de/newsticker/meldung/c-t-Tipp-der-Woche-Crawler-identifizieren-die-robots-txt-ignorieren-3740101.html?wt_mc=rss.ho.beitrag.rdf