t3n hat einen Artikel zum Mythos robots.txt veröffentlich der recht lesenswert ist und das gewonnen Wissen ergänzt oder zumindest gut zusammenfasst:
t3n hat einen Artikel zum Mythos robots.txt veröffentlich der recht lesenswert ist und das gewonnen Wissen ergänzt oder zumindest gut zusammenfasst: