Mythos robots.txt entschlüsselt

t3n hat einen Artikel zum Mythos robots.txt veröffentlich der recht lesenswert ist und das gewonnen Wissen ergänzt oder zumindest gut zusammenfasst:

Was ein SEO über die robots.txt wissen sollte