Siccome dal log del firewall risultava una schiera infinita di richieste del file “robots.txt”,
mi sono cercato la sintassi per farne uno.
Molto semplice a dire la verità .
Ecco un link: http://www.searchengineworld.com/robots/robots_tutorial.htm
e qui un altro: http://www.robotstxt.org/wc/faq.html