Pour un site simple, pas de soucis, le bot explore le site sans problème, le soucis commence a se poser pour des site web dynamique, dont les adresses des pages sont "codées" pour être répertoriées par le site web et assurée ainsi son suivie lors des différentes manipulations.
exemple de page de ffr :
http://www.forumfr.com/post-do-new_post.php?f=507
ici nous voyons notamment apparaitre un point d'interrogation, désigné comme un caractère spécial, ce genre de caractère pose de gros soucis aux bots (quoique ça aille de mieux en mieux ).
Un bot aurait donc du mal à référencer cette page.
Pour pallier à ce soucis, ainsi qu'a un problème de sécurité (on vois en effet que le langage utilisé est le PHP), il est possible de mettre en place un système d'URL rewriting.
Ce protocole d'URL rewriting (décrit là si je me souvient bien RFC 1738 et 1808) revient à rendre propre l'adresse url de la page, en supprimant notamment les caractère spéciaux et les .php ou autre.
Il s'agit de mettre en place un système pour que le serveur sache que si on lui demande l'url propre, il doit renvoyer la même page que si on lui demandait l'url d'origine.
Pour plus d'approfondissement : là



