El fichero robots.txt es el elemento fundamental para la página web que desea aparecer bien indexada por los motores de búsqueda como Bing. Opera como un instructivo para los crawlers , indicándoles qué áreas de tu plataforma pueden ser indexadas y cuáles evitar. La óptima configuración de este documento puede a solucionar problemas de posi