En ocasiones la actualización de los servidores DNS de nuestros dominios tardan más de lo que debieran. Pueden tardar de minutos a horas (antes incluso eran semanas).
Un TLD especialmente lento es el .es, debido a que sólo admite (tramita) las modificaciones a las siguientes horas:
2 am, 6 am, 10 am, 14 am, 18 am, 22 am
Y eso que hace menos de un año ha duplicado el número de actualizaciones de 3 a 6 diarias.
Es una lástima que si queremos cambiar de servidores DNS en un dominio terminado en .es, esto tarde tanto.
¡Peligro Will Robinson! Me decían los logs al archivo robots.txt (un fichero en el raíz de todos los dominios que indica qué partes de una página son públicas o no para aparecer en buscadores ¡El robot de la BNE llama a tu web privada!
El quid de la cuestión está en que si un robot se comporta como debiera, la primera visita a tu web debe ser al ficherorobots.txt. En caso que le indiques que no quieres ser visitado, ahí debería parar.
Algunos crawlers, bots, robots o spiders no hacen caso de este fichero o directamente no lo consultan. En mi caso puedo poner de ejemplo a Baidu, un robot chino al que le tengo prohibido visitarme por la voracidad que tiene y el poco caso al fichero robots.txt que hace.
Lo que me ha sorprendido negativamente es que hay otros robots que tampoco hacen caso de este fichero. Éstos vienen de fuentes conocidas como pueden ser: Google (el robot que comprueba y analiza la publicidad de tu sitio para saber cómo se mostrará en un móvil, a no ser que lo nombre explícitamente) o en el caso que nos ocupa, el robot de la Biblioteca Nacional.
En ocasiones la actualización de los servidores DNS de nuestros dominios tardan más de lo que debieran. Pueden tardar de minutos a horas (antes incluso eran semanas).
