No será la primera vez (ni la última) que Google se pasa por una web justamente cuando el Webmaster está haciendo cambios... el resultado es el mismo que cuando estornudas cuando te están haciendo un foto de grupo... quedas mal. Muy mal.
Es normal que si hacemos algunos cambios en la web, ya sea de diseño o de contenido, durante unos minutos los usuarios vean "cosas raras", o incluso que pete, si hay algún error de sintaxis en algún momento. Pero tampoco podemos decir al webmaster que haga los cambios un sábado a las 3 de la mañana, cuando nadie esté conectado. Son programadores, pero tienen derecho a tener vida social.
Así pues, la forma más correcta de trabajar, es la de poner la web en modo de mantenimiento, para que no se pueda acceder a ella temporalmente. Pero claro, no lo podemos hacer de cualquier modo. Tenemos que explicar a los buscadores que es solo temporal.
Tenemos que evitar mandar un error 404 (Not Found), ya que Google podría interpretar que la web y no existe (y no queremos eso). Pero tampoco debemos poner una página normal indicando que se están realizando cambios, ya que eso se interpreta como un código 200 (OK), y Google entendería que el contenido de la web ha cambiado.
Conocida página 503 de twitter
Así pues, lo que debemos hacer es devolver un código 503 (Service Unavaiable), que dice exactamente eso a los buscadores. Que de forma temporal, la web no está disponible.
Además, este código también permite indicar a los usuarios y a los buscadores cuando volverá a estar activo el servicio, gracias al header Retry-After, en el que se indica en formato de fecha (Retry-After: Fri, 31 Dec 1999 23:59:59 GMT) o de segundos (Retry-After: 120).
Al menos, esta es la solución oficial de Google. De todos modos dice que no abusemos en exceso, ya que si colocamos un 503 durante muchos días, al final Google lo interpretará como permanente, y ya no indexará de nuevo nuestra web.