Desindexar URL Google
Novedades

¿Qué motivos pueden existir para querer eliminar una URL en Google? Aunque no es lo común, hay ocasiones en que, por la razón de que sea, no nos interesa que una URL de nuestro sitio web aparezca indexada en Google. Puede que esa página que queremos eliminar esté atrayendo un tráfico no cualificado y empeorando nuestras métricas UX (como un aumento de la tasa de rebote o, peor aún, Pogo Sticking) , o puede, sencillamente, que ya no queramos que esa información sea pública. Como vemos, la indexación condiciona en gran medida el diseño de páginas web.

No obstante, los casos más frecuentes que se suelen dar son cuando tenemos una URL a la que no queremos traspasar link juice desde la Home porque tiene thin content (contenido pobre o de escaso o nulo interés para el usuario que no atrae tráfico orgánico, ni leads ni conversiones, como esos post con menos de 300 palabras que Google considera spam) o cuando queremos evitar el contenido duplicado. Como vemos, las razones pueden ser muchas y variadas.

Los ejemplos más comunes de URLs que no conviene indexar son el Aviso Legal y la Política de Privacidad y Política de Cookies; esto eso, los típicos links que solemos tener en el footer y no aportan ningún valor, pero que son de obligado cumplimiento. Otra página irrelevante que tienen la mayoría de webs comerciales y haríamos bien en eliminar de los buscadores es la de Presupuestos.

Ante una tesitura como ésta, quizás el primer impulso sea cortar por lo sano; es decir, eliminar dicha página del servidor (y que devuelva un error 404). Sin embargo, como ahora veremos, hay mejores y más sutiles maneras de hacerlo.

Resumen de Contenidos

🔗 Cómo saber cuántas páginas tiene indexadas Google

Pero antes de analizar y ver en detalle las diferentes maneras que existen de eliminar páginas internas, vamos a ver cómo saber cuántas URLs tiene Google indexadas de nuestro website.

La primera y más sencilla consiste en teclear en el buscador site:www.tudominio.com. De esta manera Google te mostrará todas las URLs que tiene indexadas de tu web (ojo, que si no te aparece ninguna es porque probablemente hayas sufrido una penalización y tu dominio haya sido baneado). Esto es lo que se conoce como footprint, o comandos avanzados de búsqueda. Lo malo de este método es que, cuando nuestro sitio web tiene muchas páginas, no resulta fácil ni práctico hacer una recopilación de todas ellas.

URLs indexadas por Google del dominio www.abrelink.es usando el footprint site:

Si queremos ahorrarnos tiempo, una opción mejor y más directa es usar alguna de las herramientas que extraen todas URLs de una web con un solo clic, y luego sólo tenemos que copiarlas y pegarlas en una hoja de Excel. Una de las más profesionales es Screaming Frog, la mejor aplicación para realizar una auditoría SEO On-Page, pero en su versión gratuita sólo nos muestra hasta un máximo de 500 URLs, lo que, dependiendo del tamaño del site, puede quedarse corto (no obstante, con la genial rana aulladora podemos averiguar si tenemos etiquetas duplicadas, redirecciones, errores 404, etc., así que es de uso obligado).

En Search Console, antes conocida como Google Webmaster Tools, también podemos saber cuántas URLs tiene indexadas. Primero hay que entrar en Cobertura del Índice > Válidas > Enviada e indexada. Aquí nos mostrará las URLs indexadas que se han enviado al sitemap. También pueden aparecer otras URLs indexadas, pero no enviadas al sitemap.

En Cobertura del Índice de Google Saerch Console puedes ver las URLs indexadas y enviadas al sitemap.

Por su parte, en la categoría Excluidas nos aparecerán las URLs que hemos marcado como:

  • noindex
  • redireccionadas
  • con error 404
  • con etiqueta canónica inadecuada
  • duplicadas

Asimismo, si vamos a la pestaña Enlaces > Enlaces internos también podemos extraer en un CSV o en una hoja de cálculo de Google todas o casi todas las URLs (basta con que tengan, al menos, un enlace interno, lo cual no parece muy complicado), pero de eso os hablaré más adelante.

 La pestaña de Enlaces en Google Search Console también nos permite saber cuántas URLs tenemos indexadas, a través de los enlaces internos o páginas internas más enlazadas.

🔗 Cómo indexar una URL en Google

Es el caso opuesto al que aquí nos planteamos, pero también es bueno saberlo.

Si inspeccionas una URL en Google Search Console, puedes solicitar su indexación.

Indexar una URL en Google nunca fue más fácil que ahora, con la nueva interfaz. Sólo tenemos que usar la herramienta Inspección de URLs y solicitar indexación. Por lo general, el proceso tarda unos pocos minutos, dependiendo de la autoridad del dominio y de la frecuencia de rastreo de Googlebot.

Además, ese panel Google nos proporciona una valiosa información sobre el estado de esa URL si desplegamos la pestaña Cobertura:

  • Si la URL está en Google (check verde ✅)
  • Si está enviada e indexada
  • Fecha del último rastreo
  • Rastreador (desde mobile first-indexing, casi seguro que te aparecerá Robot de Google para smartphones)
  • Si se permite la indexación y el rastreo (esto es, que no tiene un noindex o un disallow en el fichero robots.txt)
  • Declarada por el usuario como canónica
  • Seleccionada por Google como canónica

Inspeccionando una URL podemos obtener toda la información sobre su indexación y rastreo.

También nos indicará si la URL en cuestión está optimizada para móviles y qué mejoras o fragmentos enriquecidos tiene: rutas de exploración (breadcrumbs), preguntas frecuentes (FAQPage), logotipos, cuadro de búsqueda de enlaces de sitios, etc.

Esto sería más o menos el equivalente de hacerle un ping a Google, pero de forma más sutil y profesional. Por supuesto, hay otras formas de solicitar la indexación de una página, como utilizar el panel submit URL (Google deshabilitó recientemente esta herramienta), o incluso difundirla en redes sociales, pero como digo, Search Console es lo más recomendable, siempre que la URL sea de tu propiedad, claro (distinto es si quieres que Google te indexe un backlink).

🔗 ¿En qué casos querríamos eliminar una URL?

Como he dicho al principio, pueden darse muchas casuísticas, pero un caso que suele repetirse muy a menudo es cuando tenemos un ecommerce y un producto al que cambiamos de nombre y de características. En tal circunstancia, es probable que tengamos una página con su correspondiente ficha de producto, y que esta página esté recibiendo tráfico. ¿Sería conveniente eliminar dicha URL y crear una nueva? Rotundamente no. Si lo hiciéramos, perderíamos esas visitas y provocaríamos un error 404. En tal caso, lo suyo sería redirigir la antigua URL (redirección 301, permanente) hacia la nueva, y así conservaríamos el tráfico de visitas, y de paso también transferiríamos su autoridad.

Así que no siempre que vayamos a deshacernos de una URL conviene desindexarla. Eso hay que tenerlo muy presente.

Un caso mucho peor (y no tan infrecuente como pudiera parecer) que exigiría de nosotros una respuesta inmediata sería que nuestra web hubiera sido hackeada. En dicho supuesto es muy probable que se hubieran creado cientos o incluso miles de URLs basura que estarían dañando críticamente nuestro posicionamiento web. Esto nos obligaría a una eliminación masiva, que luego veremos cómo se hace.

🔗 Error 410: Redirect Gone

Hay un gran desconocido en los códigos de respuesta HTTP: el error 410 Gone. ¿Para qué nos puede servir este código de estado? Básicamente, para indicarle a los robots de los buscadores que esa URL ya no existe ni va a existir ni tampoco va a ser redireccionada, por lo que no hace falta que la rastreen.

Este Redirect Gone puede sernos útil, por ejemplo, para eliminar productos de un ecommerce que han dejado de existir y no se van a reponer, o URLs huérfanas sin similaridad temática con ninguno de nuestros contenidos que además no reciben tráfico.

En este vídeo Matt Cutts explica las diferencias entre los códigos de status 404 y 410 y en qué casos usarlos.

Básicamente, hay 4 formas para eliminar y desindexar una URL en Google:

1-Meta noindex

Es la opción más fácil de implementar, aunque, probablemente, no la mejor. Lo único que tendríamos que hacer es añadir en el head de la página la etiqueta o metatag <meta name=”robots” content=”noindex”>. Con esto le estaremos dando la orden a los rastreadores de los motores de búsqueda de que no indexen dicha página.

Llegados a este punto conviene aclarar que el meta noindex nada tiene que ver con el nofollow, el cual no sirve para desindexar URLs, sino para ordenar a los spiders que no sigan un enlace y, en consecuencia, corten el flujo de autoridad.

El principal inconveniente de este método es que los resultados pueden tardar un tiempo en verse, o no verse nunca, ya que tenemos que esperar a que los crawlers visiten nuestro sitio web, lleguen hasta la URL de marras y reciban la orden. Por lo tanto, esta opción es más recomendable utilizarla antes de que la URL haya sido ya indexada.

2-Robots.txt

Robots.txt Disallow

El archivo robots.txt está pensado específicamente para orientar a las arañas y darles indicaciones sobre qué URLs, carpetas o directorios queremos que indexen o no. A través del comando Disallow podemos ordenarles que no indexen una URL concreta o una carpeta. Bastaría con escribir esta línea de código:

Disallow: /politica-de-cookies/

(éste es un típico ejemplo de URL que no aporta nada a una web y que conviene no indexar)

Aunque pocos lo hacen, con robots.txt también se pueden bloquear imágenes.

La gran ventaja de utilizar el archivo robots.txt es que optimizamos el crawl budget; esto es, el presupuesto o tiempo que dedican los crawlers (como Googlebot) a rastrear nuestro sitio web. Es, por decirlo de alguna manera, la forma más profesional y aconsejable de hacerlo.

El único inconveniente que plantea este método es que si esa página que queremos eliminar del índice de Google recibe algún link desde otra web, entonces podría no desaparecer.

3-Search Console

Puedes eliminar una URL en Google Search Console

A veces la mejor opción es utilizar las herramientas que el propio Google pone a nuestra disposición, que para eso están. Sin embargo, a pesar de renovar su apariencia, hay algunas herramientas que Google todavía no ha introducido en el nuevo Search Console. Una de ellas es precisamente Eliminar URLs.

Para encontrarla ahora hay que desplegar la pestaña Herramientas e informes antiguos y clicar en Retirada de URL. Entonces nos abrirá una pestaña en el navegador con la antigua interfaz. El funcionamiento, si ya lo conocíais, es idéntico. Desde aquí podemos eliminar temporalmente –este matiz es importante– cualquier página de nuestro sitio web de los resultados de búsqueda. Sólo tenemos que pulsar en Ocultar temporalmente e introducir la URL en cuestión, y desaparecerá durante 90 días de las SERPs. También se borrará la copia guardada en la caché de la página. Ahora bien, Google nos advierte de que si queremos eliminarla de forma permanente tendremos que recurrir a alguna de las otras técnicas aquí mencionadas.

Así pues, para eliminar una URL en Google con Search Console tenemos que seguir los siguientes pasos:

  1. Desplegar Herramientas e informes antiguos.
  2. Clic en Retirada de URL.
  3. Clic en Ocultar temporalmente.
  4. Introducir la URL relativa.
  5. Elegir entre ocultar temporalmente la URL durante 90 días y/o eliminarla de la caché (pasado ese tiempo, Google seguirá rastreándola si no la bloqueamos por otros medios).
  6. Enviar solicitud.

Personalmente, yo recomendaría combinar estas dos acciones: en primer lugar, eliminar la URL con Search Console; y en segundo lugar, bloquearla mediante robots.txt. Después de eso, también la borraría del servidor asegurándome de que devuelve un error 404 (not found).

4-Eliminar masivamente URLs en Search Console

¿Pero qué pasaría si, como he dicho antes, nuestra web ha sido hackeada y de pronto nos vemos con un montón de URLs? Desindexarlas una por una, como en el ejemplo anterior, nos llevaría muchísimo tiempo.

Por suerte, en GitHub hay una extensión de Chrome llamada Google Wemaster Tools Bulk URL Removal creada para este propósito. Sólo tenemos que descargar el zip y descomprimirlo en nuestro disco duro.

Con la extension de GitHub Google Webmaster Tools Bulk URL Removal podemos eliminar masivamente URLs en Search Console.

Luego abriremos las Extensiones de Chrome y marcaremos el modo desarrollador, y allí cargaremos la extensión descomprimida. Por supuesto, una vez cargada no te olvides de habilitarla.

Una vez finalizado el proceso, verás que ahora en Retirada URL te aparece ahora la opción de seleccionar archivo. Ahí es donde deberás adjuntar un txt con todas las URLs que quieres desindexar separadas por un salto de línea. Hay un límite de 1000 URLs, por lo que si tienes más, deberás repetir el proceso.

Se pueden eliminar URLs masivamente en Google Search Console

5-Directorio protegido con contraseña

La he dejado en último lugar por ser muy poco habitual, pero es bueno saber que existe. Otra forma de bloquear una URL es guardarla en un directorio protegido con contraseña en el servidor. Si utilizas Apache, tendrás que editar el archivo .htaccess. Éste sería el método más seguro de todos, ya que, mientras que los anteriores son sólo instrucciones que se dan a los rastreadores, éste los forzaría definitivamente a no indexar la URL. Toda la información necesaria para utilizar este recurso la tenéis aquí.

Y tú, ¿conoces alguna otra manera de eliminar URLs en Google?

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *