Desindexar URL Google
Novedades

¬ŅQu√© motivos pueden existir para querer¬†eliminar una URL en Google? Aunque no es lo com√ļn, hay ocasiones en que, por la raz√≥n de que sea,¬†no nos interesa que una URL de nuestro¬†sitio web¬†aparezca indexada en Google. Puede que esa p√°gina que queremos eliminar est√© atrayendo un tr√°fico no cualificado y empeorando nuestras m√©tricas UX (como un aumento de la tasa de rebote o, peor a√ļn, Pogo Sticking) , o puede, sencillamente, que ya no queramos que esa informaci√≥n sea p√ļblica. Como vemos, la indexaci√≥n condiciona en gran medida el dise√Īo de p√°ginas web.

No obstante, los casos más frecuentes que se suelen dar son cuando tenemos una URL a la que no queremos traspasar link juice desde la Home porque tiene thin content (contenido pobre o de escaso o nulo interés para el usuario que no atrae tráfico orgánico, ni leads ni conversiones, como esos post con menos de 300 palabras que Google considera spam) o cuando queremos evitar el contenido duplicado. Como vemos, las razones pueden ser muchas y variadas.

Los ejemplos m√°s comunes de URLs que no conviene indexar son el Aviso Legal y la Pol√≠tica de Privacidad y Pol√≠tica de Cookies; esto eso, los t√≠picos links que solemos tener en el footer y no aportan ning√ļn valor, pero que son de obligado cumplimiento. Otra p√°gina irrelevante que tienen la mayor√≠a de webs comerciales y har√≠amos bien en eliminar de los buscadores es la de Presupuestos.

Ante una tesitura como ésta, quizás el primer impulso sea cortar por lo sano; es decir, eliminar dicha página del servidor (y que devuelva un error 404). Sin embargo, como ahora veremos, hay mejores y más sutiles maneras de hacerlo.

ūüĒó C√≥mo saber cu√°ntas p√°ginas tiene indexadas Google

Pero antes de analizar y ver en detalle las diferentes maneras que existen de eliminar páginas internas, vamos a ver cómo saber cuántas URLs tiene Google indexadas de nuestro website.

La primera y m√°s sencilla consiste en teclear en el buscador site:www.tudominio.com. De esta manera Google te mostrar√° todas las URLs que tiene indexadas de tu web (ojo, que si no te aparece ninguna es porque probablemente hayas sufrido una penalizaci√≥n y tu dominio haya sido baneado). Esto es lo que se conoce como footprint, o comandos avanzados de b√ļsqueda. Lo malo de este m√©todo es que, cuando nuestro sitio web tiene muchas p√°ginas, no resulta f√°cil ni pr√°ctico hacer una recopilaci√≥n de todas ellas.

URLs indexadas por Google del dominio www.abrelink.es usando el footprint site:

Si queremos ahorrarnos tiempo, una opci√≥n mejor y m√°s directa es usar alguna de las¬†herramientas que extraen todas URLs de una web con un solo clic, y luego s√≥lo tenemos que copiarlas y pegarlas en una hoja de Excel. Una de las m√°s profesionales es¬†Screaming Frog, la mejor aplicaci√≥n para realizar una¬†auditor√≠a SEO On-Page, pero en su versi√≥n gratuita s√≥lo nos muestra hasta un m√°ximo de 500 URLs, lo que, dependiendo del tama√Īo del site, puede quedarse corto (no obstante, con la genial rana aulladora podemos averiguar si tenemos etiquetas duplicadas, redirecciones, errores 404, etc., as√≠ que es de uso obligado).

En Search Console, antes conocida como Google Webmaster Tools, tambi√©n podemos saber cu√°ntas URLs tiene indexadas. Primero hay que entrar en¬†Cobertura del √ćndice > V√°lidas > Enviada e indexada. Aqu√≠ nos mostrar√° las URLs indexadas que se han enviado al sitemap. Tambi√©n pueden aparecer otras URLs indexadas, pero no enviadas al sitemap.

En Cobertura del √ćndice de Google Saerch Console puedes ver las URLs indexadas y enviadas al sitemap.

Por su parte, en la categoría Excluidas nos aparecerán las URLs que hemos marcado como:

  • noindex
  • redireccionadas
  • con error 404
  • con etiqueta can√≥nica inadecuada
  • duplicadas

Asimismo, si vamos a la pesta√Īa¬†Enlaces > Enlaces internos¬†tambi√©n podemos extraer en un CSV o en una hoja de c√°lculo de Google todas o casi todas las URLs (basta con que tengan, al menos, un enlace interno, lo cual no parece muy complicado), pero de eso os hablar√© m√°s adelante.

 La pesta√Īa de Enlaces en Google Search Console tambi√©n nos permite saber cu√°ntas URLs tenemos indexadas, a trav√©s de los enlaces internos o p√°ginas internas m√°s enlazadas.

ūüĒó¬†C√≥mo indexar una URL en Google

Es el caso opuesto al que aquí nos planteamos, pero también es bueno saberlo.

Si inspeccionas una URL en Google Search Console, puedes solicitar su indexación.

Indexar una URL en Google nunca fue más fácil que ahora, con la nueva interfaz. Sólo tenemos que usar la herramienta Inspección de URLs y solicitar indexación. Por lo general, el proceso tarda unos pocos minutos, dependiendo de la autoridad del dominio y de la frecuencia de rastreo de Googlebot.

Adem√°s, ese panel Google nos proporciona una valiosa informaci√≥n sobre el estado de esa URL si desplegamos la pesta√Īa Cobertura:

  • Si la URL est√° en Google (check verde ‚úÖ)
  • Si est√° enviada e indexada
  • Fecha del √ļltimo rastreo
  • Rastreador (desde mobile first-indexing, casi seguro que te aparecer√° Robot de Google para smartphones)
  • Si se permite la indexaci√≥n y el rastreo (esto es, que no tiene un noindex o un disallow en el fichero robots.txt)
  • Declarada por el usuario como can√≥nica
  • Seleccionada por Google como can√≥nica

Inspeccionando una URL podemos obtener toda la información sobre su indexación y rastreo.

Tambi√©n nos indicar√° si la URL en cuesti√≥n est√° optimizada para m√≥viles y qu√© mejoras o fragmentos enriquecidos tiene: rutas de exploraci√≥n (breadcrumbs), preguntas frecuentes (FAQPage), logotipos, cuadro de b√ļsqueda de enlaces de sitios, etc.

Esto sería más o menos el equivalente de hacerle un ping a Google, pero de forma más sutil y profesional. Por supuesto, hay otras formas de solicitar la indexación de una página, como utilizar el panel submit URL (Google deshabilitó recientemente esta herramienta), o incluso difundirla en redes sociales, pero como digo, Search Console es lo más recomendable, siempre que la URL sea de tu propiedad, claro (distinto es si quieres que Google te indexe un backlink).

ūüĒ󬆬ŅEn qu√© casos querr√≠amos eliminar una URL?

Como he dicho al principio, pueden darse muchas casu√≠sticas, pero un caso que suele repetirse muy a menudo es cuando tenemos un ecommerce y un producto al que cambiamos de nombre y de caracter√≠sticas. En tal circunstancia, es probable que tengamos una p√°gina con su correspondiente ficha de producto, y que esta p√°gina est√© recibiendo tr√°fico. ¬ŅSer√≠a conveniente eliminar dicha URL y crear una nueva? Rotundamente no. Si lo hici√©ramos, perder√≠amos esas visitas y provocar√≠amos un error 404. En tal caso, lo suyo ser√≠a¬†redirigir la antigua URL (redirecci√≥n 301, permanente) hacia la nueva, y as√≠ conservar√≠amos el tr√°fico de visitas, y de paso tambi√©n transferir√≠amos su autoridad.

Así que no siempre que vayamos a deshacernos de una URL conviene desindexarla. Eso hay que tenerlo muy presente.

Un caso mucho peor (y no tan infrecuente como pudiera parecer) que exigir√≠a de nosotros una respuesta inmediata ser√≠a que nuestra web hubiera sido hackeada. En dicho supuesto es muy probable que se hubieran creado cientos o incluso miles de URLs basura que estar√≠an da√Īando cr√≠ticamente nuestro posicionamiento web. Esto nos obligar√≠a a una eliminaci√≥n masiva, que luego veremos c√≥mo se hace.

ūüĒó Error 410: Redirect Gone

Hay un gran desconocido en los c√≥digos de respuesta HTTP: el error 410 Gone. ¬ŅPara qu√© nos puede servir este c√≥digo de estado? B√°sicamente, para indicarle a los robots de los buscadores que esa URL ya no existe ni va a existir ni tampoco va a ser redireccionada, por lo que no hace falta que la rastreen.

Este Redirect Gone puede sernos √ļtil, por ejemplo, para eliminar productos de un ecommerce que han dejado de existir y no se van a reponer, o URLs hu√©rfanas sin similaridad tem√°tica con ninguno de nuestros contenidos que adem√°s no reciben tr√°fico.

En este vídeo Matt Cutts explica las diferencias entre los códigos de status 404 y 410 y en qué casos usarlos.

B√°sicamente, hay 4 formas para eliminar y desindexar una URL en Google:

1-Meta noindex

Es la opci√≥n m√°s f√°cil de implementar, aunque, probablemente, no la mejor. Lo √ļnico que tendr√≠amos que hacer es a√Īadir en el head de la p√°gina la etiqueta o metatag <meta name=‚ÄĚrobots‚ÄĚ content=‚ÄĚnoindex‚ÄĚ>. Con esto le estaremos dando la orden a los rastreadores de los motores de b√ļsqueda de que no indexen dicha p√°gina.

Llegados a este punto conviene aclarar que el meta noindex nada tiene que ver con el nofollow, el cual no sirve para desindexar URLs, sino para ordenar a los spiders que no sigan un enlace y, en consecuencia, corten el flujo de autoridad.

El principal inconveniente de este método es que los resultados pueden tardar un tiempo en verse, o no verse nunca, ya que tenemos que esperar a que los crawlers visiten nuestro sitio web, lleguen hasta la URL de marras y reciban la orden. Por lo tanto, esta opción es más recomendable utilizarla antes de que la URL haya sido ya indexada.

2-Robots.txt

Robots.txt Disallow

El archivo robots.txt est√° pensado espec√≠ficamente para orientar a las ara√Īas y darles indicaciones sobre qu√© URLs, carpetas o directorios queremos que indexen o no. A trav√©s del comando Disallow podemos ordenarles que no indexen una URL concreta o una carpeta. Bastar√≠a con escribir esta l√≠nea de c√≥digo:

Disallow: /politica-de-cookies/

(éste es un típico ejemplo de URL que no aporta nada a una web y que conviene no indexar)

Aunque pocos lo hacen, con robots.txt también se pueden bloquear imágenes.

La gran ventaja de utilizar el archivo robots.txt es que optimizamos el crawl budget; esto es, el presupuesto o tiempo que dedican los crawlers (como Googlebot) a rastrear nuestro sitio web. Es, por decirlo de alguna manera, la forma m√°s profesional y aconsejable de hacerlo.

El √ļnico inconveniente que plantea este m√©todo es que si esa p√°gina que queremos eliminar del √≠ndice de Google recibe alg√ļn link desde otra web, entonces podr√≠a no desaparecer.

3-Search Console

Puedes eliminar una URL en Google Search Console

A veces la mejor opción es utilizar las herramientas que el propio Google pone a nuestra disposición, que para eso están. Sin embargo, a pesar de renovar su apariencia, hay algunas herramientas que Google todavía no ha introducido en el nuevo Search Console. Una de ellas es precisamente Eliminar URLs.

Para encontrarla ahora hay que desplegar la pesta√Īa Herramientas e informes antiguos y clicar en Retirada de URL. Entonces nos abrir√° una pesta√Īa en el navegador con la antigua interfaz. El funcionamiento, si ya lo conoc√≠ais, es id√©ntico. Desde aqu√≠ podemos eliminar¬†temporalmente¬†‚Äďeste matiz es importante‚Äď cualquier p√°gina de nuestro sitio web de los resultados de b√ļsqueda. S√≥lo tenemos que pulsar en¬†Ocultar temporalmente¬†e introducir la URL en cuesti√≥n, y desaparecer√° durante 90 d√≠as de las SERPs. Tambi√©n se borrar√° la copia guardada en la cach√© de la p√°gina. Ahora bien, Google nos advierte de que si queremos eliminarla de forma permanente tendremos que recurrir a alguna de las otras t√©cnicas aqu√≠ mencionadas.

Así pues, para eliminar una URL en Google con Search Console tenemos que seguir los siguientes pasos:

  1. Desplegar Herramientas e informes antiguos.
  2. Clic en Retirada de URL.
  3. Clic en Ocultar temporalmente.
  4. Introducir la URL relativa.
  5. Elegir entre ocultar temporalmente la URL durante 90 días y/o eliminarla de la caché (pasado ese tiempo, Google seguirá rastreándola si no la bloqueamos por otros medios).
  6. Enviar solicitud.

Personalmente, yo recomendaría combinar estas dos acciones: en primer lugar, eliminar la URL con Search Console; y en segundo lugar, bloquearla mediante robots.txt. Después de eso, también la borraría del servidor asegurándome de que devuelve un error 404 (not found).

4-Eliminar masivamente URLs en Search Console

¬ŅPero qu√© pasar√≠a si, como he dicho antes, nuestra web ha sido hackeada y de pronto nos vemos con un mont√≥n de URLs? Desindexarlas una por una, como en el ejemplo anterior, nos llevar√≠a much√≠simo tiempo.

Por suerte, en GitHub hay una extensión de Chrome llamada Google Wemaster Tools Bulk URL Removal creada para este propósito. Sólo tenemos que descargar el zip y descomprimirlo en nuestro disco duro.

Con la extension de GitHub Google Webmaster Tools Bulk URL Removal podemos eliminar masivamente URLs en Search Console.

Luego abriremos las Extensiones de Chrome y marcaremos el modo desarrollador, y allí cargaremos la extensión descomprimida. Por supuesto, una vez cargada no te olvides de habilitarla.

Una vez finalizado el proceso, verás que ahora en Retirada URL te aparece ahora la opción de seleccionar archivo. Ahí es donde deberás adjuntar un txt con todas las URLs que quieres desindexar separadas por un salto de línea. Hay un límite de 1000 URLs, por lo que si tienes más, deberás repetir el proceso.

Se pueden eliminar URLs masivamente en Google Search Console

5-Directorio protegido con contrase√Īa

La he dejado en √ļltimo lugar por ser muy poco habitual, pero es bueno saber que existe. Otra forma de bloquear una URL es guardarla en un directorio protegido con contrase√Īa en el servidor. Si utilizas Apache, tendr√°s que editar el archivo .htaccess. √Čste ser√≠a el m√©todo m√°s seguro de todos, ya que, mientras que los anteriores son s√≥lo instrucciones que se dan a los rastreadores, √©ste los forzar√≠a definitivamente a no indexar la URL. Toda la informaci√≥n necesaria para utilizar este recurso la ten√©is aqu√≠.

Y t√ļ, ¬Ņconoces alguna otra manera de eliminar URLs en Google?

Dejar un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

*

11 + 2 =