Коли ми робимо розробку складних проектів, які потребують місяців роботи і багато тестувань, доробок і погоджень з замовником то то зазвичай створюємо тестову адресу і розміщаємо сайт на неї. Більш складні, але надійні способи приховати сайт організації під час розробки впираються в самих замовників. Доробки треба погоджувати в маркетолога та комерційного директора, іноді сайт дивиться власник клініки, над ним працюють контент менеджери тому складні способи з заходу на тестовий сайт не підходили.
Так під час розробки сайтів я помітив, що один з тестових сайтів почав індексуватись Google попри пряму заборону цього не робити. Сайт працює на CMS WordPress, тому з самого початку була додана директива <meta name=’robots‘ content=’noindex, nofollow‘ /> через стандартні налаштування CMS.
Після цього я прийняв додаткові заходи з усунення цих сторінок з індексу з і уникнення дублювання контенту.
- Додав заборону індексації в robots.txt
- Заборонив індексацію через відповідь сервера X-Robots-Tag: noindex
- Подав запит в Google Search Console на видалення індексу на піддомені, де був розташований тестовий сайт.
Після цього кількість проіндексованих сторінок почала зменшуватись. На 23 грудня, через 3 місяців, після додаткових заходів, їх кількість впала в 7 разів, але не зникла зовсім.
Але кількість переходів з пошуку впала майже до нуля
Цікаво, що майже усі запити – за якими був перехід з на тестовий сайт з пошуку – це ПІБ лікарів.
Висновок:
- Попри заборону Google продовжує індексувати посилання, мабуть вважаючи саму цю заборону помилковою.
- Для повного видалення сторінок індексу треба довгий час, від 3 місяців і більше