в роботс закрыть от индексации весь сайт

Если ваш сайт имеет долгую загрузку страниц или простоя,
это может возбудить проблемы с индексацией Google. Поисковая система
предпочитает индексировать и учитывать сайты, которые стремглав
загружаются и не имеют простоя в работе.
Также может возникнуть проблема, если пользователи получили
пенальти от Google и их сайт либо домен был деиндексирован.
В этом случае Google не будет индексировать ваши страницы,
покудова пенальти не будет снят
Решения для этой проблемы зависят от того, какая собственно резон
привела к блокировке сайта или страниц. Наиболее простое постановление -
обеспечить доступ роботам поисковых систем к вашему сайту или страницам,
отключив инструкции о блокировке в файле robotstxt или удалив
мета-теги noindex.
Также, вам может потребоваться спознаться с вашим хостингом,
чтобы убедиться, что у вас убирать достаточные ресурсы для индексации вашего
сайта, нету ошибок в файле robotstxt или настройках htaccess,
и нет проблем с доменом или хостингом.
Если вы не можете разрешить проблему самостоятельно,
вы можете воспользоваться инструментами и мануалами, предоставляемыми
Google. На официальной странице Google для веб-мастеров можно разыскать
инструкции и рекомендации по различным проблемам, связанным с индексацией
и позиционированием сайта в поисковых результатах.
В любом случае, дабы ваш сайт был проиндексирован Google,
значимо ликвидировать причину, по которой его не индексируют,
и адресоваться к поисковым системам с просьбой повторной индексации.

Вопрос-ответ:
Почему Google не может индексировать мой сайт?
Существует несколько возможных причин, отчего Google не индексирует ваш сайт. Одной из таких причин может быть наличие мета-тега NOINDEX, кой блокирует индексацию страниц. Также возможно, что Google не обнаружил ваш сайт или проиндексировал его всего под одним из вариантов домена (www или non-www). Важно также проконтролировать присутствие дублирующегося контента, задержку загрузки страницы, настройки приватности, блокировку в robotstxt или в файле htaccess.
Почему Google не видит мой сайт? Что мастерить?
Если Google не видит ваш сайт, это может быть вызвано несколькими факторами. Возможно, ваш сайт имеет мета-тег NOINDEX, какой блокирует индексацию страниц. Также стоит проверить, что ваш сайт доступен и виден для поисковых роботов. Проверьте наличие подходящих настроек приватности, подтвердите ваш сайт в Google Search Console. Также обратите внимание на возможные ошибки робота обхода и блокировку в файле robotstxt или htaccess.
Почему сайт не индексируется Google, хотя он уже длительное период существует?
Если ваш сайт существует уже длительное время, да не индексируется Google, возможно проблема в том, что страницы загружаются чересчур неспешно. Google предпочитает индексировать быстрые страницы, оттого рекомендуется оптимизировать пора загрузки. Также стоит ревизовать наличие мета-тега NOINDEX, настройки приватности и возможное наличие дублирующегося контента. индексировать это

=kiss=