Google рекомендует удалить noindex

Google на протяжении многих лет напоминает веб-мастерам о том, что не поддерживает директиву noindex в robots.txt, но многие специалисты, занимающиеся SEO продвижением сайтов, продолжают ее использовать.
Тег размещается в HTML-коде страницы и позволяет закрывать от индексации часть текста, помещенного внутри него. В последнее время владельцам сайтов начали приходить уведомления через панель Google Search Console о необходимости убрать из robots.txt запрещающую директиву noindex.
С 1 сентября 2019 года noindex перестанет работать. Пришло время почистить файл robots.txt.