#robots.txt

  • Как избежать индексации лишних страниц и снизить нагрузку на сервер со стороны поисковых роботов

  • +13 Эксперт найден

    блог имеет несколько дублей для поисковых систем которые нужно закрывать от индексацииDisallow: /blog/blog/Disallow: /blog/author/Disallow: /blog/?list=wishlistDisallow: /blog/?page=1Disallow: /blog/2015/в rss транслируется полная статья а не анонс, но...

  • Для того чтобы ваш онлайн-магазин появился в результатах поиска в поисковых системах, страницы сайта должны проиндексироваться поисковыми роботами. Чтобы это произошло как можно скорее, лучше «сообщить» им о существовании вашего нового магазина:...

  • Содержимое файла robots.txt нужно редактировать в бекенде Вебасиста. Откройте приложение «Сайт», перейдите в раздел «Настройки сайта» и найдите поле «robots.txt». Когда эта настройка не работает Если в корневой директории Вебасиста...

  • Добрый день.Нуждаюсь в помощи по написанию правильного кода robots txt

  • Плагин предлагает закрыть или наоборот индексировать:1) "Страницы артикулов (?sku=)"2) "Страницы сайта с get параметрами"3) "Все get параметры категории"4) "Страницы с пагинацией"Пожалуйста поясните что все это...

  • Эксперт найден

    Здравствуйте.Индексируются мусорные страницы.Пример: домен/5116/ и т.д. Сразу после домена, идет четырехзначная цифра и всё.Пожалуйста подскажите как решить данную проблему?

  • Вопрос наверное глупый и тем не менее.Увидел что у конкурентов огромный файл robots.txt с условиями allow (каталоги товаров и блог тд), и disallow (личный кабинет, конвертер валют и т.д.).Подскажите, имеет ли смысл заморачиаться и прописывать allow...

  • Добрый день!В Яндекс вебмастере обнаружил в индексе страницы типа:https://abc-dom.ru/photos/photo/detskie-podushki/ В robot.txt запрета на такие страницы нет.У меня вопросы: 1. Стоит ли поселение photos/* делать скрытым?2. Не повлияет ли...

  • +1 Эксперт найден

    Написал плагин, порадовался что его опубликовали, пошел его гуглить в яндексе, а там проиндексировалась превьюшка, и теперь при открытии страница отдает 404 код ответа: https://yadi.sk/d/IKaahWKvtGVc...Ув. Webasyst, добавьте пожалуйста в...

  • Необходимо реализовать список всех правок по сайту Добрый день, необходимо реализовать следующие задачи, пишите сроки и свою цену.Спасибо. 1.)Сделать редирект со страниц https://avraamof-opt.ru/index.... на основной адрес. При переходе они не...

  • Есть мультивитрина. Есть уникальные robots.txt для нескольких витрин в разных доменах в пределах этой одной установки. Есть хостинг с Apache+Nginx. Статика отдается Nginx согласно типам файлов. txt занесен в этот список.Могу без проблем отдать как...

  • Гугл нашел ошибки на странице /shop/quickorder/load/. У кого какие мысли по поводу этой страницы, стоит ли в robots.txt закрыть /shop/quickorder/* ?

  • Эксперт найден

    Есть ли смысл закрыть эти страницы в robots.txt? /signup/ /soglasie/ /cart/ /login//forgotpassword/

  • Добрый день!Подскажите, какие самые первоначальные строки нужно внести в robots на данной cms?Поиск, фильтры и прочее

  • В последнее время за Яндексом стал замечать, что в Вебмастере в поиск добавляются страницы такого вида ваш_сайт/?и_дальше_что-то_невнятное типа ?external-test-ids=102042,23;102655,54;102767,38 Возможно совпало с их фичей Управление Обходом по...

  • Здравствуйте. Если в файле есть Директива User-agent: Yandex, то почему то не учитываются некоторые директивы в файле. Пример: User-agent: * Disallow: /vk/my/ User-agent: Yandex Allow: /yandexmarket/e15150e5-94f.xml...

  • Доброго времени суток! Столкнулись с такой проблемой - search console сообщает, что robots отсутствует. По ссылке получаем 404 ошибку http://kramnica.com.ua/robots.tхtУдалил через файл-менеджер старый роботс, через...

  • После недавнего обновления появилось множество дублей страниц с окончанием /?cart=1. Как это победить? В robots.txt была внесена запись Disallow: /?cart=1/ с целью удаления этих URL из индекса поисковиков. Не помогает, все равно эти страницы доступны к...

  • У меня в поисковую выдачу яндекса попала "Скрытое поселение", что совсем меня не радует.Собственно решил проблему с помощью платного плагина "SEO-редиректы". Скрытое поселение имеет в url приставку /1C/, просто сделал 301 редирект с...

  • Добрый день! Помогите пожалуйста найти оригинальный файл robots.txt для шопскрипт 3. Очень очень надо. Спасибо!

  • Google Search Console присылает сообщение об ошибке: "Индексирование отправленных URL", "Ошибки при сканировании отправленного URL, при проверке в консоли google проблема еще уточняется "Доступ к отправленному URL заблокирован в...

  • Почему так часто пишут, что при переводе сайта на https обязательно нужно исключить robots.txt из редиректа http -> https, чтобы он был доступен по обоим протоколам?Яндекс, у себя в блоге об этом пишет так:Выполнили переезд, настроили редирект, а...

  • Эксперт найден

    Изменил роботс txt в настройках сайта. он сменился на сайте в виде имя.webasyst.cloud но на прекрученном домене имя.ру роботс не меняется. Подскажите как его изменить?

  • Добрый день!Полный профан в этом вопросе. Нужно запретить гугл индексировать одну из категорий магазина, помогите пожалуйста) Видел, что настройки robots.txt во вкладке сайт.

  • Ребята, самому смешно. Один из криворуких плагинов потер robots.txt.Есть бэкапы, но не понимаю какой файл восстанавливать?Хелп!!!

  • Подскажите, что не так с файломhttps://moe-foto.net/robots.txtUser-agent: *Disallow: /search/?query=Disallow: /compare/Disallow: /tag/Disallow: *&sort=Disallow: */?sort=Disallow: /checkout/Disallow: /my/Disallow: /signup/Disallow: /login/Disallow:...

  • Файл robots.txt заполнен и находится в корне, работали по FTP.Сейчас яндекс не видит этот файл. Что делать? Хостинг https://nashhost.com/

  • В Robots прописал:User-agent: * Disallow: /search/?query= Disallow: /tag/ Disallow: *?sort= Disallow: /cart/ Disallow: /checkout/ Disallow: /my/ Disallow: /signup/ Disallow: /login/ Disallow: /forgotpassword/ Disallow: /webasyst/...

  • Добрый день.Перевел сайт на шоп-скрипт 7В индексе появились страницы с окончанием:/?sent=yes/?view=printableЗапретил в роботсе, но хочу узнать что это за страницыс таким окончанием?