Директива User-agent
, Просмотров 4245
Директива User-agent - это инструкция для одного или всех поисковых роботов, которая определяет правила индексации.
Рассмотрим на примерах:
1) Случай 1:
User-agent: * # означает, что условие для всех роботов Disallow: # сообщает, что все разделы сайта доступны для индексации
2) Случай 2:
User-agent: YandexBot # условие только для основного робота Яндекса Disallow: / # запрет на индексацию всего сайта для Яндекса
Как видите вы можете указать инструкцию как для одного персонального робота, так и для всех сразу. Главное знать название поискового бота. Ниже я приведу самые популярные.
User-Agent Яндекс бота:
Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots) Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B411 Safari/600.1.4 (compatible; YandexBot/3.0; +http://yandex.com/bots) Mozilla/5.0 (compatible; YandexAccessibilityBot/3.0; +http://yandex.com/bots) Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B411 Safari/600.1.4 (compatible; YandexMobileBot/3.0; +http://yandex.com/bots) Mozilla/5.0 (compatible; YandexDirectDyn/1.0; +http://yandex.com/bots Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36 (compatible; YandexScreenshotBot/3.0; +http://yandex.com/bots) Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots) Mozilla/5.0 (compatible; YandexVideo/3.0; +http://yandex.com/bots) Mozilla/5.0 (compatible; YandexVideoParser/1.0; +http://yandex.com/bots) Mozilla/5.0 (compatible; YandexMedia/3.0; +http://yandex.com/bots) Mozilla/5.0 (compatible; YandexBlogs/0.99; robot; +http://yandex.com/bots) Mozilla/5.0 (compatible; YandexFavicons/1.0; +http://yandex.com/bots) Mozilla/5.0 (compatible; YandexWebmaster/2.0; +http://yandex.com/bots) Mozilla/5.0 (compatible; YandexPagechecker/1.0; +http://yandex.com/bots) Mozilla/5.0 (compatible; YandexImageResizer/2.0; +http://yandex.com/bots) Mozilla/5.0 (compatible; YandexAdNet/1.0; +http://yandex.com/bots) Mozilla/5.0 (compatible; YandexDirect/3.0; +http://yandex.com/bots) Mozilla/5.0 (compatible; YaDirectFetcher/1.0; Dyatel; +http://yandex.com/bots) Mozilla/5.0 (compatible; YandexCalendar/1.0; +http://yandex.com/bots) Mozilla/5.0 (compatible; YandexSitelinks; Dyatel; +http://yandex.com/bots) Mozilla/5.0 (compatible; YandexMetrika/2.0; +http://yandex.com/bots) Mozilla/5.0 (compatible; YandexNews/4.0; +http://yandex.com/bots) Mozilla/5.0 (compatible; YandexCatalog/3.0; +http://yandex.com/bots) Mozilla/5.0 (compatible; YandexMarket/1.0; +http://yandex.com/bots) Mozilla/5.0 (compatible; YandexVertis/3.0; +http://yandex.com/bots) Mozilla/5.0 (compatible; YandexForDomain/1.0; +http://yandex.com/bots) Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector; +http://yandex.com/bots) Mozilla/5.0 (compatible; YandexSpravBot/1.0; +http://yandex.com/bots) Mozilla/5.0 (compatible; YandexSearchShop/1.0; +http://yandex.com/bots) Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36 (compatible; YandexMedianaBot/1.0; +http://yandex.com/bots) Mozilla/5.0 (compatible; YandexOntoDB/1.0; +http://yandex.com/bots) Mozilla/5.0 (compatible; YandexOntoDBAPI/1.0; +http://yandex.com/bots) Mozilla/5.0 (compatible; YandexVerticals/1.0; +http://yandex.com/bots)
Поисковые боты Google:
APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html) Mediapartners-Google Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html) Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html) AdsBot-Google (+http://www.google.com/adsbot.html) Googlebot-Image/1.0 Googlebot-News Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) Googlebot/2.1 (+http://www.google.com/bot.html) Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) Mediapartners-Google/2.1; +http://www.google.com/bot.html AdsBot-Google-Mobile-Apps
Поисковые боты Mail
Mozilla/5.0 (compatible; Mail.RU_Bot/Fast/2.0)
Поисковые роботы системы Рамблер
StackRambler/2.0 (MSIE incompatible) StackRambler/2.0
Боты Yahoo:
Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp) Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp)
Боты MSN:
msnbot/1.1 (+http://search.msn.com/msnbot.htm) msnbot-media/1.0 (+http://search.msn.com/msnbot.htm) msnbot-media/1.1 (+http://search.msn.com/msnbot.htm) msnbot-news (+http://search.msn.com/msnbot.htm)
Боты Bing:
Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
Статья была полезна ? Пожалуйста поделитесь ей с вашими друзьями.
И оставьте ваш комментарий. Спасибо. Автору будет очень приятно.
Комментарии (0)
Add a Comment