Здесь уже публиковались сведения о составлении файла robots.txt, при этом приводился список основных значений UserAgent для роботов поисковиков. Однако, видимо, приведенная информация была неполной, вполне возможно, также, что она несколько устарела за прошедшее время. Далее приводится список UserAgent по состоянию на 1 марта 2002 года по основным поисковикам. Поисковая система UserAgent Имя робота для robots.txt Примечание AltaVista Scooter-3.0.3 Scooter - Ask Jeeves Mozilla/2.0 (compatible; Ask Jeeves) directhit teomaagent1 Fast Search and Transfer ASA FAST-WebCrawler/3.4/Nirvana) Mozilla/4.0 (compatible; FastCrawler3, support-fastcrawler3@fast.no) fast http://fast.no/support/crawler.asp Google Googlebot/2.1 (+http://www.googlebot.com/bot.html) Wget/1.5.3 Googlebot-image (+http://www.googlebot.com/bot.html) googlebot http://www.google.com/bot.html Inktomi Slurp (Slurp.so/1.0 (slurp@inktomi.com; http://www.inktomi.com/slurp.html ) slurp http://www.inktomi.com/slurp.html Lycos Lycos_Spider_(modspider) T-Rex lycos Не очень ясно, зачем этот робот продолжает работать. Yahoo Mozilla/4.05 LWP::Simple/5.53 - Робот для проверки ссылок Яндекс Yandex/1.03.000 Yandex - Рамблер StackRambler/1.4 Stack - Апорт Aport Registration Robot aport -
1021 Прочтений • [Основные значения UserAgent] [20.04.2012] [Комментариев: 0]
Vova
