UA 排除

UA 排除

UA 排除

网络爬虫（又被称为网页蜘蛛），是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。由于抓取网页的过程会对流量造成影响，可以选择屏蔽其UA关键字，排除对流量的干扰。
EasyGrowth 提供对主流网站蜘蛛 UA 的排除，详见下表。

爬虫名称（Spider name）关键词（Key term）示例UA
百度爬虫BaiduspiderMozilla/5.0 (compatible; Baiduspider/2.0; +http//www.baidu.com/search/spider.html
谷歌爬虫GooglebotMozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
MSN 爬虫MsnBot-MediaMozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534+ (KHTML, like Gecko) MsnBot-Media /1.0 b
naver 爬虫http://naver.me/botMozilla/5.0 (compatible; Yetil 1.1; +http://naver.me/bot)
Ping 爬虫pingbotMozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko)Ubuntu Chromium/59.0.3071.109 Chrome/59.0.3071.109 Safari/537.36 PingdomPageSpeed/1.0 (pingbot/2.0; +http: //www. pingdom. com/)
python爬虫pyspiderpyspider/0.3.10-dev (http: //pyspider. org/)
360 爬虫360SpiderUser-Agent:Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0); 360Spider
搜狗爬虫Sogou web spiderSogou web spider/4.0（ +http: //www. sogou.com/docs/help/webmasters.htm#07)
monitor爬虫monitor-spiderMozilla/5.0 (Windows NT 6.1;rv:17.0) Gecko/20100101 Firefox/17.0 monitor-spider
监控宝爬虫jiankongbaoMozilla/5.0 (Macintosh; Intel Mac OS X 10.9; rv:25.0; JianKongBao Monitor 1.2)Gecko/20100101 Firefox/25
听云爬虫networkbenchMozilla/5.0 (Windows NT 10.0; Trident/7.0; rv: 11.0;NetworkBench/8.0.1.309-5774440-2481662) like Gecko
OneAPM爬虫OneAPM FFAgentMozilla/5.0 (Windows NT 6.1; WOW64; rv:39.0: OneAPM FFAgent)Gecko/20100101 Firefox/39.0
PhantomJSPhantomJSMozilla/5.0 (Unknown; Linux x86_64)AppleWebKit/538. 1 (KHTML,like Gecko)PhantomJS/2.1.1 Safari/538.1

您也可以自定义 UA

微海报分享
General, Setting
本文档是否对您有帮助？

Powered by BetterDocs

版权所有 © 2021 北京铂金智慧网络科技有限公司

业务场景

能力

精细化运营平台

全场景解决方案

全程增长服务

资源

帮助中心

博客

关于我们

联系我们

业务场景

能力

精细化运营平台

全场景解决方案

全程增长服务

资源

帮助中心

博客

关于我们

版权所有 © 2021 北京铂金智慧网络科技有限公司

微海报分享