Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)（Google 搜索）

Googlebot-Image/1.0（Google 图片）

Googlebot-News（Google 新闻）

Googlebot-Video/1.0（Google 视频）

AdsBot-Google (+http://www.google.com/adsbot.html)（Google Ads/广告爬虫）

Mediapartners-Google（Google AdSense/广告合作爬虫）

Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)（Bing）

Mozilla/5.0 (compatible; BingPreview/1.0b)（Bing 预览/抓取渲染）

msnbot/2.0b (+http://search.msn.com/msnbot.htm)（MSN/微软旧搜索爬虫）

DuckDuckBot/1.0; (+http://duckduckgo.com/duckduckbot.html)（DuckDuckGo）

Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)（百度）

Baiduspider-image/2.0; +http://www.baidu.com/search/spider.html（百度 图片）

Baiduspider-video/2.0; +http://www.baidu.com/search/spider.html（百度 视频）

Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)（搜狗）

Sogou Pic Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07)（搜狗 图片）

Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)（Yandex）

Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots)（Yandex 图片）

Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)（Yahoo/雅虎）

Mozilla/5.0 (compatible; 360Spider/2.0; +http://www.so.com/help/spider.html)（360 搜索/so.com）

Mozilla/5.0 (compatible; ShenmaSpider/1.0; +http://www.shenma.com/spider.html)（神马搜索）

Mozilla/5.0 (compatible; Yeti/1.1; +http://naver.me/spd)（Naver）

Mozilla/5.0 (compatible; Daumoa/4.0; +http://cs.daum.net/faq/15/4118.html)（Daum/Kakao）

Mozilla/5.0 (compatible; SeznamBot/3.2; +http://napoveda.seznam.cz/en/seznambot-intro/)（Seznam）

Mozilla/5.0 (compatible; Qwantify/2.1; +https://www.qwant.com/)（Qwant）

Mozilla/5.0 (compatible; PetalBot; +https://webmaster.petalsearch.com/site/petalbot)（Petal Search/华为）