欢迎光临 | 做网站,就上锐拓云

电话

全国服务热线

400-0088-091

在线咨询

建站在线咨询

QQ咨询

QQ在线咨询

电话沟通

139 3849 6333

锐拓云商城

优质网站建设服务商

操作简单,任意布局,建站无需代码,自由拖拽,不会技术,网站建设你也行!

立即试用

搜搜引擎蜘蛛是一个自动抓取互联网上网页内容的程序,每个搜索引擎都有自己的蜘蛛。

  搜索引擎蜘蛛也叫搜索引擎爬虫、搜索引擎robot。

  国内各大搜索引擎蜘蛛名称:

  百度:百度spider

  谷歌:googlebot

  搜狗:sogou spider

  搜搜:Sosospider

  360搜索:360Spider

  有道:YodaoBot

  雅虎:Yahoo Slurp

  必应:msnbot

  Msn:msnbot

     以上是常见的搜索引擎蜘蛛(爬虫),如果你的网站不想让让某些蜘蛛抓取,那么可以通过robots.txt来限制爬虫的抓取。