新浪博客已屏蔽百度蜘蛛 百度将无法抓取内容

夏小落

站长之家（chinaz.com）8月13日消息：今日，站长之家用户wxg8899通过新浪博客robots.txt（http://blog.sina.com.cn/robots.txt）文件发现，新浪已经在robots.txt文件中设置相关命令，屏蔽百度的蜘蛛爬虫，禁止百度蜘蛛获取网页信息。这也意味着，通过新浪博客获取百度外链的方式将不可取了。
长期以来新浪博客因其高PR、收录快的特点，一直被许多站长视为增加网站外链的宝地。新浪博客一度成为了外链推广基地，被站长作为增加外链的最好途径之一。不过这也导致了新浪博客存在大量的软文和垃圾内容。而新浪博客屏蔽百度蜘蛛将有利于改善这一问题，减少无价值内容的产生。
新浪博客robots.txt文件内容：

##################################################### # SINA BLOG 禁止搜索引擎收录配置文件 # 文件： ~/robots.txt # 编写： 阿狼 # 日期： 2005-03-24 ##################################################### #开放百度的搜索引擎的User-Agent代码，*表示所有########### User-agent: Baiduspider #限制不能搜索的目录，Disallow: 为空时开放所有目录#### Disallow: /admin/ Disallow: /include/ Disallow: /html/ Disallow: /queue/ Disallow: /config/ #限制的搜索引擎的User-Agent代码，*表示所有########### User-agent: * #临时限制对所有目录的禁止抓取 Disallow: / #限制不能搜索的目录，Disallow: 为空时开放所有目录#### ##Disallow: /admin/ ##Disallow: /include/ ##Disallow: /html/ ##Disallow: /queue/ ##Disallow: /config/ #开放搜索的目录有#################################### # / # /advice/ # /help/ # /lm/ # /main/ # /myblog/ #搜索引擎User-Agent代码对照表######################## # 搜索引擎 User-Agent代码 # AltaVista Scooter # Infoseek Infoseek # Hotbot Slurp # AOL Search Slurp # Excite ArchitextSpider # Google Googlebot # Goto Slurp # Lycos Lycos # MSN MSNBOT # Netscape Googlebot # NorthernLight Gulliver # WebCrawler ArchitextSpider # Iwon Slurp # Fast Fast # DirectHit Grabber # Yahoo Web Pages Googlebot # Looksmart Web Pages Slurp # Baiduspider Baidu

lxfan

不懂的飘过

tony

冒汗了 555555555555555555555555555555

orvice

哈哈大侠

悲剧啊，百度本来是瞬间收录的……

小新啦

很多人要哭了

水冰月

希望和讯网易跟进。

叩桥不渡

很多人要哭了
小新啦 发表于 2010-8-13 14:17