一些机器人的IP段

所有用户

这些数据是2010年3月至今我网站的反机器人程序记录到的 大部分是搜索引擎的机器人 部分是人工加入的
不包括GOOGLEBOT
一些数据记录时间有些久了 IP段可能不准确
数据格式为IP段 记录时间 机器人名称或域名 描述
220.181. 未记录时间 baidu北京和有道都是这个IP段
174.129.
204.236. 未记录时间 netcraft.com 专门扫你网站用的什么服务器软件
184.72. 2010-09-07 04:23:27 netcraft.com 同上
74.222.3. 2010-09-06 17:29:16  page_test ([email protected]) 请求ROBTS.TXT 具体意图未知
119.63. 未记录时间 baidu日本 似乎专抓非中文站
38.99. 2010-03-28 YesupBot
64.56. 2010-03-29 03:54:17 未知
208.115. 2010-03-30 dotbot
87.250. 2010-03-30 Yandex
67.218. 2010-03-31 cuil.com
110.75. 2010-03-31 上海阿里吧吧
66.48. 2010-04-02 yesup.net
91.205 2010-04-07 ixooPurebot/1.1
94.75. 2010-07-16 ixooPurebot/1.1
193.47. 2010-04-12 Exabot/3.0
174.58. 2010-04-14 BBSPR
38.111. 2010-04-16 TurnitinBot
216.129. 2010-04-16 Twiceler
174.121. 2010-05-20 GeoHasher/Nutch-1.0
66.235. 2010-05-24 Ask Jeeves/Teoma
195.128. 2010-05-29 aiHitBot
124.115.
58.61.
114.80. 2010-07-09 sosospider 这3个IP段都是SOSO的 如果SOSO抓取不到会换WINXP+IE6的机器人继续尝试抓取 并会换IP 很讨厌
207.46 2010-07-17 msnbot BING的机器人 注意MSNBOT会记录你网站的IP
站长工具中常见的“IP反查域名”就是用BING实现的 如果不想让你的站出现在“IP反查域名”的结果中请拒绝MSNBOT 60天后你的站就从BING消失了
202.160.
67.195. 2010-07-25 yahoo美国和中国
119.235. 2010-09-03 Yeti/1.0 NHN 韩国的搜索引擎 IP是NHN日本的

所有用户

那个netcraft很讨厌 9点01分给他们写了封信告诉他们别扫我的站
刚才发现9点51就回复了 效率挺高

Re: [Ticket#20100907******66] Please do not scan my site
Hi there,

We'd be happy to exclude ************ from our surveys. Let me know if you
have any other questions or requests.

Kind regards,
--
Wenxiao Yuan
Netcraft

看“Wenxiao Yuan”这名字似乎是中国人

lunta

哈哈大侠

tony

goto202

langjiawen

news

哦！