[热点] 淘宝网开始屏蔽百度蜘蛛爬虫

cshack

普通长老

Rank: 3 Rank: 3

UID: 149770
帖子: 163
精华: 0
积分: 227
菊花元: 227 元
威望: 0 点
阅读权限: 20
在线时间: 43 小时
注册时间: 2007-3-20
最后登录: 2008-10-17

顶楼大中小发表于 2008-9-7 12:10 只看该作者

淘宝网开始屏蔽百度蜘蛛爬虫

淘宝网开始屏蔽百度蜘蛛爬虫
淘宝网近日已经开始屏蔽百度蜘蛛爬虫。

网友杨先生反映，他近日发现，淘宝网已在网站根目录下的robots.txt文件中设置相关命令，禁止百度蜘蛛获取网页信息。

据悉，百度蜘蛛是百度用来抓取各网站内容的一套自动程序，屏蔽百度蜘蛛主要是不想被百度收录，或者担心抓取给服务器带来压力。

附件: 您所在的用户组无法下载或查看附件

爱吧导航厦门电子城
blog

TOP

‹‹ 上一主题 | 下一主题 ››

Theme designed by LinStyle.cn | CnTheme Designer's works

Processed in 0.084784 second(s), 9 queries, Gzip enabled.