很多网站目前使用的都是虚拟空间,都能够提供日志。日志是指在网站根目录下的logfiles文件夹里面日期.txt文本文件有很多介绍通过http查看返回命令的那种办法来查看蜘蛛。现在更多的网站是没有提供可以通过软件来查看的日志格式。
  更多的是类似下面的日志格式,如下:
  03:28:34 GET /goods.php 202.108.7.205 200 34696 390
  第一 03:28:34 访问时间
  第二 GET /goods.php 访问的页面 get表示获取
  第三 202.108.7.205 访问网站的源IP
  第四 200 成功访问
  第五 34696 390 表示记录的内容大小
  接下来要介绍几个HTTP状态码扩展基本知识:
  成功2×× 成功处理了请求的状态码。
  200 服务器已成功处理了请求并提供了请求的网页。
  204 服务器成功处理了请求,但没有返回任何内容。
  重定向3××每次请求中使用重定向不要超过 5 次。
  301 请求的网页已永久移动到新位置。当URLs发生变化时,使用301代码。搜索引擎索引中保存新的URL。
  302 请求的网页临时移动到新位置。搜索引擎索引中保存原来的URL。
  304 如果网页自请求者上次请求后没有更新,则用304代码告诉搜索引擎机器人,可节省带宽和开销。
  客户端错误4×× 表示请求可能出错,妨碍了服务器的处理。
  400 服务器不理解请求的语法。
  403 服务器拒绝请求。
  404 服务器找不到请求的网页。服务器上不存在的网页经常会返回此代码。
  服务器错误5××表示服务器在处理请求时发生内部错误。这些错误可能是服务器本身的错误,而不是请求出错。
  500 服务器遇到错误,无法完成请求。
  503 服务器目前无法使用(由于超载或停机维护)。通常,这只是暂时状态。
  以上日志提取于:http://www..027zhan.com 如果你不会提取日志的话
  查看服务器日志办法:日志默认存放在System32\LogFiles目录下,使用W3C扩展格式
  虚拟主机查看日志办法:根目录下logfiles文件(一般需虚拟主机面板中开启日志记录)
  2010-05-06 17:48:16 W3SVC945321 222.73.167.138 GET /FUKE/CARNATION.html - 80 - 123.125.66.42 Baiduspider+(+http://www.baidu.com/search/spider.htm) 200 0 0 7341
  1、2010-05-06 17:48:16 蜘蛛光临的时间
  2、W3SVC945321 日志文件名
  3、222.73.167.138 网站服务器IP地址
  4、GET 是从服务器上获取数据
  5、/FUKE/CARNATION.html 抓取的文件
  6、- 80 - 80端口
  7、123.125.66.42 蜘蛛的来路地址
  8、Baiduspider+ 百度蜘蛛的名字
  9、+http://www.baidu.com/search/spider.htm 百度蜘蛛机器人的介绍
  10、200 0 0 7341 200服务器成功返回网页

标签:
百度蜘蛛,百度收录

免责声明:本站文章均来自网站采集或用户投稿,网站不提供任何软件下载或自行开发的软件! 如有用户或公司发现本站内容信息存在侵权行为,请邮件告知! 858582#qq.com
评论“百度蜘蛛日志抓取解读 提高百度收录”
暂无“百度蜘蛛日志抓取解读 提高百度收录”评论...

《魔兽世界》大逃杀!60人新游玩模式《强袭风暴》3月21日上线

暴雪近日发布了《魔兽世界》10.2.6 更新内容,新游玩模式《强袭风暴》即将于3月21 日在亚服上线,届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。

艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕,并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时,他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中,玩家将会进入一个全新的海盗主题大逃杀式限时活动,其中包含极高的风险和史诗级的奖励。

《强袭风暴》不是普通的战场,作为一个独立于主游戏之外的活动,玩家可以用大逃杀的风格来体验《魔兽世界》,不分职业、不分装备(除了你在赛局中捡到的),光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式,玩家在加入海盗主题的预赛大厅区域前,可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹,《巨龙崛起》和《魔兽世界:巫妖王之怒 经典版》的玩家都可以获得奖励。