百度蜘蛛日志抓取解读 提升百度收录
发布时间：2022-01-06 13:27:23 所属栏目：搜索优化 来源：互联网
导读：很多网站目前使用的都是虚拟空间，都能够提供日志。日志是指在网站根目录下的logfiles文件夹里面日期.txt文本文件有很多介绍通过http查看返回命令的那种办法来查看蜘蛛。现在更多的网站是没有提供可以通过软件来查看的日志格式。 更多的是类似下面的日志格
|
很多网站目前使用的都是虚拟空间，都能够提供日志。日志是指在网站根目录下的logfiles文件夹里面日期.txt文本文件有很多介绍通过http查看返回命令的那种办法来查看蜘蛛。现在更多的网站是没有提供可以通过软件来查看的日志格式。 更多的是类似下面的日志格式，如下： 03:28:34 GET /goods.php 202.108.7.205 200 34696 390 第一 03:28:34 访问时间 第二 GET /goods.php 访问的页面 get表示获取 第三 202.108.7.205 访问网站的源IP 第四 200 成功访问 第五 34696 390 表示记录的内容大小 接下来要介绍几个HTTP状态码扩展基本知识： 成功2×× 成功处理了请求的状态码。 500 服务器遇到错误，无法完成请求。 503 服务器目前无法使用(由于超载或停机维护)。通常，这只是暂时状态。 以上日志提取于：http://www..027zhan.com 如果你不会提取日志的话 查看服务器日志办法：日志默认存放在System32/LogFiles目录下，使用W3C扩展格式 虚拟主机查看日志办法：根目录下logfiles文件(一般需虚拟主机面板中开启日志记录) 2010-05-06 17:48:16 W3SVC945321 222.73.167.138 GET /FUKE/CARNATION.html - 80 - 123.125.66.42 Baiduspider+(+http://www.baidu.com/search/spider.htm) 200 0 0 7341 1、2010-05-06 17:48:16 蜘蛛光临的时间 2、W3SVC945321 日志文件名 3、222.73.167.138 网站服务器IP地址 4、GET 是从服务器上获取数据 5、/FUKE/CARNATION.html 抓取的文件 6、- 80 - 80端口 7、123.125.66.42 蜘蛛的来路地址 8、Baiduspider+ 百度蜘蛛的名字 9、+http://www.baidu.com/search/spider.htm 百度蜘蛛机器人的介绍 10、200 0 0 7341 200服务器成功返回网页 （编辑：汉中站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐