蜘蛛日志分析工具V1.0.0绿色版(64位)正式发布,全网首发

阿里云双11来了!从本博客参与阿里云,服务器最低只要86元/年!

蜘蛛日志分析工具V1.0.0绿色版(64位)正式发布,全网首发

特色功能介绍:

1、对日志进行按日分割。

2、对日志进行清洗,找出真正搜索引擎蜘蛛的IP,对于非蜘蛛ip但是伪装成搜索引擎UA头的蜘蛛,标记IP并统计访问次数,方便对一些扫描后台什么的ip封禁。

3、搜索引擎爬取链接的统计。

4、搜索引擎蜘蛛来访IP的统计。

5、蜘蛛IP来访次数出图。

6、蜘蛛的所有数据导出到excel。

使用说明:

1、域名部分填写主域,即需要分析的日志所绑定的网站,如www.baidu.com

2、在total\base下创建主域同名文件夹,将日志文件放到里面。未分割、已分隔无所谓。

(日志格式需要为默认格式)

3、无论日志是否已分割,都需要在本工具下分割一次。

4、对于伪装成蜘蛛UA的IP,必然带有某种目的,在确认不是蜘蛛后,可以直接ban掉。

5、结果展示,图片显示时,先加载,后选择。

整理蜘蛛真伪时本工具采用本地鉴定的方式完成的积累。

为便于大家使用,本工具直接集成百夫长IP辨别,在此表示感谢。

更新日志:

todo:
链式友链抓取;
百度提交;
自主按指定频率抓网站指定的页面列表中新url并自动提交百度(主动提交、熊掌号提交);

V1.0.0 功能相对完善,版本正式升级为1.0(进行中)
增加分割、分析日志时更多选项。
增加蜘蛛类别识别(低权重、高权重、首页权重等。)
修改假蜘蛛显示逻辑,只统计分析时间区间内的数量频次。

V0.9.8
增加蜘蛛数据导出excel功能。
V0.9.3
窗体最大化支持,界面更加友好。
V0.9.0
修复查蜘蛛崩溃bug。
V0.8.9
初代

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
0 条回复 A 作者 M 管理员
    所有的伟大,都源于一个勇敢的开始!
欢迎您,新朋友,感谢参与互动!欢迎您 {{author}},您在本站有{{commentsCount}}条评论