Screaming Frog Log File Analyser(尖叫青蛙网络爬虫软件)

链接：https://pan.quark.cn/s/07db6190d732

1、在本站下载解压软件得到安装包以及注册机;
2、双击.exe运行安装，如图所示，选择安装方式，默认安装和自定义安装;
3、勾选Custom，如图所示，点击浏览选择软件安装路径，点击next;
4、选择要在其中创建程序快捷方式的“开始菜单”文件夹，默认即可点击next;
5、安装中，大家耐心等待一会儿;
6、安装完成，点击closet关闭;
7、运行软件，点击 AcCEpt;
8、如图所示，依次选择Licence-enter Licence;
9、如图所示，运行注册机，在注册机中输入用户名即可自动生成许可证密钥，将注册信息对应复制到软件中，点击确定;

软件特色
日志文件分析器工具报告…
在尖叫青蛙日志文件分析仪是一个搜索引擎优化审计工具，通过真实的上市公司增发建有全球成千上万的用户。收集和分析的一些数据的快速摘要包括 -
1、已抓取的网址
查看和分析搜索漫游垃圾网(例如Googlebot和Bingbot)已抓取哪些网址。
2、抓取频率
分析搜索机构用户代理搜索最多和最少抓取的网址。
3、完整事件数据
按时间戳访问日志中发现的每个URL的完整日志文件事件数据。
4、错误
识别客户端错误，例如链接断开和服务器错误(4XX，5XX响应代码)。
5、重定向
查看永久和临时重定向(302或301响应)。
6、响应代码不一致
在一段时间内快速查看响应代码不一致的URL。
7、最后响应时间
准确查看搜索机器人上次抓取URL的时间(以及第一个以及其他所有事件!)。
8、平均字节数
直接从日志文件事件数据中分析每个已爬网URL的平均字节数。
9、平均响应时间(毫秒)
发现每个URL的平均响应时间。
10、Referers
查看发现的每个URL的引用事件数。
11、目录
分析最常和最不常被爬网的目录和站点部分。
12、未抓取的网址
导入网址列表并发现尚未抓取的网址。
13、孤立URL
导入URL列表并发现哪些是日志数据，但您不知道。
14、随着时间的推移分析机器人
一次或多次上传多个日志文件，以分析和测量机器人活动。
15、比较任何数据
使用“URL”标头上传任何数据，以自动匹配日志文件数据并进行分析。
16、验证搜索机器人
自动验证Googlebot等搜索机器人，并查看IP欺骗请求。

软件亮点
1、可自动验证搜索引擎机器人
2、查找断开的链接，错误和重定向
3、查看最多和最少的已抓取网址和部分
4、查看Bot Crawl Frequency
5、查看Bot IP抓取活动
6、识别大型和慢速网址
7、查找未抓取和孤立的网址
8、结合并比较抓取数据
9、无记录事件限制
10、无项目限制

使用说明
1、建立一个新项目
要创建一个新项目，你只需要单击顶部菜单中的“新建”按钮或“项目>新建”。然后系统会要求你为项目命名并选择时区。你也可稍后重命名该项目。
你还可单击“用户代理”选项卡以配置在项目中分析的用户代理。默认情况下，日志文件分析器仅分析搜索引擎机器人事件，因此请选中“筛选用户代理(改进的性能)”框。
在此窗口的底部，你还可选择在导入日志时“验证机器人”。这将使初始日志文件导入更长时间，或者你可在导入后执行此操作。
假如要分析每个URL，只需忽略此选项卡并将其留空。
假如日志文件中的URL是相对的而不是绝对的，则还会要求你提供完整的站点URL，包括协议(HTTP或HTTPS)。只需在窗口中输入URL即可。