新手小白学习渗透测试第一天：对爬虫的初步了解

一. 学习前的想法

在学习一个知识和想陈述清楚该知识的思考中，我觉得以下的几个点非常重要：

1.为什么会有xxx东西？（什么样的现实需求问题使它应运而生）

2.它能够干什么？(它如何解决与之对应的现实需求问题)

3.相比于其他的同类方法或产品，它的优缺点在哪里？（了解目标对象具体内容和发散自我思维）

二.学习过程

今天在vulnhub的base64靶场学习。首先使用了sudo arp-scan --l对所在网络进行扫描找到目标靶机，之后使用了nmap进行端口扫描，有一个端口返回了robots.txt。我不知道这是干嘛的，于是询问了同学后了解到这和爬虫有关。以此为引子，我开始主动的了解爬虫。

我将从上述的三个角度去陈述我对其的了解。

1.爬虫是为了获取数据。获取什么数据呢？

答案是人类没有时间精力去获取的数据。假设一个人收集和整理数据。比如，就像是收集一个城市面包店面包的价格信息。

首先，访问网站，就是派出若干人，在城市中心出发往四周走。走到面包店后，进入面包店询问价格，记录下来，接着继续走，一直到走到城市边界。走完之后把数据带回来，我们就可以获得一个城市所有的面包店面包价格。我们再让这些人，把这些面包按照植物奶油，动物奶油，价格一百以下，价格一百以上两百以下等分类进行区分。这样，这些派出去的人就收集并整理好了该城市面包相关信息。
那么，我理解爬虫就是写出一些程序，他会在网络中有上述分派出去的人类似的功能。它在网络浏览，收集我们指定类型的数据，收集后再按照一定的方式进行分类和整理。最后得到了程序编写者需要的数据，从而节省了大量的时间，达到了一个很好的效果。
好了，出于时间问题，今天就先写到这里，明天再继续补充自己的浅薄理解。希望写的内容能对大家有所帮助，也期待得到前辈和一起学习的同道们的批评和斧正