HT1122 网页爬虫 paramspider

本文共有1488个字,关键词:资产信息收集资产收集网页爬虫

HT1001 系列是信安之路推出的黑客工具使用系列,结合使用场景来对安全工具进行测试总结,并通过实战的方式介绍各类开源工具的功能和价值,后续完整内容将发布在信安之路的知识星球和成长平台,部分内容会通过信安之路公众号分享。

对于 web 漏洞而言,只要是用户可以控制的参数都有可能存在漏洞,也就是任何用户的输入都是不可信的,在寻找 web 漏洞时,首先要做的就是寻找用户可以控制的参数,通常网站的 GET 请求链接中会有明显的参数信息,比如:

https://www.xazlsec.com/index.php?id=100

这种模式的链接非常常见,那么如何通过爬取网站链接,寻找类似 URL 呢?这里推荐一个开源工具 ParamSpider,项目地址:

https://github.com/devanshbatham/ParamSpider

要求 Python 运行环境大于 3.7 ,安装方式:

git clone https://github.com/devanshbatham/ParamSpider && cd ParamSpider && pip3.8 install -r requirements.txt

安装完成之后,首次运行如图:

python3.8 paramspider.py

1.png

使用 -d 参数指定目标域名,比如:

python3.8 paramspider.py -d xazlsec.com

抓取结果,如下:

2.png

链接中有很多误报,比如后缀名为 css、svg 这种,我们更关心的是动态脚本语言后缀,比如 php、asp、aspx、jsp 等,可以使用参数 --exclude 排除误报,如下:

python3.8 paramspider.py -d xazlsec.com --exclude svg,ttf,eot

抓取结果如下:

3.png

本工具主要的目的是发现更多可以 Fuzz 的参数,方便自动化漏洞挖掘。

如果你只想获取当前网站的链接信息,而非所有二级域名,可以使用参数 --subs Fales 来指定,如图:

4.png

因为直接访问 xazlsec.com 会跳转至 edu.xazlsec.com,所以出现的结果都是 edu 这个网站的内容。

本期分享就到这里,如果你有更好玩的工具可以联系我,或者下方留言。

640

「一键投喂 软糖/蛋糕/布丁/牛奶/冰阔乐!」

信安之路工具站

(๑>ڡ<)☆谢谢老板~

使用微信扫描二维码完成支付

版权声明:本文为作者原创,如需转载须联系作者本人同意,未经作者本人同意不得擅自转载。