HT1113 搜索引擎自动化利用

本文共有7191个字,关键词:资产信息收集资产收集搜索引擎

HT1001 系列是信安之路推出的黑客工具使用系列,结合使用场景来对安全工具进行测试总结,并通过实战的方式介绍各类开源工具的功能和价值,后续完整内容将发布在信安之路的知识星球和成长平台,部分内容会通过信安之路公众号分享。

关于自动化利用搜索引擎信息收集,主要关注域名、企业邮箱地址这两部分信息,通过搜索引擎来搜索结果,有两种方式,一种是直接通过模拟浏览器的方式获取搜索结果,一种是通过搜索引擎提供的 API,使用个人申请的认证 Token 来获取搜索结果。

由于搜索引擎均提供了自动化搜索的 API,所以第一种方式属于违规操作,类似自定义爬虫,爬取搜索引擎的搜索结果,然而第二种模式需要用到使用 API 的认证 Token,而且搜索的次数和获取的结果数量都有限制,所以使用搜索引擎来获取想要的信息,是比较复杂,而且有限制。

搜索引擎 KEY 收集

Google(googleapis customsearch AIza)
AIzaSyAaLsnvAyqBWIVjMBOzw0DEQADgvPa0xwc|003843309577069876842:stoc1spwaxe
AIzaSyDDqZR3J61Fli3zVzfNeUlb7tikhTUsMao|011550033511254716529:op_wa7xebck
AIzaSyB-ZavpRm9ia1QSMHMQYexXjw50z0FX5fU|014046186005632967208:e5ct1qrq4j8
AIzaSyBDILlkAKYSVE3xqX-JEgx6ZhNMn8sb2i8|001077013574771030445:an0yh4jgglw
AIzaSyDJ9CUdfCsjkDIYId3fmfvKVGjbHk48hR8|010065256725983153448:itwnk8vx56k
AIzaSyAsgnmYyhV4lF0PQTX8XRpGeliOk70Xo_Y|017985859914464491403:bqgglrgkkgc
AIzaSyAN80EPArspHpyxtisnqFRSe0fCkOW8w_k|006037921336921081277:gopgq_px0-k
AIzaSyDB3ertl7fWzilApD5-R0qdt0cRbxpOBaU|018378841471714571048:q0s65ecluiq
AIzaSyAjTPFgulkdrELcWmo1jAa8wqtHLrztyKc|011476162607576381860:ra4vmliv9ti

测试 API KEY 是否有效:

import urllib
import json

for item in open("key.txt"):
    cs_key, cx_id = item.strip().split("|")
    url = "https://www.googleapis.com/customsearch/v1?key=" + cs_key + "&cx=" + cx_id + "&q=%27xazlsec%27"

    resp = urllib.urlopen(url).read()
    if "xazlsec" in resp:
        print item.strip()

如果能搜索到结果则打印 API KEY,其中有效 KEY 对为:

AIzaSyAaLsnvAyqBWIVjMBOzw0DEQADgvPa0xwc|003843309577069876842:stoc1spwaxe
AIzaSyDDqZR3J61Fli3zVzfNeUlb7tikhTUsMao|011550033511254716529:op_wa7xebck
AIzaSyBDILlkAKYSVE3xqX-JEgx6ZhNMn8sb2i8|001077013574771030445:an0yh4jgglw
AIzaSyDJ9CUdfCsjkDIYId3fmfvKVGjbHk48hR8|010065256725983153448:itwnk8vx56k
AIzaSyAsgnmYyhV4lF0PQTX8XRpGeliOk70Xo_Y|017985859914464491403:bqgglrgkkgc
AIzaSyDB3ertl7fWzilApD5-R0qdt0cRbxpOBaU|018378841471714571048:q0s65ecluiq
AIzaSyAjTPFgulkdrELcWmo1jAa8wqtHLrztyKc|011476162607576381860:ra4vmliv9ti
Bing(bing api)
7fe1cecac425447389c0d3effb73c4f7

既然是自动化,那么就无需考虑各种搜索引擎的限制和条件,一键获取信息是我们的目标,如果有充足的资源当然好,如果没有尽可能的获取信息,有多少算多少,也不必强求,毕竟除了这种方式收集域名和邮箱信息之外,还有其他的方式可以补充,所以,今天的测试站在没有任何额外资源的情况下进行。

工具一:theHarvester

这个项目使用非常简单,且功能强大,信息来源非常广泛,项目地址:

https://github.com/laramies/theHarvester

安装要求 python3.7+ ,CentOS 安装 python 3.83:

# 安装更新及必要组件
sudo yum -y update
sudo yum -y groupinstall "Development Tools"
sudo yum -y install openssl-devel bzip2-devel libffi-devel sqlite-devel

# 下载Python安装包
wget https://www.python.org/ftp/python/3.8.3/Python-3.8.3.tgz
tar xvf Python-3.8.3.tgz
cd Python-3.8*/

# 编译安装
./configure --enable-optimizations --enable-loadable-sqlite-extensions
sudo make altinstall

# 完成安装,查看版本
python3.8 --version

# 更新 pip
pip3.8 install --upgrade pip

安装 theHarvester 必要组件:

pip3.8 install -r requirements/base.txt

安装成功之后,运行截图:

11.png

我们尝试用 xazlsec.com 作为目标,指定搜索引擎为 baidu,命令如下:

python3.8 theHarvester.py -d xazlsec.com -b baidu

12.png

如果你有多个平台的 API key ,可以编辑 api-keys.yaml 文件,让这个工具的搜索结果更丰富:

13.png

相关API key 收集

Hunter

用于发现目标子域名、员工邮箱等信息,注册账号需要用到企业邮箱,免费账号可以每月搜索 25 次,API 地址:

https://api.hunter.io/v2/domain-search

GIthub 泄漏 API KEY 收集,关键词 hunter api_key

ca33fe0a60af93832be64e576d316b5a34140b2c
22850ea6e4f33099e48217886b978b65c82db488
422e1febfd5ff244e70c8bf5513b31504e53ad6d
eb3697c6ff0dbc8d3167e5754aa304f6afbff5f7
64db51abbe577e02e443edf4aad872ed5c64fff2
710f0e0f4247b8105d0f81d8c067e300d4e4f3c7
ec9a041767c7f735013e3ddca6e67c8f0033a0bf
306e4d3ee6a0be453f6582042fbbcabab996a820
b718e5712460d4b134952eb9d8c8438ec2a8e641
5d906eee4e19761e90592cbee213672338dd3544
44ac9d0fcf060465933c1591d75c2ace4b1692d8
db2cbd3570a277bb707ff455d9cb30ef611c4e27
9a4f33a87fa58c6b2a7ed9d7824cc0200407de89
ae2f419b22fcf725379b54db12a63212d008c72d
239d49fcb82e071045c40b73bb9480bf59211561
ff945f073f8161187ecc04c00a8596fde86064ad
ca417c3ddfa802e32c8d718d0844f4a14bc23310
2045354a4d7e7698f7090f7759a4effe065c1603
82f775634e0084ebe309b995378908a29e7182fb
1acc22706cbbedc9db8c2575e00dfa7325a299be
8221dcc6783e149736df1c6448bdf1f114a844ee
2f7c42e9ac40760c8b4da103933a76589f280a39

编写脚本验证 API KEY 是否有效:

#!/usr/bin/env python3

import time
import urllib3
import requests

hunter_format = "https://api.hunter.io/v2/domain-search?domain=xazlsec.com&api_key={KEY}"

headers = {
        "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.14; rv:69.0) Gecko/20100101 Firefox/69.0",
        "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
        "Accept-Language": "en-US,en;q=0.5",
        "Accept-Encoding": "gzip, deflate",
        "DNT": "1",
        "Connection": "keep-alive",
        "Upgrade-Insecure-Requests": "1"
    }
    
for apikey in open("key.txt"):
    url = hunter_format.format(KEY=apikey.strip())
    resp = requests.get(url, headers=headers)
    if "xazlsec" in resp.text:
        print apikey.strip()
    time.sleep(2)

其中有效 KEY 为:

ca33fe0a60af93832be64e576d316b5a34140b2c
22850ea6e4f33099e48217886b978b65c82db488
422e1febfd5ff244e70c8bf5513b31504e53ad6d
64db51abbe577e02e443edf4aad872ed5c64fff2
ec9a041767c7f735013e3ddca6e67c8f0033a0bf
b718e5712460d4b134952eb9d8c8438ec2a8e641
5d906eee4e19761e90592cbee213672338dd3544
44ac9d0fcf060465933c1591d75c2ace4b1692d8
db2cbd3570a277bb707ff455d9cb30ef611c4e27
9a4f33a87fa58c6b2a7ed9d7824cc0200407de89
239d49fcb82e071045c40b73bb9480bf59211561
ca417c3ddfa802e32c8d718d0844f4a14bc23310
2045354a4d7e7698f7090f7759a4effe065c1603
82f775634e0084ebe309b995378908a29e7182fb
1acc22706cbbedc9db8c2575e00dfa7325a299be
8221dcc6783e149736df1c6448bdf1f114a844ee

接下来就可以享受这个工具带来的乐趣了。

工具二:metagoofil

自动化搜索文档信息工具 metagoofil,可以通过谷歌搜索并下载 pdf,doc,xls,ppt,odp,ods,docx,xlsx,pptx 等文件,项目地址:

https://github.com/WiReD-/metagoofil

安装命令:

pip install requests && rm -rf /usr/share/metagoofil/ && git clone https://github.com/WiReD-/metagoofil.git /usr/share/metagoofil

运行截图:

21.png

以项目提供的案例为例,搜索 apple.com 域名相关 doc、pdf 文档:

22.png

除了文档信息,还有一些用户和邮箱地址等信息:

23.png

查看下载的文档信息:

24.png

其搜索原理是通过 sitefiletype 两个关键词结合来获取搜索结果,获取数据的方式是通过爬去谷歌搜索结果的方式,并非 API 的方式。

总结

这两款工具的侧重点不太一样,但是已经可以把搜索引擎的高级用法包含在内,其他的项目暂时不做分享,工具不在有多少,而在于使用的人如何更好的利用工具达到自己想要的目的,除了这些开源项目之外,也可以自己开发一些脚本来达到自动户的目的,当然也可以参考这些成熟的开源软件,有很多思路在里面,值得参考。

更多精彩内容请关注公众号《信安之路》,加入信安之路知识星球获取更多内部学习资料,注册信安之路成长平台,自学沉淀安全技术。

640

「一键投喂 软糖/蛋糕/布丁/牛奶/冰阔乐!」

信安之路工具站

(๑>ڡ<)☆谢谢老板~

使用微信扫描二维码完成支付

版权声明:本文为作者原创,如需转载须联系作者本人同意,未经作者本人同意不得擅自转载。