1. 当前位置:网站首页 > 值得一看

搜集子域名的两个技巧


 1

在推上看到的,算一个可搜集的tips吧,原理是利用archive自己抓取的历史页面引用源,筛选去重即可。


web.archive.org互联网档案馆(Internet Archive)是一家以普及利用所有知识为目标的非营利性数字图书馆。它提供永久存储和免费的公共访问的数字化材料信息集合,其中包括:网站、音乐、运动图像、以及近300万册公共领域书籍。它让公众上传和下载数字材料到其数据集群,但其大部分数据是靠其网络爬虫自动收集。它的Web归档文件系统Wayback机器包含了超过1500亿以上的网页存档。它还负责监督世界上最大的图书数字化项目。


命令 :

curl -s "http://web.archive.org/cdx/search/cdx?url=*.qq.com/*&output=text&fl=original&collapse=urlkey" |sort| sed -e 's_https*://__' -e "s/\/.*//" -e 's/:.*//' -e 's/^www\.//' | sort -u


tips 2
利用证书查询子域名,crt.sh这个工具可以按通配符域名查询所有证书的详情。


crt.sh is a web interface to a distributed database called the certificate transparency logs.


curl 'https://crt.sh/?q=%.example.com&output=json' | jq '.name_value' | sed 's/\"//g' | sed 's/\*\.//g' | sort -u


如果没有jq命令就这样

curl -s "https://crt.sh/?q=%.example.com&output=json" | grep -Po '"name_value":.*?[^\\]",' | cut -d\" -f4 | sed 's/\*\.//g' | sort -u

本文最后更新于2020-9-6,已超过 3个月没有更新,如果文章内容或图片资源失效,请留言反馈,我们会及时处理,谢谢!
获取更多资讯请加入交流群

    协助本站SEO优化一下,谢谢!
    关键词不能为空
版权说明

本文地址:http://dufengvip.cn/post-381.html
未标注转载均为本站远程,转载请注明文章出处:

联系我们

在线咨询:点击这里给我发消息

QQ交流群:KirinBlog

工作日:9:00-23:00,节假日休息

扫码关注