【小组作业】Web Crawler

释放双眼,带上耳机,听听看~!

Shellter方式规避杀软

    在黑客进行攻击的的过程中通常都需要规避安全防护设备,例如:入侵检测(IDS)或者杀毒软件(AV)。当在使用一些他人或者其它工具生成的exploit或者payload,例如:metasploit或者exploit-DB,在进行入侵的过程中很有可能被一些安全防护设备所发现。此时如果

本文作者:小白虫Ms08067实验室Python渗透小组成员

前言

<这里用的scrapy框架,来编写爬虫,官方文档(https://docs.scrapy.org/en/latest/)>

具体功能实现:爬取网站所有链接,探测网页状态,并加随机延迟绕过防护。

1、代码流程

2、代码编写

2.1 item.py编写

这里爬取要目标是爬取网页所有链接。

 

2.2 link.py 编写

这里默认生成的是要爬取的域名,是在使用scrapy命令行生成爬虫文件时候输入的域名,为了便于指定爬取域名,所以这里改成输入指定域名。然后开始编写parse函数(parse负责处理response并返回处理的数据以及(/)跟进的URL,该方法及其他的Request回调函数必须返回一个包含 Requestdict Item 的可迭代的对象。

 

首先xpath(‘//a[@href]’)提取页面内所有链接,之后循环处理url,先调用之前写好的item,再处理每个url,紧接着继续使用当前url,迭代爬取。

 

2.3 seting.py编写

前面的只要按图上的配置就可以了,最后一个图是就是设置随机延时访问,scrapy自带的功能,只要取消注释就可以了。

还有就是这里scrapy默认只爬取状态码200-300页面,如果想爬取其他的在这里添加。

2.4 pipeline.py编写

这里主要的就是process_item, 前面的init函数就是,打开要写入的url文件。

《Web安全攻防》配套视频之 SQL注入原理

《Web安全攻防-渗透测试实战指南》配套视频 第九期 本期视频内容对应图书 第4章 Web安全原理剖析 4.1 SQL注入的基础 4.1.1 介绍SQL注入 4.1.2 SQL注入的原理 如果学习有疑问, 可以登录官网: https://www.ms08067.com 书籍介绍 《Web安全攻防-渗透测试实战指

这里处理写入过程,先检测url是否已经存在,然后再添加url’

这里是检测网页http状态码,利用requests库来获取网页状态码。

最后,运行代码就可以了。效果图见附录。

小结

第一次写讲解,讲的不好,只是利用scrapy框架实现爬虫的基本功能,后续我会继续改进代码。

github(https://github.com/buddhalikecat),会把代码放上去。

附录:


来源:Ms08067安全实验室



界世的你当

作你的肩膀



 ms08067安全实验室

本文源自微信公众号:Ms08067安全实验室

【HTB系列】靶机Vault的渗透测试详解

本文作者:是大方子(Ms08067实验室核心成员) Kali: 10.10.14.213 靶机地址:10.10.10.109     先用nmap探测靶机   nmap -sC -sT -sV 10.10.10.109   扫描结果如下: 看看80端口有什么东西 我们用gobuster进行探测下 gobuster -u http://10.10.10.109 -w /us

人已赞赏
安全工具

Dns注入

2019-10-14 20:18:58

安全工具

Shellter方式规避杀软

2019-10-14 20:19:04

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索