mitmproxy 代理流量

前言  设置代理收集流量是很常见的漏洞扫描方法。很早之前@猪猪侠就有了https://github.com/ring04h/wyproxy 的思路。不得不说这是一种流量补充好方法,可以拿到爬虫爬不到的点。  我一开始用的代理是mitmproxy1.8,代理同时就进行去重复和入数据库处理。这样出现的问题很明显:  1.代理速度超级慢  2.低版本的mitmproxy老是出现连接断开和证书错误的各种bug解决升级mitmproxy  首先升级mitmproxy到2.0以上就解决了第二个问题,mitmproxy废弃了之前版本,直接用python3去写了mitmproxy的最新版本。  因为不会python3,所以一直抵触去升级mitmproxy...升级以后非常稳定,证书设置过以后不会再有问题了,很稳定。现在看来还是得去接触新的技术,老的东西不维护难免会被淘汰。  安装python3并安装mitmproxy模块:wget https://www.p...»

wilson wilson 分类:life 标签:none

改版碎念

原因blog改typecho了,emlog没有markdown的编辑器,写文章同步很蛋疼。部分文章删除迁移的时候删掉了一些没啥用的文章。发现自己的以前的文章写的都很中二。所以以后blog的标题就是中二的wilson。另外还删掉了凤凰扫描器的相关文章还有git维护项目,很喜欢写扫描器,我还用golang写了一版凤凰扫描器来解决跨平台的各种蛋疼问题,而且golang的协程让扫描器扫得飞快。但是安全法规定不能传播扫描器,否则牢里见。这部分得扫描代码随缘在分享。结尾很久没写文章了,以后还是要经常写写笔记得。»

wilson wilson 分类:life 标签:none

python unicode str 常见一个小错误

>>> a=u"你好" >>> a u'\u4f60\u597d' >>> str(a) Traceback (most recent call last): File "<stdin>", line 1, in <module> UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128) >>> import MySQLdb >>> MySQLdb.escape_string(a) Traceback (most recent call last): File "<stdin>", line 1, in <module> UnicodeEncodeError: 'ascii' codec can't encode characters ...»

wilson wilson 分类:life 标签:none

正则小笔记

正则小笔记1.前言自己的小笔记,大家可以忽视2.内容字符代表:. 任意一个字符s 一个空白符 S 一个非空白分w 一个数字,字母和下划线 W 一个非..d 一个数字 D 一个非数字限制:零次或者多次至少一次或者一次以上(注意这两个区别)? 0个或者1个| 或[] []里面任意字符一个{} 修饰出现的次数() 一个组,被group捕获(?:) 不为一个组.?和.+? 是非贪婪匹配 , .为贪婪匹配 。默认为贪婪模式,(注意这个模式的坑点)(所谓贪婪就是会一直匹配到字符串结束,而非贪婪只匹配到第一次出现符号正则时候)例如:"select * from admin where id =".$id."and password=".$password;.($w+).;----->组里,匹配到$password.?($w+).?;----->组里,匹配到$idgo代码例子: // 是否含有数字 has_num,_ := regexp.MatchStrin...»

wilson wilson 分类:life 标签:none

phantomjs爬虫小记

phantomjs爬虫小记1.前言爬虫能力是web扫描器发现能力第一要素,如果爬虫能力一般会大大限制web扫描器的发现漏洞能力,因此写好爬虫是web扫描器的第一步。tsrc上有一篇好文章写得爬虫的大家可以先看看:https://security.tencent.com/index.php/blog/msg/34 ,他们的爬虫是pyqt来写的,但是我自己感觉pyqt太重,所以我选择了phantomjs来做。 http://phantomjs.org/这是他的官网,安装还有函数什么的说的太清楚了,大家自己慢慢看。2.爬虫分析页面的五大功能根据tsrc上的文章,我们知道:- 1.javascript动态解析 - 2.hook所有的网络请求 - 3.静态页面链接分析 - 4.自动分析表单 - 5.自动交互是爬虫的5个大功能。除了自动交互,其它四个功能phantomjs完成都是轻轻松松的。下面简单说下如何轻松实现这四个功能:- 1.javascript动态解析,phantomjs在打开这个url时候就会自动使用自己的webkit内核去执行javascript。 - 2.hook...»

wilson wilson 分类:life 标签:none