mitmproxy安装与配置详解
mitmproxy安装与配置详解
mitmproxy是一个功能强大的开源HTTPS代理工具,支持抓取HTTP和HTTPS协议的数据包,并可以通过控制台形式进行操作。它具有两个非常有用的组件:mitmdump和mitmweb,同时支持Python自定义脚本,使得使用更加灵活和强大。本文将详细介绍mitmproxy的安装与配置过程,帮助读者快速掌握这一工具的使用方法。
一、mitmproxy的安装
首先需要确保系统中已经安装了Python,版本需要不低于3.6,且附带了包管理工具pip。
在命令行中输入以下命令进行安装:
pip install mitmproxy
等待安装完成。安装完成后,系统将拥有mitmproxy
、mitmdump
、mitmweb
三个命令。可以通过以下命令检查mitmproxy是否安装成功:
mitmdump
二、运行mitmproxy
要启动mitmproxy,可以使用mitmproxy
、mitmdump
、mitmweb
这三个命令中的任意一个。这三个命令功能一致,且都可以加载自定义脚本,唯一的区别是交互界面的不同。
启动mitmproxy后,需要配置客户端通过mitmproxy代理来访问目标网站的服务资源。
1、配置客户端代理
运行mitmproxy默认代理的端口是8080,所以需要配置浏览器通过mitmproxy代理来访问目标网站。
方式一:设置全局代理
在Windows中,可以通过以下步骤设置全局代理:
- 打开“网络和Internet”设置
- 点击“手动设置代理”
- 将“使用代理服务器”的开关打开
- 设置代理IP地址为
127.0.0.1
,端口为8080
方式二:设置浏览器代理
可以通过浏览器插件设置浏览器代理,例如Chrome浏览器可以通过SwitchyOmega插件设置代理。
通过mitmproxy命令启动mitmproxy后,通过设置代理后的浏览器访问http://xiejava.ishareread.com
,可以看到通过mitmproxy代理后的访问流量日志。
2、客户端安装mitmproxy提供的CA证书
对于访问HTTPS加密的网站,需要安装mitmproxy提供的CA证书才能解密。
通过mitmporxy代理浏览器访问http://mitm.it/
将显示mitmproxy证书下载和安装指导页面。可以看到mitmproxy提供了各种操作系统的CA证书,点击"Show Instructions"将显示证书的安装指导。
对于Windows系统,有两种安装方式:
手工安装步骤:
- 双击mitmproxy提供的CA证书文件(通常是
mitmproxy-ca.p12
)。 - 在出现的导入证书引导页中,直接点击“下一步”按钮。
- 接下来会出现密码设置提示,这里不需要设置密码,直接点击“下一步”按钮。
- 选择证书的存储区域。通常选择“将所有的证书都放入下列存储”,然后点击“浏览”按钮,选择证书存储位置为“受信任的根证书颁发机构”,接着点击“确定”按钮。
- 点击“下一步”按钮完成证书的导入。
- 如果有安全警告弹出,直接点击“是”按钮即可。
自动安装步骤:
在Windows中用管理员权限运行PowerShell,在命令行控制台,进入证书的目录,一般是在c:\Users\yourname.mitmproxy
目录下。执行以下命令:
certutil.exe -addstore root mitmproxy-ca-cert.cer
安装好证书后,通过mitmproxy代理,可以访问HTTPS协议的网站(如https://www.taobao.com
),并在后台看到mitmproxy抓取的HTTPS流量日志。
至此,我们成功安装了mitmproxy,并配置了相应的CA证书,通过mitmporxy代理能够获取访问HTTP和HTTPS网站的流量数据。后续可以使用mitmproxy进行更复杂的数据抓取任务,例如爬取京东APP的金榜排行数据。