-
利用 Redsocks 解决透明代理的远程抓包问题
背景 最近在做一些远程设备的抓包能力建设。具体来说是设备（基于 Docker 的 Redroid 云手机）在服务器上，抓包工具在本地（ Mitmproxy , Charles, Fiddler 等类似工具），希望通过某种方法将远程设备上的流量打到本地的抓包工具上，并且流量通过本地的 IP 出到公网。 这样做的目的主要有两个： 1. 可以做到抓包工具和待抓包设备的分离。既能利用上强大的第三方抓包工具，又无需本地部署待抓包的设备。毕竟如果在远程服务器上部署抓包工具，操作起来就不那么方便，甚至…
-
移动爬虫虚拟化自动化方案调研
背景 目前移动爬虫现有架构运行了大半年了，发现爬虫设备在长时间维护的时候会有很多问题： 1. 移动设备太多、用途不一，管理容易乱，IT审计设备时经常出现丢失的情况。 2. 一直插电导致移动设备的电池容易鼓包，有安全风险，而且使用寿命也较短，经常需要更换。 3. 办公环境经常出现断网检修、断电检修、安全检查等事情，导致服务可用性很低。 4. 设备申请和扩量比较困难，审批、采购、部署、拽线、移动设备初始化、主机申请、主机设备初始化等都很费劲。 5. 账号管理和充值很麻烦，sim卡分散到…