-
爬虫浏览器的Cloudflare五秒盾处理
背景 近期业务有不少涉及到国外的网站，本以为经受了和国内大量卷王公司对抗的考验之后，处理国外业务应该是降维打击才对。结果本地测试的时候的确很OK，但是一上线就发现全面飘红，多个不同业务同时出了 Cloudflare 著名的五秒盾： 根据 Cloudflare 的说明，只要是使用 Cloudflare 的域名解析服务，默认都会自动“享受” 他家的一系列防护服务（尤其是 Javascript 防护）。具体特征就是会在/cdn-cgi/challenge-platform/ 下嵌入风控逻辑。他们会…
-
Gnirehtet生产环境实践
背景 目前业界的移动端爬虫在前端数据提取的部分大致有两套方案，一套是网络抓包、另一套是逆向Hook。无论是哪一种方案，都必须要解决一个问题，那就是网络要稳定。在一个较为狭小的空间内，如果是只有几十台设备，那一两台AP一般还能顶住。可如果有数百台设备，无脑堆AP的话就会出现各种问题（过载、负载不均、信道干扰、网段可用IP不足）等问题。 即使网络本身没有问题，在对抓包数据进行审计的时候，通常也需要维护一个设备号到IP的映射关系。随着设备的增多，映射关系的维护也是一个麻烦的事情，而且IP漂移的情况…
-
Frida爬虫分析流程——以微信视频号下载为例
前言 微信的通信协议没有使用传统的https，而是采用 mmtls 和 quic 协议结合的方案（可能），导致常用的抓包方案完全无效。因此我们考虑使用逆向 hook 的方式，对微信视频号的数据进行获取。 Frida 是目前几乎最好跨平台hook工具，深受广大牢友的喜爱。因此我们考虑用这个工具来进行 hook 。 提前声明，以下操作有被封号的风险，各位看官可以尽量用小号操作。 准备 1. 准备一个解锁了 bootloader 、刷了 TWRP 并安装了 Magisk 的手机。（当然，…
-
Magisk模块常用功能编写
Magisk简述 概述 Magisk 是目前最流行的安卓手机 root 解决方案。 虽然像小米等手机厂商也提供了所谓支持 root 的开发版 Rom，但在较新的版本中，他们无法直接写入像 /system/ 之类的被保护的路径。这就导致了很多事情仍然做不了。最经典的就是连系统证书都修改不了。。。 而 Magisk 能避免写入被保护的路径，将自己的文件系统 “Mask” 在原生的文件系统上。这样既不需要直接修改的原始的数据，也能骗过程序使用 Magisk 提供的文件系统。 令人感叹的是…