-
Android系统推送Hook实战
背景随着数据生产功能的逐渐稳定，工作重点开始从保证数据总量转移到了保证数据实效性上来了。传统的定时爬虫能比较轻松的把数据总量做起来，但是对于很多热点数据，却很难做到实时获取。 考虑到大部分产品、尤其是新闻资讯类的产品，都会对热点数据做推送拉活，如果能拦截到这些数据，那么我们就能应当将数据实效性提升一个档次。 这次我们就主要尝试拦截下小米手机的系统通道的推送数据。当然，对于各个 App 自身的通道，也可以用类似的方法做到拦截，不过那就需要对各个 App 再做好保活。 推送流程以小米官方的文档为例，…
-
Isaac64解密算法JNI的封装
前言众所周知，理论上最安全的加密方式是使用一次一密（OTP）。但是传递与明文长度相等的、完全随机的加密面板这件事情并不具有实践意义，因此就诞生了流密码（Stream Cipher）。流密码将一个密钥作为种子，按照某种伪随机数生成算法生成供OTP使用的加密面板。有了加密面板之后，就可以逐字使用传统的 Vernam 算法 或者 Vigenère 算法进行加密解密。 由于这样进行的加密解密操作没有复杂的计算、并且不需要对数据进行预取分块等复杂操作，因此执行效率很高，非常适合用作流媒体数据的加密。最常见…
-
Canvas指纹隐藏实战
前言前两天和隔壁做风控的同学聊天，据说他们经常使用浏览器指纹来识别和标记爬虫（当然具体的细节是不能透露的），联想到我们最近也经常遇到被风控的情况，于是就花了点时间研究下浏览器指纹相关的知识。 需要明确的是，“隐藏浏览器指纹”和“隐藏Webdriver/Selenium/Puppeteer”、“匿名浏览”都不是同一个问题。“隐藏Webdriver/Selenium/Puppeteer”的目的是告诉服务端自己不是自动化爬虫（这个似乎可以尝试用 stealth.min.js 来做）；“匿名浏览”的目的…
-
Gnirehtet生产环境实践
背景目前业界的移动端爬虫在前端数据提取的部分大致有两套方案，一套是网络抓包、另一套是逆向Hook。无论是哪一种方案，都必须要解决一个问题，那就是网络要稳定。在一个较为狭小的空间内，如果是只有几十台设备，那一两台AP一般还能顶住。可如果有数百台设备，无脑堆AP的话就会出现各种问题（过载、负载不均、信道干扰、网段可用IP不足）等问题。 即使网络本身没有问题，在对抓包数据进行审计的时候，通常也需要维护一个设备号到IP的映射关系。随着设备的增多，映射关系的维护也是一个麻烦的事情，而且IP漂移的情况也不容…
-
Frida爬虫分析流程——以微信视频号下载为例
前言微信的通信协议没有使用传统的https，而是采用 mmtls 和 quic 协议结合的方案（可能），导致常用的抓包方案完全无效。因此我们考虑使用逆向 hook 的方式，对微信视频号的数据进行获取。 Frida 是目前几乎最好跨平台hook工具，深受广大牢友的喜爱。因此我们考虑用这个工具来进行 hook 。 准备准备一个解锁了 bootloader 、刷了 TWRP 并安装了 Magisk 的手机。（当然，也有无需root权限的方法，但是用起来会不方便，还是建议 root ）准备好 adb 环…
-
Python依赖管理的一些思考
前言之前一直比较抵触用 Python ，很大一部分原因是觉得 Python 项目的环境管理比较混乱。Node.js 有 Npm 包管理工具，通过 package.json 配置项目依赖，最多再通过 nvm 来进行环境切换；Java 有 Maven Gradle 来进行包管理和项目依赖配置，并体现在 pom.xml 和 build.gradle 等中。而 Python 相比编程语言有时更体现了脚本语言的特性，系统化和标准化程度都不太高。很多 Python 项目上来就是怼代码，没有声明依赖、配置环境…
-
Magisk模块常用功能编写
Magisk简述概述Magisk 是目前最流行的安卓手机 root 解决方案。 虽然像小米等手机厂商也提供了所谓支持 root 的开发版 Rom，但在较新的版本中，他们无法直接写入像 /system/ 之类的被保护的路径。这就导致了很多事情仍然做不了。最经典的就是连系统证书都修改不了。。。 而 Magisk 能避免写入被保护的路径，将自己的文件系统 “Mask” 在原生的文件系统上。这样既不需要直接修改的原始的数据，也能骗过程序使用 Magisk 提供的文件系统。 令人感叹的是 Magisk 的…
-
脑水肿治疗笔记
陪护笔记： 药水要一直滴，滴完就喊护士。晚点也没关系，空气进不去的。打针的手不能别着，要不然会滴不进去。要经常翻身，防止皮肤受损形成褥疮。由于是左额叶受伤，建议左卧或平卧。要哄她一直吸氧。尿袋分两块，小筒用于记录尿量，记录完了倒到袋子统一扔掉。小筒满了喊护士，如果护士不在要记录一下尿量再倒到袋子。要一直吃乳果糖（利动），直到排便。好久不拉粑粑了，要用开塞露（轻泻剂）。用药笔记： 主要以降低颅内压为主，防止脑疝。 人血白蛋白。用于降低颅压，缓解脑水肿。甘露醇。治疗颅压增高的首选药物（Mannito…
-
小萌加油啊（05）
今天是4月22日，事故已经过去了6天。昨天从ICU里搬到了普通病房，单人间，环境挺不错的。不用跟隔壁病房一样闻臭脚和忍受病友外放刷抖音。除了楼下的打桩机一直还是嘟嘟嘟的不停，想必明天应该能消停了。 昨天小萌还不肯吃东西，不肯吸氧，一直闹着要起床，一直想挖耳屎；今天也不怎么耍脾气了，略微通了点人性。总感觉是有点倚病三分醉，有人过来看她的时候表现的一副认真休养讲道理懂人情的感觉，人一走就又原形毕露。 过来看她的师弟师妹们现在基本都能叫得上名字了。家里的远房亲戚过来叶基本都认识了。一时能想的起来的朋友…
-
小萌加油啊（04）
4月20日，第四天，今天没有做CT。 医生说CT做的多了对身体也有影响，况且从症状上看小萌的表现也挺好，反正水肿没那么快消，就暂时先停一天。 下午ICU里的医生出来说要我们自己买一些白蛋白。好奇查了下，白蛋白是比甘露醇更柔和的脱水剂，经常配合甘露醇和甘油果糖一起使用。但是白蛋白比较贵，医保有规定的用量，多开了会给医院罚款。 昨晚和今天早上小萌的爸爸趁送吃的的机会偷偷溜进去看了一会： 现在是20日凌晨四点，事发己过去82个小时，又是一个茫茫一天的开始，昨天约十点，护士将女儿不吃的水果送出。沟通得知…