本文记录解决JS动态生成Cookie反爬虫的过程,旨在爬取学院新闻公告制作RSS订阅器。反爬机制为:服务器返回加密JS生成Cookie,需二次请求携带Cookie才能获取数据。尝试JS逆向(混淆JS难分析)、Puppeteer/Selenium(被检测为自动化工具)均失败。最终采用seleniumbase库,结合uc参数实现无头模式反检测,成功获取数据。过程中解决Linux环境需安装Chrome(非Chromium)的兼容问题。总结爬虫攻防需灵活应对,经验积累尤为重要。
标签: #爬虫
1 / 1