晓晓的个人博客Logo
晓晓的个人博客
《被源网站风控的应对方案之破解相关(二)》封面
被源网站风控的应对方案之破解相关(二)
本文聚焦于 Chrome Extension 中请求头的动态设置。开篇指出 “JS 逆向工程” 能力虽能定位源网站风控关键点,但获取关键请求头部参数后,设置请求头是重要环节。官方提供 dynamic、session、static 三种请求头设置方案,鉴于业务扩展灵活性,作者倾向于前两者,本文着重阐述 dynamic 方案。文中详细介绍了 dynamic 方案实现代码,包括生成唯一规则 ID、检查规则是否存在、设置和清除更新规则等函数,同时说明 session 方案代码与之类似,但设计更复杂,设置时机为插件启动时。此外,还点明了如 'referer'、'origin' 等几个与风控相关且直接设置在 fetch 头部无效、需特别设置的请求头。最后,作者总结知识点,强调在合法合规前提下获取和运用数据,维护网络秩序。
999+
1
2025-06-05 12:02
《源网站数据采集方案之解析DOM(五)》封面
源网站数据采集方案之解析DOM(五)
本文介绍基于 “chrome.scripting + cheerio” 的源网站数据采集方案,核心流程为:Service Worker 打开 TAB 页,通过 chrome.scripting 获取 DOM 字符串,利用 cheerio 库解析数据并抛给服务端。相较于上一方案,该方案优势显著:交互更少,因无并发问题,插件端可存储数据,服务端非必需;同步执行,流程易理解、编码量少,对开发者友好;只需关注 DOM 节点出现时机,异常逻辑减少;执行时间相近但更易调试,减少了等待场景。文中还展示了插入按钮、Service Worker 同步处理的代码实现。最后强调前端工程师设计技术方案时,需注重完整性与用户交互体验,后续将持续更新新方案。
176
0
2025-06-27 09:01
《源网站数据采集方案之解析DOM(四)》封面
源网站数据采集方案之解析DOM(四)
本文介绍源网站数据采集方案,采用 Chrome Extension 实现,流程为 “打开 TAB 页 ->Dom 解析”。解析 Dom 有两种方案,本文先探讨不借助第三方库、由 Content 层用 DOM API 提取数据的方案,涉及服务端、插件端 Content 层和 Service Worker 层交互,还展示了获取百度首页搜索按钮文字的代码实现,最后提及该方案价值及后续将介绍的 “cheerio + chrome.scripting” 方案。
999+
0
2025-06-25 22:53
《被源网站风控的应对方案之请求重放(三)》封面
被源网站风控的应对方案之请求重放(三)
本文围绕在特定数据采集场景下,Chrome Extension 中 “请求重放” 方案的应用展开。当采集数据源于源网站 API,请求接口与用户地址栏存在唯一关键值且短时间难以突破风控关键点时,“请求重放” 方案登场。该方案基于用户正常打开源网站请求可通过风控系统这一现实依据,通过 Chrome Extension 实现请求及参数的获取与重放。文章详细阐述了获取请求内容和请求重放的具体实现过程,包括在 replayRequestUtil.js 和 service-worker.js 等文件中编写代码,利用 chrome.webRequest.onBeforeSendHeaders.addListener 监听请求,通过fetch等 API 重放请求。同时给出了本地交互 Demo 的测试流程,并强调方案未涉及持久化存储的原因,一是源网站风控可能检测请求时间,长时间存储的请求易失效;二是重放请求参数一致易被拦截,应控制重放次数。最后表明该方案仅适用于 API 数据获取,呼吁合法合规获取数据。
145
0
2025-06-10 23:49
《浏览器插件数据采集时,被源网站风控的应对方案(一)》封面
浏览器插件数据采集时,被源网站风控的应对方案(一)
本文围绕浏览器插件采集源网站数据时应对风控的方案展开。开篇指出插件采集数据方式多样,用户打开页面解析 DOM 虽稳妥但繁琐低效,常见场景是用户提交链接由插件后台循环请求获取数据,然而此方式易遇源网站风控。接着介绍三种应对方案:一是确认源网站风控关键点并解决,考验 JS 逆向工程能力,优势在于掌握后能快速采集且开发简单;二是请求重放,适用于难找出风控关键点的高风控网站,虽复杂易被识别,但适合 API 获取数据场景且对开发者友好;三是插件操控 TAB 并解析数据,最贴近用户操作路径,较为稳妥,但技术复杂,不适用于无法从页面 DOM 获取全部数据的场景。最后强调应对风控核心是贴近用户操作路径,各方案无绝对好坏,需平衡选择,还提及源网站、插件开发者、数据使用方应遵循的原则,并预告后续会有方案落地的系列文章
999+
0
2025-05-28 04:25
1 页 / 共 1