我用 vibe coding 给自己搓了个 Scrapingbee 替代品，把 $249/月 的方案换成了 $1/月
✨ 在 @javilopenand 和他那群搞爬虫的西班牙朋友的帮助下，我用 vibe coding（让 AI 帮我写代码）给自己整了个 Scrapingbee 替代品，跑在自己的 VPS 上，成功把原来的 $249/月 Scrapingbee 套餐换成了 $1/月。
一开始我试了 OpenSERP——一个看起来还在维护的开源项目，但它在我的 VPS IP 和笔记本 IP 上都跑不通，很快就被屏蔽了。
接着我试了 IPRoyal 的住宅 IP 代理，但这些 IP 早就被用“脏”了，Google 已经把它们识别成爬虫，大约 60% 都被直接封掉，效果不太好，还是不行。
后来我搞明白了一件事：OpenSERP 用的是普通无头 Chrome，Google 一眼就能识别出来并拦截。所以这个项目基本上等于没用，因为它根本跑不顺？我不懂文档里为什么不把这些写清楚。OpenSERP 甚至还不如直接上 curl——我的 AI 是这么说的：“纯 curl 大概只有 7% 被拦截，而 OpenSERP 的无头浏览器是 100% 被拦截。”
所以我就干脆自己动手，用 Playwright 在 VPS 上跑了一个真正的 Chrome，带界面（headful）、开持久化上下文，并且放慢节奏，大约每 30 秒才请求一次。
后来又拿到了几个质量更好的住宅 IP 推荐（这个不能告诉你，否则它们很快也会失效）。
现在我的抓取成功率大概在 90% 左右，跟 Scrapingbee 持平甚至更好。
成本大概只要 $1/月（按流量计费，抓文本数据其实用不了多少流量），而我原来付给 Scrapingbee 的是 $249/月。
现在剩下还在用的第三方服务只有：
- Cloudflare Domains
- Cloudflare Email Sending
- Cloudflare R2 Storage
- Backblaze B2（用来备份）
- Hetzner（我所有网站的服务器/VPS）
- xAI（我所有网站的 LLM 服务，内容审核、写邮件等等）
最初发布于 X · 💬 在 X 上回复