以前写浏览器自动化脚本的时候,经常被一个问题折磨:辛辛苦苦写好的脚本,刚过几天,就突然间无法运行。
然后一查发现,爬取的网站又进行了改版,之前代码里写的定位元素全变,接着改代码、测试等,这种情况极其痛苦。
无独有偶,近日在 GitHub 上找到一个开源的自动化浏览器 Skyvern,一看竟然斩获了 15000+ GitHub Star。
用 AI 理解网页,不靠固定选择器
以前传统的浏览器自动化工具,大部分都是使用 Selenium,需要我们精确指定每个元素的位置。
而 Skyvern 的做法不一样,它通过如 Gemini 这些多模态大模型来识别理解页面上的元素。
通俗的理解,就是它能 “看到” 整个页面的截图内容,自我判断哪里是按钮、哪里是输入框、该点哪里、该填什么。
这样就完美解决了,网站改版导致自动化脚本失效问题,不需要我们重新去找 XPath 或者 CSS 选择器。
能处理复杂的逻辑判断
另外 Skyvern 还有个挺聪明的地方,它能基于大模型能力进行一些复杂逻辑推理,保证网页抓取正常进行。
简单举个例子,如果你要在 Geico 网站上获取汽车保险报价,表单里有个问题问 “你18岁时就有驾照了吗?”。
如果你提供的信息显示你16岁就拿到驾照了,Skyvern 能推理出这个问题的答案应该是"是"。
这种理解能力在处理实际业务场景非常有用,对于传统的网页爬取方式,更加灵活应对各种提问。
除了这两个核心功能之外,Skyvern 还有很多值得一说的亮点,比如下面这些:
自动生成维护代码:首次执行任务时会自动生成 Playwright 代码,后续运行直接用代码执行,提升速度降低成本。如果网页改了,它还能自我重新识别内容进行修复代码。
认证和安全:支持多种登录方式,包括基于二维码的双因素认证、短信验证码、邮箱验证码等,还能对接主流密码管理器。
实时查看过程:可以实时看到浏览器在做什么,每个操作都有对应的截图记录,让我们调试起来方便很多。
数据提取:严格按照我们指定的格式提取网页数据,支持 JSON、CSV 等多种格式输出。
安装使用,轻松上手
Skyvern 提供了云服务版本和开源自部署两种方式。
对于新手想要快速体验,可以直接使用官方提供的云服务,有 5 美元免费额度。
而开发者更建议部署开源版使用,自由接入大模型且能控制成本,另外安装也不复杂,主要就以下几步:
1、先确保安装了 Python 3.11 以上版本和 Docker
2、通过 pip 命令安装:pip install skyvern
3、初始化项目相关配置:skyvern quickstart
4、启动服务:skyvern run all
启动成功后,即可通过浏览器访问http://localhost:8080进行操作。
另外还可以通过 Python API 的方式调用,只需写几行代码就能让它去执行任务。
写在最后
如果你经常需要做一些重复性的网页操作,比如定期下载发票、批量填写表单、收集数据之类的,Skyvern 确实值得试试。
不过有一点要注意,因为它依赖大语言模型,执行任务的时候会产生 API 调用费用。
总的来说,Skyvern 代表了浏览器自动化的一个新方向,用 AI 来理解网页,而不是硬编码每个操作步骤。
对于那些被传统工具的脚本维护问题困扰的人来说,应该会是个不错的选择。
GitHub 项目地址:https://github.com/Skyvern-AI/skyvern
今天的分享到此结束,感谢大家抽空阅读,我们下期再见,Respect!
往期热文
-
刚刚开源,爆火 AI 神器,被复刻了!
-
超轻量的终端神器,内置 500+ 实用小工具!
-
一键统管 30+ 网盘,这款整合神器彻底火了!