流程自动化解决方案的一些想法
date
Nov 8, 2024
slug
automation_workflow_do_things
status
Published
tags
Daily
summary
type
Post
今天一直做的都是自动化相关的工作。正好又想每天记录点东西，这些东西，不一定非要是很正式、很书面的表达，但记下来，先记下来。
我一直都知道自动化工具，比如 Automa 和 影刀 RPA。也都有用过，但是都苦于一些配置不会使用，或者是网页的反爬机制导致没有很好的用起来。
今天我又花了点时间大概过了一下，发现即使是网页反爬的情况下，还是能做一些事情的，尤其加持了 AI 之后，自动化能力应该会更上一层楼。
先说基于网页的自动化，大多都是一个工作流，先干什么后干什么，网页自动化也是如此。为什么我之前没有好好用起来呢？因为一个是无法解决我当下的问题，以及部分功能看不懂不会配置导致无法继续下去，这样直接造成了第一个问题。
昨天，跟公司 IT 聊了下，发现他一直在用一个 Python 库来写代码，然后爬取亚马逊评价，我心想，那我也试试看，于是在 Cursor + Chatgpt 的加持下，我也做了一个简单的爬虫。
先是加上了文本获取、然后是点击、然后是列表文本获取，再然后是元素属性获取、输入框输入。最后的产品效果是，提供一个 json 配置，然后就能进行流程自动化。
到这我停下了，因为我想到这不就是 Automa、影刀 RPA 干的事情了吗？我为什么还要再做一次？
于是我今天就开始尝试用 Automa 复刻我昨天开发爬虫的一个测试样例，很快就完成了。
不过，为什么 Automa 我之前就知道了，也尝试用了，但是没有获得像现在的回报？反而还在原地打转？
我想了想，可能有这几个原因：
- 需求不明确，我之前都是抱着我知道了这个工具，试一下的心态，这样并不能深度体验这个工具。这也是目前大多数营销号干的事，别人发了什么工具，就说牛逼牛逼。当然真有牛逼的哈。
- 因为需求不明确，导致我没有一个继续深挖的动力。
- 自动化流程中的一些关键内容是一知半解或者工具不合适，比如：无头浏览器是什么、Selector 的快速复制的方式是什么？比如明明支持列表选择，怎么配置？等等这些回头看是很简单的东西。
好，现在知道了这些基础的东西之后，我来讲一下网页自动化的流程。
首先明确你自己的需求，假如：统计 OpenRouter 的用量情况。
其次确定执行的平台：Chrome + Automa
现在开始：
首先，想下作为真实操作你的流程是什么？是不是就是打开 OpenRouter 的用量页面，然后查看，复制到 Excel，然后下一页，查看，复制，一直循环？这个步骤 就是建立起你的业务模型，有了业务模型之后，就需要用平台一步步实现。
业务拆解：
- 使用 Automa 的 打开新标签页节点 打开 OpenRouter 的用量页面
- 使用 Automa 的 获取文本节点 获取想要的信息，保存到临时表格中
- 日期时间
- 模型
- 用量
- 供应商
- 使用 Automa 的 点击元素节点 进行翻页，然后重复步骤 2
- 判断这一页是不是最后一页，如果是就停止，并把结果输出
这就是一个完整的网页自动化流程，你用这个方案去尝试，大概率是成功的。其实就是先做什么，后做什么。
如果你失败了，是不是没有考虑到页面有时候加载太慢了？抓元素没抓到？是不是要打开页面之后或者点击下一页之后等一下？
好，现在把这个流程再抽象一下，是不是所有的事情都可以这样拆解，然后使用自动化？剩下的事情，就是这个事情是不是值得自动化。
我有一个需求，就是每天打开 Google Play 抓一个上架的 App 的评分，这种每天要做的事情，是不是很适合？你就看一次的东西，就没有必要。
听起来很美好是不是？但是有限制，首先 Chrome + Automa 只适合在浏览器中工作，其他的情况就不合适了，比如电脑上的微信群消息自动转发。还有就是部分网页做了反爬机制，元素 id 全是动态的，每次打开都不一样。
ps：我第一次抓就是这种情况，极大的打击我的自信心，可以先用没有反爬机制的网页，先练手。
针对 非浏览器 的使用场景可以使用影刀 RPA，理论上可以操作当前电脑上的所有软件。针对反爬机制的，可以加上 AI 的加持，用视觉方案替代元素抓取的方案。
这些就不过多讨论，感兴趣的可以看看下面这几个链接。