我想测试两个能力:它在垂直领域的深度检索和信息处理能力,以及按照特定要求和格式交付的能力。这是区别于AI通用搜索很重要的两点。
这个任务里,它有几点不足:
· 经常过度推理:比如当我只是希望AI研究碳纤维的生产工艺,它会发散性地总结大量市场分析和行业应用信息。
· 信息来源不够:Manus的思考过程是清晰展示出来的,所以能看到AI正在浏览哪些文章、视频资源。但其引用的资源大多来自中文聚合平台、国内期刊,缺少国外期刊和第一手资源。
· 无法按照特定要求和格式交付:比如我希望Manus给我一个可以直接拿去跟老板汇报的PPT,但我只获得了一个markdown格式的中间态。
· 多次需要接管:抓取一些内容平台或付费墙时,需要手动接管登陆账号。AI Agent也解决不了“数据边界”的问题。
最后一类任务,让AI去替代填写表格(财务人估计狠狠点了),是我最期待,也是我认为团队应该优化好的需求之一。
我上传了一张医保发票和保险申请书,让AI“把申请书里原本的金额部分清空,并填入新发票中信息,金额以自付部分为准”。
AI无法真正理解表格结构,以及每一处信息真实代表什么,比如说没有修改日期,或是覆盖了金额和时间之外的信息,把我的身份证号删除了;或是找不到信息该在的位置等等。以及在这个任务中出现了很多次计算资源不足的情况。
也许对于需要AI精准“定位”的任务,我在给提示词时也应该更加精准和“按部就班”些。但这也反映出,AI在发挥想象力、凭空生成的任务上,比在已有框架下修改做得更容易、效果更好。
就好比当你告知一台机器人“拿杯水过来”时,它表现得怎么样,是能通过各种传感器计算出你在它2点钟位置、往前走10步就行呢,还是它不管不顾“冲”到你面前给你个“大比兜”呢?
当能执行得足够精准时,就是前者,就是AI Agent给你做出一篇能拿去忽悠老板的PPT。否则你还是需要拿着AI的“半成品”修修补补。
虽然任务完成得不尽如人意,也不是没有优点。通过看在每个任务下的思考过程,确实可以看到AI Agent的推理思维链,比如当我以小米SU7Ultra引出碳纤维结构件的问题,它的思考过程是从点切入,逐渐展开。即便它总结的备忘录作为半成品,也给到我很大启发。
在很多时候,Manus遇到问题,会告知它在自行修正和处理。以及它有一定的“记忆机制”,会跟你确认要不要按照你的偏好进行后续的生成。