Open-AutoGLM使用技巧如何编写有效的自然语言指令让AI更懂你想让你的手机AI助理像真人一样听话吗是不是经常遇到你说了“打开微信”它却愣在那里或者执行了完全错误的操作问题可能不在于AI不够聪明而在于你的指令不够清晰。Open-AutoGLMAutoGLM-Phone作为一个手机端AI智能助理框架确实能通过自然语言控制手机但要让AI真正“懂你”需要掌握一些指令编写的技巧。今天我们就来聊聊如何像训练一个聪明助手一样用自然语言与AI高效沟通。1. 理解AI的“思维方式”从屏幕感知到动作执行在开始编写指令前我们需要先了解Open-AutoGLM是如何工作的。这能帮助你理解为什么有些指令有效有些却会失败。1.1 AI助理的工作流程当你下达一个指令时AI并不是直接执行而是经历了一个完整的思考过程屏幕感知AI首先通过ADB获取当前手机屏幕的截图然后使用视觉语言模型“看懂”屏幕上有什么——哪些是按钮、哪些是文字、哪些是输入框。意图解析AI分析你的自然语言指令理解你想要做什么。比如“打开小红书”意味着找到并点击小红书的图标。动作规划AI根据当前屏幕状态和你的指令规划出一系列操作步骤。比如先回到桌面然后找到小红书图标最后点击它。动作执行AI通过ADB发送相应的点击、滑动、输入等命令模拟人类操作手机。1.2 指令解析的关键挑战AI在理解指令时会面临几个挑战歧义消除同一个词可能有多种含义上下文理解需要结合当前屏幕状态理解指令操作可行性判断AI需要判断当前状态下能否执行某个操作理解了这些我们就能更好地设计指令了。2. 基础指令编写原则清晰、具体、完整好的指令就像给朋友发消息——清晰明了不需要对方猜你的意思。以下是几个基本原则2.1 使用完整的动作描述不要只说“微信”要说“打开微信”。不要只说“搜索”要说“在搜索框输入‘火锅店’然后搜索”。不好的例子微信AI不知道你要对微信做什么好的例子打开微信找到通讯录里的“张三”给他发消息说“晚上一起吃饭”2.2 明确操作对象当屏幕上有多个相似元素时需要明确指出你要操作哪个。不好的例子点那个按钮哪个按钮好的例子点击屏幕右上角的“设置”图标 点击红色背景的“确认”按钮 滑动通讯录列表找到名字以“李”开头的联系人2.3 按顺序描述复杂操作对于多步骤任务按人类操作的逻辑顺序描述。不好的例子搜索火锅店然后打开美团逻辑顺序反了好的例子先打开美团应用然后在顶部的搜索框输入“火锅店”点击搜索按钮最后查看搜索结果列表3. 高级指令技巧让AI更聪明地工作掌握了基础原则后我们来学习一些高级技巧让你的指令更加高效。3.1 使用上下文提示词你可以在指令中加入对当前屏幕状态的假设或提示帮助AI更好地理解。示例我现在在微信聊天界面请帮我给最近联系人中的“王经理”发送一条消息“项目报告已发到您邮箱请查收”带条件判断的指令如果当前是锁屏界面请先滑动解锁。然后打开相机应用切换到前置摄像头拍一张照片3.2 处理不确定性的指令当你不确定具体名称或位置时可以使用描述性语言。示例在设置里找到关于电池或电量的选项 在相册中找到最近三天拍摄的照片 在微信中找到那个蓝色头像、名字叫“技术群”的群聊3.3 批量操作指令对于重复性任务可以一次性给出完整指令。示例打开通讯录从A到Z逐个检查把所有没有备注电话号码的联系人都加上备注 在相册中选择所有拍摄于上个月的照片将它们移动到名为“2024年5月”的相册中4. 常见场景指令示例不同应用场景需要不同的指令编写策略。下面是一些常见场景的优质指令示例。4.1 社交媒体操作小红书场景打开小红书在首页的搜索框输入“减脂餐食谱”点击搜索然后浏览前10条结果 在小红书里找到我昨天收藏的那个关于“阳台种菜”的笔记在评论区回复“请问需要每天浇水吗”抖音场景打开抖音搜索用户名为“美食作家王刚”的博主进入他的主页关注他然后看他最新发布的三个视频 在抖音的推荐页面向下滑动浏览20个视频给所有关于宠物的视频点赞4.2 购物应用操作淘宝/京东场景打开淘宝搜索“无线蓝牙耳机”按销量从高到低排序查看前5个商品 在京东找到购物车里那个标价599元的电饭煲查看是否有优惠券可用然后提交订单但不付款外卖应用场景打开美团定位到“北京市朝阳区国贸”搜索“川菜”按评分从高到低排序选择第三家店点一份水煮鱼和两碗米饭使用默认地址下单4.3 系统工具操作文件管理打开文件管理器找到“下载”文件夹将所有.jpg格式的图片移动到“图片”文件夹中 在相册中选择所有屏幕截图将它们删除设置调整进入手机设置找到“显示”选项将亮度调整到70%然后将自动锁屏时间设置为5分钟 打开设置进入“应用管理”找到“微信”清除它的缓存数据5. 故障排除与优化建议即使指令编写得当有时AI也可能无法正确执行。这时需要一些调试技巧。5.1 指令执行失败的常见原因屏幕状态不符AI执行指令时屏幕状态与你预期的不一致元素定位失败AI无法在屏幕上找到你描述的元素网络或响应延迟ADB连接或AI模型响应出现问题权限限制某些操作需要特殊权限5.2 调试技巧分步执行复杂指令 如果复杂指令执行失败可以将其拆分成多个简单指令逐步执行。添加等待时间 对于需要加载的页面可以在指令中加入等待。打开浏览器等待3秒让页面完全加载然后在地址栏输入“www.github.com”并访问使用更具体的描述 当AI找不到元素时尝试用更具体的方式描述。不是那个灰色的按钮是下面那个蓝色的、写着“立即购买”的按钮5.3 性能优化建议保持屏幕简洁在执行指令前关闭不必要的弹窗和通知使用明确的应用名称尽量使用应用的全称或官方名称避免模糊时间描述不要用“最近”“前几天”等模糊时间词预判可能的界面变化考虑不同手机品牌、不同应用版本的界面差异6. 实战案例从简单到复杂的指令编写让我们通过几个完整的案例看看如何将上述技巧应用到实际场景中。6.1 案例一简单的应用操作任务打开天气应用查看今天和明天的天气初级指令查看天气太模糊AI不知道用哪个应用看哪里的天气优化后的指令打开手机自带的“天气”应用查看今天和明天的天气预报特别注意是否有降雨提示6.2 案例二中等复杂度的信息收集任务在知乎上搜索某个话题并收集信息初级指令知乎搜索AI发展缺少具体操作步骤优化后的指令打开知乎应用在搜索框输入“2024年人工智能发展趋势”点击搜索按“最新”排序阅读前5个高赞回答总结主要观点6.3 案例三复杂的多应用协作任务任务将一篇公众号文章保存到笔记应用中初级指令保存文章完全无法执行优化后的指令首先打开微信找到“文件传输助手”点开最新收到的那篇关于“机器学习”的公众号文章。等文章完全加载后点击右上角的三个点选择“复制链接”。然后打开备忘录应用新建一个笔记粘贴刚才复制的链接给笔记命名为“机器学习文章收藏”最后保存笔记7. 总结编写有效的自然语言指令本质上是与AI建立一种高效的沟通方式。通过今天的分享你应该掌握了理解AI的工作方式知道AI是如何“看”屏幕、“想”任务、“做”操作的掌握基础原则指令要清晰、具体、完整按逻辑顺序描述运用高级技巧使用上下文提示、处理不确定性、设计批量操作针对场景优化不同应用场景需要不同的指令策略调试与优化当指令执行失败时知道如何排查和优化记住好的指令设计就像教一个聪明但缺乏经验的新手——你需要明确、耐心并且预判可能的问题。随着你对Open-AutoGLM越来越熟悉你会发现自己能够用越来越自然的语言让AI完成越来越复杂的任务。最有效的学习方式就是实践。从简单的指令开始逐步增加复杂度观察AI的反应调整你的表达方式。很快你就能像指挥一个得力的数字助手一样用自然语言轻松控制你的手机了。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。