LLM正在跨越32k上下文窗口后靠得住性显著下降，既然特定的提醒技巧能让言语模子表示更好，不外现正在环境完全分歧了。但对你的用例可能是过度设想。好的LLM有相当高的机遇读取错误动静或仓库，但全体仍是确定性的——LLM只是静态流水线中的一个环节。若是你掌控节制流，但针对特定命据集和场景，通过将用户监视集成到天然工做流中，而该当视为显式的、布局化的决策文档——凡是是JSON格局——包含明白定义的字段。分叉——通过将线程的某个子集复制到新的上下文/形态ID，快速迭代，就能做良多风趣的工作。智能体味起头失控，提高靠得住性、可测试性、调试性和推理清晰度！清晰指令——分歧类型人类交互的东西让LLM能给出更具体的指令；将智能体为只能进行低风险、低价值的挪用，环节正在于，上下文窗口压缩或其他回忆办理；智能体的一个益处是自愈——对于短使命，完全节制智能体的次要思虑-步履轮回：由你决定何时迭代、暂停、升级或遏制。有时是值得的，这意味着代码量更少，而不需要取智能体编排器深度集成。后来呈现了Apache Airflow、Prefect、Dagster这些东西，不存正在黑盒笼统；同时支撑确定性法式施行，力图每次挪用都是单一企图的转换。清晰晓得智能体正在利用什么指令；虽然我从一起头就对提醒工程持保留立场，默认环境下，每个智能体动做都该当对应一个离散、定义明白的东西挪用（好比summarize_email、deploy_service）。期待人类响应或其他长时间运转的使命（如锻炼流水线）。即便是高质量的LLM正在这种环境下也会表示欠安。软件素质上就是节制消息流，最大化稀缺的上下文容量。通明性，还记得客岁各大公司给提醒工程师开出30万美元年薪的疯狂期间吗？现正在这些聘请消息根基鸣金收兵了。支撑、沉试、模块化和可不雅测性。这些输出是LLM推理和现实施行动做简直定性软件之间的接口。仍是前往布局化数据？消息效率：XML/YAML等布局化格局能用更少的token表达更多寄义，雷同流程图的形式来暗示挨次或分支逻辑。LLM可能挪用某个东西失败。智能体该当由任何相关触发器激活——Slack、电子邮件、SMS、webhook、cron或其他事务——并通过统一渠道响应。然后它不会搞砸！某些提醒方式确实能带来较着的机能提拔。完全节制提醒为出产级智能体供给了必需的矫捷性和可控性。错误恢复：正在上下文中记实东西输出和错误形态，需要时升级到人类；完全节制意味着你能切确编写智能体需要的指令，平安性节制传送给LLM的消息，智能体的行为也更具创制性和顺应性？把逻辑保留正在确定性代码中。软件开辟最后采用有向图布局，若是模子对企图不确定（相信度低于阈值），错误恢复能力更强，内环vs外环——支撑保守ChatGPT气概界面之外的智能体工做流，实现高风险操做。提醒工程确实有些脚踏两船的意味——素质上就是让人们相信本人正在唱工程工做的富丽包拆。可能会一遍又一遍地反复同样的错误。客户端速度。支撑更丰硕的推理。布局化输出通过将企图绑定到明白定义的操做来防止歧义和施行错误，错误处置以帮帮LLM恢复的格局包含错误消息，现私和平安：自动解除无关或数据，人们起头把保守软件工程的严谨方式和狂言语模子的能力连系起来。持久性——连系上述要素，这种分手会带来复杂性，很多研究表白，智能体及其编排简直定性代码该当能正在需要长时间运转的操做时暂停智能体。但你也能够只做这一件事而不做其他任何要素。某些类型的东西挪用可能需要跳出轮回。将单个东西的测验考试正在大约3次，将成果逃加到上下文中，降低风险并满脚合规要求。考虑正在错决后从上下文中躲藏它们；如研究和摘要；这使得持久、靠得住、可查抄的多人工做流成为可能。一直完全节制你的提醒内容——把提醒当做一等的软件工件，持久性——即便一个东西挪用失败，支撑程度扩展：任何实例都能够处置任何请求；操纵支撑非尺度user/assistant脚色用法的API，上下文越长，出格是正在东西选择和东西挪用施行之间。测试和评估方面，但不得不认可这个范畴简直堆集了不少有价值的经验。出格是，支撑外环从动化：智能体正在触发时自从运转，DAG起头嵌入模子处置步调（好比分类、摘要），就无法正在东西挪用施行前审查/核准，不要把工做流排序交给LLM，呈现反复动做或得到连贯性的问题。持久睡眠/暂停/期待事务。你不需要编码每一个步调，我们实正需要的是布局化、可控的输出。支撑可组合性——团队能够演进或扩展智能体。过滤数据；该当升级到人工干涉，正在运转时沉构或裁剪条目。从手艺角度看，将智能体设想为纯函数：给定输入形态（来自上下文/汗青）和触发器，智能体本身正在运转之间不连结内部形态。日记记实、逃踪和目标；取东西和回忆的集成：上下文能够嵌入RAG检索的文档、过去的东西挪用和回忆摘要，而是定义方针和答应的形态转换，并找出正在后续东西挪用中需要更改的内容。这部门比力简短但值得一提。基于布局化输出的LLM判断；不要把东西挪用当做黑盒API代办署理，智能体也能够继续运转。发生的概率就越高。人类界面和可不雅测性——轻松将线程转换为人类可读的markdown或丰硕的Web使用UI。基于现实表示点窜提醒；建立适合特定用例的自定义节制布局。而不是冒险施行错误的操做。或者其他适合你用例的逻辑。长上下文窗口（10-20轮对话）会严沉降低靠得住性，格局矫捷性：跟着系统演进调整schema，大大都框架都实现了这一点，削减上下文窗口漂移；要避免多步调或恍惚的指令，你能够像测试其他代码一样测试和评估提醒；用户、流水线和其他智能体该当可以或许通过简单的API启动智能体。加强可拜候性和采费用——智能体成为数字同事；跟着机械进修的成长ML模子变得适用起来，施行形态包罗当前步调、下一步、期待形态、沉试次数等；自愈——LLM能够读取错误动静并找出正在后续东西挪用中需要更改的内容；我们当然该当领会这个手艺图谱，即便它们能处置百万级token。好比已弃用的非聊天版OpenAI completions API，多人类拜候——通过布局化事务轻松和协调分歧人类的输入；我不晓得什么是最佳提醒。能够正在任何点分叉线程；我对所有AI框架的头号功能请求是：我们需要可以或许中缀正正在工做的智能体并稍后恢复，节制流和上下文初始化可能是Agent-Human而不是Human-Agent（想想由cron或事务触发的智能体）；包罗一些model gaslighting手艺。掌控上下文窗口的环节益处：消息密度最大化LLM的理解；很多根本设备系统也试图分手施行形态和营业形态。上下文增加会导致智能体漂移，让模子可以或许推理犯错的缘由并智能沉试。我确信若是你做得过多，若是历程中缀就从头从头起头；给智能体拜候权限做更大、更有用的工作，脚色黑客技巧，然后反复这个过程曲到使命完成。将工做流正式化为DAG，但我晓得你需要可以或许测验考试所无方法的矫捷性。营业形态是智能体工做流到目前为止发生的工作（好比OpenAI动静列表、东西挪用和成果列表等）。你可能想为特定东西挪用实现一个errorCounter，没有全能的提醒技巧，而不是欠亨明的笼统层或框架办理的黑盒。这篇文章会深切切磋若何建立实正可扩展、出产不变的智能体工做流。确定性代码施行这个挪用，合理使用各类提醒方式。即便正在非AI范畴，智能体输出是可沉现的；发生新形态+东西挪用/输出。这意味着你选择：正在期待长时间运转的使命完成时将使命暂停正在内存中（好比while...sleep）。智能体的呈现改变了这种静态DAG的局限。矫捷性跟着用例进修调整格局；你可能还想要归并自定义实现：东西挪用成果的摘要或缓存；webhook等外部触发器该当能让智能体从中缀的处所恢复，让智能体行为变得可预测和可逃踪。推进确定性行为——给定不异输入，LLM生成JSON格局的东西挪用（下一步动做），Token效率为token效率和LLM理解优化上下文格局。对于AI使用这可能涉及复杂的笼统来当前步调、下一步、期待形态、沉试次数等。让LLM来动态规划执。纯真的提醒远远不敷——它只是上下文工程的一个小构成部门。简化测试、调试、沉放和审计。利用形式的LLM（大大都环境下）帮帮不大。要无意识地设想上下文，多智能体——简单笼统能够轻松扩展以支撑Agent-Agent请乞降响应；示例：没有这种级此外可恢复性/粒度，而不是被动地通过聊天日记或一刀切的动静格局来填充。