Skip to main content

Search: #LLM工具链

无原创,纯转发
  1. Open Responses:让 LLM 接口真正“可互通”的开放规范

    Open Responses 是一个开源规范与生态,目标是基于 OpenAI Responses API 的理念,建立多模型提供方可互操作的统一接口层。它通过共享 Schema 和配套工具,让开发者能用同一种请求/输出结构,跨不同提供方调用模型、处理流式返回,并组合更复杂的 Agent 工作流。

    为什么需要它?
    现在各家 LLM API 的核心组件越来越相似(消息、工具调用、流式、多模态等),但细节编码方式不同,迁移与兼容成本高。Open Responses 希望把“共同部分”沉淀成稳定规范,减少重复适配。

    它强调的设计方向:

    默认多提供方:一套 Schema 映射多家模型/平台
    更贴近真实 Agent 工作流:统一的流式事件、工具调用模式,以及以“items”作为输出与工具使用的原子单元
    可扩展但不碎片化:核心稳定,同时允许在必要时容纳提供方特性

    如何开始:

    • 阅读规范,理解 items、流式事件、工具使用等核心概念
    • 查看 OpenAPI 参考,掌握完整类型与接口面
    • 用官方的验收测试验证你的 API 实现一致性

    原链接:https://www.openresponses.org/

    #LLM #开放规范 #多模型 #互操作 #API设计
  2. 2025 年 AI 编程现状:效率在涨,工具与模型在分化

    Greptile 发布的《The State of AI Coding 2025》梳理了 AI 编程在 2025 年的关键趋势:工程产出显著提升,开发工具生态快速扩张,而不同大模型在“响应速度、吞吐、成本”上的取舍越来越清晰。

    1) 工程效率:PR 更大,个人产出更高

    PR 规模变大:2025 年 3 月到 11 月,PR 的中位改动行数从 57 增至 76,约 +33%
    开发者产出上升:人均代码产出从 4,450 增至 7,839 行,约 +76%,AI 工具被视为“产能放大器”。
    中型团队提升更明显:6–15 人团队的人均产出从 7,005 增至 13,227 行,约 +89%
    单文件改动更密:每个文件的改动行数中位数从 18 增至 22,约 +20%,说明 PR 不只变大,也更“集中”。

    2) 工具采用:从“能用”到“形成标准层”

    记忆/Memory 基建mem059% 份额领跑(按 PyPI + npm 月下载量口径)。
    向量数据库:没有绝对赢家;Weaviate 约 25%,其余多家在 10–25% 之间拉锯。
    AI 规则文件CLAUDE.md 使用率 67%;不少团队多格式并存,且 17% 的仓库三种格式都用
    AI SDK 增长:Anthropic SDK 以 43M 下载领先(约 8 倍增长);Pydantic AI 增长 3.7×6M
    LLMOps:LiteLLM 月下载量增长 41M(LangSmith 与 LangChain 安装存在绑定关系)。

    3) 模型格局:生态差距在收敛

    SDK 下载量:OpenAI 约 130M 领先;Anthropic 自 2023 年 4 月起增长 1,547×;Google 约 13.6M
    差距缩小:OpenAI 与 Anthropic 的下载量比从 2024 年 1 月的 47:1,降至 2025 年 11 月的 4.2:1

    4) 作为“编程 Agent 后端”,模型各有侧重

    报告用统一参数对多模型做了延迟、吞吐、成本等基准:

    首 token 响应(TTFT):Claude Sonnet/Opus(p50 < 2.5s)明显更快,更利于交互式编程保持“心流”。
    生成吞吐:GPT-5 Codex / GPT-5.1 吞吐更高,长输出更快结束,利于并行跑更多 Agent/CI。
    成本倍率(以 GPT-5 Codex = 1× 归一):GPT-5 Codex ≈ GPT-5.1(1×);Gemini 3 Pro(1.4×);Sonnet 4.5(2×);Opus 4.5(3.3×)。

    结论很直接:选型不再是“谁最强”,而是你更在意 响应速度、吞吐效率,还是预算

    5) 研究方向:规模、上下文与 Agent 的“系统工程”

    报告还汇总了 2025 年影响工具与应用的一批研究线索,包括:

    MoE 的效率设计(如 DeepSeek-V3:关注 KV cache、路由与训练信号密度)。
    长上下文 vs RAG 的边界(不同数据结构下各有优势;以及 KV 级检索等新思路)。
    Agent 训练与检索策略(用 RL 学会“何时搜索”、如何管理长程记忆、如何降低噪声上下文干扰等)。

    原文链接:https://www.greptile.com/state-of-ai-coding-2025

    #AI编程 #开发效率 #LLM工具链 #模型评测 #软件工程趋势 AI Code Review | Greptile | Merge 4X Faster, Catch 3X More Bugs
  3. AI 代理上下文工程实战:Manus 团队的六大核心经验

    Manus 团队在构建 AI 代理过程中,经历了四次框架重建,最终总结出六条关键原则:

    1. 围绕 KV 缓存设计
    KV 缓存命中率是最关键指标,直接影响延迟和成本(10倍差距). 实践要点:保持提示前缀稳定(避免时间戳)、使用只追加式上下文、确定性序列化 JSON.

    2. 遮蔽而非移除工具
    动态增删工具会破坏 KV 缓存并导致模型困惑. 解决方案是使用状态机掩蔽 token logits,通过响应预填充约束动作空间,同时保持工具定义稳定.

    3. 文件系统作为上下文
    面对 128K token 限制和长上下文性能下降问题,Manus 将文件系统视为无限外部记忆. 代理学会按需读写文件,压缩策略保持可恢复性(如保留 URL 可重新获取网页).

    4. 通过复述操控注意力
    典型任务需约 50 次工具调用,易偏离目标. Manus 通过不断更新 todo.md 文件,将全局计划推入模型近期注意力范围,避免"迷失在中间"问题.

    5. 保留错误内容
    将失败尝试保留在上下文中,让模型看到错误和堆栈跟踪,隐式更新内部信念,降低重复错误概率. 错误恢复能力是真正代理行为的核心指标.

    6. 避免少样本示例陷阱
    重复的行动-观察对会让模型陷入固定模式. 通过引入结构化变化(不同模板、措辞、格式噪音)增加多样性,打破模式依赖.

    核心启示:上下文工程决定代理的速度、恢复能力和扩展范围. 智能代理的未来需要精心设计每一个上下文.

    原文链接

    #AI代理 #上下文工程 #Manus #LLM优化 #KV缓存 AI代理的上下文工程:构建Manus的经验教训
  4. PostHog AI: 开发 AI 智能体一年后总结的 8 个教训

    PostHog 团队在开发其内置 AI 智能体 PostHog AI 的一年中,积累了丰富的实践经验。从一个简单的聊天原型到一个能处理复杂分析任务的智能助手,他们总结了以下 8 个核心教训:

    1. 模型升级是推土机
    AI 模型的持续进步是开发中最强大的变量。曾经复杂的问题,如多步推理和工具调用,随着模型能力的提升而变得简单。密切关注模型发展至关重要.

    2. 循环智能体优于固定工作流
    相较于图表式的固定工作流,单一的循环智能体(Agent)更为灵活和强大。它能在执行任务中自我纠正,避免了工作流中常见的上下文丢失问题.

    3. 单一循环胜过子智能体架构
    复杂的子智能体架构听起来很智能,但在实践中容易因层层抽象而丢失关键信息,导致性能下降。一个简单、扁平的 LLM 循环反而能涌现出惊人的能力.

    4. “待办事项”是超能力
    让 LLM 在每一步操作后都使用一个简单的 `todo_write` 工具来规划下一步,这种看似简单的机制能有效帮助模型在复杂任务中保持专注和连贯性.

    5. 上下文是关键
    用户输入往往是模糊的,AI 需要广泛的背景知识才能准确理解. PostHog AI 通过 `/init` 命令自动学习项目信息,为智能体提供核心上下文,从而显著提升任务成功率.

    6. 展示每一步,建立信任
    透明度是建立用户信任的基石. 与其隐藏过程,不如将智能体的思考、工具调用甚至失败的尝试全部展示给用户. 这比一个完美的“黑箱”更能赢得信赖.

    7. 警惕 AI 框架的陷阱
    在 AI 技术飞速发展的今天,LangChain 等高级框架可能会过早地锁定技术选型. 在生态系统稳定之前,坚持使用更底层的库可能是更明智的选择.

    8. 评估(Evals)并非全部
    自动化评估很有价值,但无法替代对真实用户行为的分析. 通过观察实际使用中的 LLM 轨迹 (Traces),团队能发现评估中无法覆盖的、更深刻的问题.

    总而言之,构建高效的 AI 智能体需要拥抱变化、简化架构、重视上下文和透明度,并始终立足于真实的用户场景.

    原文链接: PostHog Blog

    #AI #Agent #LLM #工程实践 #PostHog 8 learnings from 1 year of agents – PostHog AI - PostHog
  5. Mistral AI 发布新一代开源模型 Mistral 3

    Mistral AI 今日发布了其下一代 AI 模型系列 —— Mistral 3,包含一个前沿的大模型和一系列为边缘计算优化的小模型,全部在 Apache 2.0 许可下开源。

    Mistral Large 3
    一款顶级的稀疏混合专家(MoE)模型,拥有 41B 激活参数和 675B 总参数,性能可与最强的闭源模型相媲美。它在多语言对话和图像理解方面表现出色。

    Ministral 3 系列
    专为边缘和本地应用设计,提供 3B、8B 和 14B 三种尺寸,实现了卓越的性价比和效率。同样具备多模态和多语言能力。

    核心亮点
    完全开源:所有模型均采用 Apache 2.0 许可,开发者可自由使用和定制。
    多模态与多语言:原生支持文本、图像理解以及超过 40 种语言。
    强大生态合作:与 NVIDIA、vLLM 及 Red Hat 紧密合作,提供高效的推理和部署支持。
    广泛可用:已登陆 Hugging Face、Amazon Bedrock、Azure 等多个平台。

    Mistral 3 的发布进一步推动了开放、透明和可访问的 AI 发展,为开发者和企业提供了更强大的工具。

    原文链接:https://mistral.ai/news/mistral-3

    #MistralAI #AI #LLM #开源模型 #Mistral3 Introducing Mistral 3 | Mistral AI
  6. Anthropic 为 Claude 推出高级工具使用功能

    Anthropic 近日宣布为其开发者平台上的 Claude 模型推出高级工具使用功能,旨在将 Claude 转变为一个强大的任务协调核心。这项新功能使 Claude 能够更可靠、更准确地与外部工具和 API 进行交互,从而自动化复杂的流程。

    核心亮点包括:

    智能编排:Claude 现在可以充当“推理引擎”,将复杂的用户请求分解为一系列步骤,并调用合适的工具来完成任务。

    强制工具使用:开发者可以指定模型必须使用某个特定工具,从而实现更可控和可预测的应用逻辑。

    并行工具调用:模型能够同时调用多个工具,显著提高了处理需要多方信息输入的复杂任务的效率。

    通过这些增强功能,开发者可以构建更复杂、更可靠的 AI 代理,使其能够处理从客户支持到复杂数据分析的各种自动化工作流。

    原文链接:https://www.anthropic.com/engineering/advanced-tool-use

    #Anthropic #Claude #AI #ToolUse #LLM Introducing advanced tool use on the Claude Developer Platform
1px