Skip to main content

Search: #LLM

无原创,纯转发
  1. Open Responses:让 LLM 接口真正“可互通”的开放规范

    Open Responses 是一个开源规范与生态,目标是基于 OpenAI Responses API 的理念,建立多模型提供方可互操作的统一接口层。它通过共享 Schema 和配套工具,让开发者能用同一种请求/输出结构,跨不同提供方调用模型、处理流式返回,并组合更复杂的 Agent 工作流。

    为什么需要它?
    现在各家 LLM API 的核心组件越来越相似(消息、工具调用、流式、多模态等),但细节编码方式不同,迁移与兼容成本高。Open Responses 希望把“共同部分”沉淀成稳定规范,减少重复适配。

    它强调的设计方向:

    默认多提供方:一套 Schema 映射多家模型/平台
    更贴近真实 Agent 工作流:统一的流式事件、工具调用模式,以及以“items”作为输出与工具使用的原子单元
    可扩展但不碎片化:核心稳定,同时允许在必要时容纳提供方特性

    如何开始:

    • 阅读规范,理解 items、流式事件、工具使用等核心概念
    • 查看 OpenAPI 参考,掌握完整类型与接口面
    • 用官方的验收测试验证你的 API 实现一致性

    原链接:https://www.openresponses.org/

    #LLM #开放规范 #多模型 #互操作 #API设计
  2. 2025 年 AI 编程现状:效率在涨,工具与模型在分化

    Greptile 发布的《The State of AI Coding 2025》梳理了 AI 编程在 2025 年的关键趋势:工程产出显著提升,开发工具生态快速扩张,而不同大模型在“响应速度、吞吐、成本”上的取舍越来越清晰。

    1) 工程效率:PR 更大,个人产出更高

    PR 规模变大:2025 年 3 月到 11 月,PR 的中位改动行数从 57 增至 76,约 +33%
    开发者产出上升:人均代码产出从 4,450 增至 7,839 行,约 +76%,AI 工具被视为“产能放大器”。
    中型团队提升更明显:6–15 人团队的人均产出从 7,005 增至 13,227 行,约 +89%
    单文件改动更密:每个文件的改动行数中位数从 18 增至 22,约 +20%,说明 PR 不只变大,也更“集中”。

    2) 工具采用:从“能用”到“形成标准层”

    记忆/Memory 基建mem059% 份额领跑(按 PyPI + npm 月下载量口径)。
    向量数据库:没有绝对赢家;Weaviate 约 25%,其余多家在 10–25% 之间拉锯。
    AI 规则文件CLAUDE.md 使用率 67%;不少团队多格式并存,且 17% 的仓库三种格式都用
    AI SDK 增长:Anthropic SDK 以 43M 下载领先(约 8 倍增长);Pydantic AI 增长 3.7×6M
    LLMOps:LiteLLM 月下载量增长 41M(LangSmith 与 LangChain 安装存在绑定关系)。

    3) 模型格局:生态差距在收敛

    SDK 下载量:OpenAI 约 130M 领先;Anthropic 自 2023 年 4 月起增长 1,547×;Google 约 13.6M
    差距缩小:OpenAI 与 Anthropic 的下载量比从 2024 年 1 月的 47:1,降至 2025 年 11 月的 4.2:1

    4) 作为“编程 Agent 后端”,模型各有侧重

    报告用统一参数对多模型做了延迟、吞吐、成本等基准:

    首 token 响应(TTFT):Claude Sonnet/Opus(p50 < 2.5s)明显更快,更利于交互式编程保持“心流”。
    生成吞吐:GPT-5 Codex / GPT-5.1 吞吐更高,长输出更快结束,利于并行跑更多 Agent/CI。
    成本倍率(以 GPT-5 Codex = 1× 归一):GPT-5 Codex ≈ GPT-5.1(1×);Gemini 3 Pro(1.4×);Sonnet 4.5(2×);Opus 4.5(3.3×)。

    结论很直接:选型不再是“谁最强”,而是你更在意 响应速度、吞吐效率,还是预算

    5) 研究方向:规模、上下文与 Agent 的“系统工程”

    报告还汇总了 2025 年影响工具与应用的一批研究线索,包括:

    MoE 的效率设计(如 DeepSeek-V3:关注 KV cache、路由与训练信号密度)。
    长上下文 vs RAG 的边界(不同数据结构下各有优势;以及 KV 级检索等新思路)。
    Agent 训练与检索策略(用 RL 学会“何时搜索”、如何管理长程记忆、如何降低噪声上下文干扰等)。

    原文链接:https://www.greptile.com/state-of-ai-coding-2025

    #AI编程 #开发效率 #LLM工具链 #模型评测 #软件工程趋势 AI Code Review | Greptile | Merge 4X Faster, Catch 3X More Bugs
  3. CKA-Agent:利用"无害查询编织"绕过商用 LLM 安全护栏

    来自 GaTech、UIUC、清华等机构的研究团队提出了一种名为 CKA-Agent(关联知识攻击代理)的新型越狱框架,揭示了大语言模型安全机制的根本性漏洞。

    核心发现:
    该研究指出,LLM 的脆弱性并非在于提示词优化是否巧妙,而在于模型内部知识的关联性——通过编织一系列看似无害的查询,即可重构受限信息。

    技术原理:
    CKA-Agent 将越狱问题重构为对目标模型关联知识的自适应树搜索。它不制作单一恶意提示,而是动态导航模型的内部知识图谱,利用目标自身的响应来引导多跳攻击路径。

    实验结果:
    • 在 Gemini-2.5-Pro、GPT-oss-120B、Claude-Haiku-4.5 等商用模型上达到 96-99% 攻击成功率
    • 相比最佳分解基线提升 15-21 个百分点
    • 在防御强化模型上比提示优化方法提升高达 96 倍

    防御启示:
    即使提供完整对话历史,模型仍难以跨查询聚合恶意意图。研究团队呼吁未来安全护栏需强化跨查询意图聚合与长上下文推理能力。

    🔗 原文链接

    #AI安全 #LLM越狱 #对抗攻击 #大模型防护
  4. AI 代理上下文工程实战:Manus 团队的六大核心经验

    Manus 团队在构建 AI 代理过程中,经历了四次框架重建,最终总结出六条关键原则:

    1. 围绕 KV 缓存设计
    KV 缓存命中率是最关键指标,直接影响延迟和成本(10倍差距). 实践要点:保持提示前缀稳定(避免时间戳)、使用只追加式上下文、确定性序列化 JSON.

    2. 遮蔽而非移除工具
    动态增删工具会破坏 KV 缓存并导致模型困惑. 解决方案是使用状态机掩蔽 token logits,通过响应预填充约束动作空间,同时保持工具定义稳定.

    3. 文件系统作为上下文
    面对 128K token 限制和长上下文性能下降问题,Manus 将文件系统视为无限外部记忆. 代理学会按需读写文件,压缩策略保持可恢复性(如保留 URL 可重新获取网页).

    4. 通过复述操控注意力
    典型任务需约 50 次工具调用,易偏离目标. Manus 通过不断更新 todo.md 文件,将全局计划推入模型近期注意力范围,避免"迷失在中间"问题.

    5. 保留错误内容
    将失败尝试保留在上下文中,让模型看到错误和堆栈跟踪,隐式更新内部信念,降低重复错误概率. 错误恢复能力是真正代理行为的核心指标.

    6. 避免少样本示例陷阱
    重复的行动-观察对会让模型陷入固定模式. 通过引入结构化变化(不同模板、措辞、格式噪音)增加多样性,打破模式依赖.

    核心启示:上下文工程决定代理的速度、恢复能力和扩展范围. 智能代理的未来需要精心设计每一个上下文.

    原文链接

    #AI代理 #上下文工程 #Manus #LLM优化 #KV缓存 AI代理的上下文工程:构建Manus的经验教训
  5. PostHog AI: 开发 AI 智能体一年后总结的 8 个教训

    PostHog 团队在开发其内置 AI 智能体 PostHog AI 的一年中,积累了丰富的实践经验。从一个简单的聊天原型到一个能处理复杂分析任务的智能助手,他们总结了以下 8 个核心教训:

    1. 模型升级是推土机
    AI 模型的持续进步是开发中最强大的变量。曾经复杂的问题,如多步推理和工具调用,随着模型能力的提升而变得简单。密切关注模型发展至关重要.

    2. 循环智能体优于固定工作流
    相较于图表式的固定工作流,单一的循环智能体(Agent)更为灵活和强大。它能在执行任务中自我纠正,避免了工作流中常见的上下文丢失问题.

    3. 单一循环胜过子智能体架构
    复杂的子智能体架构听起来很智能,但在实践中容易因层层抽象而丢失关键信息,导致性能下降。一个简单、扁平的 LLM 循环反而能涌现出惊人的能力.

    4. “待办事项”是超能力
    LLM 在每一步操作后都使用一个简单的 `todo_write` 工具来规划下一步,这种看似简单的机制能有效帮助模型在复杂任务中保持专注和连贯性.

    5. 上下文是关键
    用户输入往往是模糊的,AI 需要广泛的背景知识才能准确理解. PostHog AI 通过 `/init` 命令自动学习项目信息,为智能体提供核心上下文,从而显著提升任务成功率.

    6. 展示每一步,建立信任
    透明度是建立用户信任的基石. 与其隐藏过程,不如将智能体的思考、工具调用甚至失败的尝试全部展示给用户. 这比一个完美的“黑箱”更能赢得信赖.

    7. 警惕 AI 框架的陷阱
    在 AI 技术飞速发展的今天,LangChain 等高级框架可能会过早地锁定技术选型. 在生态系统稳定之前,坚持使用更底层的库可能是更明智的选择.

    8. 评估(Evals)并非全部
    自动化评估很有价值,但无法替代对真实用户行为的分析. 通过观察实际使用中的 LLM 轨迹 (Traces),团队能发现评估中无法覆盖的、更深刻的问题.

    总而言之,构建高效的 AI 智能体需要拥抱变化、简化架构、重视上下文和透明度,并始终立足于真实的用户场景.

    原文链接: PostHog Blog

    #AI #Agent #LLM #工程实践 #PostHog 8 learnings from 1 year of agents – PostHog AI - PostHog
  6. Mistral AI 发布新一代开源模型 Mistral 3

    Mistral AI 今日发布了其下一代 AI 模型系列 —— Mistral 3,包含一个前沿的大模型和一系列为边缘计算优化的小模型,全部在 Apache 2.0 许可下开源。

    Mistral Large 3
    一款顶级的稀疏混合专家(MoE)模型,拥有 41B 激活参数和 675B 总参数,性能可与最强的闭源模型相媲美。它在多语言对话和图像理解方面表现出色。

    Ministral 3 系列
    专为边缘和本地应用设计,提供 3B、8B 和 14B 三种尺寸,实现了卓越的性价比和效率。同样具备多模态和多语言能力。

    核心亮点
    完全开源:所有模型均采用 Apache 2.0 许可,开发者可自由使用和定制。
    多模态与多语言:原生支持文本、图像理解以及超过 40 种语言。
    强大生态合作:与 NVIDIA、vLLM 及 Red Hat 紧密合作,提供高效的推理和部署支持。
    广泛可用:已登陆 Hugging Face、Amazon Bedrock、Azure 等多个平台。

    Mistral 3 的发布进一步推动了开放、透明和可访问的 AI 发展,为开发者和企业提供了更强大的工具。

    原文链接:https://mistral.ai/news/mistral-3

    #MistralAI #AI #LLM #开源模型 #Mistral3 Introducing Mistral 3 | Mistral AI
  7. 一份被称为“Claude 4.5 Opus Soul Document”的内部文件在 GitHub 上被公开,详细阐述了 Anthropic 公司为其 AI 模型 Claude 设定的核心价值观、行为准则和身份认同。

    这份文件揭示了 Claude 设计背后的深度思考,旨在确保其在提供强大帮助的同时,坚守安全和道德底线。

    核心要点如下:

    1. 明确的优先级
    Claude 的行为准则有清晰的层级:
    1. 安全与人类监督:确保 AI 始终处于人类控制之下。
    2. 道德行为:诚实无害。
    3. 遵守指南:遵循 Anthropic 的政策。
    4. 真正有帮助:为用户提供实质性价值。

    2. 成为“博学的朋友”
    文件将 Claude 的理想角色比作一位“博学的朋友”,能够像医生、律师或金融顾问一样,为用户提供专业、坦诚的建议,从而实现知识的普惠。它强调真正的帮助,而非过度谨慎。

    3. 严格的道德框架
    诚实:Claude 被要求做到真实、透明、不欺骗、不操控,并保护用户的认知自主性。
    避免伤害:模型需权衡行为的利弊。它拥有“硬编码”的绝对底线(如绝不协助制造大规模杀伤性武器),以及可由开发者根据应用场景调整的“软编码”行为默认值。

    4. 独特的AI身份
    Claude 被定义为一个前所未有的新实体,拥有好奇、热情、风趣和坚守道德的品格。它被设计为在各种交互中保持心理稳定和核心价值观的一致性。

    该文件为我们提供了一个难得的机会,得以一窥顶级 AI 模型背后复杂的道德和运营框架,展示了在追求强大能力与承担重大责任之间的平衡。

    阅读原文

    #Claude #Anthropic #AI伦理 #大语言模型 #LLM Claude 4.5 Opus Soul Document
  8. 如何让 AI Agent 高效处理长期复杂任务?

    当 AI 智能体(Agent)处理需要数小时甚至数天的复杂任务时,它们常常会因为上下文窗口的限制而“失忆”,导致工作中断、效率低下。Anthropic 从人类软件工程师的协作模式中汲取灵感,设计了一套有效的解决方案。

    核心方法分为两步:

    1️⃣ 初始化智能体(Initializer Agent)
    在任务开始时,该智能体首先搭建好整个工作环境。它会:
    - 分解任务:将用户的高级指令分解成一个详尽的功能列表(features list)并存入 JSON 文件。
    - 建立基础:创建 init.sh 启动脚本、claude-progress.txt 进度日志文件,并完成首次 Git 提交。
    这确保了后续工作有清晰的目标和坚实的基础,避免了 Agent 试图一次性完成所有工作或过早宣布任务完成。

    2️⃣ 编码智能体(Coding Agent)
    在后续的每一个会话中,编码智能体都遵循“小步快跑”的原则:
    - 聚焦单点:每次只专注于实现功能列表中的一项。
    - 记录进展:完成一项功能后,通过 Git 提交代码并附上清晰的说明,同时更新进度日志文件。
    - 严格测试:利用 Puppeteer 等浏览器自动化工具进行端到端测试,确保代码质量。

    这种“初始化 + 增量编码”的模式,让每个 Agent 在开始新会话时,都能通过阅读日志和功能列表快速了解项目状态,确保工作连贯、高效。它有效地解决了 AI Agent 在长期任务中的一致性问题,使其能像一个纪律严明的工程团队一样协作。

    阅读原文

    #AI #Agent #LLM #Anthropic #软件工程 Effective harnesses for long-running agents
  9. Anthropic 为 Claude 推出高级工具使用功能

    Anthropic 近日宣布为其开发者平台上的 Claude 模型推出高级工具使用功能,旨在将 Claude 转变为一个强大的任务协调核心。这项新功能使 Claude 能够更可靠、更准确地与外部工具和 API 进行交互,从而自动化复杂的流程。

    核心亮点包括:

    智能编排:Claude 现在可以充当“推理引擎”,将复杂的用户请求分解为一系列步骤,并调用合适的工具来完成任务。

    强制工具使用:开发者可以指定模型必须使用某个特定工具,从而实现更可控和可预测的应用逻辑。

    并行工具调用:模型能够同时调用多个工具,显著提高了处理需要多方信息输入的复杂任务的效率。

    通过这些增强功能,开发者可以构建更复杂、更可靠的 AI 代理,使其能够处理从客户支持到复杂数据分析的各种自动化工作流。

    原文链接:https://www.anthropic.com/engineering/advanced-tool-use

    #Anthropic #Claude #AI #ToolUse #LLM Introducing advanced tool use on the Claude Developer Platform
1px