无原创，纯转发https://localhosthttps://localhost/posts/120https://localhost/posts/120Fri, 13 Mar 2026 06:03:11 GMT<b>CursorBench：</b><mark><b>Cursor</b></mark><b> 如何更贴近真实开发来评估模型质量</b><br /><br />开发者正在把更长、更复杂的编程任务交给智能体：跨多个文件、工具和步骤。<mark>Cursor</mark> 认为，评测方式也必须随之升级，才能真实反映“好用与否”。<br /><br /><mark>Cursor</mark> 的做法是 <b>线上 + 线下</b> 的混合评测闭环：<br /><br />• <b>线下：CursorBench（内部基准）</b><br /> 基于工程团队的真实 <mark>Cursor</mark> 会话构建，而不是从公开代码库抽题。因为更贴近实际工作流、信息更不充分且常带歧义，CursorBench 往往能更好地区分前沿模型，并衡量多维能力（正确性、代码质量、效率、交互行为等）。<br /><br />• <b>线上：真实流量的受控实验</b><br /> 用于捕捉线下评测遗漏的退化：例如线下评分器判“正确”，但开发者实际体验变差。<mark>Cursor</mark> 会用多类代理指标（交互信号 + 输出质量信号）综合观察，并通过消融实验归因（如移除语义搜索工具来定位其关键场景）。<br /><br />为什么不太依赖公开基准？<mark>Cursor</mark> 指出三类常见问题：<br /><br />1. <b>任务不匹配</b>：许多基准仍偏向“修 bug”或“解谜题”，与真实开发请求脱节。<br />2. <b>评分困难</b>：真实请求常有多种正确解，固定答案容易误伤合理方案。<br />3. <b>数据污染</b>：公开仓库题目容易进入训练数据，分数被抬高；甚至出现“记忆补丁”与测试缺陷等问题。<br /><br />下一步，<mark>Cursor</mark> 预计开发会更多转向“长时运行智能体”。他们也计划让 CursorBench 适配更长任务，并解决成本、可复现性、以及离线结果与真实体验之间的差距。<br /><br />原文链接：<a href="https://cursor.com/cn/blog/cursorbench" target="_blank">https://cursor.com/cn/blog/cursorbench</a><br /><br /><a href="/search/result?q=%23%E6%A8%A1%E5%9E%8B%E8%AF%84%E6%B5%8B">#模型评测</a> <a href="/search/result?q=%23%E7%BC%96%E7%A8%8B%E6%99%BA%E8%83%BD%E4%BD%93">#编程智能体</a> <a href="/search/result?q=%23%E5%9F%BA%E5%87%86%E6%B5%8B%E8%AF%95">#基准测试</a> <a href="/search/result?q=%23Cursor">#Cursor</a> <a href="/search/result?q=%23%E5%BC%80%E5%8F%91%E8%80%85%E4%BD%93%E9%AA%8C">#开发者体验</a><a href="https://cursor.com/cn/blog/cursorbench" target="_blank"> <div>Cursor</div> <img class="link_preview_image" alt="How we compare model quality in Cursor · Cursor" src="https://memo.miantiao.me/static/https://cdn4.telesco.pe/file/QRvICVn9snfzukg82oFNZXywk4nurNWHeEwJrrPLmFAO7IZZHlo7sEP_qI_acKG1_RPMpo7Lfm88ritWi6KP78DNBgac4qbTzAiVDEtUTR_7NEL6WmTe2O8lmNRtdhifXCW31XhvLvk8X8jHBOycBh1ztir-qVYthNrpbL1DYK4UMtpJhYHAfb4N_hH7EO3NmZQ2n_YNq9KDTRVyocV4ORVIPzFwoynkGakSxLab1gFHzk860MJ_JmRhC47fVUVijcu3bswc_P62gdWXIUfGd-WCCiZiQVLxKMZxq061REs2e5Ts1omkAiPEOMcwXWhhUsUjBB2BBMWBWn7ugDTCzA.jpg" width="1200" height="630" loading="eager" /> <div>How we compare model quality in <mark>Cursor</mark> · <mark>Cursor</mark></div> <div>We use a hybrid online-offline eval process to keep our understanding of model quality aligned with what developers actually do.</div> </a>https://localhost/posts/71https://localhost/posts/71Tue, 16 Dec 2025 15:49:48 GMTCoding Agents 与复杂度预算<br /><br />Lee Robinson（<mark>Cursor</mark> 工程师）分享了一次惊人的迁移经历：仅用 <b>3 天时间</b>、<b>$260 token 费用</b> 和数百个 AI Agent，就把 <a href="http://cursor.com/" target="_blank">cursor.com</a> 从 CMS 迁回纯代码和 Markdown。<br /><br /><u>为什么要抛弃 CMS？</u><br /><br /><blockquote>CMS 带来的隐性复杂度超乎想象：<br />• 多系统用户管理<br />• 预览变更的繁琐流程<br />• 国际化翻译的插件地狱<br />• CDN 费用暴涨（上线后花了 $56,848）<br />• 代码库的依赖和抽象膨胀<br /></blockquote><br /><u>AI 时代的关键洞察</u><br /><br />抽象的代价从未如此之高。当内容变成代码后：<br />• Agent 可以直接 grep 和编辑<br />• PR 链接无需登录即可分享预览<br />• 所有变更通过 git 追踪，Agent 能自主挖掘历史<br /><br /><u>迁移成果</u><br /><br />• 344 次 Agent 请求<br />• 67 次 commit（+43K / -322K 行代码）<br />• 构建速度提升 2 倍<br />• 节省数千美元 CDN 费用<br />• 第二天就能在手机上通过 cloud agent 合并修复<br /><br /><u>核心观点</u><br /><br />"过度抽象一直是代码异味，现在有了简单的解决方案：花 token 删除复杂度。" 编程 Agent 正在帮助团队尝试疯狂想法、清理深埋的技术债。<br /><br /><i><b>🔗</b></i> <a href="https://leerob.com/agents" target="_blank">原文链接</a><br /><br /><a href="/search/result?q=%23CodingAgent">#CodingAgent</a> <a href="/search/result?q=%23AI%E7%BC%96%E7%A8%8B">#AI编程</a> <a href="/search/result?q=%23%E6%8A%80%E6%9C%AF%E5%80%BA%E5%8A%A1">#技术债务</a> <a href="/search/result?q=%23Cursor">#Cursor</a> <a href="/search/result?q=%23%E5%BC%80%E5%8F%91%E6%95%88%E7%8E%87">#开发效率</a><a href="https://leerob.com/agents" target="_blank"> <i></i> <div>Leerob</div> <div>Coding Agents &amp; Complexity Budgets</div> <div>$260 in tokens and hundreds of coding agents later.</div> </a>