面条的草稿箱

无原创，纯转发

Search: #大模型算力

  1. 面条的草稿箱

    算力战国策：拆解主流 AI 芯片的技术哲学与架构之争在摩尔定律与登纳德缩放定律放缓后，AI 算力迎来爆发

    算力战国策：拆解主流 AI 芯片的技术哲学与架构之争

    在摩尔定律与登纳德缩放定律放缓后，AI 算力迎来爆发。大模型计算本质上是海量的矩阵乘法（GEMM / GEMV），而决定性能天花板的从来不是单纯的峰值算力，而是数据移动速度——即如何攻破“内存墙”（Memory Wall）。

    各大芯片巨头对此给出了截然不同的答卷，形成了当下六大主流 AI 芯片路线：

    ---

    1. NVIDIA GPU：极致通用与生态壁垒

    • 核心哲学：高度并行的通用处理器。通过 CUDA 保留统一的编程模型，将硬件复杂度包装在 SM 与 Tensor Core 背后。
    • 架构亮点：通过硬件管理缓存与海量线程（Warp）隐藏访存延迟；从 Blackwell 到 Rubin，引入 TMEM、异步 TMA 与微缩精度（FP4/NVFP4）。
    • 扩展体系：NVLink + NVSwitch 构建低延迟共享内存域；机架级（如 NVL72 / NVL576）坚持采用无源铜缆背板，以极低功耗实现高达 130 TB/s 的全对全互联。
    • 护城河：二十年积累的 CUDA 开发者生态与深度优化的算子库（FlashAttention、CUTLASS 等）。

    2. Google TPU：脉动阵列与编译器至上

    • 核心哲学：专为矩阵乘法而生的专用机器。剔除硬件调度器、分支预测和缓存，把每一拍的调度完全交给 XLA 编译器。
    • 架构亮点：权重常驻（Weight-Stationary）的 MXU 脉动阵列，搭配纯软件管理的暂存内存（VMEM/CMEM）；引入 SparseCore 处理非规则的 Embedding 与推荐负载。
    • 扩展体系：以 3D-Torus（环面拓扑）为核心，配合独创的 Palomar OCS（3D-MEMS 光电路交换机），实现无需停机的动态拓扑重构与近万卡级（Ironwood / TPU v8）超大规模 Scale-up Pod。

    3. AMD Instinct：先进封装与开源联盟

    • 核心哲学：CU 核心架构保持稳健，把算力红利押注在 3D 堆叠封装（TSMC SoIC）与更大容量的 HBM 上。
    • 架构亮点：首创 3D 堆叠 GPU 与 CPU+GPU 统一内存架构（MI300A）；配备 256MB 超大 Infinity Cache 缓解访存压力。
    • 扩展体系：推进开放互联标准 UALink 与以太网 RDMA 标准（UEC/UET），在 Helios 机架上正面迎击 NVL72。
    • 软件生态：以 ROCm、HIP、Triton 和 vLLM 为抓手，依托开源社区追赶 CUDA 性能。

    4. Cerebras WSE：不切晶圆的极速怪兽

    • 核心哲学：内存墙源于把晶圆切成小芯片。Cerebras 直接把整块 300mm 晶圆做成单颗芯片（46,225 mm²）。
    • 架构亮点：片上拥有 90 万个数据流核心和 44GB 超高速 SRAM，内部聚合带宽高达 21 PB/s，无 HBM 瓶颈。
    • 应用场景：极限追求单 Token 的生成延迟（Decode 速度远超 GPU 数倍），但受限于 SRAM 成本与容量，更适合作为极致低延迟的专用推理节点。

    5. AWS Trainium：云端全栈性价比

    • 核心哲学：芯片是云服务的组件，只需在 AWS 内部体系内战胜采购 NVIDIA 的成本。
    • 架构亮点：借鉴 TPU 的脉动阵列与 OpenXLA 体系，同时在硬件层面原生集成 CC-Core（集合通信核心），让通信与计算在硅片上真正完全并发。
    • 扩展体系：自研 NeuronSwitch 扁平互联 + Nitro EFA/SRD 弹性以太网，支撑了 Anthropic 百万卡级别的超大规模集群。

    6. Groq LPU：消除一切不确定性的纯静态架构

    • 核心哲学：移除所有硬件仲裁器、缓存与动态调度，打造完全确定性（Deterministic）的处理器，执行时间在编译期精确到周期。
    • 架构亮点：片上全 SRAM 空间流式处理，数据如流水线般穿过功能切片；多卡之间无需交换机，纯静态编译路由。
    • 最终归宿：单卡容量极小、扩展成本高，其低延迟推理技术最终被英伟达吸收，作为超低延迟推理协处理器协同工作。

    ---

    💡 核心趋势与行业共识

    1. 单芯片算力趋同，系统工程定胜负：各家旗舰的单芯片 FP8/FP4 峰值已十分接近，竞争焦点彻底转向机架级互联（Scale-up 域大小）、光电混合交换与液冷系统工程。
    2. 两极化的内存博弈：一条路是以 HBM 为代表的大容量路线（满足长上下文与大批次吞吐）；另一条路是以纯 SRAM 为代表的高带宽路线（追求单用户极致低延迟）。
    3. 软件范式收敛：从早期的手写专用底层算子，正逐步向 Triton、MLIR、XLA 等现代编译中间层收敛，软硬件解耦正在打破单一供应商的生态锁定。

    🔗 原文链接：https://www.jacobpeake.com/ai-chip-architectures

    #AI芯片 #半导体架构 #NVIDIA #TPU #大模型算力
    Jacob Peake
    AI Chip Architectures
    AI Chip Architectures
    A look at AI Chip Architectures. NVIDIA, AMD, TPUs, Trainium, Groq, Cerebras.

    AI芯片半导体架构NVIDIATPU大模型算力

  2. 面条的草稿箱

    AI 记忆系统不该靠“设计”，而应靠“演化”如今，开发者们热衷于为 AI 助手构建各种复杂的记忆架构，比如向量检索、知识图谱、语义记忆、遗忘机制等

    AI 记忆系统不该靠“设计”，而应靠“演化”

    如今，开发者们热衷于为 AI 助手构建各种复杂的记忆架构，比如向量检索、知识图谱、语义记忆、遗忘机制等。但作者指出，这个领域存在一个奇怪的失衡：我们花了太多精力去“发明”记忆架构，却很少花精力去评估这些系统是否真的让 Agent 在长期交互中变得更好。

    很多所谓的记忆系统，大多只是基于开发者个人对“好记忆”的狭隘定义而做出的过度工程（Over-engineering）。

    💡 核心观点：记忆是“涌现”出来的

    记忆并不是系统的第一顺位基础能力。相反，记忆是在持续交互的压力下，为了让系统表现得更好而涌现出来的“二阶效应”。

    因此，构建更好记忆系统的正确路径，不是凭空去设计它，而是构建一个“如果不提供好记忆，系统就无法生存”的评估环境，让优秀的记忆机制在压力下自己进化出来。

    ⚠️ 现有静态评估的缺陷

    目前的记忆评估大多是静态的：给 AI 一段历史记录，问一个当前问题，检查 AI 能否检索到相关事实。
    这种方式的弊端显而易见：

    • 它只能测试单一时间节点的检索能力。
    • 它无法评估记忆随着时间推移的更新、冲突解决和衰减。
    • 它忽略了用户体验的反馈循环——如果 AI 记忆表现不佳，用户在现实中会逐渐失去耐心，减少或停止相关交互。

    🛠️ 理想的“纵向记忆评估”方案

    为了解决这一问题，我们需要构建一个**纵向记忆评估（Longitudinal Eval）**环境，主要包含以下要素：

    1. 可重放的交互历史与未来依赖：模拟一连串（例如 200 次）的连续对话，后续的测试点会深度依赖前期的隐性偏好或数据。
    2. 动态用户模拟（User Simulation）：用模拟的用户 Agent 来产生真实的对话。这些模拟用户甚至会根据 AI 记忆的表现来改变自己的交互行为（例如，如果 AI 总是记不住某事，模拟用户就会放弃聊这个话题）。
    3. 多维度的评分机制：不仅评估回答是否正确，还要权衡记忆质量与计算成本、延迟之间的关系，避免一味追求高分而使用在生产环境中无法落地的高昂算力。

    结语

    不要再尝试自上而下地去设计完美的记忆架构了。我们应该先建好“角斗场”（评估环境），让环境压力筛选出最合理的记忆方案。

    阅读原文：https://linghao.io/posts/memory-systems-should-be-evolved

    #人工智能 #AI_Agent #记忆系统 #大语言模型 #系统评估
    linghao.io
    Evolving Memory Systems: An Eval-First Approach
    Evolving Memory Systems: An Eval-First Approach
    AI memory systems are often designed as architectural bets: vector stores, profiles, summaries, graphs, etc. This post argues for a different starting point: build longitudinal eval environments where systems without good memory cannot survive, then let better…

    人工智能AI_Agent记忆系统大语言模型系统评估

  3. 面条的草稿箱

    大语言模型（LLM）是如何运作的？一文拆解它的底层逻辑从 GPT、Claude 到 LLaMA，大语言模型看似无所不知，但其背后的技术大多高度收敛于 Transformer 架构

    大语言模型（LLM）是如何运作的？一文拆解它的底层逻辑

    从 GPT、Claude 到 LLaMA，大语言模型看似无所不知，但其背后的技术大多高度收敛于 Transformer 架构。本文为你快速拆解 LLM 运行的 6 个核心步骤：

    1. 分词与嵌入（Tokenization & Embeddings）
    模型不直接阅读文本。你的输入首先会被拆解为子词 Token，并转化为数字 ID。随后，这些 ID 通过“嵌入矩阵”变成高维向量。在向量空间中，语义相近的词（如“猫”和“狗”）会被分配到相邻的位置，从而获得“语义”。

    2. 位置编码（Positional Encoding）
    普通的注意力机制无法分辨词序。现代模型主要使用 RoPE（旋转位置编码），通过旋转向量来标记 Token 之间的相对距离，让模型知道哪个词在前，哪个词在后。

    3. 注意力机制（Attention & Multi-Head）
    这是 Transformer 的灵魂。每个 Token 会通过 Query（寻找什么）、Key（匹配什么）和 Value（传递什么）三种角色与其他 Token 进行信息交互。为了同时捕捉语法、代词指代等多种关系，模型会并行运行多个注意力“头”。现代模型多采用 GQA（分组查询注意力） 来大幅降低显存占用。

    4. 前馈网络（FFN & MoE）
    如果说注意力机制是 Token 之间的“对话”，前馈网络就是 Token 的“自我思考”。模型的大部分 factual 记忆都存储在这里。为了在不增加计算成本的前提下扩大参数量，现代大模型（如 Mixtral）常使用 MoE（混合专家模型），每次只激活部分网络来处理 Token。

    5. 残差流与归一化（Residual Stream & RMSNorm）
    随着网络层数变深，信号容易衰减或爆炸。残差连接允许原始信息绕过部分计算直接向后传递，而 RMSNorm 则在每层计算前对数据进行重缩放，确保数百层的网络能够稳定训练。

    6. 预测下一个 Token（Next-Token Prediction）
    LLM 的本质是一个“词语接龙”游戏。模型在最后一层输出所有候选词的概率分布，根据设定的“温度（Temperature）”等参数抽取下一个 Token，并将其拼回输入，循环往复，直到生成完整文本。

    总结来说，如今的 LLM 架构在工程上已经高度趋同（RoPE、GQA、SwiGLU、RMSNorm 的组合）。不同模型之间的差异，主要源于训练数据集、参数规模以及后期的对齐微调（RLHF）。

    阅读完整英文博文：https://www.0xkato.xyz/how-llms-actually-work/

    #大语言模型 #Transformer #人工智能 #深度学习 #技术科普
    0xkato
    How LLMs Actually Work
    A from-the-ground-up walkthrough of how modern LLMs work, from tokens to transformer blocks to the next-token loop

    大语言模型Transformer人工智能深度学习技术科普

1px