码途随笔

modern developer at desk with AI coding assistant floating above screen
在

Claude Code使用指南：提升开发效率的AI编码助手

为什么开发者需要Claude Code？AI编码助手的崛起 随着AI技术在开发工具中的深度集成，Cl...

读出全部
在

Agent流程编排技术详解：构建高效智能工作流

什么是Agent流程编排？为何它正在重塑AI应用架构 在上一节中，我们探讨了智能代理（Agent）的...

读出全部
在

Yarn上下文扩展技术深度解析：原理、实现与实战

引言：为什么Yarn需要上下文扩展？ 在上一节中，我们探讨了Yarn插件系统的整体演化路径，而要真正...

读出全部
在

QLoRA微调原理详解：与LoRA的性能与内存对比

引言：为什么大模型微调需要QLoRA？ 在深入LoRA微调机制之前，我们必须直面一个现实：当今主流大...

读出全部
在

关于Norm的解析

可以说，如果没有残差连接和 Layer Normalization（层归一化）这样一刚一柔的黄金组合...

读出全部
在

从 SGD 到 AdamW 的优化器

写在前面 在上一篇文章中，我们讨论了如何用数据并行、张量并行和流水线并行，把一个大模型“拆开”放到成...

读出全部
在

数据并行、张量并行和流水线并行解析

写在前面 目前为止的文章都在聊一件事：单个模型内部的“微观世界” ——Embedding怎么工作、A...

读出全部
在

MoE架构解析

如果说我们之前拆解的所有Transformer组件——从FFN到Attention——都是为了让单个...

读出全部
在

从“重复劳动”到“智能记忆”：KV Cache与PagedAttention深度解析

写在前面 在前面的六篇文章中，我们完整拆解了Transformer的静态架构——从Tokenizer...

读出全部
在

残差连接、Pre-Norm与Post-Norm

写在前面 在前几篇文章中，我们像拆解一个精密的机械表一样，一步步解剖了 LLM 的各个核心组件：从 ...

读出全部