月度归档： 2026 年 4 月

在

从“重复劳动”到“智能记忆”：KV Cache与PagedAttention深度解析

写在前面 在前面的六篇文章中，我们完整拆解了Transformer的静态架构——从Tokenizer...

读出全部
在

残差连接、Pre-Norm与Post-Norm

写在前面 在前几篇文章中，我们像拆解一个精密的机械表一样，一步步解剖了 LLM 的各个核心组件：从 ...

读出全部
在

注意力即一切：从 MHA 到 GQA

写在前面 终于，我们来到了 Transformer 最核心、最“灵魂”的部分——Attention（...

读出全部
在

大模型微调入门：从全量微调到 LoRA 和 QLoRA —— 一个工程师的实战笔记

从全量微调的昂贵代价，到 LoRA 的轻量适配，再到 QLoRA 在 48GB 显存上微调 65B ...

读出全部
在

我在实战中理解 LoRA：为什么它让我从‘参数焦虑’中解脱

记录我从完全不懂到亲手用 LoRA 微调 GPT-2 的全过程，揭开低秩适配如何在不牺牲性能的前提下...

读出全部
在

FFN 与 SwiGLU 解析

写在前面 在之前的系列文章中，我们从 Tokenizer 讲到 Embedding 再到 RoPE，...

读出全部
在

PEFT 深度解析：如何用几MB的参数微调百亿级大模型

本文深入剖析PEFT（参数高效微调）的核心机制，解释LoRA如何通过低秩分解在冻结主模型的前提下实现...

读出全部
在

RAG 相关技术：从检索增强到可控知识注入

一篇关于 RAG 的学习笔记：RAG 不是把向量数据库接到模型前面那么简单，而是一条从知识组织、召回...

读出全部
在

Harness 工程：把 AI Agent 放进可验证的工作回路

一篇关于 harness 工程的学习笔记：它不是单纯的测试脚本，而是把任务、工具、评估、反馈和人工控...

读出全部
在

Embedding 与 RoPE 解析

写在前面 在前两篇文章中，我们分别拆解了 LLM 的整体架构，又专门深挖了 Tokenizer。现在...

读出全部