年度归档： 2026 年

在

注意力即一切：从 MHA 到 GQA

写在前面 终于，我们来到了 Transformer 最核心、最“灵魂”的部分——Attention（...

读出全部
在

大模型微调入门：从全量微调到 LoRA 和 QLoRA —— 一个工程师的实战笔记

从全量微调的昂贵代价，到 LoRA 的轻量适配，再到 QLoRA 在 48GB 显存上微调 65B ...

读出全部
在

我在实战中理解 LoRA：为什么它让我从‘参数焦虑’中解脱

记录我从完全不懂到亲手用 LoRA 微调 GPT-2 的全过程，揭开低秩适配如何在不牺牲性能的前提下...

读出全部
在

FFN 与 SwiGLU 解析

写在前面 在之前的系列文章中，我们从 Tokenizer 讲到 Embedding 再到 RoPE，...

读出全部
在

PEFT 深度解析：如何用几MB的参数微调百亿级大模型

本文深入剖析PEFT（参数高效微调）的核心机制，解释LoRA如何通过低秩分解在冻结主模型的前提下实现...

读出全部
在

RAG 相关技术：从检索增强到可控知识注入

一篇关于 RAG 的学习笔记：RAG 不是把向量数据库接到模型前面那么简单，而是一条从知识组织、召回...

读出全部
在

Harness 工程：把 AI Agent 放进可验证的工作回路

一篇关于 harness 工程的学习笔记：它不是单纯的测试脚本，而是把任务、工具、评估、反馈和人工控...

读出全部
在

Embedding 与 RoPE 解析

写在前面 在前两篇文章中，我们分别拆解了 LLM 的整体架构，又专门深挖了 Tokenizer。现在...

读出全部
在

Tokenizer 解析

写在前面 在上一篇文章中，完整地走了一遍 LLM 的架构全景图。那篇文章提到：原始文本进入模型的第一...

读出全部
在

从零开始，搞懂大语言模型的“五脏六腑”——LLM架构全景解析

写在前面 AI无疑是最近几年最火的东西了，其能力与发展速度都让人惊叹，从17年的Transforme...

读出全部