Zero to Hero - 从零开始学习大语言模型

📚 项目简介

这是一个从零开始学习大语言模型的完整学习路径，使用费曼学习法，将复杂的AI概念转化为易懂的教学内容。

🎯 学习目标

• 理解大语言模型的核心原理
• 掌握Transformer架构
• 学习数据准备和预处理
• 了解模型训练和优化

📖 内容目录

基础篇

• 从0到1构建大模型-自上向下学习法

数据准备

• 3.1 数据准备-完整版

模型架构

• 3.2 Transformer架构-完全指南

模型训练

• 3.3 预训练-完整版

🌟 特色

• 费曼学习法：12岁小孩也能懂的解释
• 问题导向：每个概念都说明解决了什么问题
• 渐进式学习：从简单到复杂，平滑过渡
• 互动验证：分级思考题和参考答案
• Obsidian优化：使用callout、wikilink等特性
• 代码示例：完整可运行的PyTorch代码
• 实际案例：GPT-3、LLaMA-2等真实训练案例

🛠️ 使用方法

1. 按照目录顺序学习
2. 每个文档都包含思考题，建议完成后再继续
3. 使用Obsidian打开以获得最佳阅读体验

📝 学习原则

1. 12岁小孩也能懂：使用日常生活类比
2. 拆成原子知识点：每个概念都拆到最基础
3. 不出现陌生词汇：新术语立即解释
4. 拒绝知识诅咒：不假设任何背景知识
5. 用提问引导：每节都以问题开始
6. 类比优先：先类比再技术解释
7. 视觉化：使用图表、代码块
8. 递进式：从简单到复杂
9. 互动式：包含思考题和答案

🤝 贡献

欢迎提出改进建议和问题！

📄 许可证

MIT License

📧 联系方式

GitHub: @king157419