tiny-universe
《大模型白盒子构建指南》：一个全手搓的Tiny-Universe
About this project
大模型白盒子构建指南   本项目是一个从原理出发、以“白盒”为导向、围绕大模型全链路的“手搓”大模型指南，旨在帮助有传统深度学习基础的读者从底层原理出发，“纯手搓”搭建一个清晰、可用的大模型系统，包括大模型本身、RAG 框架、Agent 系统及大模型评估体系。本项目将从基础原理出发，深入剖析每一个技术点并附以完整的代码实现，以细致讲解和代码注释帮助读者独立复现大模型核心部分，并在复现中实现对大模型的深入理解与掌握。   本项目旨在为广大学习者搭建一个清晰的、可用的、可复现的大模型世界，帮助每一位有兴趣的学习者纯手工独立搭建自己的 Tiny LLM Universe。   本项目的主要内容包括： 主体部分 主题部分主要为对经典技术的从零实现，旨在带领学习者深度掌握经典工作的实现细节: 1. 手写图像生成模型--Tiny Diffusion 2. 深入剖析大模型原理——Qwen Blog 3. 逐步预训练一个手搓大模型——Tiny Llama3 4. 如何评估你的大模型——Tiny Eval 5. 纯手工搭建 RAG 框架——Tiny RAG 6. 手搓一个最小的 Agent 系统——Tiny Agent 7. 深入理解大模型基础——Tiny Transformer 8. 手搓一个基本的 GraphRAG 系统——Tiny GraphRAG 探索部分 探索部分主要为新颖的学术作品/生产阶段的优秀作品进行从零复现，旨在带领学习者深度感知如何从会做-创新: 1.…
Technologies
Project health
GitHub
Reviews
Built by
Maintain datawhalechina/tiny-universe? Claiming verifies admin access through your GitHub account and gives you control of this listing.
