Chinese-LLaMA-Alpaca-2
中文LLaMA-2 & Alpaca-2大模型二期项目 + 64K超长上下文模型 (Chinese LLaMA-2 & Alpaca-2 LLMs with 64K long context models)
About this project
Chinese-LLaMA-Alpaca-3项目启动！ 🇨🇳中文 🌐English 📖文档/Docs ❓提问/Issues 💬讨论/Discussions ⚔️竞技场/Arena 本项目基于Meta发布的可商用大模型Llama-2开发，是中文LLaMA&Alpaca大模型的第二期项目，开源了中文LLaMA-2基座模型和Alpaca-2指令精调大模型。这些模型在原版Llama-2的基础上扩充并优化了中文词表，使用了大规模中文数据进行增量预训练，进一步提升了中文基础语义和指令理解能力，相比一代相关模型获得了显著性能提升。相关模型支持FlashAttention-2训练。标准版模型支持4K上下文长度，长上下文版模型支持16K、64k上下文长度。RLHF系列模型为标准版模型基础上进行人类偏好对齐精调，相比标准版模型在正确价值观体现方面获得了显著性能提升。 本项目主要内容 — 🚀 针对Llama-2模型扩充了新版中文词表，开源了中文LLaMA-2和Alpaca-2大模型 — 🚀 开源了预训练脚本、指令精调脚本，用户可根据需要进一步训练模型 — 🚀 使用个人电脑的CPU/GPU快速在本地进行大模型量化和部署体验 — 🚀 支持🤗transformers, llama.cpp, text-generation-webui, LangChain, privateGPT, vLLM等LLaMA生态 已开源的模型 — 基座模型（4K上下文）：Chinese-LLaMA-2 (1.3B, 7B, 13B) —…
Technologies
Project health
GitHub
Reviews
Built by
Maintain ymcui/Chinese-LLaMA-Alpaca-2? Claiming verifies admin access through your GitHub account and gives you control of this listing.
