Chinese-BERT-wwm
Pre-Training with Whole Word Masking for Chinese BERT（中文BERT-wwm系列模型）
About this project
Chinese-LLaMA-Alpaca-2 v1.0版本已正式发布！ 中文说明 English 在自然语言处理领域中，预训练语言模型（Pre-trained Language Models）已成为非常重要的基础技术。为了进一步促进中文信息处理的研究发展，我们发布了基于全词掩码（Whole Word Masking）技术的中文预训练模型BERT-wwm，以及与此技术密切相关的模型：BERT-wwm-ext，RoBERTa-wwm-ext，RoBERTa-wwm-ext-large, RBT3, RBTL3等。 — Pre-Training with Whole Word Masking for Chinese BERT — Yiming Cui, Wanxiang Che, Ting Liu, Bing Qin, Ziqing Yang — Published in IEEE/ACM Transactions on Audio, Speech, and Language Processing (TASLP) 本项目基于谷歌官方BERT：https://github.com/google-research/bert 中文LERT 中英文PERT 中文MacBERT 中文ELECTRA 中文XLNet 中文BERT 知识蒸馏工具TextBrewer…
Technologies
Project health
GitHub
Reviews
Built by
Maintain ymcui/Chinese-BERT-wwm? Claiming verifies admin access through your GitHub account and gives you control of this listing.
