在自然语言处理领域，BERT 是一个里程碑式的进展。只需要添加一个单层线性分类器和一个简单的微调策略，它就能在多项任务中达到优异的性能。但另一方面，BERT 的应用也面临很多问题，如规模大、推理速度慢、预训练过程复杂。研究人员已经做了许多尝试来提取