TinyBERT模型小7倍,速度快8倍,

中科白癜风医院爱心捐助 https://m.39.net/news/a_5478847.html
机器之心报道参与：张倩、杜伟BERT等大模型性能强大，但很难部署到算力、内存有限的设备中。为此，来自华中科技大学、华为诺亚方舟实验室的研究者提出了TinyBERT，这是一种为基于transformer的模型专门设计的知识蒸馏方法，模型大小还不到BERT的1/7，但速度是BERT的9倍还要多，而且性能没有出现明显下降。目前，该论文已经提交机器学习顶会ICLR。论文：

转载请注明：http://www.aierlanlan.com/grrz/6843.html