轻量化网络专题讲座第二讲知识蒸馏中的架构

仲景实业白斑抑菌膏 http://www.kingbaby.com.cn/gushi/12599.html

「轻量化网络专题讲座」由智东西公开课AI技术教研组策划推出,聚焦于轻量化网络设计与优化的研究与应用,并邀请到北京航空航天大学在读博士秦浩桐、德国慕尼黑大学在读博士顾金东和悉尼大学在读博士郭晋阳,分别就轻量化网络中的模型量化、知识蒸馏和模型剪枝等主题进行深度讲解。

在6月17日「轻量化网络专题讲座」第一讲的直播讲解中,北京航空航天大学软件开发环境国家重点实验室在读博士秦浩桐,以《无数据模型量化方法研究》为主题,深度讲解了模型量化的研究进展以及他们在CVPR上被收录为Oral论文的一种多样化的样本生成方法DSG。在课程最后的问答环节,秦博更是与大家进行了专业且深度的讨论,由此可见轻量化网络结构设计与优化在实际工作中的价值。

6月24日晚7点,将由德国慕尼黑大学在读博士顾金东参与到「轻量化网络专题讲座」第二讲的直播讲解中,主题为《知识蒸馏中的架构搜索与自监督蒸馏方法的设计》。

顾金东目前是德国慕尼黑大学在读博士生,研究兴趣包括了深度学习的可解释性和鲁棒性、知识蒸馏、胶囊网络等,并在CVPR,ICLR,AAAI等会议上发表了多篇一作论文,也担任了CVPR,ICCV,NeurIPS,TPAMI等会议和期刊的审稿人。

在轻量化网络加速方面,现有的模型压缩方法也不少,比如模型剪枝、设计更高效的网络结构、矩阵分解、模型量化或二值化,以及知识蒸馏等。其中知识蒸馏作为一项成熟的技术,经常被用来更好地训练小模型。而在监督学习的范式下,最近几年有很多高效的蒸馏方法被提出。而在本次的讲座中,顾金东博士将与大家探讨以下两个课题:

1)给定一个老师模型,如何为学生模型寻找一个好的架构,使得蒸馏效果更好?

2)自监督学习最近收到了很大


转载请注明:http://www.aierlanlan.com/tzrz/1954.html