导读:在数据标注行业流行着一句话,“有多少智能,就有多少人工”。数据标注是人工智能发展中至关重要的一环,却常常容易被人忽视。以Sama(原Samasource)、MightyAI以及ScaleAI等数据标记公司为例,他们主要使用来自撒哈拉以南非洲以及东南亚地区的劳动力,每天支付给员工的薪酬仅为8美元(折合成人民币为51.6元)。但与此同时,这些企业每年却能赚取数千万美元的巨额收益。
以下为上周AI领域热点事件一览:
一、前沿理论更新
1.Hinton新论文:如何在神经网络中表示“部分-整体层次结构”?
Hinton最新发表的论文,描绘了一个关于表示的宏观构想:如何在神经网络中表示部分-整体层次结构。
局部和整体的一致性表示似乎一直是Hinton的研究重点。比如,胶囊网络通过局部到整体的动态路径选择一致性来学习识别,近期Hinton还将其扩展到了无监督学习,并应用了Transformer架构;对比学习则学习一种表示,使得同一幅图像的的各个局部具有相似的表示;认知神经科学出身的Hinton还一直坚持探索着大脑的学习机制,比如backrelaxation试图在自顶向下表示和自底向上表示之间产生一致性,而这又和对比学习有联系。
这篇论文没有描述工作系统,而是单单提出了一个关于表示的想法。这个想法能够把Transformer、神经场(neuralfields)、对比表示学习、蒸馏和胶囊等先进观点整合到一个名为“GLOM1”的设想系统中。
一个具有固定架构的神经网络如何将一张图像解析成一个整体的分级体系(其中,每张图像都有不同的结构)?针对这个问题,GLOM给出了一个简单的答案,即使用相同向量的孤岛来表示解析树中的节点。如果GLOM真的能够正常运转,那么,当它在视觉或语言上应用时,它能够极大地提高类似Transformer的系统所生成的表示的可解释性。
参考资料: