【WRC 大咖观点】石光明《语义——机器人群交流的基础》

2021世界机器人大会第二天线下主论坛——“未来峰会”群星璀璨，产、学、研各领域大咖齐聚首，共话巅峰，为机器人未来发展领航。

峰会现场，西安电子科技大学副校长石光明先生上台发言，演讲主题为《语义——机器人群交流的基础》。以下为石光明校长演讲内容全文整理。

刚才听了蒲院士的演讲，觉得很有启发，希望能够多讲一点，因为做工科的人这方面的研究太少了，今天我想介绍的也是受这些的影响。

大家知道，机器人现在已经在很多地方逐渐普及，机器人群的相互交流靠的是什么？其实以前已经有了，为了把这样的效率提升，我们有什么技术和方法能够做到这一点呢？这是今天我要给各位带来的一个主题，就是用语义的概念来做。

我们的工业革命经过一系列的变化，现在已经来到了工业4.0时代，这个时代最多的就是智能机器人的协同操作，实际上和传统工业自动化最大的不同就是我们面临着很多大量的个性化的生产的模式，要求我们的机器人具有很好的智能性，工业制造中有很多这样的特点，这是和我们过去传统的自动化有一个最大的不同，就是适应多品种的生产模式。

要想解决这些，机器人要从过去的自动化生产变成能够适应动态环境的变化，比如我们的产能的变化、品种的变化、电力的波动、原材料的变化，这个变化过程中各个机器人之间要相互协调，调整和适应这样的环境，保证生产的产品达到我们需求的目的。

多智能体之间的相互协同操作是非常重要的，包括机和机之间的操作，人和人之间的操作，最主要的就是要形成一个很好的操作策略。协同操作的过程中最离不开的就是信息交流，有了信息的交流才能协同，其实最主要的就是为了我们生产线能够及时生产，最主要的是传递的和理解的延迟要很短，两个机器人之间、人和机器交互的信息理解延时要比较短。

大家都知道，现在5G已经普遍应用了，其实5G应用和现在相比，我们已经经过了几年的时间，但5G生产线上大规模的自动化应用还是没有普遍出现，最主要的原因各位也很清楚，就是有这样几个方面：机器人的能力远远没有达到人类预期的理想能力，信息传递网络没有实现真正低延迟，因为5G最大的特点就是这样一个大容量、广连接、低延迟，我说没有低延迟好像和人家唱反调。其实5G只是指信号传递的延迟，大家协同工作的时候除了信号传递还要理解延迟，就是你传过来的东西我要很快理解，要是花很长时间理解的话也不是我们工业期望的，我们期望的是传递和理解这两个都要达到低延迟，这样才能为后面的协同策略、协同工作做好准备。5G其实并没有关系到传递信息的内容，低延迟最关键的就是内容，所以这是非常重要的。

5G需要很多的资源，包括对带宽和能耗都是比较大的，5G在工业中的智能工厂是大家期待的，但还没有在我们工业生产环境普遍应用，真正做到普遍应用还是有很多工作要做，其中最主要的就是工作信号传递能够做到低延时，这是一个非常关键的领域。实际上传递过程最主要的就是传递信息，关于信息的理解，尽管现在我们已经马上就要步入智能时代，信息时代已经即将过去了，但对信息本身定义的理解还有不同的说法，如果有机会的话可以单独讨论一下。

实际上信息是对未知主客观事物时空状态的刻画，我们把这个说好了，后面理解的时候就可以有很好的基础。大家可以从不确定性和复杂性等等状态刻画，最主要的还是对事物主客观状态进行刻画，要让接受方理解主客观的时空状态，这是非常关键的一点。我们现在表达信息当然是用这样一个最简单的0和1比特表达，支撑着我们现在这项技术，当然如果从我们理解的角度来讲，如果是一个非常大的数，我们人理解起来是非常难的，要是二维码的话机器可以很快地扫出来，但是人很难理解它的意义，只是因为表达的方式和人的表达方式是不一样的。我们能不能在表达信息的时候直接从比特，或者用语义的方式去传递，也许是解决问题很好的方式。

当然，语义这个概念应该不是现在提出来的话题，早在上个世纪五十年代就有提出，只是因为当时的语义概念很难用一个数学的方式表达出来，但没有很好的手段和方法，所以语义在信息发展过程中暂且搁置下来了。现在是到了一个非常重要的时机，就是应该大力发展应用。语义除了数学上难以刻画，很重要的原因就是语义是具有客观和主观的关系，因为某个信号到底是什么含义，好像是脑子里的想法和特点。大家都知道自然科学一般是处理客观事物，我们不研究这样主观的东西，要是主观的东西研究起来就太复杂了，所以有着这样的不确定性，导致语义研究暂且搁置了一段时间，我想这也是一个重要的原因。

很早以前大家就已经认识到这个问题了，最主要的就是语义不具有普适性。刚才蒲院士介绍了神经网络，语义的概念到底在我们脑子里是不是具有普适性？其实生物学家、脑神经科学家做过很多研究，最后得出了这样一个结论。语义是怎么产生的？很多学者做了一些研究，人脑对某种信号的刺激是在大脑中的某个区域，如果是语言的话会在语言区出现反应，如果是视觉的话会在视觉区出现反应，至少现在有一个大的概念，语音信号处理固定在某个区域，而且不是我经常在这个区域，你经常在另一个区域，而是所有人都在同一个区域，一个信号刺激在脑子里的某个区域反应。

我们做了这样一个实验，就是讲一段故事，故事中有一些特定的词，假设大家都知道这个词的含义，那么都会在脑子的同一个区域进行反应，如果大家都认为这是同一个含义的话，所以语义具有普适性和客观性。那么从这样的概念来讲的话，语义还是可以计算和进行推理的，我们应该把语义纳入到自然科学研究的范畴中来。

关于语义的推理，生物学家还在不断努力，正如刚才蒲院士讲的类脑，我们只是类脑，不是仿脑，所以从中可以得到启发，能不能用于智能系统中来是非常关键的。我们觉得语义是可知的、可学习的，可以有进一步的普适性的概念。我们信息科学很多领域已经开始做这项工作，比如因果性推测，跟这个方面都有关联关系。

什么是语义的基本概念？不同的人有不同的说法，最后都统一起来了。语义是多种模态之间的互相度量，比如一块红的颜色，自然是图像的表示，互相关联起来就会知道这个东西的含义就是这样。某种意义上讲，语义有类似的语句的概念，就是从最基本的发展到最大的过程。我们的语义是各种多模态信号相互发展，就是刚才蒲院士讲的祖母记忆中大分子的概念，有点类似这样的过程，可以看到用这个东西刻画语义的过程。

语义分为很多种，名词性、动词性、副词性等等，我们可以用各种函数，因为有信号以后就可以进行刻画，某种程度上我们可以用数学的方式表达这样的结果。简单来说，语义就是特定的特征信号来做这个事情，某种意义上来讲，有些和时间有关，有些和时间无关，和时间无关的就是名词性的，和时间有关的就是动词性的。当然，语义可以组成基本的概念，正如现在由点到面、由面到底，分子组成物质、原子组成分子，所以就是用类似的概念组成这些东西。

当然，语义最主要的特点就是一个固定的特征，实际上这是可以变化的，某种意义上有标准的特征，也有偏位的特征，比如标准普通话发音的时候有某个单词的标准发音，很多人的发音都不是那么普通话，我们可以用数学图谱的形式表达这些结果。

实际上工作中我们也做了很多语义相似度的度量，那么这样一个数学的刻画最主要是为刚才我们的传和支一体做好理论基础，只有这些做好了后面才能有可操作性，大家都知道语义通讯也是现在刚刚起来的热点，其实语义通信和过去的不同就是有些是比特，现在就是从比特变成语义进行度量，传递的过程中保证语义，所以从带宽和效率可以大大降低资源，达到我们能够理解的效果，这也是非常重要的一个方面。除了过去的符号建立的知识库，现在还有语义建立知识库，后面的理解会更快一些。

简单地说一说语义通讯和传统通讯最大的区别，传统通讯是从信号到信号的传递，语义通讯是从内容上的传递，先理解再传递，传统通讯是把比特传给你就可以自己理解，通讯过程中可能是把理解的东西传给你，所以传发接收会有一个很好的共识，之前有一个很好的语义符号，传递的过程中就会理解了，所以我们的理解几乎是理想化了，没有实现延时，传递的过程中就理解了，所以能够做到传支一体的低延迟概念。

我们自己也做了一些原理性的实验，就是用声波传递视频，大家知道声波只能控制3Ppb，可以传递很好的视频效果，第一个是原始图像，第二个是实验场景，第三个是传统的编解码，效果根本不行，第四个就是语义通讯做到的结果，所以从语义概念来讲这是非常接近的，效果也是非常不错的。

目前按照知识学习的角度来讲，可以用很少的数据量学习，最近我们也投了一些稿子，原来的只有1/10的数据量达到什么样的识别率，这也是我们比较欣喜的方面，放在工业上作为应用和协同，我们是正在做这项工作，这个时间还是比较短的，当然还有一些抓取方面的工作。

以上就是和各位汇报用语义的概念来做传支一体，希望将来能够对工业生产线的变革起到一点作用。