语义信息 G 理论用于范围控制——兼顾合目的性和效率

鲁晨光

摘要：深度学习学习最近进展提示我们：我们需要同时最大最小化两种不同信息。信息的最大最小 (IMM)方法不仅已经用于深度学习，也已经用于强化学习和最大熵控制。香农提出的信息率失真函数是最小化互信息和数据压缩的理论基础，但是不足以解决 IMM 问题。作者曾提出语义信息 G 理论（即 ShannonLu 理论）——包括语义信息 G 测度和信息率逼真函数 R(G)(R 是给定语义互信息 G 时的最小香农互信息（MMI）. R(G)函数参数解为提高信息效率 G/R 提供了一般方法。本文简要介绍了语义信息 G 测度和 R(G) 函数参数解，用两个例子示范该参数解可以帮助我们优化范围控制时兼顾最大化合目的性（即语义互信息）和最大化信息效率。语义信息 G 理论看来可以作为 IMM 的理论基础，但是还需要结合深度学习、强化学习做进一步研究。

关键词：最小互信息，最大熵控制，语义信息测度，信息率失真函数，香农理论推广

1 引言

深度学习最近的进展, 特别是自动编码器的成功【1,2】提示我们，我们在最大似然度或估计互信息【7,8】的同时，需要最小化香农互信息【3-6】。有人因此强调智能在于数据压缩【9,10】。信息理论的正则化【11】是一个典型的信息最大最小 (IMM)方法，它已经被用于深度学习【11】和强化学习【12】并取得很好效果。信息最大最小方法使用两种信息的差作为目标函数，然后用变分方法最小化该函数【11】。

IMM 和香农开创的信息率失真理论【13，14】以及 Jaynes 提出的最大熵方法【15】有关。除了最大熵控制，也有人提出最小熵【16,17】和最大最小熵【18】控制。这些方法都和 IMM 相关。

本文作者在 30 年前提出语义信息 G 测度【19,20】（G 的意思是香农信息论推广），并把信息率失真函数 R(D)推广为信息率逼真度函数 R(G) 【21，22】(G 是语义互信息下限)，还把 R(G)函数用于图像压缩(根据视觉分辨率)。该理论可谓语义信息 G 论或 Shannon-Lu 理论。最近十年，作者把 G 测度和 R(G)函数用于多标签分类、最大互信息分类，混合模型和贝叶斯确证【4,5,23】，还用 G 测度解释和推广最大熵方法【24】. 其中一个重要结论是：语义信道匹配香农信道能最大化语义互信息，香农信道匹配语义信道能最小化香农互信息或最大化信息效率 G/R。语义信息 G 理论（包括 R(G)函数）看来能成为支持 IMM 方法的基础理论。

本文考虑的范围是模糊的，可用(模糊)真值函数或隶属函数表示。因为真值函数等于 exp[-d(x,y)]（d(x,y)是失真函数）【22】，范围控制也包括误差控制。这样, 语义信息量可以用作奖励函数。

本文目的是：

1）说明语义信息 G 测度也能用来评价祈使句和控制结果的合目的性；

2）指出信息传递存在效率问题，就像物理学中做工存在效率问题一样，R(G)函数和相关的信道匹配算法可以用来提高语义通信效率；

3）希望信息的最大最小化方法和信息理论的正则化在理论上更加易于理解，在实践上更容易使用。

本文主要贡献是：

1）示范了如何把 R(G)函数用于以模糊范围为目标的最大熵控制；

2）通过 R(G)函数参数解，解决了在最大化合目的性和最大化信息效率之间的权衡问题。

本理论的应用价值还需要结合深度学习做进一步检验。

全文见：全文下载：http://survivor99.com/lcg/GT4Control.pdf

作者更多研究见：http://survivor99.com