本文介绍了 共轭函数 ,包括定义和 Fenchel’s inequality 、共轭函数、可微函数的共轭、仿射变换的缩放与复合、相互独立的函数的和等性质。此外,文中包含了常见函数(线性、log等)的共轭函数,方便查询使用。
定义
设一函数f:R^n\rightarrow R,那么它的共轭函数f^*:R^n\rightarrow R定义为:f^*(y)=\mathop{sup}\limits_{x\in \mathbf{dom}f}(y^Tx-f(x))f^*的定义域为使y^Tx-f(x)有界的所有y\in R^n。下面列举几个常见函数与他们的共轭函数。
原函数f(x) | 共轭函数f^*(x) |
f(x)=ax+b | f(x)=b,x\in\{a\} |
f(x)=-\mathrm{log}x | f^*(y)=-log(-y)-1 |
f(x)=e^x | f^*(y)=ylogy-y |
f(x)=x\mathrm{log}x | f^*(x)=e^{y-1} |
f(x)=1/x | f^*(y)=-2(-y)^{1/2} |
基本性质
Fenchel’s inequality
从共轭函数的定义式可以得到不等式f(x)+f^*(y)\geqslant x^Ty该式被称为Fenchel’s inequality(当f可微时被称为Young’s inequality)
共轭函数的共轭
如果函数f是凸的闭函数,那么函数f的共轭函数的共轭仍是函数f,即f^{**}=f
可微函数的共轭
可微函数f的共轭被成为函数f的Legendre变换。为了将可微函数的共轭与一般形式的共轭区分开,称其为Fenchel共轭。
如果函数f是可微的凸函数,那么y^Tx-f(x)的最大值点x^*满足y=\nabla f(x^*)。反过来,如果y=\nabla f(x^*),那么x^*为y^Tx-f(x)的最大值点。因此,如果y=\nabla f(x^*),那么f^*(y)=x^{*T}\nabla f(x^*)-f(x^*)这样,我们就可以解该式来替代解微分方程y=\nabla f(x)。
仿射变换的缩放与复合
设函数g(x)=af(x)+b,其中a>0,b\in R,那么它的共轭函数g^*(y)=af^*(y/a)-b
设非奇异矩阵A\in R^{n\times n},b\in R^n,那么函数g(x)=f(Ax+b)的共轭函数为g^*(y)=f^*(A^{-T}y)-b^TA^{-T}y,\mathrm{dom}g^*=A^T\mathrm{dom}f^*
相互独立的函数的和
设f(u,v)=f_1(u)+f_2(v),其中f_1,f_2是相互独立的凸函数,那么它的共轭函数为f^*(w,z)=f^*_1(w)+f^*_2(z)换句话说,几个相互独立的凸函数的和的共轭,为这些函数共轭的和。