时域和频域

前言

说到这个两个名词我想大家都不陌生，学习过《信号与系统》的朋友们更是难以忘怀。粗略地讲，时域与频域的概念贯穿了理解信号（建模），处理信号（变换及调整）以及输出信号（模拟等）的始终。也就是说这个从这个角度理解信号，信号就好像粒子一样，既有实体性（时域），又有波动性（频域）。之所以对这个感兴趣，也是因为其中的内在联系。

傅里叶变换

说到时域和频域，首当其冲的就是傅里叶变换。他作为本科都学过的基础内容，在微积分中就已经涉及了。我想原因不言自明：它作为一个重要的思想，无论理论方面还是应用方面都有相当深厚的背景。在数学上，它的出色贡献在于引入了卷积，引入了一种分解函数空间的方法，让我们可以用一个sequence完全地表示函数。通俗地讲，以往具有不可数个取值的函数（定义在$\mathbb R$上 say）经过傅里叶变换，成为了一个可数的序列$\{a_n\}_{n=-\infty}^{n= +\infty}$. 而这其中我们没有丢失任何信息（当然，函数不能太差，可积性也要有，但这都不是重点）。这个思想就在于，我们用全局的角度去看函数，而非逐点观察；或者这样理解，我们把函数的一列特征提取出来，这些特征就足以描述这个函数。

傅里叶变换的思想确实经得起考验，或者这样说，它给我们提供了认识世界的另一种方法。即使你不了解傅里叶方法的相关结论（我也忘得差不多了）也无所谓，只要你学过矩阵，知道特征值分解，那么其实你也是在使用傅里叶变换的思想。只不过对于矩阵，这个变换是有限维的，因此也就简单多了。这里有篇博客详细解释了傅里叶变换

频域

傅里叶变换就是允许我们在时域和频域上切换的桥梁，但是，我必须提一点：频域，虽然这个词很容易理解（频率的分布），但事实上它的定义是不唯一的；任何一列基函数都都可以诱导出一个变换方法（比如Laplace transform），而每个变换方法也都是对应着一个频域。因此频域往往是人造的，是为了我们更好的描述世界而定义的，而从哲学上并不一定是它的本原。好在对于周期性的信号，频域是客观存在的，因此信号处理才能得以如此完备地发展（只是部分原因）。

总的来说，频域是人们为了理解世界而创造的产物，尤其在数学等自然科学方面。但是也有例外，比如量子领域，这个我会在后面详细讲讲。

时域

这个词看似上档次，实际上就是指我们看到的世界。一个时间序列，一组信号，一个矩阵，一个物体动量随时间组成的序列等等。或者可以是一组数据：在统计领域，不一定只有时间序列可以放到时域上理解，一个随机变量的多次实现（就是多次模拟得到的样本）就可以理解为时域上的结果，而频域（如果你找的好）就是产生这些样本的那个随机性，这个随机性也可以分解，分解为一系列正交独立的随机性序列，这样你就得到了这个样本在频域上的表示。

还有一个例子，就是图像（虽然也是矩阵）。图像因为在时域上有明显的结构（比如一张脸），让人们轻松理解，但实际上计算机并不擅长分析时域上的图像，相反的，它适合整体地理解和分析图像。经过傅里叶变换，图像的高低频区域显而易见。另一方面，卷积神经网络（CNN）之所以能够在CV领域夺得头筹，几乎完全归功于它利用卷积核更平均地理解和分析图像，这其实就是在频域上理解图像。这当然与运算是离不开的，但是你可以这样想，人有脑子，虽然转的不快，但是底蕴深厚，存了很多东西（即使想用的时候不一定能调出来），因此人类更适合在时域上理解图像；而计算机只有运算快这一个好处，发散思维完全没有，因此它更擅长频域分析。不过这个理解也不完全对，因为频域和时域在某些（没有直观理解的）领域已经分不开了。

时域和频域的分辨率

聊了这么多相关的知识，我觉得我们只是知道了这两个名词的定义，而没有真正理解他们的相关性与差异。在这一点，我一定要借鉴 波粒二象性的 给我们的启发。我想大家都知道，粒子具有波动性和粒子性（实际上德布罗意波的存在说明任何物质都有）。这个粒子的存在是这两个性质有机结合的结果（粒子性指位置，波动性指动量）。但是往往，人们观察到实物粒子还是依靠其粒子性。波动性会带来衍射等现象，但是不是单个粒子可以展现的。读到这里，你是不是发现时域、频域和粒子性、波动性对应上了？虽然没有一个很权威的观点，但是在我眼里这确实有背后的哲学含义的。
你可能有如下问题：
为什么频域是人造的，波动性确实客观存在且结构固定的？
真正的信号确实有频域的概念，把信号和粒子对等，进而得到频域与波动性的对等更加恰当、严谨。
为什么粒子两者都有，而信号只能观察到一个？
正如我前面提到的，粒子的波动性是要通过一定手段反映的，而这个手段往往需要利用相当多的粒子；而如果你有相当多的信号，你同样可以呈现出它的频域特点。（如果回答不够清晰，还望指正）

现在，我们假设两者真的可以类比。我想大家知道，对于波粒二象性，最为经典，也最为人熟知的就是海森堡不确定性原理（Uncertainty principle）。具体是说，如果你想同时测量位置（粒子性）和动量（波动性），你不可能同时完美的测出其真实值，具体来说：
$\Delta x \Delta p \geq \frac{h}{4\pi},$
其中$\Delta x$ 和$\Delta p$ 分别表示位置和动量的不确定性，$h$是Planck constant. 这说明，想要认识粒子，我们必须在位置和动量上balance. 起初的观点在于测量误差，位置的测量影响的了动量，反之亦然。但是经过物理学家们的不断理解，人们发现，不确定性是粒子的内秉属性，与使用什么技术测量无关。

我为什么说到这个呢？这一节的标题已经解释了：信号在时域和频域上同样有这样的不确定性原理！具体理论可以通过我之前的一篇笔记找到（section 3.1）. （此文主要针对小波分析方法进行的时频分辨率分析，小波分析方法与傅里叶变换类似，不过在某些方面具有优点，但是都受不确定性原理的限制）

具体解释如下： 信号不可能同时在时域和频域具有任一小的分辨率。任何信号，即使频域有一点微小的差异，在积累足够长时间后，你总能在时域上明显的区分出这一差别。可以写作
$reso(time) \times reso(domain) \geq constant,$
其中reso表示分辨率。

而Fourier transform, short-time Fourier transform, Wavelet transform 就是分别在不同的域上有不同的特性。比如STFT就在时域上有固定的分辨率（因而在频域上的绝对精度不变），而小波变换能够实现对于高频信息仍然有足够的比较精度（决定精度要很高）。

其他例子

还有几个例子值得说一下。纯粹的噪声信号在时域和频域的分布都是无限的，也就是说，噪音带来的信息量是很大的，是没有规律可循的；想要记录噪音就必须一板一眼的详细记录下来。但是比较规则的信号往往要不在时域的支撑（取值非0的定义域）有界，要不在频域支撑有界。然而，却没有一个信号在两个表示下都有界。这其实也是不确定性原理的结果（否则，我们可以以无限精细的分辨率描述时域和频域）。我但就这个结果，大家是不惊讶的；毕竟信号为了停止（bounded support），频率在在最后总要变得很急促。从数学上证明我想也是不困难的。

此外，还有一点我要强调一下。这两个不确定性原理本质上只是一个，他们都是粒子（信号）的内在性质，是天然就有的，只不过在不同的领域有了不同的表达形式。这就好比熵这个观点在热力学和信息论中的有不同的来源，却殊途同归一样。

其实这个领域还有很多可以聊的，但是今天比较晚了，就先说这么多，下次有了新的认识再来分享一下~

Ref:
https://blog.csdn.net/ViatorSun/article/details/82387854
https://cloud.tencent.com/developer/article/1101624
http://blog.sciencenet.cn/blog-1666470-824249.html （推荐，这个人的博客详细揭示了不确定性原理，我觉得写得不错，就是多了点）
https://zhuanlan.zhihu.com/p/60638534