2020年3月31日星期二
学生和导师关系的逻辑
2020年3月30日星期一
瑞士如何成为”中立国“?
在聊之前,我想说一点,欧洲的每个国家都是富有历史的,他们的历史不像中国的一样,很集中,很概括。主要根源是他们没有被一个大的权利中心统治,即使有过,也并不是长期的。这背后,文化的差异是一个很大的推动力。其实回头看看,语言也是一个帮助我们理解过去历史的一个方法,如今印欧语系分化如此强烈,与民族,国家的分化和分裂是分不开的,而中国虽然有很多民族,但是趋向的还是集中,不论是语言还是思想。所以,理解欧洲文化对我们还是一个很大的困难。
2020年3月25日星期三
世界时区
这篇文章主要讲两个话题,世界时区的划分与日期变更线,以及夏令时冬令时调整。
2020年3月23日星期一
论中医
厨房调味用品功用总结
1.火候的控制
2.调料的用量与时机
3.技艺(刀技,翻炒技巧等)
其实说白了,除掉客观问题,锅的样式、食材的质量等,剩下的与人有关的我都暂时还没处理好,或者说不够熟练。炒菜是个经验性的技术,是个日积月累才能且一定能提高的能力。作为初学者,碰到坎也很正常,做的多了就好了。
说回到今天的主题,我是想了解并总结一下调料的功用。因为自己大部分时间都在照猫画虎,学习别人的经验,仿佛回到了初中的填鸭式教育,自己只是表面上学到了,实际上根本没有认识和理解。而调料的用法又是一门大学问,自己一直半知无解,所以写这个总结,方便以后参考。
2020年3月22日星期日
从股市熔断到股市前景
2020年3月19日星期四
语言及其变迁——语系
语系这个概念我觉得还是很好理解的,我也很喜欢“系”这个词,让我不知怎么地很清楚不同语系的差别到了什么程度。起个好名字还是关键的。生物的 界门纲目科属种 分类法,就让我没太有概念,比如这个“目”让我不太清楚分到了什么程度。不过毕竟太多了,也可以理解。
闲聊 疫情让我们看到文化差异
有时候,不同的文化带来的,不仅仅是不理解,更是冲突。比如前一阵子,国内封锁,大家虽然都被憋在家里,但是整体来讲还是很平和;然而纽约时报却以有敌意的角度看待封城等事情;此外,中国外交部也对美国限制来自中国大陆的入境进行了谴责。
2020年3月11日星期三
对偶及其原理
对偶性(Duality)
这个词我想大家都不陌生。如果我没记错的话,第一次遇见这个词是在小学语文课本中学的:天对地,雨对风,大陆对长空。这也被叫做对仗。但是今天要讲的对偶,不仅是一个数学概念,更可谓是哲学概念。之前的一篇文章:时域和频域就是它一个方面的反映。时域和频域更像是对对偶性的具体化,而对偶性只是一种思想。与对偶同时存在的一种思想叫做对称。之前写过的一篇文章镜像及其本质详细的解释了如何理解现实世界的不对称性以及不对称性的根源。对偶与对称在不同领域有不同的理解,在我看来,对偶是指在一个逻辑上的对称,而对称却是更加现实的。这种文字游戏我也得不到什么结论,我希望可以通过以下一些例子帮助大家得到结论。但是我需要说一句,这些例子都比较数学,只在最后上升到逻辑层面。
顺便提一句,duality这个词我是在金融数学的risk theory里面第一次见到,当时被我翻译为二元性,导致我一直没理解这个词。但是这个词本身被译作二元性确实是很合适的:比如一个函数f(x,y)可以看做fy(x), 也可以看做fx(y)就是二元性的表现,它和对偶在本意上是相通的,但是我私以为对偶这个词更能体现这种关系。
对偶空间
在一个n维的线性空间S中,我们可以找一个线性映射f:S→R. 由于是线性映射,我们由Riesz表示定理可以得到
f(x)=⟨yf,x⟩.
其中yf∈S是依赖f 的一个点。这里的内积定义是自然的,来自欧式空间。Riesz表示定理将线性空间S以及定义在其上的线性函数联系了起来,这个关联是一一的!因此我们能做如下操作:对于S中的一个基e1,e2,…,en, 我们可以找到fi∈L(S), 其中L(S)即为定义在S上的线性函数的collection, 使得fi(x)=⟨ei,x⟩ for all i=1,2,…,n. 现在,这个空间L(S)上任何的映射f都可以被表示为fi的线性组合。这一个点同样来自Riesz representation theorem, 应该是不言自明的。
现在我们发现,哦,原来L(S)也是一个线性空间,而且是n维的,它和S是同构的呀。现在我们称L(S)为S的对偶空间,称呼f1,f2,…,fn为L(S)的基,e1,e2,…,en为L(S)的对偶基。
作为对偶的记号,我们记L(S)=S∗. 其实很多时候,我们需要提高自己的认识视角,因此我们也常用⟨f,x⟩表示f(x),因为函数作用本身就是一个内积的结构,只不过这个内积现在看来并不是对称。现在我们尝试理解x对f的作用,也就是说x:L(S)→R such that x(f)=f(x) for any f∈L(S). 然后我们发现,哦,原来L(S)∗=S,也就是说我们的原空间S本就是L(S)的对偶空间呀。
这告诉我们S∗∗=S. 概括来说就是空间S是自反的(对偶两次得到自身)。这种自反性和对称的自反性类似:对称两次可以得到自己。注意,并不是所有空间都是自反的,但足够好的空间都具有自反性。
注意到,我们中间提到S≃L(S): 两者是同构的。这其实是不常见的,比如(lp)∗=lq, where 1/p+1/q=1, 中lp和lq就不是同构的. 但是(lp)∗∗=lp仍然是成立的(p不能是1或∞).
优化问题的对偶性
对优化问题不太熟悉的小伙伴可以参考我之前写过一篇LP的文章,这一节就建立在线性优化问题的基础之上。
对于LP:
maxc1x1+⋯+cnxn=cTx
subject to Ax≤b.
我们可以构造如下对偶问题:先在我们把原问题的限制变为优化的目标函数,原先的目标函数变为限制,我们得到
minb1y1+⋯+bnyn=bTy
subject to ATy≥c
仔细看,这两个优化问题除了符号相反,结构几乎一样。我们称其互为对偶优化问题,简称对偶问题。如果其中一个问题足够好(有可行解,也就是可行集非空;且有最优解,最优解不在无穷远处),那么通过强对偶定理我们可以得到:另一个问题自动也有最优解,且两个最优解重合。这其实是相当有趣的。
这背后的原理其实并不复杂,一言以蔽之,就是拉格朗日乘数法。有些人可能忘得差不多了,如果你不记得,可以回溯一下它的定义,我在这里简单回顾一下:
我们想优化目标函数f(x) over x∈X, under constraint g(x)=0. One may optimize f(x)+λg(x) over x∈X. 然后我们得到的优化问题的解总会包含原问题的解。本质上,我们想在g(x)=0这个可行集上找最优解,实际上在找f(x)=d这簇等高线的最高的点,但是仅仅在可行集上,我们是看不到等高线的;整体地想,f(x)=d 的等高线在最优解处(如果有)应该会平行(这个需要一点思考),所以,他们的梯度是平行的!唯一的差异在于模长不同,这里的λ就是处理这个模长不同的问题。既然梯度平行(平行是相互的),我们完全可以换过来思考,毕竟我们要找的是在可行集g(x)=0上两个等高线(g(x)=c与f(x)=d)平行的地方,如果我们知道这个点x∗处f(x∗)=d∗, 那么,我们完全可以这样做:optimize g(x) subject to f(x)=d∗. 如此我们仍然会达到同一个点x∗。
拉格朗日乘数法的思想还是很有价值的,这里“乘的数”其实就是两个gradients的倍数关系。它也告诉我们,优化的目标函数和限制其实没有本质区别,是可以相互替换的。
也许你了解,lasso就有很多等价形式,such as constrained version and unconstrained version. 但是这里的等价,其实挺vague的,我想三两句话说不清楚,感兴趣的话可以私聊我。之前写过的一篇Basis Pursuit就介绍过其中的思想,但不深刻,感兴趣也可以再浏览一遍。
回到线性优化问题,其实这一对对偶问题就完全可以通过拉格朗日乘数法联系起来,具体过程我就不详细写了,感兴趣的可以参看这篇文章详细了解。
此外,自反性在这里也是有的(如果问题有最优解的话)。一个LP的对偶的对偶还是它本身。(实际上这个说法不严谨,这就像空间的自反性一样,结构太差的空间就回不到自己了)
除此之外,minimax问题也由冯 诺依曼的minimax定理表明,极大化极小值和极小化极大值在一定条件下是等价的,这算是strongly duality的推广。我们得到结论:极小化极大值与极大化极小值两个问题是对偶的!如果你去了解这背后的博弈故事背景,你应该会觉得很有趣(你甚至会惊奇,为什么会有这样的结果)。我自己总结的一句话:完全信息博弈的最高境界就是minimax。
傅里叶变换的对偶性
针对傅里叶变化,我就不说太多了,毕竟在时域和频域聊了很多了。这个对偶性,有一点这样的味道:你中有我,我中有你。时域和频域不仅是两个观点,两个视角,更是一个事物的两个方面。如果你了解一些阴阳五行的理论(这里我要说一下,我是纯属学术好奇,我不懂国学、道学,但我感兴趣哲学,因此我了解了一些),阴阳两极就是事物对立统一的两个方面,他们相生相合(阴中有阳,阳中有阴,阴阳转化,物极必反),没有边界。我觉得傅里叶变换就好比阴和阳相生的渠道,这和粒子的波粒二象性也有很好的对应。(有机会我会写一篇相关的介绍,取其精华)
总结
对于对偶,我们还是体会到了一些味道。它有时可以是理解上的转化(空间的对偶、LP的对偶),可以是观点的彻底转化(傅里叶变换),或者是互补共生的两方面的同时存在带给我们的感受(波粒二象性、时域和频域)。这确实是难以言表的,但是我们还是总结出了它与对称的不同:对称的事物往往是相克的,它们更加偏向于其中一个的繁荣,另一个的衰败;而对偶则更包容,由于其中的任何一方都可以若隐若现,两者必须被加起来才能组成一个事物,任何一方的完全消失会导致另一方的彻底消失。
当然,这些理解也不够全面,不一定能应用到各个地方。如果你也有自己的看法,我非常期待能与你交流相关观点。今天本来还想聊共轭和对偶的关系,但现在看来我的理解还不够深刻,以后有了认识我会继续写下去。
Ref:
https://www.zhihu.com/question/38464481
https://zhuanlan.zhihu.com/p/36621652
https://zh.wikipedia.org/wiki/%E6%8B%89%E6%A0%BC%E6%9C%97%E6%97%A5%E4%B9%98%E6%95%B0
https://en.wikipedia.org/wiki/Duality_(optimization)
如何理解 喜剧的内核是悲剧
My first online class
其实我并不觉得很激动,因为这东西只不过是正式课程的替代品,换了一种形式。但是今天,为了纪念意义,也为了自己重新理解未来的教学,我写下这篇文章,分享讨论一下对它的看法。
2020年3月10日星期二
2020年3月6日星期五
中国当前男女比例
在聊具体的社会问题之前,我觉得更有必要从科学的眼光审视性别比。
从报税到美国的税收制度
在准备过程中,顺手了解了一下美国税收历史,我也因此发现了一个新的世界。税收在美国,有着悠久的历史,持续发展的条款,以及强大的政治影响。感兴趣它的历史的可以参考wiki的文章。
2020年3月3日星期二
时域和频域
时域和频域
前言
说到这个两个名词我想大家都不陌生,学习过《信号与系统》的朋友们更是难以忘怀。粗略地讲,时域与频域的概念贯穿了理解信号(建模),处理信号(变换及调整)以及输出信号(模拟等)的始终。也就是说这个从这个角度理解信号,信号就好像粒子一样,既有实体性(时域),又有波动性(频域)。之所以对这个感兴趣,也是因为其中的内在联系。
傅里叶变换
说到时域和频域,首当其冲的就是傅里叶变换。他作为本科都学过的基础内容,在微积分中就已经涉及了。我想原因不言自明:它作为一个重要的思想,无论理论方面还是应用方面都有相当深厚的背景。在数学上,它的出色贡献在于引入了卷积,引入了一种分解函数空间的方法,让我们可以用一个sequence完全地表示函数。通俗地讲,以往具有不可数个取值的函数(定义在R上 say)经过傅里叶变换,成为了一个可数的序列{an}n=−∞n=+∞. 而这其中我们没有丢失任何信息(当然,函数不能太差,可积性也要有,但这都不是重点)。这个思想就在于,我们用全局的角度去看函数,而非逐点观察;或者这样理解,我们把函数的一列特征提取出来,这些特征就足以描述这个函数。
傅里叶变换的思想确实经得起考验,或者这样说,它给我们提供了认识世界的另一种方法。即使你不了解傅里叶方法的相关结论(我也忘得差不多了)也无所谓,只要你学过矩阵,知道特征值分解,那么其实你也是在使用傅里叶变换的思想。只不过对于矩阵,这个变换是有限维的,因此也就简单多了。这里有篇博客详细解释了傅里叶变换
频域
傅里叶变换就是允许我们在时域和频域上切换的桥梁,但是,我必须提一点:频域,虽然这个词很容易理解(频率的分布),但事实上它的定义是不唯一的;任何一列基函数都都可以诱导出一个变换方法(比如Laplace transform),而每个变换方法也都是对应着一个频域。因此频域往往是人造的,是为了我们更好的描述世界而定义的,而从哲学上并不一定是它的本原。好在对于周期性的信号,频域是客观存在的,因此信号处理才能得以如此完备地发展(只是部分原因)。
总的来说,频域是人们为了理解世界而创造的产物,尤其在数学等自然科学方面。但是也有例外,比如量子领域,这个我会在后面详细讲讲。
时域
这个词看似上档次,实际上就是指我们看到的世界。一个时间序列,一组信号,一个矩阵,一个物体动量随时间组成的序列等等。或者可以是一组数据:在统计领域,不一定只有时间序列可以放到时域上理解,一个随机变量的多次实现(就是多次模拟得到的样本)就可以理解为时域上的结果,而频域(如果你找的好)就是产生这些样本的那个随机性,这个随机性也可以分解,分解为一系列正交独立的随机性序列,这样你就得到了这个样本在频域上的表示。
还有一个例子,就是图像(虽然也是矩阵)。图像因为在时域上有明显的结构(比如一张脸),让人们轻松理解,但实际上计算机并不擅长分析时域上的图像,相反的,它适合整体地理解和分析图像。经过傅里叶变换,图像的高低频区域显而易见。另一方面,卷积神经网络(CNN)之所以能够在CV领域夺得头筹,几乎完全归功于它利用卷积核更平均地理解和分析图像,这其实就是在频域上理解图像。这当然与运算是离不开的,但是你可以这样想,人有脑子,虽然转的不快,但是底蕴深厚,存了很多东西(即使想用的时候不一定能调出来),因此人类更适合在时域上理解图像;而计算机只有运算快这一个好处,发散思维完全没有,因此它更擅长频域分析。不过这个理解也不完全对,因为频域和时域在某些(没有直观理解的)领域已经分不开了。
时域和频域的分辨率
聊了这么多相关的知识,我觉得我们只是知道了这两个名词的定义,而没有真正理解他们的相关性与差异。在这一点,我一定要借鉴 波粒二象性的 给我们的启发。我想大家都知道,粒子具有波动性和粒子性(实际上德布罗意波的存在说明任何物质都有)。这个粒子的存在是这两个性质有机结合的结果(粒子性指位置,波动性指动量)。但是往往,人们观察到实物粒子还是依靠其粒子性。波动性会带来衍射等现象,但是不是单个粒子可以展现的。读到这里,你是不是发现时域、频域和粒子性、波动性对应上了?虽然没有一个很权威的观点,但是在我眼里这确实有背后的哲学含义的。
你可能有如下问题:
为什么频域是人造的,波动性确实客观存在且结构固定的?
真正的信号确实有频域的概念,把信号和粒子对等,进而得到频域与波动性的对等更加恰当、严谨。
为什么粒子两者都有,而信号只能观察到一个?
正如我前面提到的,粒子的波动性是要通过一定手段反映的,而这个手段往往需要利用相当多的粒子;而如果你有相当多的信号,你同样可以呈现出它的频域特点。(如果回答不够清晰,还望指正)
现在,我们假设两者真的可以类比。我想大家知道,对于波粒二象性,最为经典,也最为人熟知的就是海森堡不确定性原理(Uncertainty principle)。具体是说,如果你想同时测量位置(粒子性)和动量(波动性),你不可能同时完美的测出其真实值,具体来说:
ΔxΔp≥4πh,
其中Δx 和Δp 分别表示位置和动量的不确定性,h是Planck constant. 这说明,想要认识粒子,我们必须在位置和动量上balance. 起初的观点在于测量误差,位置的测量影响的了动量,反之亦然。但是经过物理学家们的不断理解,人们发现,不确定性是粒子的内秉属性,与使用什么技术测量无关。
我为什么说到这个呢?这一节的标题已经解释了:信号在时域和频域上同样有这样的不确定性原理!具体理论可以通过我之前的一篇笔记找到(section 3.1). (此文主要针对小波分析方法进行的时频分辨率分析,小波分析方法与傅里叶变换类似,不过在某些方面具有优点,但是都受不确定性原理的限制)
具体解释如下: 信号不可能同时在时域和频域具有任一小的分辨率。任何信号,即使频域有一点微小的差异,在积累足够长时间后,你总能在时域上明显的区分出这一差别。可以写作
reso(time)×reso(domain)≥constant,
其中reso表示分辨率。
而Fourier transform, short-time Fourier transform, Wavelet transform 就是分别在不同的域上有不同的特性。比如STFT就在时域上有固定的分辨率(因而在频域上的绝对精度不变),而小波变换能够实现对于高频信息仍然有足够的比较精度(决定精度要很高)。
其他例子
还有几个例子值得说一下。纯粹的噪声信号在时域和频域的分布都是无限的,也就是说,噪音带来的信息量是很大的,是没有规律可循的;想要记录噪音就必须一板一眼的详细记录下来。但是比较规则的信号往往要不在时域的支撑(取值非0的定义域)有界,要不在频域支撑有界。然而,却没有一个信号在两个表示下都有界。这其实也是不确定性原理的结果(否则,我们可以以无限精细的分辨率描述时域和频域)。我但就这个结果,大家是不惊讶的;毕竟信号为了停止(bounded support),频率在在最后总要变得很急促。从数学上证明我想也是不困难的。
此外,还有一点我要强调一下。这两个不确定性原理本质上只是一个,他们都是粒子(信号)的内在性质,是天然就有的,只不过在不同的领域有了不同的表达形式。这就好比熵这个观点在热力学和信息论中的有不同的来源,却殊途同归一样。
其实这个领域还有很多可以聊的,但是今天比较晚了,就先说这么多,下次有了新的认识再来分享一下~
Ref:
https://blog.csdn.net/ViatorSun/article/details/82387854
https://cloud.tencent.com/developer/article/1101624
http://blog.sciencenet.cn/blog-1666470-824249.html (推荐,这个人的博客详细揭示了不确定性原理,我觉得写得不错,就是多了点)
https://zhuanlan.zhihu.com/p/60638534
2020年3月2日星期一
歌唱乐理——音域
但是自己毕竟不是写歌的,我想这一点大家和我一样,只是想要唱歌,或者唱好。因此,我就专聊一聊外行唱歌的技巧,而这其中最重要的(如果大家五音都全的话)就是音域的选择,下面我来讲讲具体细节。
读孙杨庭审记录有感
-
理解矩阵的最大特征值 最近学了numerical analysis, 自我感觉对矩阵有了更深的理解。这主要依赖于对矩阵范数的新认识。特征值作为贯穿矩阵分析始终的一个概念,是至关重要的,但是在此之前,其实我一直没有很好的理解,尤其在于它与奇...
-
今天刚刚参观了位于曲阜市的孔庙和孔府,由于路程过远,孔林也就罢了。参观的经历并不怎么愉快,相反,甚至让我有点后悔为了所谓的5A级景区的名号跑来曲阜专程参观。