真实世界有帧速率的概念吗?

真实世界有帧速率的概念吗?

这是一个相当好的问题。正如同之前回答的两个角度一样,这个问题应当有两个回答。帧率当然有其物理性(比如普朗克时间),但是也有认知性。亦或者说,我们认知系统的能力决定了我们看到的帧率。如果说人的认知的帧数,其实不应该从MT皮层说起,应该从整个视觉系统说起。视觉系统的处理能力,以及工作记忆的容量上限其实紧紧限制了我们的识别能力(Brady & Alvarez, 2015; Haberman & Whitney, 2012)。因此,视觉处理的帧数上限的确存在,而且还很稳定。

就如同牛顿在光学研究中的发现一样,色光其实被我们的眼睛(严格说是视网膜等)所决定。按照Hering的色彩拮抗理论,视锥细胞虽然对三种波长的光敏感,但是真正觉得颜色还是来自于神经节细胞的特性。

按照Marr不朽的那句名言:视觉过程就是信息处理过程(Marr, 1982)。我们在看大脑的帧数时候亦是应从信息处理角度来看。 当我们回顾整个视觉系统的时候,我们就会发现随着视觉处理过程,每一层皮层处理的信息的表征(representation)会发生变化:不同皮层信息的感受野不同(Barraclough & Perrett, 2011),而且信息的复杂程度上升。

就比如,初级视觉皮层应当处理比较低级的信息,类似于方向,空间频率等等(Hubel & Wiesel, 1962)。但是紧邻的V2皮层,所处理的信息已经大为不同,可以理解为对于初级视觉皮层的输出信息进行线性和非线性转置(Freeman et al., 2013)。理所当然,大家可以认为不同皮层有着处理上限。这就决定了我们所看到的“帧数”。

Mckeeff和同事(2007)就干了这样的事情,他们试图用功能性核磁共振(fMRI)探究视觉处理的频率上限。通过高速呈现面孔和房子,他们重点关注了枕叶和颞叶的几处区域,的确发现了每个区域的上限。我们可以这么说,PPA(环海马位置区)在处理房子方面有着约每秒9张图像的上限。因此,哪怕世界再多姿多彩,其实我们的眼中他们并非连续,而是离散的。当然,的确有研究表示在告诉呈现的信息中,我们能捕捉其中几张,但是这并不是说明我们能稳定的识别极其高帧数的信息。其实要逐帧处理是不可能的,我们只能稳定处理有限的信息。我们大脑的算法,适应后效等等算法会让我们认为世界还是连续的。

不过,我们日常生活中的信息往往是超出上限的;按照计算机角度看,我们的帧数应该不稳定吧!其实没事,我们的帧数是稳定的。我们的大脑会进行统计加工,把超出的部分进行平均压缩(Alvarez, 2011; Whitney & Leib, 2018; Ying & Xu, 2017)。因此,我们眼中世界的帧率,会被大脑的算法进行稳定。

参考文献

Alvarez, G. A. (2011). Representing multiple objects as an ensemble enhances visual cognition. Trends in cognitive sciences, 15(3), 122-131.

Barraclough, N. E., & Perrett, D. I. (2011). From single cells to social perception. Philosophical Transactions of the Royal Society B: Biological Sciences, 366(1571), 1739-1752.

Brady, T. F., & Alvarez, G. A. (2015). No evidence for a fixed object limit in working memory: Spatial ensemble representations inflate estimates of working memory capacity for complex objects. Journal of Experimental Psychology: Learning, Memory, and Cognition, 41(3), 921.

Freeman, J., Ziemba, C. M., Heeger, D. J., Simoncelli, E. P., & Movshon, J. A. (2013). A functional and perceptual signature of the second visual area in primates. Nature neuroscience, 16(7), 974.

Hubel, D. H., & Wiesel, T. N. (1962). Receptive fields, binocular interaction and functional architecture in the cat's visual cortex. The Journal of physiology, 160(1), 106-154.

Marr, D. (1982). Vision: A computational investigation into the human representation and processing of visual information. San Francisco: W.H. Freeman.

McKeeff, T. J., Remus, D. A., & Tong, F. (2007). Temporal limitations in object processing across the human ventral visual pathway. Journal of Neurophysiology, 98(1), 382-393. doi:10.1152/jn.00568.2006.

Whitney, D., & Leib, A. Y. (2018). Ensemble perception. Annual review of psychology, 69.

Ying, H., & Xu, H. (2017). Adaptation reveals that facial expression averaging occurs during rapid serial presentation. Journal of vision, 17(1), 15-15.