导语我们在上期推送中提到，元分析初学者通常会遇到以下三个问题：
上期我们简单介绍了元分析方法所包含的七个步骤，本期将在此基础上集中回答“元分析的每个步骤可能会遇到什么问题？”。当然，从如何设置检索关键词到最终结果的报告方式，我们遇到的问题可能多种多样，但本期主要关注的是在每个步骤中需要考量的统计问题。为了方便大家阅读，我把在元分析步骤中需要关注的统计问题做成了思维导图（见图1），有需要的朋友可以对应导图去阅读感兴趣的部分。
图1 元分析中的统计考虑问题形成1.1 推断模型（固定效应模型vs随机效应模型）统计推断的中心主旨之一是将观察样本泛化为更大的总体。举个例子，你想知道一批苹果的平均甜度，但客观上讲，我们并不能把每个苹果都切碎了榨成汁，然后用甜度仪记录它们的糖分水平，这违背了我们研究的本来目的（更好的销售）。所以这时我们可以从这批苹果中抽取一小部分进行检验，从而推断这一批产品的平均甜度。而这种在一定置信程度下，对总体的特征做出估计和预测的方法就称为统计推断法。当然看到这里你会问我，为什么突然提到统计推断的概念呢？原因是类似于实证研究的统计推断过程，在元分析中，我们也是利用样本特征来推断总体，只不过在元分析中我们的样本是单个实证研究，而非基础研究中的单个被试。所以这时我们需要考虑的第一个问题是选择一个合适的统计模型，即在固定效应模型和随机效应模型中做出选择，以便促进更有效的统计推断。这时问题来了，“固定效应模型”和“随机效应模型”是什么呢？之前的公众号推送中已经讲解过这两个统计概念，我们今天来简单了解一下。在固定效应模型中，我们假设所有研究都拥有相同的真实效应量，观测效应量与真实效应量之间的差异是由抽样误差所导致。所以以图2为例，我们可以看到每个研究背后的真实效应（圆圈所在位置）都相同，而观测效应（正方形所在位置）由于每个研究不同的抽样误差而分布在各处。
图2 固定效应模型-真实效应和抽样误差注：正方形代表单个研究的观测效应，圆形代表单个研究的真实效应，下三角代表真实效应的合并值（资料来源：博伦斯坦等人, 2013, p.46）而随机效应模型则是假设每个研究背后的真实效应量是不同的(Borenstein et al., 2009)，如图3。举个例子，我们想要比较某种心理干预措施的疗效，但疗效的大小会随着很多因素变化，比如来访者的年龄，收入情况，教育水平等等。这时我们就无法假设每个研究背后的真实效应量（圆形所在位置）都是相同的。
图3 随机效应模型-研究间和研究内的方差注：正方形代表单个研究的观测效应，圆形代表单个研究的真实效应，下三角代表真实效应的合并值（资料来源：博伦斯坦等人, 2013, p.53）（笔者按：其实我觉得这里是非常能体现回归模型美妙之处的地方，只要很好地理解了这里，后面看起来好像很“艰深”的统计知识其实一通百通。但由于篇幅限制，这部分的内容我只是简单介绍，如果需要详细介绍的朋友请在推送下留言～如果朋友多的话我们可以再开一期，讲一讲统计中的回归模型）了解了这两种模型后，我们又该怎么针对自己的研究问题选择最合适的模型呢？书中提到了以下几个需要注意的点：1) 我们应当基于研究问题的概念特征来决定使用哪种分析模型，而不是通过异质性分析的结果来决定是否使用随机效应模型；2) 在大多数的情况下，如果需要评估干预措施的影响，或者研究之间背景的差异，应该选择随机效应模型。但如果需要合并的研究数量很少，对研究水平的方差估计较为粗略，则使用固定效应模型会更为合适。样本收集在问题形成步骤后，我们来到数据收集阶段。这个阶段主要关注两个统计问题，即样本的独立性和发表偏差问题。2.1 独立性无论是固定效应模型还是随机效应模型，二者都立足于效应量之间相互独立的前提假设之上，即假设每个样本都分别只提供一个效应量。但是在现实的元分析中，研究者们发现，基础研究所贡献的效应量之间存在相关性是非常常见的(Ahn, Ames, & Myers, 2012; Park & Beretvas, 2019; Tipton, Pustejovsky, & Ahmadi, 2019)。比如在某个研究中对同一被试测量了不同的结果时，效应量之间就会存在相关性。而在这时如果不能及时意识到这种相关性，并试图去解决它，就可能导致对效应量和其标准误的有偏估计。具体如何应对这种相关性，我们将在后续的“相关的效应量”章节进行更为细致地介绍。2.2 发表偏差问题发表偏差(publication bias)，又叫文件抽屉问题(“file-drawer” problem)，是指那些具有显著效应量的文献更容易被发表，反之，研究者一旦发现结果的效应量小且不显著，就会立即把这项研究都放进文件抽屉里（不发表）(Rothstein, Sutton, & Borenstein, 2005)。这一操作会导致元分析最终的合并效应量高于真实值(Kuppens, Laurent, Heyvaert, & Onghena, 2013)。虽然发表偏差问题使得元分析的结果准确性面临挑战，但目前研究者已经提出多种统计方法检测并矫正发表偏差问题，具体方法的介绍我们在后续的“发表偏差”章节将进行具体的讲解。数据分析数据分析的步骤，也是书中花最多篇幅讲解的部分。这部分我们主要需要考虑两个问题，分别是效应量之间的异质性以及大样本估计法。3.1 异质性当我们在元分析中讨论异质性时，通常所指的是不同研究报告的效应量之间的差异。在以相关系数作为效应量的元分析中，较小的异质性说明了变量之间的相关程度在不同研究中是具有一致性的。相反，较高的异质性说明在某些研究中我们关注的变量之间的相关系数可能远远大于其他研究的相关程度，这在一定程度上提醒我们需要进一步探索导致效应量之间存在差异的边界条件。从这个角度来说，异质性应当成为元分析区别于其他研究方法的一个关键优势(Higgins et al., 2009; Lau et al., 1998; Thompson, 1994)。因此，元分析研究者需要考虑选择什么样的指标去表征和解释异质性。需要注意的是， 异质性大小有时会受到选取的效应量指标的影响。换句话说，如果一组研究的效应量可以用多个指标表示，那么有可能使用某个指标时的异质性会更小（大）。比如有研究表明，使用优势比时的异质性会比使用风险差作为效应量指标时的异质性更小 (Engels et al. 2000)。3.2 大样本近似（Large Sample Approximation）在本书介绍的元分析方法中，几乎所有分析效应量的统计方法都基于大样本理论。大样本理论(large sample theory)也称渐近理论(asymptotic theory)，研究当样本量n趋于无穷大时统计量的性质。大样本理论在应用中需要考虑到一个核心问题，即“大样本”近似在不同样本量大小的情况下是否都能对统计量进行准确的估计。在元分析中，大样本理论主要用于获取效应量观测值的抽样分布，对效应量抽样分布估计的准确性，会进一步影响到元分析统计推断的准确性。当使用标准化的均值差异（standardized mean difference）作为效应量时，即使对于每组只有10个样本量的研究，应用大样本理论也能较为准确地估计其效应量（Hedges, 1981, 1982; Hedges & Olkin, 1985）。而在使用相关系数（correlation coefficient）作为效应量时，则需要至少几百个样本量，才能使用大样本理论得到对效应量的准确估计。而对相关系数进行Fisher’ z转换（Fisher z-transformed correlation）可以弥补这一点，即使单个研究的样本量只有20，也可以较为准确地估计效应量。因此，作者通常建议在元分析中使用Fisher’ z转换后的相关系数（Fisher’ z-transformed correlation）对效应量进行分析。在使用优势比（odds ratio）作为效应量时，对于样本量达到中等大小的研究（例如n>50），应用大样本理论就能对效应量进行较为准确的估计，但这里有一个前提是所涉及优势比的数值不接近零或一，如果比值接近零或一，可能需要更大的样本量以确保效应量估计的准确性。如果样本量很小，应使用“稀疏样本”方法（“sparse sample” methods），如Mantel Haenszel方法。总结在本期推送中，我们基于“在开展元分析的过程中需要考虑什么问题”为大家梳理了一个问题概要。我们还未介绍这些问题的具体解决方法，而是让刚刚涉猎元分析的研究者心中有个较为清晰的框架，即在每一个步骤中需要考虑什么样的统计问题，从而能得到更为准确的分析结果。所以在两期“搭框架式”的元分析知识推送后，我们将在后面的推送中里为这个框架“填补细节”，为大家介绍如何解决我们在元分析中遇到的种种问题。在下一期中，我们将从元分析的检索文献步骤开始，为大家介绍我们应该通过什么检索途径收集到尽可能多的与主题相关的文献。参考文献Ahn, S., Ames, A. J., & Myers, N. D. (2012). A Review of Meta-Analyses in Education: Methodological Strengths and Weaknesses.Review of Educational Research, 82(4), 436-476.Borenstein, M., Hedges, L. V., Higgins, J., & Rothstein, H. R. (2009). Fixed-effect versus random-effects models. Introduction to meta-analysis. John Wiley & Sons, Ltd.Engels, E. A., Schmid, C. H., Terrin, N., Olkin, I., & Lau, J. (2000). Heterogeneity and statistical significance in meta-analysis: an empirical study of 125 meta-analyses. Statistics in medicine, 19(13), 1707–1728.Hedges & Larry. (1981). “Distribution Theory for Glass’s Estimator of Effect Size and Related Estimators.” Journal of Educational Statistics, 6(2), 107-128.Higgins, J. P. T., Thompson, S. G., & Spiegelhalter, D. J. (2009). A Re-Evaluation of Random-Effects Meta-Analysis.Journal of the Royal Statistical Society, 172(1), 137-159.Kuppens, S., Laurent, L., Heyvaert, M., & Onghena, P. (2013). Associations between parental psychological control and relational aggression in children and adolescents: a multilevel and sequential meta-analysis. Developmental Psychology, 49(9), 1697-1712.Lau, J., Ioannidis, J. P., & Schmid, C. H. (1998). Summing up evidence: one answer is not always enough.Lancet, 351(9096), 123-127. Park, S., & Beretvas, S. N. (2019). Using total sample size weights in meta-analysis of log-odds ratios. Journal of Experimental Education, 87, 400-414.Thompson, S. G. (1994). Systematic review: why sources of heterogeneity in meta-analysis should be investigated.BMJ Clinical Research, 309(6965), 1351-1355.Tipton, E., Pustejovsky, J. E., & Ahmadi, H. (2019). Current practices in meta-regression in psychology, education, and medicine. Research Synthesis Methods, 10, 180-194.往期链接:系统性综述与元分析指南系列——先导篇作者：杜晓倩审校：金淑娴排版：张旭婵
重磅|20万字英文学术写作文库笔记正式发布（90元 后台发送支付截图+接收邮箱即可）
