Ignoring non‐English‐language studies may bias ecological meta‐analyses

摘要

en Meta‐analysis plays a crucial role in syntheses of quantitative evidence in ecology and biodiversity conservation. The reliability of estimates in meta‐analyses strongly depends on unbiased sampling of primary studies. Although earlier studies have explored potential biases in ecological meta‐analyses, biases in reported statistical results and associated study characteristics published in different languages have never been tested in environmental sciences. We address this knowledge gap by systematically searching published meta‐analyses and comparing effect‐size estimates between English‐ and Japanese‐language studies included in existing meta‐analyses. Of the 40 published ecological meta‐analysis articles authored by those affiliated to Japanese institutions, we find that three meta‐analysis articles searched for studies in the two languages and involved sufficient numbers of English‐ and Japanese‐language studies, resulting in four eligible meta‐analyses (i.e., four meta‐analyses conducted in the three meta‐analysis articles). In two of the four, effect sizes differ significantly between the English‐ and Japanese‐language studies included in the meta‐analyses, causing considerable changes in overall mean effect sizes and even their direction when Japanese‐language studies are excluded. The observed differences in effect sizes are likely attributable to systematic differences in reported statistical results and associated study characteristics, particularly taxa and ecosystems, between English‐ and Japanese‐language studies. Despite being based on a small sample size, our findings suggest that ignoring non‐English‐language studies may bias outcomes of ecological meta‐analyses, due to systematic differences in study characteristics and effect‐size estimates between English‐ and non‐English languages. We provide a list of actions that meta‐analysts could take in the future to reduce the risk of language bias. 摘要zh 元分析在生态学和生物多样性保护定量证据的合成中起着至关重要的作用。元分析中估计的可靠性在很大程度上取决于对初级研究的公正抽样。虽然早期的研究已经探索了生态元分析的潜在偏差，但以不同语言发表的报告的统计结果和相关研究特征的偏差从未在环境科学中测试过。我们通过系统地搜索已发布的元分析，并比较现有元分析中包含的英语和日语研究之间的效应量估计值，来解决这种知识差距。在由日本研究机构下属机构撰写的40篇已发表的生态元分析文章中，我们发现有三篇元分析文章搜索了这两种语言的研究，涉及足够数量的英语和日语研究，产生了4个合资格的元分析（即三篇元分析文章中进行的四个元分析）。在这四个元分析的两个中，元分析中所包含的英语和日语研究之间的效应量差别很大，在排除日语研究时，导致总体平均效应量甚至其走向发生显著变化。观察到的效应量差异可能归因于英语和日语研究之间报告的统计结果以及相关研究特征，特别是分类和生态系统的系统性差异。尽管基于较小的样本量，我们的发现表明，由于英语和非英语语言之间在研究特征和效应量估计方面存在着系统性差异，因而忽视非英语研究可能会使生态元分析的结果有偏差。我们提供了一份元分析人员将来可能采取的一些行动的列表，以降低语言偏差的风险。 Résuméfr La méta‐analyse joue un r?le essentiel dans les synthèses de preuves quantitatives en écologie et en conservation de la biodiversité. La fiabilité des estimations dans les méta‐analyses dépend fortement d’un échantillonnage non biaisé des études primaires. Bien que des études antérieures aient examiné les biais potentiels dans les méta‐analyses écologiques, les biais n’ont jamais été mis à l’épreuve dans les sciences de l’environnement lors de publications dans différentes langues de résultats statistiques enregistrés et de caractéristiques des études associées. Nous abordons cette lacune dans les connaissances en recherchant de manière systématique des méta‐analyses publiées et en comparant les estimations d’ampleur de l’effet entre des études en anglais et en japonais figurant dans les méta‐analyses existantes. Sur 40?articles publiés de méta‐analyse écologique dont les auteurs sont affiliés à des institutions japonaises, nous trouvons que trois articles de méta‐analyse ont recherché des études dans les deux langues et ont mis en jeu des nombres suffisants d’études en anglais et en japonais, avec pour résultat quatre méta‐analyses admissibles (c.‐à‐d. quatre méta‐analyses effectuées dans les trois articles de méta‐analyse). Dans deux de ces quatre cas, les ampleurs de l’effet diffèrent de fa?on significative entre les études en japonais et en anglais comprises dans les méta‐analyses, ce qui provoque des changements considérables dans les ampleurs moyennes globales de l’effet et même dans leur direction lorsque les études en japonais sont exclues. On peut probablement attribuer les différences observées dans les ampleurs de l’effet entre les études en japonais et en anglais, en particulier en ce qui concerne les taxons et les écosystèmes, aux différences systématiques dans les résultats statistiques enregistrés, de même que dans les caractéristiques des études associées. Bien que basés sur un échantillon de petite taille, nos résultats suggèrent que le fait d’ignorer les études non anglophones peut biaiser les résultats de méta‐analyses écologiques en raison des différences systématiques dans les caractéristiques d’étude et les estimations d’ampleur de l’effet entre langue anglaise et langues non anglophones. Nous proposons une liste de mesures qui pourraient être adoptées à l’avenir dans les méta‐analyses pour réduire le risque de biais linguistique. 要旨ja メタ分析は、生態学や生物多様性保全における定量的エビデンスの統合において重要な役割を果たしている。メタ分析における推定値の信頼性は、偏りのない一次研究の収集に大きく依存する。生態学におけるメタ分析で生じる様々なバイアスの可能性はこ