公共管理与政策评论杂志投稿格式参考范文：公共管理中的复制实验: 评价指标与研究议程

　　一、前言

　　科学家将复制研究视为推动科学进步的核心手段。比如，华乐勤等人认为，在差异化的场景中开展复制研究有助于建立知识的外部效度，从而论证研究结果是否具备普世价值。吉尔克等人进一步将复制研究的意义概括为三方面：首先，复制研究有助于推广早期研究结果并论证其普遍性;其次，复制研究有助于减少统计中 “一类错误” 发生的概率;最后，复制研究推动了对不同 “场景” 的分析。尽管复制研究是一种重要的科学方法，但复制实验在公共管理学科中尚未得到充分发展，加强复制研究迫在眉睫。基于此，本文建立了复制实验的具体操作步骤和评价指标，并对已有复制实验进行系统性分类评价，期望为使用复制实验方法的科研人员提供操作指南，以加强公共管理学科中复制实验方法的规范性，共同推动行为公共管理学科的进步。

　　本研究的开展基于双重理论动机：(1) 公共管理学是一门设计科学，对公共管理研究的复制是检验理论假设和实证结果的重要方法，但迄今为止，公共管理学科对复制研究的关注和讨论还比较匮乏;(2) 国内外零星的复制研究尚未对经典实验的可复制性和复制实验的有效性制定标准和操作规范。基于此，我们量化了华乐勤等人提出的公共管理学科复制实验的理论，对公共管理学科中的现有复制实验进行了系统分类探讨，以期构建科学透明的复制实验程序和评价标准。本研究的文献数据收集和编码步骤如下：

　　第一，从科学网科研搜索引擎中识别目标文章，建立目标文献数据库。首先，分别使用 “replicat*” 和 “replication” 作为主题词搜索 “公共管理” 类别下的文章，识别出 161 项研究;其次，对 161 项研究进行文本评估，排除非实验的复制研究，最终排除了 145 项;随后在谷歌学术数据库中进行补充搜索，作为对科学网文献选择的稳健性检验，最终确定了 17 项英文复制实验研究，并形成本文目标文献数据库。

　　第二，借鉴华乐勤等人提出的 “七个决策点” 复制理论框架，开发了由 7 个主类别构成的量化编码簿：可复制性、内部效度、统计效力、情景选择、边界条件、建构效度，以及实证结果的比较。此外，根据实验研究的基本操作规范，补充三个类别以进一步检查复制实验的伦理与透明度，涵盖伦理审查、前导实验以及预注册，最终构建了 26 个子类别的评价指标。

　　作者中的两位对 17 项英文研究进行了双盲编码，基于编码结果，讨论了每篇复制实验中原始实验的可复制性，复制实验自身的有效性和稳健性，最后汇总并讨论了复制实验中的常见偏误和现有缺憾，明确提出了复制实验中的步骤和策略。

　　在接下来的章节中，将在第二部分介绍文献数据库的建立过程;在第三部分说明编码簿的开发与拟定过程;在第四部分逐条对比和评估 17 项复制实验;在第五部分总结现有复制实验的偏误;最后提出复制实验新议程。

　　二、建立文献数据库

　　在研究起步时，中文的公共管理学学界尚未出现复制实验的概念，因此本研究所涵盖的实证文献均来自英文数据库。鉴于科学网包含社会科学引文索引期刊的完整列表，结合前辈同仁综述类研究的数据搜索经验，以科学网为主要搜索引擎查找复制实验文献，将本研究文献数据库的搜索过程报告如图 1 所示。

　　首先，以关键字 “replica*” 来识别科学网中 “公共管理” 类别下的文章，共获得 59 篇英文研究;其次，以 “复制”(replication) 主题来搜索 “公共管理” 类别下的文章，共获得 102 篇英文研究。通过全文评估这两个集合，排除了 144 条记录，这其中包含复制研究的理论和评论论文，以及复制调查研究。此外，在谷歌学术搜索引擎中，以 “replica *” 和 “experiment” 为关键词在公开资源中进行补充搜索，识别了 80 项研究，在核查后，确定并未发现新的研究，该补充搜索结果可以作为科学网中搜索到文献的稳健性检查。其后于 2023 年 11 月，根据审稿人建议，对公共政策研究进行了一次补充搜索以后三位作者独立深读和检验，证明无所遗漏。基于上述步骤，最终将 17 篇英文文献纳入本项研究。

　　从表 1 可以明悉现有复制实验的三大特征：(1) 外国学者对复制实验更加关注，代表学者相对集中，中国学者实践较少;(2) 发表复制实验文章的期刊相对集中，以《公共管理评论》(PMR) 为代表期刊;(3) 复制实验考查的话题多基于公民与公共组织、公民与政府互动的经典理论和假说产生。

　　将 17 篇复制实验的发表时间分布绘制如图 2 所示，公共管理学科的复制实验最早出现在 2015 年，并随时间呈现波动趋势，发表数量在 2017 年达到顶峰，这是由于 PMR 期刊在 2017 年发起了一个有关复制实验的专刊 (第 19 卷第 9 期)，因此当年发表数量多达 6 篇，在 2018—2020 年，复制实验的数量波动在 1—2 篇，并在 2021 年增加为 4 篇。

　　将公共管理复制实验的发表趋势与公共管理实验的发表趋势进行对比，直观可见：复制实验起源较晚，排除专刊这一特殊数据来源，相关研究数量较为平缓，于 2019 年之后呈现逐步上升趋势;实验研究则在 1978—2011 年处于稳定状态，在 2011 年之后开始激增，年发表数量从 2 篇左右增长至 65 篇左右，实验研究在激增前经历了长达 30 余年的酝酿期，或能够为预测复制实验的发展趋势提供参考。

　　从复制实验的发表期刊来看，17 篇研究集中分布于 6 本期刊，其中 PMR 排名第一，发表论文数量为 10 篇，均来自复制实验专刊;《公共行政评论》(PAR) 排名第二，发表论文数量为 4 篇;《公共行政》(PA)、《国际公共管理期刊》(IPMJ)、《公共行政研究和理论期刊》(JPART) 与《公共绩效和管理评论》(PP&MR) 均发表 1 篇。

　　三、编码簿的开发

　　我们使用华乐勤等人发起的 “七个决策点” 理论框架来开发本研究的编码簿，选择 “七个决策点” 理论框架为分析基础的原因有二：其一，“七个决策点” 理论框架完整性较高，该框架包含复制研究的计划、实施和结果汇报全过程，能够为分析复制研究提供完整流程标准;其二，“七个决策点” 理论框架具有学科领域内的开创贡献，诚如华乐勤等学者在论文中提到的，“我们为复制过程提供了一个概览：将这些内容精粹为七个决策点，为在公共管理领域设计和开展复制研究提供一个最佳实践的行动集”，对最佳实践的总结能够为分辨复制研究的优劣提供标准。

　　华乐勤等学者在 2018 年提出的 “七个决策点” 理论框架回应了复制理论的欠缺，“七个决策点” 理论框架旨在对公共管理领域中的复制研究提出科学合法的理论，使之成为规范科学进程中的一部分，而本研究则对 “七个决策点” 理论框架进行概念化，制作规范化的编码簿，形成 “复制操作指南”。首先，一级编码分为八大类：(1) 可复制性;(2) 内部效度;(3) 统计效力;(4) 情景选择;(5) 边界条件;(6) 建构效度，以及 (7) 实证结果的比较;此外，根据实验研究的性质，添加了三个补充编码来进一步检查 (8) 实验复制的基本要素，包括是否进行伦理审批、前导试验和实验预注册，我们随后基于 8 个一级编码和 26 个二级编码评估了复制实验研究，其中有 8 个 a/b 双向指标：分别在原始研究 (a) 和复制研究 (b) 中讨论相同的问题，因为该问题是否在原始研究中得到披露或讨论将直接影响复制研究的科学性和有效性。

　　在正式编码前，两位作者多次讨论并确定了编码方案，这 17 篇文章由两位作者独立编码，在分别进行初次编码后，两套编码的一致性达到 86%，优于 75% 的一致性要求，在编码结束后，三位作者就不一致的编码进行了焦点讨论，并最终确定了编码结果。

　　四、对 17 项复制实验的评估与讨论

　　响应学界对追求 “足够好” 的复制研究的呼吁，我们采用基于 “七个决策点” 理论框架开发的编码簿，对 17 篇公共管理领域的复制实验进行逐一编码和评估。

　　(一)决策点 1：可复制性

　　华乐勤等人明确指出：复制实验的第一步是确定要复制的原始实验是否具备可复制性，如果原始研究的资料难以获得或来源不足，则可能无法开展复制研究，华乐勤等学者列出了开展复制研究所需的必要信息，包括：参与者招募、说明、测量、实验程序和数据分析方法，一般来说，有关原始材料的信息可从原始研究的作者处获得，如果有学者就研究资料的来源咨询原始研究的作者，原始研究的作者有必要考虑是否加盟复制实验，事实上，复制实验中是否包含原始研究的作者具有争议，一方面，复制研究中有原始团队成员可以带来好处：有助于获得有关原始研究的详细信息;另一方面，不包括原作者能确保复制中的发现是客观和公正的，教育学和心理学的复制研究结果显示：让原作者参与复制研究会增加与原始文章相似结果的可能性，简而言之，决策点 1 强调原始实验的资料不仅应该 “可得”，而且应该 “充足”。

　　基于决策点 1，我们构建了如下 6 组二级编码来测量复制实验的可行性：

　　1a. 原始研究的假设提出：在进行编码时，如果复制研究提到原始研究的理论假设或者研究问题时，编码为 1，否则为 0;

　　1b. 复制研究的假设提出：采用与 1a 相同的标准来识别复制研究是否明确提出了研究假设或者给出研究问题，若复制研究明确地说明了理论假设或者研究问题，编码为 1，否则为 0;

　　2. 实验方案：实验方案是说明实验的设置过程和实施程序，是生成实验结果的重要部分，如果复制研究详细描述了实验程序，编码为 1，否则为 0;

　　3a. 原始研究的研究材料：如果原始研究提供了问卷材料，编码为 1，否则为 0;

　　3b. 复制研究的研究材料：如果复制研究提供了问卷材料，编码为 1，否则为 0;

　　4. 数据描述：如果复制研究对自身收回的数据进行了描述性分析，编码为 1，否则为 0;

　　5a. 原始研究的数据方法：如果复制研究罗列了原始研究的数据模型，编码为 1，否则为 0;

　　5b. 复制研究的数据方法：如果复制研究罗列了自身的数据模型，编码为 1，否则为 0;

　　6a. 共同作者：如果复制研究与原始研究有相同作者，编码为 1，否则为 0;

　　6b. 共同作者数量：如果 6a 编码为 1，记录共同作者的具体数量。

　　17 项复制研究均包括以下四项信息：复制研究的假设、实验方案、数据描述和复制研究的统计方法，事实上，这些是定量研究所需的基本要素，此外，17 项研究均提到了原始研究的假设或研究问题，多数原始研究的问卷资料的可得性也在复制研究中被提及 (占比 70.59%)，与复制研究自身问卷资料的公开性 (占比 88.24%) 达到 4∶5 的相对比例，因此，基本可以判断绝大多数原始研究的问卷资料可以被复制研究者获取，实验资料的公开性和透明度表现良好。

　　不符合预期的是，原始研究的统计方法并不被复制人员关注：17 项研究中只有 58.82% 的复制研究讨论了原始研究的统计方法或模型，一般来说，统计方法对于任何实证研究都是非常重要的部分，而在许多复制实验中，这部分必要信息似乎没有得到应有的重视，另一个有趣的发现是，很少有人复制他 / 她自己过去的实验作品，在 17 项研究中，只有两项复制实验包含了原作作者，一篇含 1 位，另一篇含 3 位。

　　(二)决策点 2：内部效度

　　华乐勤等人明确指出：具有较高内部效度的原始实验才值得复制，即要求原始实验：研究假设应出自明确的理论观点，以及设置了与理论假设相匹配的测量和干预方法，因此，对原始实验的设计、程序和分析进行系统性评估非常重要，另外，在开展复制研究时，应采取措施提升实验的内部效度，才能生产出令人信服的复制结果，在报告复制研究的结果时，应将所有威胁内部效度的因素一并报告。

　　基于决策点 2，我们构建了两个二级编码来测量原始实验和复制实验的内部效度：

　　7a. 原始研究的内部效度：若复制研究提到了原始实验的内部效度，即同时包括 (1) 出自明确理论观点的研究假设以及 (2) 对于变量操纵与测量的适当性的讨论，则编码为 1，否则为 0;

　　7b. 复制研究的内部效度：若复制研究提到了其自身的内部效度，即同时包括 (1) 出自明确理论观点的研究假设以及 (2) 对于变量操纵与测量的适当性的讨论，则编码为 1，否则为 0。

　　略微过半的复制实验讨论了原始实验的内部有效性，但近半 (48.06%) 没有讨论这个问题，欣慰的是大多数复制研究 (88.24%) 讨论了自身的内部效度，然而原始实验的高内部效度从根本上决定了复制实验的质量，近半复制研究对原始实验内部效度的疏忽是不能忽视的复制实验缺陷，我们会在讨论部分展开论证内部效度的意义。

　　(三)决策点 3：统计效力

　　统计效力是开展复制实验需要考虑的重要因素，统计效力的定义是一个统计检验 (在统计显著性水平 α，由研究人员指定) 总体中存在的效应大小 (δ，也由研究人员指定) 的能力，低效说明结论并不显著，提高统计效力的方法有增加被试的数量，或将受试者优化分配至实验场景中，除此之外，其他提高统计效力的策略还有减少方差，对于复制研究而言，结果的差异性可以从原始研究的统计数据中估计得到，但这建立在对原始研究的结果进行效力分析的基础上，在设计复制研究时应密切关注原实验的统计效力，这是复制实验获得最大化收益的关键。

　　基于决策点 3，我们构建了三个二级编码来测量原始实验和复制实验的统计效力：

　　8a. 原始研究的样本量：记录了原始研究的样本量，编码为 1，否则为 0;

　　8b. 复制研究的样本量：记录了复制研究的样本量，编码为 1，否则为 0;

　　9. 效力分析 (Power Analysis)：如果复制研究通过统计效力分析计算出了样本量，编码为 1，否则为 0。

　　将决策点 3 的编码结果汇总至表 6 中，17 篇研究均讨论了复制研究的样本量，样本量分布在 178—4743，但从表 6 可以看出，17 篇作品中只有 35.29% 讨论了原始研究的样本量，另只有 3 篇 (17.65%) 进行了统计效力计算，这说明大部分复制实验在确定被试数量时，并未与原始研究进行对比，也并未遵循科学的统计效力原则，样本大小选择不应该是 “拍脑袋” 决策，而应该通过效力分析，科学优化实验设置和人力物力资源。

　　然而，效力分析也一直遭到质疑，关于效力大小的假设：功效计算通常需要对效应大小的估计，而在研究之前这是未知的，研究人员通常使用先前研究的效应大小进行的功效计算，但是如果效应大小被高估或低估，可能会产生误导;忽视不确定性：功效计算通常提供一个单一的数字 (所需的样本量)，但这忽视了效应大小估计中的固有不确定性，可能会给人一种错误的精确感;还可能发生 P 值篡改 (P-hacking) 和数据过渡挖掘：如果研究人员尝试进行多种分析或操纵数据以达到期望的功效或显著性水平，他们可以错误地膨胀 I 型错误率，尽管存在上述批评与质疑，效力分析仍是研究设计和理解实验结果的有用工具，应该被谨慎地使用。

　　(四)决策点 4：情景选择

　　华乐勤等人强调复制实验需要详细考虑实验的实施情景，近年来一些学者尝试在公共行政学中发展 “情景理论”，情景理论提出的动机源于研究人员发现研究结论在不同情景下模棱两可，结论的不一致说明研究 “情景” 在发生作用，学者们进一步发现：情境通过与自变量和因变量之间的相互作用而影响

　　变量之间的关系，从而在不同情景中重塑理论，在应用社会科学中，进行研究的 “情景” 被认为是理论发展的关键变量。

　　基于决策点 4，我们构建了 3 个选项来衡量原始实验和复制实验在选择 “情景” 方面的情况：

　　10a. 原始研究的情景选择：如果复制实验提到原始实验的实施情景，编码为 1，否则为 0;

　　10b. 复制研究的情景选择：如果复制实验给出了实验的实施情景，编码为 1，否则为 0;

　　11. 复制实验的情景选择论证：如果复制实验解释说明实验情景选择的合理性，编码为 1，否则为 0。

　　我们将决策点 4 的编码结果汇总至表 7 中，就情景选择来说，17 篇复制实验均汇报了原始实验和复制实验本身的实验情景(10a，10b)，但对于复制实验情景的选择理由，只有 8 篇加以说明论证，不到本文数据库一半(47.06%)，论证较好的文章有 Meier, Johnson 和 An 在 2019 年发表的研究，他们通过强调边界条件的重要性，明确提供了他们选择实验情景的三个原因，复制实验的情景论证与边界条件讨论密不可分，两者的讨论有助于发展公共行政学的情景理论，尤其当复制实验在不同的政策领域实施时，先前的实证结果可能不再成立，那么亟须复制实验者来论证原始实验结果的边界条件，并评估原始实验和复制实验在不同政策领域的普遍性与适用的边界条件，这将在决策点 5 中展开讨论。

　　(五)决策点 5：边界条件(boundary conditions)

　　在第五个决策点中，华乐勤等人要求研究人员在复制原始实验中明确说明实验的边界条件和实验的预期结果，复制实验的情景选择将影响边界条件，如果复制策略是在非常相似的情境中复制原始实验，其复制目的可能是为了进一步确认原始实验的结果或进一步完善原始实验对话的理论，但如果复制策略是选择不同的情景，则表明复制实验对原始实验进行了扩展，这些扩展将突破原始实验的固有界限以发展或调整理论，Busse、Kach 和 Wagner 在 2017 年提出了 “由内而外”(inside-out)和 “由外而内”(outside-in) 的复制方法来探索边界条件。

　　在由内而外的探索中，边界条件的不确定性较低，理论预测的准确性较高，由内而外的复制方法可能会由改变实验对象(populations)或实验测量(measures)到改变实验分析方法(analysis)来完成一场复制，比如 Grimmelikhuijsen 和 Porumbescu 在 2017 年对 Van Ryzin 在 2013 年研究的复制，相反，若采用由外向内的方法，边界条件具有高度不确定性，理论预测的准确性较低，基于差异性和不确定边界条件的复制旨在测试和开发适用于新情境的理论，在这种情况下，研究人员会假设原始实验的结果不会在复制实验中得到证实，请注意：这一假设并不等于 “复制失败”，因为这种复制方法的重点不再是 “重现”，而是 “开辟新天地”，由外向内的方法意味着复制实验 “没有遵循原始实验的计划，但带来了新的反馈、循环和迭代”，华乐勤等人强调：了解复制实验中的边界条件可以让我们在不同政策情景下设计可靠的行政管理解决方案。

　　基于决策点 5，我们构建了 4 个项目来衡量原始实验和复制实验中的边界条件的讨论情况：

　　12. 复制方法：复制实验采用的两种方法编码如下：0 = 由内而外的方式，1 = 由外而内的方式;

　　13. 四种复制类型：华乐勤等对 Tsang and Kwan 的六种复制类型学重新标记并重点关注后四种类型：直接复制、概念复制、实证复制、扩展复制;

　　14. 三种复制改变：根据 Tsang 和 Kwan 提出的分类，可以把复制过程中发生的变化分为以下三类：(1) 不同实验人群;(2) 不同测量方式;(3) 不同分析方法;

　　15. 外部效度：外部效度是指研究的结论是否可以推广到其他场景中，关于外部效度，华乐勤等人只讨论了其在复制实验中的重要性，未给出具体标准，我们根据其提到的相关研究，拟定以下三个维度对 17 个复制实验进行外部效度检验：(1) 被试是否能够代表真实世界中的研究群体? (2) 实验情景是否与真实世界的相关情景类似? (3) 实验干预是否与真实世界中的干预类似?需要注意的是：只有当以上三个问题同时在复制实验中得到清晰说明时，编码才为 1，否则编码为 0。

　　在 17 个复制实验中，无一个实验明确将自己归为以上两种方法之一，说明两种具体复制方法的差异均被忽略，这是由于这个二分类方法提出的概念较为超前，也使得二者均未在 17 项研究中被人使用。统计表明 4 种类型的复制都有被实践，其中：直接复制 4 次，概念复制 5 次，实证复制 6 次，扩展复制 7 次，在 17 篇研究中，仅有 2 篇文章采用直接复制路径，占比 11.76%，这似乎预示公共管理学者有一种倾向，即放弃直接复制，试图扩展原始研究的发现，追求扩展复制，这一趋势带来的潜在挑战是：当复制过度偏离原始实验的设计时，很难对比和解释复制实验与原始实验相关结果的异同。在本文选定的 17 个复制实验中，16 项复制改变了实验人群，仅有 2 项复制改变了新的测量方法，无复制实验改变复数分析方法。

　　结果显示，17 个复制研究均未同时对其实验外部效度的三个问题进行论证，在这些实验中，三个问题中的 (2) 和 (3) 或多或少有复制工作者在文章中加以阐述和说明，但 (1) 均被忽略论证，很多复制研究中的被试与真实世界中的研究对象几乎没有相似之处，无法建立实验对象和目标人群之间的联系，也未给出解释，很多实验中，被试在家里、工作场所或其他可以连接互联网的地方参与实验，被试被要求假装成其他人(比如官员)来做出决定或执行其他动作，在这样的虚拟背景下，实验干预是否能类比现实世界中的干预?存疑，综上所述，对实验外部效度的忽略表明公共管理的实验研究员需要加强对外部效度的重视。

　　(六)决策点 6：建构效度

　　第六个决策点涉及建构效度问题，这是最近在比较公共行政研究中常被讨论的问题，在跨文化研究中，偏差是由测量工具的系统差异引起的，比如，所使用的测量方法在跨文化差异下会发生变化，华乐勤等人提出建构效度在实验复制中非常关键，尤其是当复制研究将原始研究扩展到不同的人群时，研究人员必须确保被测量的概念建构在不同背景中的含义是一致的，并且它可以 “以相同的方式映射在测量指标上”。

　　这意味着，同一个受访者在不同的背景下，应该对同一个概念及其解释持有相同的观点，在概念复制和扩展复制中，研究人员可以就测量的适用性做出决定，并明确地将适合新研究背景的测量纳入他们的研究设计中，如果在复制研究中没有就建构效度做出讨论，该研究可能会受到建构偏差(潜概念在跨国情境下具有差异)、方法偏差(问卷研究过程和方法使用中可能出现的各类偏差)或问题偏差的影响(不同的人对相同调查问题的理解不同)，低建构效度会对复制研究过程造成阻碍，简而言之，在复制原始研究时，不能简单地复制或直接翻译原始问卷，因为在不同研究场景中可能存在文化差异。

　　基于决策点 6，我们构建了五个二级编码来测量原始研究和复制研究的建构效度：

　　16. 概念的建构效度：如果复制研究讨论了概念的建构效度，编码为 1，否则为 0;

　　17a. 原始研究中的概念测量：如果复制研究讨论了原始研究的概念测量工具，编码为 1，否则为 0;

　　17b. 复制研究中的概念测量：如果复制研究讨论了自身的概念测量工具，编码为 1，否则为 0;

　　18. 测量一致性检验：如果复制研究进行了测量一致性检验，编码为 1，否则为 0;

　　19. 实验操纵检测：如果原始研究对实验操纵是否成功进行了检测，编码为 1，否则为 0。

　　所有 17 项研究都报告了原始研究和复制研究中使用的测量工具，在 17 项复制研究中，仅有两项研究讨论了实验测量概念的建构效度，例如，Van Ryzin 的复制实验很好地解释了他们如何将管理和营销文献中的期望不一致模型(EDM)应用到公共管理研究中，然而绝大多数复制实验忽视了建构效度的问题，如果一个概念在不同研究场景中具有不同的含义，那么任何统计比较都存在风险，华乐勤等提供了一个例子：“公共服务动机” 的含义似乎因国家而异，在非民主政体和民主政体中具有截然不同的含义。

　　其次，8 项研究明确说明其进行了测量一致性检验，例如，Filtenborg、Gaardboe 和 Sigsgaard-Rasmussen 将测量工具与原始研究进行了比较：“我们使用 10 级里克特量表测量期望不一致模型中的关键变量，这与原始研究使用的 7 级里克特量表不同，已有研究表明，与 7 级里克特量表相比，10 级量表产生的相对均值略低”，他们强调，“这意味着在比较两个实验的系数大小时应该更加谨慎”，最后，仅有 6 项研究进行了实验操纵检测，建构效度的不足将在讨论环节进一步论述。

　　(七)决策点 7：实证结果比较

　　实证结果的呈现方式也是复制实验需要关注的重点问题，华乐勤等人建议用更客观的术语描述复制研究的结果，因为这更符合社会科学的理念，然而，很多研究倾向于使用 “复制成功”“复制失败” 等词汇描述复制实验与原始实验的关系，华乐勤等建议从复制研究的术语中删除有关成功和失败的词语，这样可以减少复制研究对原始研究作者的 “威胁”，从而增加开展复制研究的可能性。

　　基于决策点 7，我们构建了四个二级编码来测量复制研究的实证结果比较情况，由于复制研究均会汇报自身的实证结果，因此我们不对复制研究的实证结果进行编码：

　　20. 原始研究的实证结果：如果复制研究涉及原始研究的实证结果时，编码为 1，否则为 0;

　　21. 实证结果比较：如果复制研究将自身实证结果与原始研究进行了比较，编码为 1，否则为 0;

　　22. 补充数据分析：如果复制研究补充其他数据分析，编码为 1，否则为 0;

　　23. 稳健性检验(Robustness Check)：如果复制研究进行了稳健性检验，编码为 1，否则为 0。

　　17 项研究均汇报了原始研究和复制研究中的实证结果，以及实证结果的比较，有趣的是，与原始研究相比，17 篇研究中有 5 篇应用了在原始数据分析方法之外的新的分析方法或模型，比如：荟萃分析(metaanalysis)、理性的扩展分析、亚组分析、二手数据分析和变化自变量的测量分析，此外，4 篇复制实验进行了稳健性检验。

　　(八)实验基本信息

　　根据实验研究的伦理等基本操作准则，我们补充了对如下三方面信息的编码：

　　24. 伦理审批(ethical review)：如果复制实验从某机构分支或论文委员会获得了伦理许可，编码为 1，否则为 0;

　　25. 前导试验(pilot study)：如果复制实验开展了前导试验，编码为 1，否则为 0;

　　26. 实验预注册(preregistration)：如果复制实验进行了预注册，编码为 1，否则为 0。

　　在 17 个复制研究中，很少有包括上述三点信息的研究，具体而言，17 项研究中只有 1 项开展了伦理审查和预注册，6 篇在正式开始实验前开展了前导实验，这说明复制实验过于专注复制研究的特征，却忽视了一些实验研究倡导的伦理要求和操作规约。

　　五、讨论

　　华乐勤等人为公共管理学科中的实验法提供了一个完整的复制理论框架，该理论框架分为三个操作步骤，涵盖七个决策点，这个框架从理论维度指导实验人员判断一项实验研究是否可以复制，以及如何进行科学的复制，本文量化了该复制理论框架，开发了包含 8 个维度和 26 项指标的复制实验编码簿，以期对什么是 “足够好的复制实验” 提供实操规则和评价标准，本文首次应用该量化编码簿对公共管理学科 17 个现有复制实验进行系统回顾和逐项讨论，虽然现有复制实验数量较小，但依旧可以管中窥豹，以期为今后的复制实验设计和操作过程提供经验借鉴，在文献回顾中，我们发现 17 项复制实验对内部效度、外部效度和建构效度的建立与讨论相对欠缺，此外，已有研究在一定程度上忽略了实验复制研究作为实验法的一些基本方法和要求。

　　(一)建立内部效度、外部效度和建构效度

　　根据前文对 17 项复制实验的回顾和审查，我们发现 9 项复制研究讨论了原始实验的内部有效性(参见决策点 2);无复制实验全面讨论外部有效性(参见决策点 5);2 项复制实验明确表明该复制解决了建构效度的问题(参见决策点 6)。

　　内部效度是指因变量的变化主要由操纵自变量引发，而非其他原因导致，在实验复制中，内部效度在于检查实验设计、实验实施和数据分析是否无偏地回答了研究问题，本文认为，只有原始实验具有高内部效度，且复制实验提出明确的理论假设和适配的干预措施，才能称该复制为 “令人信服的复制” ，对于外部效度，在复制时应该牢记：一项实验的结论是否能得到推广?能否用其他情景、人群、环境和测量方法去检验?任何科学研究都意于产生关于现实世界的普世性知识。

　　因此，在进行复制研究时，甄选情景、情景合法性的论证和边界条件的诠释十分重要，对于复制有效性的第三个维度：建构效度，我们注意到建构效度在复制研究中被严重忽视了，复制实验有时会跨国家和跨文化进行，然而，理论假说中的概念在不同国家背景下衡量的是不是相同的事物呢?这是每个复制研究都亟须论证的问题，如果一个概念在不同的情景中具有不同的含义，那么任何统计结果都应受到质疑。

　　综上，实验效度的审查结果不乐观，可改进空间较大，这也许源于在某些指标上，本文的编码和评估比较苛刻，比如，对于外部效度，华乐勤等人并没有给出具体的标准，我们根据复制理论中已有的标准对外部效度开发出三个维度的编码，本文要求以上关于外部有效性的三个维度都同时得到解决时，才编码为 1，表示其复制研究关注了外部效度，缺一不可，这能为此项总积分为 0% 提供一定解释，需要说明的是，尽管我们在这次研究中的编码采取严格态度，我们仍对外部效度的其他评价标准持开放态度。

　　(二)复制的具体方法

　　在进行复制时，需要采取一些标准的方法以保证其稳健性，然而，根据评估，已有复制实验在以下三个维度表现不佳： 统计效力分析(17.65%)(参见决策点 3)、实验操纵检查(35.30%)(参见决策点 6)、 测量一致性检查(47.06%)(参见决策点 3)、是 “由内而外” 还是 “由外而内” 的复制方法(参见决策点 5)。

　　很少有复制实验使用效力分析来预测合理的样本量，标准的实验法要求使用效力分析来计算达到指定统计效力水平所需的样本数，所需效率水平通常为 0.80，但执行效率分析的研究人员可以指定更高的水平，例如 0.90，这意味着研究人员有 90% 的概率不会犯统计 II 类错误，为了正确解释研究结果，在科学研究中进行效力分析十分必要，然而，统计显示，仅有 17.65% 的复制实验进行了统计效力分析。

　　另外，实验研究的本质是实验者通过操纵过程或实验任务的某些方面，并随机将被试分配到不同组别接受操纵，以达成 “实验条件”，因此，实验操纵检查是实验设计需要进行的一项自我审查，并应在实验研究文本中汇报操作成功或失败的结果，然而，统计显示，仅有 35.30% 的复制实验进行了实验操纵检验，对于测量一致性检查，只有 47.06% 的复制研究明确表示进行了测量一致性检查，已有学者注意到，即使样本量存在微小差异，也会影响统计显著性，如果在复制研究中没有就建构效度做出讨论，该研究可能会受到建构偏差、方法偏差或问题偏差的影响，本文认为，在未来的跨国跨地区复制实验中，同仁应更多地关注测量的一致性检查。

　　值得一提的是决策点 5 中提及的 “由内而外” 和 “由外而内” 的二分类具体复制方法，可能因为这个二分类方法给出的概念较为超前，二者均未在 17 项研究中被人使用，这个二分法的设置是为了探索边界条件，在由内而外的复制中，边界条件清晰，会使得理论预测准确性较高，在由外而内的复制中，边界条件模糊，使得理论预测准确性较低，不管是否使用这个二分类标签，本文都建议复制研究工作者明晰复制边界理论，它将指导我们分辨复制实验得到结论是否能与原始实验结论相比较。

　　(三)伦理审查、前导实验和实验预注册

　　复制实验既是复制研究，也是实验研究，应该遵循实验方法的基本规范，根据实验方法的性质和基本要求，本文增加了三个项目以进一步检查复制实验的程序标准

　　统计数据显示，这三个问题被现有复制实验较大程度忽略，具体而言，17 项研究中只有 5.88%(1 项)申报了伦理审查并实施了预注册，37.5%(6 项)执行了前导实验。

　　复制实验是以人类为调查对象的研究，伦理审查可以为人类被试提供保护，因此伦理审查是必要的，也有助于保护研究人员，通过获得伦理批准，研究人员合规证明了他们遵守了公认的伦理标准。

　　前导实验亦不可省略，17 项研究中只有 6 项在收集完整数据之前进行了前导试验，前导实验对于实验研究非常重要，其有助于提前评估实验的设置，提前评估被试是否理解正在执行的实验任务，也有助于实验人员从小样本群体中获得实验评价，以在正式实验开始前改进实验设置的缺陷。

　　此外，对实验进行预注册是透明公开科学带来的新趋势，实验预注册是杜绝由数据结果反推理论框架这一做法的有效途径，它保证了实验的核心功能：作者应该在进入实地之前确定研究问题和实验设计，然而，在 17 篇文章中只有 1 篇研究进行了实验的预注册，这说明实验预注册还未引起重视。

　　以上讨论的焦点问题促使我们反思：科学家为什么要进行复制实验?复制实验的初衷并非进行简单的复制，而是在相同或不相同的情景下重新检验理论假说 —— 证明(或证伪)原始发现，我们认为，现有的复制研究还未达成复制的最佳实践，进行复制研究不仅是通过改变人群、改变测量方式和分析方法来检验原始研究结论，简单的变量变化只会使复制实验沦为重复，对学科知识的积累作用甚微，当然，如何有效复制，未来还有很多讨论空间，比如稳健性检验，实验研究人员有必要进行稳健性检验吗?理论上，学者认为实验已经控制了外部噪声，可以从实验设计中得出因果推论，实验研究似乎不需要像其他量化实证研究那样做多轮稳健性检验，而我们回顾已有研究时发现：一项复制实验进行了多轮稳健性检验;两项复制实验进行了单次稳健性检验，稳健性检验是否会成为实验方法中的新趋势?这在复制实验研究发展的现阶段还没有明确的答案。

　　本研究的不足也亟待后续研究的补充和扩展，第一，研究基于科学编码方法开展，限于篇幅，并未对 17 项复制研究进行单独案例综述型讨论，我们呼吁未来研究结合编码簿对 17 项复制研究进行深入综述分析，将量化编码与质性分析结合，以更多视角探讨复制研究中的问题;第二，现阶段复制实验案例的缺乏导致本研究存在变量数、观测数据量的缺陷，我们期待学界积累更多复制实验后，能采用本编码簿开展分析实践，对现有编码簿进行反向验证、修正和补充。

　　六、结论

　　将复制研究方法引入社会科学领域有助于推动相关学科数据公开、透明，增强学科严谨和科学性，比如，在政治科学领域，Frederick Solt 和胡悦等学者在 2016 年和 2017 年对两项有关经济不平等的研究进行复制后，发现原研究结论均未得到证实，这两项研究对推动政治科学领域的研究透明起到了重要作用，反观公管领域，在这一透明研究运动中仍处于相对后发的位置，规范和推动复制研究迫在眉睫，实验方法通过因果推论的方式积累和推进行为公共管理的学科发展，而复制实验则通过不断调整、修改甚至证伪前实验的结论来为学科的稳步前进保驾护航，基于此，本研究旨在促进复制实验的理论和实践在中国公共管理学界的发展，建立复制实验的科学方法论地位。

　　本研究的具体贡献如下：其一，本研究首次将华乐勤等人发起的复制实验理论框架量化为标准的复制实验编码簿，涵盖 8 个维度 26 项指标;其二，本研究首次回顾和评估了公共管理学科中已有复制实验，对 26 项指标进行逐一翔实讨论，为 “如何进行令人信服的实验复制” 提供过往的经验和翔实的操作指南。

　　2015—2022 年，在公共管理期刊上发表的复制实验只有 17 项，其中 6 项发表在 2017 年 PMR 发起的复制实验特刊上(第 19 卷第 9 期)，有限的复制实验期刊发表依旧让我们窥见一斑：国际学术圈中，外国学者对复制实验更加关注，代表学者相对集中，中国学者少有实践，再者，实验话题亦相对集中，多基于公民与组织、政府互动的经典理论假说，此外，我们注意到公共管理学界很少以中国为情景开展复制实验，事实上，由于不同的社会、文化和政治背景，中国为检验从西方社会发展起来的理论假说提供了难得的机会，在儒家文化和社会主义的政治背景下，公民的行为、偏好和认知等问题值得开展实验研究，或许公民与公共组织、公民与政府间的态度与互动话题下的理论假说，在中国情境下进行复制可以检验到新的因果关系，甚至建立新的理论话语，从而使得中国学者在国际行为公共管理学界开疆辟土，由此，我们呼吁在中国进行更多的复制实验，将西方的经典理论假说在中国背景下进行复制和检验，这样的复制，不是 “拿来主义”，而是科学的检验与革新，真正实践了外部有效性、情景选择合法性和建立边界条件的生动实操，通过在中国情景中开展复制研究，有助于明晰公共管理理论的 “语境” 边界，厘清公共管理在中西方文化背景下的差异化表现，如此共识下，复制实验走向比较复制实验，或将推进比较公共管理理论的进程，亦有助于发展公共管理的中观理论，并修正行为公共管理的西方实践。

董斌孜孜;王程伟;华乐勤,香港城市大学公共及国际事务学系;电子科技大学外国语学院;对外经济贸易大学政府管理学院,202406