摘 要：数据驱动的教育研究范式转型使得质性研究与量化研究间的鸿沟日益加深。作为一种融合定性与定量分析的新兴教育研究方法，量化民族志有助于构建两种研究范式间的桥梁，从而更好地探究教育境脉中数据背后的深层含义。该方法的提出缘于对体现专长的认知框架进行建模的需要，融合了民族志、会话分析、统计学、数据挖掘等方法和技术，通过分析真实场域中学习者的言行举止实现对其认知框架的深描。其实质是构建由理论层面的意义和实证层面的数据所构成的实证研究闭环，以消解质性研究偏于主观、量化研究偏于表面的不足，并建立起两种研究话语间的联系。量化民族志注重构建“境脉中的理论”和实现“理论饱和”，并提供了半自动编码软件nCoder和认知网络分析两种研究工具，以确保建模结果的可靠性和可解释性。该方法主要被用于学科教学和跨学科学习中的高阶能力评估，其应用场景呈现出多学科交叉和多模态数据整合的势态，其方法论体系也日趋完善。
关键词：量化民族志；教育研究方法；专长；认知框架；认知网络分析
一、引言
在数字化时代，质性研究和量化研究、人文和科学、意义和数字的固有区分方式往往会限制我们所能提出的问题，甚至有时会导致我们接受浮于表面的答案（Shaffer，2017）。量化民族志（Quantitative Ethnography）作为一种融合定性与定量分析的新兴教育研究方法，有助于研究者突破固有区分的藩篱，从而构建起跨越质性研究和量化研究鸿沟的桥梁。该研究方法由美国威斯康星大学麦迪逊分校戴维·谢弗（David Shaffer）教授提出，虽然国内研究者对其相对陌生，但由该方法所衍生出的学习分析工具“认知网络分析”（Epistemic Network Analysis，ENA）已被越来越多的教育研究者熟悉和使用。然而，若仅掌握认知网络分析技术而对其内在的量化民族志方法论思想不甚了解，就会导致在研究过程中知其然而不知其所以然。更为重要的是，大数据时代的到来引发了数据驱动的研究范式转型，这使得数据分析和数据理解能力对于教育研究者而言变得尤为重要。而量化民族志作为一种同时强调海量数据和扎根式研究的方法，其同样适用于诠释认知网络分析以外的其他大数据分析技术。量化民族志这一名称中的“民族志”体现了该方法的研究对象是文化本身，对教育领域而言则是强调以社会文化视角来研究学习。文化是在将数据变为信息的过程中被赋予含义的，因此在将大数据转变成深度理解的过程中，“量化”是为了能从浩如烟海的数据中挖掘出隐含的模式，而“民族志”才是确保大数据分析有意义的关键。为解释该方法如何实现定性和定量分析的有机融合，本文从量化民族志的缘起、方法论和研究进展三个层面出发，回答量化民族志希望解决的问题是什么、试图通过什么样的方式解决以及该研究方法的应用现状和趋势如何。在我国持续推进教育实证研究的当下，希望本文所引介的这种研究方法能带给国内学人在教育研究的数据和理解、定性和定量、理论和实证等关系上的新启示。
二、量化民族志的缘起：理解学习的本质
（一）应培养领域专长之需
人是如何学习的？如何设计有效的学习环境以促进学习？如何研究学习？这是学习科学试图回答的三大核心问题，分别对应于有关学习发生机制的描述性理论、学习环境创设的规范性理论以及学习科学研究的方法论创新（赵健等,2007）。受建构主义、情境认知、社会文化理论等学习观的影响，有别于传统认知科学的实验研究，学习科学家致力于研究真实情境中的学习，以更好地理解产生有效学习的个体认知和社会交互过程，并注重对教育实践产生实质性影响（Sawyer，2005；焦建利等，2011）。其中，专长（Expertise）研究是从认知科学一直延续到学习科学的一个重要领域，其指向的根本问题是学习者如何从领域新手成长为领域专家，以及如何培养其领域专长。
传统的专长研究主要聚焦于成人学习领域，如竞技体育、医学教育、教师专业发展等。随着社会愈发需要未来人才具备解决复杂问题的高阶能力，学校教育特别是中小学教育开始探索将教育目标由知识导向转变为能力导向，即培养学生具备领域专家的思维方式和实践能力，如信息素养、计算思维、科学探究能力、设计思维等（Chesler et al.，2015；秦瑾若等，2017）。然而，专长通常被认为是隐含在特定文化境脉中的默会知识，仅仅通过学习从情境中剥离出来的概念性知识，或通过观察学习专家的间接经验则远远不够。学习者需要参与到真实的专业实践活动中，在与学习环境、专家、同伴的互动交流中，通过合法的边缘性参与（Legitimate Peripheral Participation）实现专业成长（Lave et al.，1991；任英杰等，2012）。可见，围绕专业实践活动的学习设计以及对学生专业实践表现中学习证据的识别和能力的评价，均离不开对领域专长的理解。而不论是当前学习科学领域学习设计和学习分析的联姻（Lockyer et al.，2013），或是教育测评领域所提倡的基于证据的能力测评设计（Evidence-Centered Design）（Mislevy et al.，2003），都显现出面向复杂问题的学习在本体论、认识论和教学法等层面的理论缺失和建模需求，例如STEM课堂应当学什么、怎么教、如何评。这也预示着学习科学的三大核心问题之间存在紧密关联，尤其是在大数据时代，藉由方法论创新可以促进对真实学习环境中学生专长发展的深度理解。
（二）解真实情境中专长建模之难
传统专长研究聚焦于学科知识结构以及解决学科问题的认知技能策略，通过采用认知任务分析、出声思维、图示化表征等方法对专家的知识结构特征进行建模（Bransford et al.，1999），分析新手和专家在知识结构和问题解决策略上的差异（李丽华等，2010），以及新手成长为专家的发展轨迹和模式（Lajoie，2003）。有学者指出，专长所涉及的领域知识和问题解决技能不是彼此独立而是相互促进的，即能够通过回顾已知和建构新知寻找问题的解决方案，而在解决问题过程中的反思实践又能够促进知识的升华和知识结构的更新（Wu et al.，2012）。可见，在专长发展过程中，知识和技能的相互关联才是关键。
随着对学习和专长的认识从认知层面拓展到社会文化层面，即重视特定文化境脉对专长发展的影响，研究者开始意识到专长与特定文化中的观念态度、行为规范、符号制品等密切相关，是超越知识技能维度的认知框架（Epistemic Frame）的建立（Shaffer，2017）。例如，医生的专长不仅指医学专业知识和临床技能，还包括对疾病和临床诊疗的认识（如对待“过度医疗”的看法）、对职业价值的理解（如对“救死扶伤”“尊重生命”的态度）以及专业实践（如与病患间的有效沟通）等。类似地，在科技教育中也越来越重视除知识技能外，对学生的学科态度、认识、素养和探究实践能力的培养（Wu et al.，2019a）。然而，在个体的专长发展过程中，不仅知识和技能维度是相互影响、协同发展的，其他如认识论、专业态度和专业实践等维度，也是透过文化境脉中的耳濡目染和审慎练习（Deliberate Practice），才得以构建起各维度间紧密联系的认知框架。
为对体现专长特点和发展水平的认知框架进行建模，Shaffer（2017）创新性地提出了“量化民族志”的研究方法，主张采用扎根的方式，通过收集和分析真实场域中学习者的言行举止，实现对学习者认知框架中各维度要素及其关联结构的建模和深描。该研究方法旨在克服传统教育研究的不足，即习惯于将专长解构为独立发展的各要素的集合，却忽视了实践活动中所建立起来的要素间的关联，而这才是刻画专长的关键；同时，其也试图将领域专家（即“局内人”）都难以言状的专长，透过数据可视化的方式进行呈现和解读。
（三）弥质性与量化研究之不足
专家的卓越表现是经过特定文化情境的塑造和“一万小时”的锤炼精进才取得的成果（Ericsson， 2008）。换言之，相比知识技能的获得，学生的能力发展需要在更大的时间尺度上进行分析研究。这就对扎根式的质性研究提出了新的挑战，即如何通过跟踪收集和分析海量的质性数据，来对学习者的认知框架及其发展轨迹进行建模，进而构建类似阶段理论（Dreyfus，2004）但又具有领域特征的学科思维发展模式。由于“质性大数据”无论是在编码还是分析环节，都需要耗费大量的研究精力，更遑论质性研究所依赖的具有明显主观性特征的个人体验、感悟、解读、分析和理解，因而，其研究结论的可靠性一直备受争议（风笑天，2017）。
与质性研究不同，量化研究具有系统、客观、可靠、可泛化的优势（叶浩生，2008）。尤其在大数据时代，学习者的线上线下学习行为都可以被巨细靡遗地采集、识别、存储和分析，这就意味着我们可以从大数据中发现以往难以察觉的关联模式。然而，当我们采用机器学习等方法去挖掘规律和模式时，若脱离了对数据来源和情境的认识，忽视了数据背后的意义，就可能会面临“垃圾输入、垃圾输出”（Garbage In Garbage Out）的风险，或易受到“统计相关”的蒙蔽而做出对因果关系的误读（凌建勋等，2003）。
鉴于定性和定量分析方法各自具有的优势和局限，量化民族志融合了民族志、会话分析、统计学、数据挖掘等研究方法和分析技术。通过建立质性和量化研究话语间的联系，如可信度（Trustworthiness）和信效度、理论饱和（Theoretical Saturation）和统计显著、编码和变量，量化民族志试图构建沟通两种研究范式的话语体系，最终实现由理论层面的意义和实证层面的数据所构成的实证研究闭环，并使得该闭环能够兼具可解释性和统计学保证（见图1）。
图1量化民族志的研究路径（Shaffer，2018）
三、量化民族志的方法论：融质性与量化研究为一体
（一）构建有效用的模型
传统量化研究的一个重要特征就是假设检验，即在明确研究问题后，根据相关理论和前人研究发现，提出对所研究问题的预期假设（通常用来描述两至三个构念之间的关系），再通过抽样数据分析推断，验证预期假设的真伪，得到有统计证据作保证的结论（孙健敏，2004）。Chavetz（1978）在论述社会学理论建构和检验时，阐述了假设在研究中的作用及假设检验的必要性，学界甚至出现了实证研究就是验证研究假设的观点。然而，教育学作为一门应用科学，其理论价值在于理解和解决教育实践中的问题，促进教育的革新。研究假设只能作为对教育因素及其联系与影响的“浅描”，其对于真实教育场域中的规范性理论创新的贡献往往是不足的。这也是脱胎于教育心理学的学习科学选择与崇尚实验研究的教育心理学分道扬镳的原因所在。彼时，学习科学家希望通过设计研究（Design-Based Research）的方法论创新，来弥补对照实验这一量化方法在效用上的局限性。类似地，采用量化民族志的教育研究并不满足于浅描式的研究假设，而是希望构建可以体现教育情境复杂性，并能够反映特定文化境脉中专长发展的思维模式或实践行为的理论模型。
模型是基于研究目的和实践需要，对现实世界在某种程度上的抽象。因此，站在理解和促进专长发展的角度，量化民族志这一方法论的提出，其目的是在大数据时代追求对教育情境中质性数据的理解，从而构建可解释和不断迭代优化的理论模型，即深描的认知框架模型。实用主义取向的量化民族志研究虽然以构建和完善深描的认知框架模型而非验证浅描的研究假设为目标，这避免了教育理论研究和教学实践的脱节，也有益于解决创新人才培养和创新教育实践缺少理论依据和有效指导的诟病，然而其同样难以回避的问题是，通过质性研究所获得的理论缺乏可靠性和泛化能力。对此，量化民族志引入了“情境内泛化”（Contextualized Generalization）的观点，即认为模型的泛化能力不是无边界的，尤其是对于复杂多元的教育研究而言，其构建的是“境脉中的理论”（Theory-in-Context）。因此，专长所处的特定社会文化情境即构成了研究对象的总体，而采用量化方法的目的则是确保模型在该情境中具有可靠性保证。具体而言，量化民族志研究的可靠性要在两个层面得到保证，一是模型中各编码的可靠性，二是模型本身即编码间关联结构的可靠性。换言之，质性分析中的编码和模型需要达到所谓的“理论饱和”，而不能仅作为“轶事证据”（Anecdotal Evidence）。
（二）质性数据的分割
教育研究中常见的混合方法更多是基于操作化层面的考量，强调在同一研究中并行分析质性和量化两类数据，或是采用“先量化后质性”或“先质性后量化”的双阶段研究，通过定性和定量的独立分析以实现相互印证，这实际得到的是定性和定量两个相互独立的理论模型（李刚等，2016）。而量化民族志则希望构建一个兼具可解释性和统计保证的融合模型（吴忭等，2019）。然而，要实现对质性数据的量化分析，首先要求数据具有整齐的格式，即要保证数据行（观察）和列（变量）的完整性和一致性。要将质性数据整理成结构良好的可分析数据，就需要确定分割质性数据的规则，即确定话语的结构。
在量化民族志研究中，质性数据可以是田野观察记录、访谈文本、线下讨论文本、论坛发帖或学生习作，在对其做数据分割时涉及行、节、会话三个层面的粒度。研究者需要根据特定情境中数据意义的关联程度来确定行、节和会话的分割粒度。行是质性数据中研究者所感兴趣的连续行为的最小分析单位，比如访谈中的一句话、讨论中每位参与者的一段发言、论坛中的一个发帖或文章作品中的一个句子。而会话则是所有相互关联的行的集合，可以是一次访谈、一场讨论、一个主题的所有发帖或一篇文章。但上述分割方式并非固定不变的，研究者完全可以根据文本中出现的新观点来确定“行”的划分，或是将围绕某个主题的多次访谈、多场讨论、学习档案袋中体现学习历程的多份习作作为会话。
相较于“行”和“会话”层面的数据分割，更为微妙的是确定“节”的分割粒度。节代表了分析单位的上下文情境，是存在内容上紧密关联的前后若干行。以讨论文本数据为例，每位参与者的发言都是对之前发言的回应，而当前发言行所回应的最早一条发言行与当前发言行之间的所有行就构成了节。由于专长的各个维度是通过对行进行编码所体现的，而不同编码在各行的上下文情境中的共现（Co-occurrence）情况可以反映出编码之间建立的关联，因此，对节的划分是构建认知框架模型的基础。由此可见，确定节的长度是量化民族志研究中进行数据分割的关键。对于讨论数据而言，研究者可以通过分辨讨论中话题的转移来确定节；对于文章数据而言，体现文章逻辑结构的段落或者小节也可以作为节的划分方式。此外，对于质性大数据而言，还可以采用固定节长的滑动窗（而非整个会话）来分析编码之间关联的建立过程（见图2），这使得运用类似微观生成分析（Microgenetic Analysis）方法来对学生认知框架发展模式进行建模成为可能。
图2 两种节长选择策略的建模差别（Siebert-Evenstone et al.，2017）
（三）从分野到融合何以可能
为解决学习分析面临的黑盒挑战（即模型的可解释性问题）与质性分析中模型的可靠性问题，量化民族志提供了两种操作层面的技术方法，分别是为编码提供保证的半自动编码工具nCoder（Shaffer et al.，2015），以及为认知框架模型（编码之间的关联结构）提供保证的认知网络分析方法。
编码可靠性是指能否基于既定的编码规则，正确识别不同时间、情境的会话数据中的特定编码。为验证编码可靠性，传统方法是让两位编码者对随机抽样数据进行独立编码，而后计算编码结果的一致性信度。常用的一致性信度检验方法是Cohen’s Kappa系数（简称Kappa）分析。在教育学等社会科学领域，一般将0.65作为一致性检验的阈值，即当两位编码者的抽样编码一致性信度达到0.65以上，则认为选择其中一位编码者完成所有数据的编码，其结果是可靠的。这样的统计推断在针对小数据的分析中虽然可行，但在大数据分析中犯“第一类错误”（即假阴性）的概率却会大大增加。也就是虽然抽样数据编码的一致性信度达到了0.65，但是总体数据编码的一致性信度可能远低于阈值（Eagan et al.，2017）。此外，对于质性大数据采用人工手动编码并不现实，因此需要训练一个可以实现自动编码的分类器，并且该分类器的编码要在总体数据而非抽样数据上满足与人工编码的一致性要求。而半自动编码工具nCoder则可实现上述功能，其具体编码过程如图3所示。在nCoder中提供了检验总体数据一致性的指标Shaffer’s Rho系数（简称Rho），该指标类似于统计检验中的伴随概率p，一般将0.05作为阈值“Rho<0 .05”表示若采用人工方式和自动方式对总体数据进行编码的一致性信度达到0.65以上时，其犯错概率小于5%。因此，编码本的语义内容和一致性检验中的rho值分别提供了质性数据在编码层面的可解释性和统计层面的可靠性保证。
图3 nCoder的编码过程
认知网络分析为认知框架模型的构建及表征提供了具体的操作路径，其建模流程包括：（1）根据编码后数据创建体现编码在各个节中是否两两共现的邻接矩阵；（2）累加所有指定节的邻接矩阵并转换为邻接向量；（3）将邻接向量做归一化处理；（4）通过奇异值分解的降维方法，将高维空间的网络模型投影到二维平面；（5）最终形成二维投影面上的认知网络模型（吴忭等，2018）。对于认知网络分析有三点值得注意的地方。首先，认知网络分析提供了可以灵活比较不同个体与个体、个体与群体、群体与群体之间，以及个体或群体在专长发展不同阶段之间认知框架的操作化工具，尤其是为理解协作环境中个体认知框架与群体认知框架在构建上的相互影响提供了可能。例如，当累加的邻接矩阵来自于将同一名学生的发言作为参考行所对应的所有节，即计算与该名学生所有发言紧密相关的上下文情境中的编码共现情况，则可以得到该名学生的认知网络；当累加的邻接矩阵来自于将讨论小组的全部发言作为参考行所对应的所有节，则得到的是讨论小组的整体认知网络。
其次，同编码的可解释性有赖于研究者在编码过程中对编码本的迭代更新类似，对认知网络的意义诠释同样依赖于研究者对会话内容的理解。熟悉奇异值分解的研究者应该清楚，这种数据驱动的降维方法是为了能对模型进行可视化表征的同时，确保模型中包含的原始信息量损失最小，但这样得到的投影后的网络结构未必具有可解释性。这也是大数据分析常被诟病的问题，即能够发现变量间潜在的关联性，但变量间的关联是否具有意义，则需依靠研究者甚至是“局内人”的理解和诠释。即便如此，所获得的网络结构仍为意义建构提供了三方面的线索：一是各个编码节点在投影平面上的相对位置；二是编码节点之间关联的强弱；三是可以通过编码节点之间的关联回溯到生成关联的所有节，进而进行会话内容的质性分析。
最后，我们很自然地会将认知网络分析和社会网络分析（Social Network Analysis，SNA）做比较。除了数据分割方法、网络图建模方法，以及网络图中节点和连线的含义存在区别之外，从对网络模型做量化分析的角度来看，基于图论的量化指标在这两种建模方法中的适用性不同。这缘于两种分析方法的不同研究目的和数据特性。社会网络分析认知网络分析为认知框架模型的构建及表征提供了具体的操作路径，其建模流程包括：（1）根据编码后数据创建体现编码在各个节中是否两两共现的邻接矩阵；（2）累加所有指定节的邻接矩阵并转换为邻接向量；（3）将邻接向量做归一化处理；（4）通过奇异值分解的降维方法，将高维空间的网络模型投影到二维平面；（5）最终形成二维投影面上的认知网络模型（吴忭等，2018）。
对于认知网络分析有三点值得注意的地方。首先，认知网络分析提供了可以灵活比较不同个体与个体、个体与群体、群体与群体之间，以及个体或群体在专长发展不同阶段之间认知框架的操作化工通常是为了揭示一个大的社群中不同子群的社交模式，以及个体在某个社群中的地位和作用类型。因此，社交网络图中的节点数量通常较多，且更关注节点间的连线及其方向性，以及与之相关的图指标，如网络密度、中心性等。而认知网络分析是为了对海量质性数据中反映出的认知框架结构进行建模，对模型的简约性及其结构上的可解释性要求决定了其节点（专长的维度编码）数量不宜过多。对于认知网络分析而言，节点之间关联的强弱及其代表的意义则是研究的重点，因此其常用的量化指标是网络的质心。质心相对于网络中不同节点的位置远近反映认知网络图侧重构建了哪些编码间的关联；检验认知网络图的质心位置差异可以作为判断认知框架差异的统计学依据；而用认知网络图相减的方法则可以比较编码间关联在对应网络中的差异。通过上述方法，可以对不同认知网络图的结构特征进行解释和分析。
四、量化民族志的研究实践与发展趋势
（一）理论构建研究：融合视角下的学习理解及理论创新
采用量化民族志方法的研究通过关注不同要素之间相互作用的复杂关系，驱动学习理论的创新，同时提供了一种融合质性和量化研究的视角来理解实践环境中学习的发生过程。具体的研究实践包括：理解教师如何在学生发生认知冲突时，通过行动后反思（Reflection on Action）促进学生转变思维模式（Bagley et al.,2015）；基于玩家在游戏中自动生成的交互日志剖析学生为何退出教育游戏（Karumbaiah et al.,2019）；分析探究社区理论模型中认知存在、社会存在和教学存在如何相互关联和发展（Rolim et al.,2019）；洞察全球在线学习社区形成过程中，社区成员如何从强调自我意识和信息共享转向同侪教学和知识获取（Espino et al.,2020）；等等。这种融合的方法论视角还体现在不同研究方法的联合运用上。例如，Saint等（2020）用简单频率分析、认知网络分析、时间过程挖掘、随机过程挖掘四种方法对不同自我调节行为进行分析，以了解自我调节的微观发生过程并比较不同学习群体的自我调节表现。研究结果表明，相较于单独的方法，通过融合不同方法可以提供更加丰富和动态化的见解。
在理论构建过程中，量化民族志为研究者深入探究事物的现象和发展，进而获得全面细致的理解并形成理论提供了方法支撑。量化民族志研究强调研究者需要细致地观察和分析研究对象的言行数据，进而审问数据背后的意义；同时要求研究者意识到在数据分割、编码和建模等操作化过程中所做的一系列决策均可能对建模结果产生影响。采用量化民族志方法构建理论模型的挑战在于如何进行合理的深描，从而避免分析结果的表面化和牵强附会。例如，在诠释认知网络的含义时，应当通过追溯原始数据以理解节点间共现的意义以及影响共现强弱的原因等，而不应停留在简单分析连接的有无和强弱，或仅仅对网络结构做出浮于表面的解释。
（二）应用实践研究：从典型场景趋向多元样态发展
量化民族志目前已被广泛应用于在学科教学及跨学科学习中高阶能力的评估（Wu et al.,2019a；Wu et al.,2019b；Espino et al.,2020）。例如，对学生在仿真学习中的设计思维、系统思维等复杂学科思维进行建模（Nash et al.,2013；Arastoopour et al.,2016），揭示游戏化学习环境中学生的认知发展轨迹（Nash et al.，2013），探索个体认知对协作问题解决的贡献（Swiecki et al.,2020a），研究教师教育、医学教育等领域的专长发展（Brown et al.,2016；Ruis et al.,2018；Wu et al.,2019a；Wu et al.,2019b；D’Angelo et al.,2020）。
随着量化民族志逐渐被更多学者所了解和熟悉，这种不满足于简单“编码+计算编码频次”，而是关注编码之间的连接结构和关联强度、描绘数据背后所体现的复杂认知网络、表征网络结构随时间变化的研究方法，其应用领域也从学习科学拓展到医学、政治学、工业工程等跨学科研究领域。例如，应用认知网络分析方法对外科医生整合心理运动技能、程序性技能、认知技能来识别和管理医疗事故的能力进行建模（Ruis et al.,2018）；针对社交媒体上网民的政治话题发帖，通过认知网络分析探究数字社区的功能性话语模式（Hamilton et al.,2021）； 通过量化民族志方法分析企业不同部门领域专家对制造业中应用传统独立工作机器人和新型合作机器人的观点和态度（Siebert-Evenstone et al.,2021）。
此外，由于言语是人类思维过程最直接的体现，因而讨论话语、访谈记录、反思日志等文本数据仍是量化民族志研究主要的数据来源，然而动作姿势、眼动轨迹、在线行为等多模态数据也被越来越多地用于量化民族志研究。例如，Andrist等（2018）利用眼动数据描述了协作任务中参与者注视模式的耦合情况；Whitelock-Wainwright等（2020）基于在线学习活动数据分析了混合学习设计中的学科差异；Singh等（2020）探索了如何整合注视识别（基于眼动数据）和模型识别（基于在线行为数据）两种方法预测人的意图。这种趋势也为未来量化民族志方法的改进带来了挑战，即如何整合多模态数据，如何使异质数据融合互补，以及如何揭示非言语数据在人类学习活动中所扮演的重要角色。
（三）方法探索研究：从方法对比走向完善与创新
针对量化民族志这一研究方法的创新还远未停止，其秉承着一种具有开放性的学习分析基因，即通过采用不同的分析方法来审视数据，以获得对数据意义和分析方法的深度理解，进而不断完善自身的方法论体系。例如，Csanadi等（2018）比较基于编码频率和认知网络的分析方法，指出认知网络分析可以更深入地理解学生的社会认知学习，更好地解释群体差异，但并不能代替基于编码频率的分析；Matcha等（2019）应用序列分析、过程挖掘、认知网络分析三种方法检测学习策略，发现不同方法检测到的学习策略既存在相似也存在差异，这可以为更准确地检测学习策略提供依据。
除单独采用认知网络分析方法外，也有研究将其与主题建模、过程挖掘等方法整合应用。例如，Gašević等（2019）综合应用认知网络分析和社会网络分析研究基于MOOC的协作学习，发现社会网络分析能够预测群体和个体层面的社会关系结构，认知网络分析能够预测学生话语内容的差异，而集成两种分析方法的社会认知网络（Social Epistemic Network Signature,SENS）模型比基于单独方法的模型能够更好地预测学生的学业表现；Swiecki等（2020b）进一步研究了SENS的网络表征方式，提出了整合型社会认知网络（Integrated Social Epis- temic Network Signature,iSENS）分析方法，实证结果表明iSENS在预测团队协作表现上相较ENA、SNA和SENS有更好的效果。
此外，量化民族志方法运用过程中对数据分割、自动编码、多模态数据处理等问题的探讨也日益受到关注。例如，Zörgő等（2021）分析比较了关于会话和节的不同数据分割策略对于模型结果的影响；Cai等（2019）在半自动化编码工具nCoder基础上，进一步提出了采用潜在语义分析计算词相似性的方法以改善编码本，从而减少犯“第一类错误”的概率；针对真实情境中产生的多模态数据，Shum等（2019）提出了多模态矩阵技术，以整合生理、认知、社会、情感维度的数据，从而更全面地理解协作学习活动。应当看到的是，运用量化民族志的学者群体正在日益壮大，虽然当前大部分研究仍是有关认知网络分析方法的探讨和应用，但未来更多原理可靠、操作可行的基于量化民族志的衍生方法将进一步被发掘。
五、结语
历史学家尤瓦尔·赫拉利（Yuval Harari）在《未来简史》一书中指出，大数据时代催生出一种被称为“数据主义”的理解世界的新方式，即相信数据是唯一真正的价值来源，我们之所以存在是因为我们正在为大数据所创建的数据挖掘引擎提供原材料（尤瓦尔·赫拉利，2017）。虽然机器在寻找模式上越来越展现出非凡的本领，但寻找模式和理解事物之间存在着本质的区别。而在数据驱动的研究范式转型浪潮中，体现研究者思维独特性的关键，恰恰在于我们具有不仅能看到人们在做什么，还能理解他们为什么这么做的能力。量化民族志正是这样一种面向意义阐释的研究方法，使我们可以理解教育境脉中数据背后的深层含义。在大数据时代，我们有机会进一步发展这种研究方法，通过使用统计技术来拓展我们的学科思维方式，而不是取代扎根式的理解。量化民族志不是简单地混合定性和定量的研究方法，而是注重定性和定量分析间的相互支撑，从而建立既体现扎根式的理解又具有理论饱和度的理论模型。从方法论的视角来看，该研究方法也体现出对大数据迷思的憬悟，提醒教育研究者应当重视基于教育情境中生成的、能够尽可能还原现实的“厚数据”，通过融合定性和定量分析，追求对“厚数据”背后意义的理解。
参考文献：
[1][以色列]尤瓦尔·赫拉利.未来简史[M].林俊宏.北京：中信出版社.2017
[2]风笑天（2017）.定性研究：本质特征与方法论意义[J].东南学术，（3）：56-61.
[3]焦建利，贾义敏.学习科学研究领域及其新进展——“学习科学新进展”系列论文引论[J].开放教育研究，2011，17（1）：33-41.
[4]李刚，王红蕾.混合方法研究的方法论与实践尝试：共识、争议与反思[J].华东师范大学学报（教育科学版），2016，34（4）：98-105，121.
[5]李丽华，谭素群，吴新华.新手教师与专家教师课堂话语比较分析[J].中国教育学刊，2010（11）：76-79.
[6]凌建勋，凌文辁，方俐洛.深入理解质性研究[J].社会科学研究，2003（1）：151-153.
[7]秦瑾若，傅钢善.STEM教育：基于真实问题情景的跨学科式教育[J].中国电化教育，2017（4）：67-74.
[8]任英杰，徐晓东.学习科学：研究的重要问题及其方法论[J].远程教育杂志，2012，30（1）：26-36.
[9]孙健敏.研究假设的有效性及其评价[J].社会学研究，2004（3）：30-35.
[10]吴忭，胡艺龄，赵玥颖.如何使用数据：回归基于理解的深度学习和测评——访国际知名学习科学专家戴维·谢弗[J].开放教育研究，2019，25（1）：4-12.
[11]吴忭，王戈，盛海曦.认知网络分析法：STEM教育中的学习评价新思路[J].远程教育杂志，2018（6）：3-10.
[12]叶浩生.量化研究与质化研究：对立及其超越[J].自然辩证法研究，2008（9）：7-11.
[13]赵健，郑太年，任友群等.学习科学研究之发展综述[J].开放教育研究，2007（2）：15-20.
[14]Andrist, S.,Ruis A R.,Shaffer,D.W. A Network Analytic Approach to Gaze Coordination During a Collaborative Task[J].Computers in Human Behavior,2018,89:339-348.
[15]Arastoopour,G.,Shaffer,D.W.,&Swiecki, Z. et al. Teaching and Assessing Engineering Design Thinking with Virtual Internships and Epistemic Network Analysis[J].International Journal of Engineering Education, 2016,32(3）:1492-1501.
[16]Bagley, E., & Shaffer, D. W. Learning in an Urban and Regional Planning Practicum: The View from Educational Ethnography[J].Journal of Interactive Learning Research,2015,26(4）:369-393.
[17]Bransford, J. D., & Brown, A. L. How People Learn: Brain, Mind, Experience, and School[M].Washington, DC:National Academy Press.1999.
[18]Brown, R. E., Nagar, G. G., & Orrill, C. H. et al. Coherency of a Teacher’s Proportional Reasoning Knowledge In and Out of the Classroom[C]//Proceedings of the 38th Annual Meeting of the North American Chapter of the International Group for the Psychology of Mathematics Education. Arizona:ERIC:2016,450-457.
[19]Cai, Z., Siebert-Evenstone, A., & Eagan, B. et al. nCoder + ： A Semantic Tool for Improving Recall of nCoder Coding[C]//Proceedings of the 1st International Conference on Quantitative Ethnography. Wisconsin：Springer：2019,41-54.
[20]Chavetz, J. S. A Primer on the Construction and Testing of Theories in Sociology[M].Itasca, Ill：Peacock Publishers.1978.
[21]Chesler, N. C., Ruis, A. R., & Collier, W. et al. A Novel Paradigm for Engineering Education： Virtual Internships with Individualized Mentoring and Assessment of Engineering Thinking[J].Journal of Biomechanical Engineering,2015,137(2）:024701.
[22]Csanadi, A., Eagan, B., & Kollar, I. et al. When Coding-and-Counting Is Not Enough: Using Epistemic Network Analysis (ENA） to Analyze Verbal Data in CSCL Research[J].International Journal of Computer-Supported Collaborative Learning,2018,13(4）:419-438.
[23]D’Angelo, A. L. D., Ruis, A. R., & Collier, W. et al. Evaluating How Residents Talk and What It Means for Surgical Performance in the Simulation Lab[J]. The American Journal of Surgery,2020,220（1）:37-43.
[24]Dreyfus, S. E. The Five-Stage Model of Adult Skill Acquisition[J]. Bulletin of Science, Technology & Society,2004,24（3）:177-181.
[25]Eagan, B. R., Rogers, B., & Serlin, R. et al. Can We Rely on IRR？ Testing the Assumptions of Inter-Rater Reliability[C]//Proceedings of the 12th International Conference on Computer Supported Collaborative Learning. Philadelphia,PA:2017,529-532.
[26]Ericsson, K. A. Deliberate Practice and Acquisition of Expert Performance:A General Overview[J].Academic Emergency Medicine Official Journal of the Society for Academic Emergency Medicine,15(11):2008,988-994.
[27]Espino, D. P., Lee, S. B., & Van Tress, L. et al. Analysis of US, Kenyan, and Finnish Discourse Patterns in a Cross-Cultural Digital Makerspace Learning Community Through the IBE-UNESCO Global Competences Framework[J].Research in Social Sciences and Technology,2020,5(1):86-100.
[28]Gašević, D., Joksimović, S., & Eagan, B. R. et al. SENS: Network Analytics to Combine Social and Cognitive Perspectives of Collaborative Learning[J].Computers in Human Behavior,2019,92:562-577.
[29]Hamilton, E., & Hobbs, W. Epistemic Frames and Political Discourse Modeling[C]// Proceedings of the 2nd International Conference on Quantitative Ethnography. (in Press).2021.
[30]Karumbaiah, S., Baker, R. S., & Barany, A. et al. Using Epistemic Networks with Automated Codes to Understand Why Players Quit Levels in a Learning Game[C]// Proceedings of the 1st International Conference on Quantitative Ethnography. Wisconsin: Springer:2019,106-116.
[31]Lajoie, S. P. Transitions and Trajectories for Studies of Expertise[J].Educational Researcher, 2003,32(8):21-25.
[32]Lave, J., & Wenger, E. Situated Learning: Le-gitimate Peripheral Participation[M].Cambridge, UK:Cambridge University Press.1991.
[33]Lockyer, L., Heathcote, E., & Dawson, S. Informing Pedagogical Action: Aligning Learning Analytics with Learning Design[J]. American Behavioral Scientist,2013,57(10):1439-1459.
[34]Matcha, W., Gašević, D., & Joksimović, J. et al. Detection of Learning Strategies: A Comparison of Process, Sequence and Network Analytic Approaches[C]// Proceedings of the European Conference on Technology Enhanced Learning. Delft: Springer:2019,525-540.
[35]Mislevy, R. J., Almond, R. G., & Lukas, J. F. A Brief Introduction to Evidence-Centered Design[J]. ETS Re- search Report Series,2003,(1):1-29.
[36]Nash, P., & Shaffer, D. W. Epistemic Trajectories: Mentoring in a Game Design Practicum[J]. Instructional Science,2013,41(4):745-771.
[37]Rolim, V., Ferreira, R., & Lins, R. D. et al. A Network-Based Analytic Approach to Uncovering the Relationship Between Social and Cognitive Presences in Communities of Inquiry[J]. The Internet and Higher Education,2019,42:53-65.
[38]Ruis, A., Rosser, A. A., & Quandt-Walle, C. et al. The Hands and Head of a Surgeon: Modeling Operative Competency with Multimodal Epistemic Network Analysis[J].The American Journal of Surgery,2018,216(5):835-840.
[39]Saint, J., Gašević, D., & Matcha, W. et al. Combining Analytic Methods to Unlock Sequential and Temporal Patterns of Self-Regulated Learning[C]//Proceedings of the 10th International Conference on Learning Analytics & Knowledge. Frankfort, Germany: Association for Computing Machinery:2020,402-411.
[40]Sawyer, R. K. The Cambridge Handbook of the Learning Sciences[M]. New York, NY: Cambridge University Press.2005.
[41]Shaffer, D. W. Quantitative Ethnography[M].Madison, WI: Cathcart Press.2017.
[42]Shaffer, D. W. Big Data for Thick Description of Deep Learning[A]// Millis, K., Long, D., & Magliano, J. et al. (Eds.). Deep Comprehension[M]. New York: Routledge:2018,265-277.
[43]Shaffer, D. W., Borden, F., & Srinivasan, A. et al. The nCoder: A Technique for Improving the Utility of Inter-Rater Reliability Statistics[R]. Games and Professional Simulations Technical Report. University of Wisconsin Madison.2015.
[44]Shum, S. B., Echeverria, V., & Martinez-Maldonado, R. The Multimodal Matrix as a Quantitative Ethnography Methodology[C]// Proceedings of the 1st International Conference on Quantitative Ethnography. Wisconsin:Springer:2019,26-40.
[45]Siebert-Evenstone, A., Irgens, G. A., & Collier, W. et al. In Search of Conversational Grain Size: Modelling Semantic Structure Using Moving Stanza Windows[J]. Journal of Learning Analytics,2017,4(3):123-139.
[46]Siebert-Evenstone, A., Michaelis, J. E., & Shaffer, D. W. et al. Safety First: Developing a Model of Expertise in Collaborative Robotics[C]// Proceedings of the 2nd International Conference on Quantitative Ethnography.(in Press)2021
[47]Singh, R., Miller, T., & Newn, J. et al. Combining Gaze and AI Planning for Online Human Intention Recognition[J]. Artificial Intelligence,284:103275. 2020
[48]Swiecki, Z., Ruis, A. R., & Farrell, C. et al. Assessing Individual Contributions to Collaborative Problem Solving: A Network Analysis Approach[J].Computers in Human Behavior,2020,104:105876.
[49]Swiecki, Z., & Shaffer, D. W. iSENS: An Integrated Approach to Combining Epistemic and Social Network Analyses[C]// Proceedings of the 10th International Conference on Learning Analytics & Knowledge. New York: Association for Computing Machinery:2020,305-313.
[50]Whitelock-Wainwright, A., Tsai, Y. S., & Lyons, K. et al. Disciplinary Differences in Blended Learning Design: A Network Analytic Study[C]// Proceedings of the 10th International Conference on Learning Analytics & Knowledge. New York: Association for Computing Machinery:2020,579-588.
[51]Wu, B., Hu, Y., & Ruis, A. R. et al. Analyzing Computational Thinking in Collaborative Programming: A Quantitative Ethnography Approach[J].Journal of Computer Assisted Learning,2019,35(3):421-434.
[52]Wu, B., Hu, Y., & Wang, M. Scaffolding Design Thinking in Online STEM Preservice Teacher Training [J]. British Journal of Educational Technology,2019,50(5):2271-2287.
[53]Wu, B., & Wang, M. Integrating Problem Solving and Knowledge Construction Through Dual Mapping[J]. Knowledge Management & E-Learning: An InternationalJournal,2012,4(3):248-257.
[54]Zörgő, S., Swiecki, Z., & Ruis, A. R. Exploring Effects of Various Forms of Segmentation on Semi-Structured Interview Data with Epistemic Network Analysis[C]//Proceedings of the 2nd International Conference on Quantitative Ethnography.(in Press)2021.
Quantitative Ethnography: An Educational Research Method Integrating Quantitative and Qualitative Analysis
WU Bian, PENG Xiaoling
Abstract:The transformation of data-driven educational research paradigm has deepened the gap between qualitative and quantitative research. As a new educational research method that combines qualitative and quantitative analysis, Quantitative Ethnography (QE) helps to build a bridge between the two research paradigms,which consequently better explores the deep meaning behind the data. This method was proposed based on the need to model the epistemic frame that embodies expertise. It combines ethnography, conversation analysis, statistics, data mining and other methods and technologies to perform thick description of epistemic frame by analyzing the words and deeds of learners in a real field. Its essence is to construct a closed loop of empirical research composed of theoretical-level meaning interpretation and empirical-level data analysis. The iterative closed-loop investigation aims to eliminate subjective bias in qualitative research and superficiality in quantitative research, and to establish a connection between the two research discourses. QE pays special attention to the construction of “theory in context” and the realization of “theoretical saturation”. It provides two research tools, the semi-automatic coding software called nCoder and the modeling tool called epistemic network analysis (ENA), to ensure the reliability and interpretability of the modeling results. QE is mainly used for high-level competence modeling and assessment in both disciplinary and interdisciplinary learning. Its application scenarios show a trend of cross-disciplinary research and multi-modal data integration, and its methodological system has come to fruition.
Key words: Quantitative Ethnography; Educational Research Method; Expertise; Epistemic Frame; Epistemic Network Analysis
责任编辑：王琳
