批判性思考能让我们明确“数据”和“证据”的区别,数据不一定是证据,它只有在和问题相关的时候才是证据,因此,证据的质量不仅取决于数据的质量,还取决于对数据进行分析论证的质量。
一、找到有用的数据
1)设计实证实验必须从需要解决的问题出发,从想要知道什么到能够发现什么,来找到解决问题所需要的证据。
2)研究的正确性取决于想法和观察之间的联系:你的构想(感兴趣的观点或概念)与可以观察、记录和最终测量的事物的联系。
3)挑选某个现象可观察到的一个或多个方面来进行关注和思考,用可观察和可测量的事物代表某个概念,我们所能获取的东西——记录、描写、分类、测量——并不是现象本身。
测量数据过程中容易范的错误:
1)测量那些容易测量的东西。
2)忽略那些难以测量的事物,或者给它一个随意的大概赋值
3)假设无法测量的事物是不重要的。
4)认为不能被轻易测量出的事物根本不存在。
如果对证据的分析有误,用来代表某个概念的事物选取不当,对现象的测量存在问题,那得到的数据可能是不相关的或误导人的。
二、样本要有代表性和概括性
要思考挑选出来的是否能够准确代表整体,它需要有代表性。如果所选样本太特别、太怪异或不具有代表性,得到的发现结果就会有局限性。
三、构建模型
具有概括性的描述都是非常简明的,行文尽可能简洁但能描述出现象的重要点,并与所得到的数据保持一致,模型是描述的一种形式。
1)构建模型是进行批判性思考的一种机制,是洞察现象或问题本质的手段。
2)模型构建的基础是类比。
3)模型的作用是将复杂的事物简单化,使其变得可处理,通过使用图像或符号将对一个事物的概括性论述具体化,从而展现重要变量之间的关系。
对现象进行描述就是选择、抽象化和简化的过程,好的描述是对所获得的证据的充分描述并能够做出预测和其他推断。
四、比较和类比的关键是找出其中的不同之处
很多时候,模型的构建基于类比,在每个类比中都有某些事物是相同的,在进行批判性思考时,类比的关键通常不在相似性中,而在所类比的两个事物的不同中。
五、统计分析不是万能神药
正确地使用统计方法需要深入理解、关注背景知识和批判性思考,并不是单纯地根据公式进行简单的统计方法运用。
六、对偏误要保持高度警觉
偏误是未预见的事物悄悄混进研究并破坏证据的情况,由于最初没有考虑这些因素,得到的研究结果被“扭曲”。
1)严谨性要求研究者要对偏误时刻保持警觉,它会出现在研究的任何时候;
2)偏误表现在方方面面:(数据收集中的)实验者干扰;(分析过程中的)预设观点;人类理性的弱点(比如确认偏误);理论(理论观点可能影响我们对证据的挑选和解释);样本(样本选取不恰当,样本量太小而无法得出可靠的结论或样本不具有代表性);参与者(可能故意或者不理智地调整他们的行为或回答)。
3)偏误还可能出现在设计、设备、报告等各个方面。