会计继续教育结果查询:【数据分析】统计学中p值的含义和显著差异性分析 - 小马哥的日志 - 网易博客

【数据分析】统计学中p值的含义和显著差异性分析

数据分析 2010-03-04 21:04:43 阅读629 评论0 字号：大中小

 这个社会是残酷的，刚来公司，很多的职业技能尚不具备，但还是要硬着头皮答应经理“苛刻”的要求，无论实验的过程多么难，结果的可预测性多么小，我都会回答“OK"!这不是打脸充胖子，也不是要面子，这就是职场，你不学习是不行的！即使有些东西你从来没有遇到过，甚至没有听说过，你也要因为需要去理解它，掌握它！你比别人掌握的多，你就会慢慢变得很牛气，就会变得有价值，变得不可或缺！这就是职场最需要的！今天就学习一下P值的统计学意义！（当我作出别人都很羡慕的图表时，我的心情是很愉悦的，同样地，当我在对一组数据头头是道的分析时，从别人的眼神中，我读出了“崇拜”）。

  统计学意义（p值）（这是经理每次争论的焦点）

  结果的统计学意义是结果真实程度（能够代表总体）的一种估计方法。专业上，p值为结果可信程度的一个递减指标，p值越大，我们越不能认为样本中变量的关联是总体中各变量关联的可靠指标。p值是将观察结果认为有效即具有总体代表性的犯错概率。如p=0.05提示样本中变量关联有5%的可能是由于偶然性造成的。即假设总体中任意变量间均无关联，我们重复类似实验，会发现约20个实验中有一个实验，我们所研究的变量关联将等于或强于我们的实验结果。（这并不是说如果变量间存在关联，我们可得到5%或95%次数的相同结果，当总体中的变量存在关联，重复研究和发现关联的可能性与设计的统计学效力有关。）在许多研究领域，0.05的p值通常被认为是可接受错误的边界水平。

如何判定结果具有真实的显著性

在最后结论中判断什么样的显著性水平具有统计学意义，不可避免地带有武断性。换句话说，认为结果无效而被拒绝接受的水平的选择具有武断性。实践中，最后的决定通常依赖于数据集比较和分析过程中结果是先验性还是仅仅为均数之间的两两>比较，依赖于总体数据集里结论一致的支持性证据的数量，依赖于以往该研究领域的惯例。通常，许多的科学领域中产生p值的结果≤0.05被认为是统计学意义的边界线，但是这显著性水平还包含了相当高的犯错可能性。结果0.05≥p>0.01被认为是具有统计学意义，而0.01≥p≥0.001被认为具有高度统计学意义。但要注意这种分类仅仅是研究基础上非正规的判断常规。

所有的检验统计都是正态分布的吗？

并不完全如此，但大多数检验都直接或间接与之有关，可以从正态分布中推导出来，如t检验、f检验或卡方检验。这些检验一般都要求：所分析变量在总体中呈正态分布，即满足所谓的正态假设。许多观察变量的确是呈正态分布的，这也是正态分布是现实世界的基本特征的原因。当人们用在正态分布基础上建立的检验分析非正态分布变量的数据时问题就产生了，（参阅非参数和方差分析的正态性检验）。这种条件下有两种方法：一是用替代的非参数检验（即无分布性检验），但这种方法不方便，因为从它所提供的结论形式看，这种方法统计效率低下、不灵活。另一种方法是：当确定样本量足够大的情况下，通常还是可以使用基于正态分布前提下的检验。后一种方法是基于一个相当重要的原则产生的，该原则对正态方程基础上的总体检验有极其重要的作用。即，随着样本量的增加，样本分布形状趋于正态，即使所研究的变量分布并不呈正态。

1  统计软件的选择
         在进行统计分析时，作者常使用非专门的数理统计软件Excel进行统计分析。由于Excel提供的统计分析功能十分有限，很难满足实际需要。目前，国际上已开发出的专门用于统计分析的商业软件很多，比较著名有SPSS(Statistical Package for Social Sciences)、SAS(Statistical Analysis System)、BMDP和STATISTICA等。其中，SPSS是专门为社会科学领域的研究者设计的（但是，此软件在自然科学领域也得到广泛应用）；BMDP是专门为生物学和医学领域研究者编制的统计软件。目前，国际学术界有一条不成文的约定：凡是用SPSS和SAS软件进行统计分析所获得的结果，在国际学术交流中不必说明具体算法。由此可见，SPSS和SAS软件已被各领域研究者普遍认可。建议作者们在进行统计分析时尽量使用这2个专门的统计软件。
2  均值的计算
         在处理实验数据或采样数据时，经常会遇到对相同采样或相同实验条件下同一随机变量的多个不同取值进行统计处理的问题。此时，多数作者会不假思索地直接给出算术平均值和标准差。显然，这种做法是不严谨的。在数理统计学中，作为描述随机变量总体大小特征的统计量有算术平均值、几何平均值和中位数等。何时用算术平均值？何时用几何平均值？以及何时用中位数？这不能由研究者根据主观意愿随意确定，而要根据随机变量的分布特征确定。反映随机变量总体大小特征的统计量是数学期望，而在随机变量的分布服从正态分布时，其总体的数学期望就是其算术平均值。此时，可用样本的算术平均值描述随机变量的大小特征。如果所研究的随机变量不服从正态分布，则算术平均值不能准确反映该变量的大小特征。在这种情况下，可通过假设检验来判断随机变量是否服从对数正态分布。如果服从对数正态分布，则可用几何平均值描述该随机变量总体的大小。此时，就可以计算变量的几何平均值。如果随机变量既不服从正态分布也不服从对数正态分布，则按现有的数理统计学知识，尚无合适的统计量描述该变量的大小特征。退而求其次，此时可用中位数来描述变量的大小特征。
3  相关分析中相关系数的选择
         在相关分析中，作者们常犯的错误是简单地计算Pearson积矩相关系数，而且既不给出正态分布检验结果，也往往不明确指出所计算的相关系数就是Pearson 积矩相关系数。常用的相关系数除有Pearson积矩相关系数外，还有Spearman秩相关系数和Kendall秩相关系数等。其中，Pearson 积矩相关系数可用于描述2个随机变量的线性相关程度（相应的相关分析方法称为“参数相关分析”，该方法的检验功效高，检验结果明确）；Spearman或Kendall秩相关系数用来判断两个随机变量在二维和多维空间中是否具有某种共变趋势，而不考虑其变化的幅度（相应的相关分析称为“非参数相关分析” ，该方法的检验功效较参数方法稍差，检验结果也不如参数方法明确）。各种成熟的统计软件如SPSS、SAS等均提供了这些相关系数的计算模块。在相关分析中，计算各种相关系数是有前提的。对于二元相关分析，如果2个随机变量服从二元正态分布，或2个随机变量经数据变换后服从二元正态分布，则可以用Pearson积矩相关系数描述这2个随机变量间的相关关系（此时描述的是线性相关关系），而不宜选用功效较低的Spearman或Kendall秩相关系数。如果样本数据或其变换值不服从正态分布，则计算Pearson 积矩相关系数就毫无意义。退而求其次，此时只能计算Spearman或Kendall秩相关系数（尽管这样做会导致检验功效的降低）。因此，在报告相关分析结果时，还应提供正态分布检验结果，以证明计算所选择的相关系数是妥当的。需要指出的是，由于Spearman或Kendall秩相关系数是基于顺序变量（秩）设计的相关系数，因此，如果所采集的数据不是确定的数值而仅仅是秩，则使用Spearman或Kendall秩相关系数进行非参数相关分析就成为唯一的选择。
4  相关分析与回归分析的区别
         相关分析和回归分析是极为常用的2种数理统计方法，在地质学研究领域有着广泛的用途。然而，由于这2种数理统计方法在计算方面存在很多相似之处，且在一些数理统计教科书中没有系统阐明这2种数理统计方法的内在差别，从而使一些研究者不能严格区分相关分析与回归分析。最常见的错误是，用回归分析的结果解释相关性问题。例如，作者将“回归直线（曲线）图”称为“相关性图”或“相关关系图”；将回归直线的R2(拟合度，或称“可决系数”)错误地称为“相关系数”或“相关系数的平方”；根据回归分析的结果宣称2个变量之间存在正的或负的相关关系。这些情况在国内极为普遍。
         相关分析与回归分析均为研究2个或多个随机变量间关联性的方法，但2种数理统计方法存在本质的差别，即它们用于不同的研究目的。相关分析的目的在于检验两个随机变量的共变趋势（即共同变化的程度），回归分析的目的则在于试图用自变量来预测因变量的值。在相关分析中，两个变量必须同时都是随机变量，如果其中的一个变量不是随机变量，就不能进行相关分析。这是相关分析方法本身所决定的。对于回归分析，其中的因变量肯定为随机变量（这是回归分析方法本身所决定的），而自变量则可以是普通变量（规范的叫法是“固定变量”，有确定的取值）也可以是随机变量。如果自变量是普通变量，采用的回归方法就是最为常用的“最小二乘法”，即模型Ⅰ回归分析；如果自变量是随机变量，所采用的回归方法与计算者的目的有关---在以预测为目的的情况下，仍采用“最小二乘法”，在以估值为目的的情况下须使用相对严谨的“主轴法”、“约化主轴法”或“Bartlett法”，即模型Ⅱ回归分析。显然，对于回归分析，如果是模型Ⅰ回归分析，就根本不可能回答变量的“相关性”问题，因为普通变量与随机变量之间不存在“相关性”这一概念（问题在于，大多数的回归分析都是模型Ⅰ回归分析！）。此时，即使作者想描述2个变量间的“共变趋势”而改用相关分析，也会因相关分析的前提不存在而使分析结果毫无意义。如果是模型Ⅱ回归分析，鉴于两个随机变量客观上存在“相关性”问题，但因回归分析方法本身不能提供针对自变量和因变量之间相关关系的准确的检验手段，因此，若以预测为目的，最好不提“相关性”问题；若以探索两者的“共变趋势”为目的，建议作者改用相关分析。
        需要特别指出的是，回归分析中的R2在数学上恰好是Pearson积矩相关系数r的平方。因此，这极易使作者们错误地理解R2的含义，认为R2就是 “相关系数”或“相关系数的平方”。问题在于，对于自变量是普通变量（即其取值具有确定性）、因变量为随机变量的模型Ⅰ回归分析，2个变量之间的“相关性”概念根本不存在，又何谈“相关系数”呢？（说明：二元回归可决系数符号用小写r2）