产品测试过程中，T检验的实践运用（一）

大学的统计学知识，你是否还记得？本文作者将用最精炼的语言和简单的案例，让你能够快速将T检验运用到实战当中。因为不用纠结过多的统计学理论而不能自拔，知道怎么运用即可。作为一个产品经理，在经过一系列坎坷将需求方案落地后，判断方案效果的好坏就是一个非常重要的步骤了，在产品大范围发布前，我们通常要进行小样本量的范围测试；这些测试我们也可以分为线上和线下。实体产品通常会邀请顾客到店体验产品，收集用户反馈；互联网产品大部分公司会设计一个简单的线上测试方案，通过观察用户行为数据来判断方案的效果，在成本允许的情况下，做线下用户测试同样是非常必要的。那么，对于样本量较低的测试方案，如何判断产品效果的好坏？如果你邀请了10个用户来体验你的产品，10个用户反馈给你的信息都很棒，那么你的产品就一定能满足大部分目标客户的需求吗？在你纠结的时候，不要着急，T检验就可以用来实战了，这种简单而常用的检验方法线上线下两者通吃，本系列将通过三个例子让你完全了解T检验的实战方式。如果你已经把大学的统计学知识忘记的差不多了，别担心，笔者将用最精炼的语言和简单的案例让你能够快速将T检验运用到实战当中，不用纠结过多的统计学理论而不能自拔，知道怎么运用即可。 你需要了解的2个关键的前置知识点：

T检验的升级版其实是Z检验，T检验只是Z检验的替代版，但是80%的情况下我们会使用T检验，因为Z检验的使用前提是总体均值已知，但是这个条件在如今情况下几乎是不可能的，（比如全国人民的平均身高，你需要每个人都量一遍吗？）。在总体均值未知，样本量较小的情况下（一般是样本量<30，但这需要根据样本来自的总体大小而定），我们还是使用T检验。
Z检验与T检验方法能够使用的最重要的前提是一个定理→ 中心极限定理：假设我们从一个总体里抽取一定数量的样本，计算此样本的均值，然后重复100次抽取，那么画出这些样本均值的分布将会是正态的。正是因为这个定理，我们的T检验适用于任何总体。

OK，暂且补充这两个知识点，不过已经交代了为何我们能够使用T检验，以及使用T检验的原因，如果一直补充前置知识将会是个无限循环(好比做一个凳子需要木头，要木头需要斧子，要斧子需要铁。。。)，如果下面步骤中有未知名词或者未知概念，Google一下即可，接下来我们将具体讲解T检验的运用。 T检验分为三种：单样本T检验，独立样本T检验，相依样本T检验，今天我们将讲解第一个，单样本T检验。

单样本T检验：（One-Sample t-test）

与他的名称一样，单样本T检验就是我们只有一个样本。假设样本均值为

，总体的均值为μ，我们想知道，这个样本来自的总体是否与具有这个均值的总体显著不同？一般的单样本T检验的步骤如下：

1. 提出问题,设定0假设和对立假设

0假设是指我们假设此样本与总体无显著不同；一般为X = μ 对立假设可以根据实际情况定为三种：

我们假设此样本与总体有显著不同。≠μ
我们假设此样本比总体均值要高。≥μ
我们假设此样本比总体均值要低。<μ

2. 确定样本均值和样本标准偏差

其中

为每个样本的值，N为样本数。不用担心，大部分数据处理工具都能直接算出这个值，（比如excel，python的numpy库中std()函数）

3. 确定均值标准误差SEM

（n为样本个数）

标准误差用来衡量抽样误差，标准误差越小，表明样本统计量与总体参数的值越接近，样本对总体越有代表性，用样本统计量推断总体参数的可靠度越大。

4. 确定95%/99%置信水平下t临界值

至于选择95%还是99%置信水平，需要根据实际情况进行选择，一般来说，数值越大，精度越高，95%已经能满足绝大部分数据要求。对于t临界值的确定，我们需要用到T表格，T表格链接（参考百度文库https://wenku.baidu.com/view/c010cdc22cc58bd63186bd84.html）。如何使用T表格？我们需要根据自由度与显著性水平两个值进行查询，一般自由度df = n – 1 ，根据第一步设置的对立假设，确定为单尾检验还是双尾检验，然后根据95%/99%置信水平求得显著性水平。

5. 确定t值

t值求解公式：

6. 得出结论

根据求出的t值与t临界值进行对比,根据t值所在区域判断是否拒绝0假设，接受对立假设。产品测试过程中，T检验的实践运用（一）

7. 确定Cohen’s d（可选）

Cohen’s d等于（样本均值 – 总体均值）/样本的标准偏差，它反映的是样本均值和总体均值之间存在多少个标准偏差。

8. 确定95%/99%置信区间（可选）

置信区间公式：

置信区间确定了此样本所在的总体均值所在范围。