统计方法的早期发展受到两种截然不同的影响。统计学有一个"母亲"，她致力于井井有条地记录政府机构的文件(国家和统计学这两个词源于同一个拉丁语词 根，status)，还有一个有绅士般的赌博"父亲"，他依靠数学来提高赌技，以便在几率的游戏中取胜。"母亲"对其子女统计学的影响表现在计数、测量、 描述、制表、归类和人口普查。所有这些导致了现代描述统计学的诞生。由于"父亲"的影响则产生了完全基于概率论原理的现代推理统计学。 描述统计学涉及对所收集数据的制表、制图和描述。这些数据可以是数量性的数据，如高度、智商、或者是层级性的数据--具有连续性的变量--或数据也可以代 表性质变量，如性别、大学专业或性格类型等等。数量庞大的数据通常必须经过概括或删减的程序才能为人所理解。描述统计学就是这样一个工具，它对极其庞杂的 数据进行描述、概括或删减，使其变成能为人理解的东西。 推理统计学是一套已定形了的方法体系，它解决的是光凭人脑极难解决的另一类问题。这类问题的显著特点是试图通过取样调查来作出预测。例如，有一位教育督察 想知道在一个庞大的学校系统中，不吃早饭就上学的学生、已经做过防感冒免疫的学生，或其它任何类型的学生占多大比例。若具备一些统计学的知识，这位督察应 明白，询问每个孩子是没有必要而且没有效率的，只要用100个孩子为样本，他就可以相当精确地得出这些孩子占整个学区的比例了。因此，推理统计学的目的就 是通过了解一个群体中一些样本的特性，从而对整个群体的特性进行推测和估算。