现代定义，《不列颠百科全书》解释：统计学（Statistics）是收集和分析数据的科学与艺术。统计学是“科学”，统计学是“艺术”，说明统计学在理论、方法、应用中都要强调艺术性，时时具有灵活性，处处需要灵感。
统计学与数据打交道，必然离不开数学。关于统计学的数学理论部分，在西方被称为Mathematical Statistics，是数学的一个分支，是Statistics的重要组成部分，但绝不是全部。数学研究的是抽象的数量规律，统计学则是研究具体的、实际现象的数量规律。数学研究的是没有量纲或单位的抽象的数，统计学研究的是有具体实物或计量单位的数据。统计学与数学研究中所使用的逻辑方法不同：数学研究所使用的主要是演绎，统计学则是演绎与归纳相结合，占主导地位的是归纳。
统计学历经300多年的发展，事实上已成为横跨社会科学和自然科学领域，并与数学紧密结合的多科性的科学。从横向看，各种统计学都具有上述共同点，因而能够形成一个学科“家族”。从纵向看，统计学方法应用于各种实质性科学，同它们相结合，产生了一系列专门领域的统计学：经济统计学，人口统计学，社会统计学，教育统计学，医药统计学，工程统计学，物理统计学，生物统计学等。
苏联把统计学定义为一门研究大量社会现象的社会科学，有很强的阶级性和党性；而数理统计学则被看作是在统计学中使用的数学方法及其理论基础。受苏联影响，在我国至今仍有不少人认为统计学是一门社会科学，数理统计学是一门数学学科。随着时代的发展，在我国这个区别也在渐渐消失。
我国统计学科建设的正确方向是：理论统计学与各类应用统计学继续并存，相互促进、共同发展。一方面，理论统计学要结合应用统计研究中提出的需要解决的通用方法论问题，丰富和完善其方法论内容。另一方面，应用统计学不仅要吸收和利用理论统计学研究的成果，而且还要与本领域的实质性科学更加紧密结合，着重研究适合本领域的特有的统计方法。各类统计学都按其自身的规律发展，最终形成较为松散的“统计学”学科群体，而不是强求一致的统一的一级学科。