测度论Measure theory，它是研究在普通直觉失效的空间中“多少”的数学。
在普通空间中，测量很容易。线段有长度，矩形有面积，盒子有体积。但是无限维空间呢？无限分散的集合呢？“大小”到底是什么意思？
测度论为我们提供了工具，即使在奇异的空间中，也能一致地赋予“大小”意义。它将长度/面积/体积推广为一种叫做“测度”的东西，一个告诉你一个集合占据了多少空间的函数。
在高维空间中，我们的几何直觉完全失效。“体积”的行为很奇怪，大部分概率质量都集中在一些奇特的地方。这里有一个经典的例子：在高维空间中，球体的几乎所有体积都集中在其表面附近，内部几乎是空的！高维球体就像一个肥皂泡，而不是一个实心球。
精彩之处在于：概率只是一种特殊的测度。概率测度赋予事件“大小”，整个空间的测度为 1。因此，当我们讨论高维空间（例如我的词向量所在的空间）中的概率分布时，我们实际上是在运用测度论。
它是使概率论严谨的基础，即使在无限维空间中也是如此。
测度是一个函数 \(\mu\)，它根据以下三个规则，为空间中的集合赋予一个非负数（可能是无穷大）：
-
空集的测度为零：\(\mu(\emptyset) = 0\)
-
测度是非负的：\(\mu(A) \geq 0\)
-
可数可加性：如果集合 \(A_1, A_2, A_3, ...\) 互不相交，则 \(\mu(A_1 \cup A_2 \cup ...) = \mu(A_1) + \mu(A_2) + ...\)
第三条规则是关键，它表明，当集合不重叠时，测度可以很好地相加。长度、面积、体积、概率，它们都满足这个条件。
为什么我们可以把概率相加？当事件 A 和 B 互不相交时，为什么 P(A 或 B) = P(A) + P(B)？
这似乎显而易见，如果明天有 30% 的概率下雨，20% 的概率下雪（而且它们不可能同时发生），那么降水的概率就是 50%。直接把它们加起来就行了。
但是为什么加法有效？是什么让概率成为适合相加的对象？
测度论指出：概率本质上是关于测量集合的。当你问“A 发生的概率是多少？”时，你实际上是在问“A 占据了结果空间的多少？”
当集合不重叠时，它们的总“大小”就是各个集合大小之和。这并非随意之举，这就是我们所说的“大小”的含义。
深刻的见解在于：概率并非某种独立而神秘的概念。它只是几何测量的一种特殊情况，其中整个空间的大小为 1。
所以，其基本原理是：概率之所以能够相加，是因为它们测量的是空间，而空间中不重叠的区域自然相加。