logit 函数 与 原始分数 logits
logit函数与原始分数logits
1. logit 定义
logit是一个数学函数，常称为“对数几率函数”（log-odds）。
它把概率值p ∈ ( 0 , 1 ) p \in (0,1)p∈(0,1)映射到整个实数轴( − ∞ , + ∞ ) (-\infty,+\infty)(−∞,+∞)：
l o g i t ( p ) = ln p 1 − p \mathrm{logit}(p)=\ln\frac{p}{1-p}logit(p)=ln1−pp
其中几个术语可以这样理解：
几率（odds）：不是概率本身，而是“发生 : 不发生”的比值，
o d d s = p 1 − p \mathrm{odds}=\frac{p}{1-p}odds=1−pp
例如p = 0.8 p=0.8p=0.8，则o d d s = 0.8 / 0.2 = 4 \mathrm{odds}=0.8/0.2=4odds=0.8/0.2=4，表示“发生是不发生的 4 倍”。对数（log）：指数运算的反运算。机器学习里常用自然对数
ln（底数为e ee，约等于2.7183 2.71832.7183）。对数几率（log-odds）：先算几率，再取对数，即
log p 1 − p \log\frac{p}{1-p}log1−pp
术语来源上，1944 年，Joseph Berkson 将函数ln p 1 − p \ln\frac{p}{1-p}ln1−pp命名为logit，即logistic unit的缩写。术语“逻辑回归”（logistic regression）也由此而来。
数学定义上，它对应的是
log-odds对数几率：先求几率，再取对数。
2. 与Sigmoid 互为反函数
Sigmoid函数为：
σ ( x ) = 1 1 + e − x \sigma(x)=\frac{1}{1+e^{-x}}σ(x)=1+e−x1
logit与Sigmoid互为反函数：
σ ( l o g i t ( p ) ) = p , l o g i t ( σ ( x ) ) = x \sigma(\mathrm{logit}(p))=p,\quad \mathrm{logit}(\sigma(x))=xσ(logit(p))=p,logit(σ(x))=x
直观上：
Sigmoid：把任意实数映射到( 0 , 1 ) (0,1)(0,1)；logit：把( 0 , 1 ) (0,1)(0,1)的概率映射回任意实数。
3. logits
在深度学习里，logits（复数）通常指模型最后一层“激活前”的原始输出分数，取值可为任意实数。
- 二分类：一个
logit常送入sigmoid得到正类概率； - 多分类：一组
logits送入softmax得到类别概率分布。
例如，[3.0, 1.0, 0.2]是一组logits，经过softmax后会得到类似[0.84, 0.11, 0.05]的概率分布。
4. logit 与 logits 的区别（易混点）
logit：数学函数名，l o g i t ( p ) = ln p 1 − p \mathrm{logit}(p)=\ln\frac{p}{1-p}logit(p)=ln1−pp；logits：神经网络术语，表示一组原始分数（模型输出，未归一化）。
一句话记忆：
logit是“函数”，logits是“数据（模型输出–原始分数）”。
5. 一个简短示例（PyTorch）
importtorch# 概率值, 标量转张量用于计算p1=torch.tensor([0.8])# logit函数实现：概率 -> 实数值logit_p1=torch.log(p1/(1-p1))print("logit(0.8) =",logit_p1.item())# 约 1.3863# sigmoid函数：是logit的反函数p2=torch.sigmoid(logit_p1)print(torch.allclose(p2,p1))# True# 多分类：logits数据，经softmax转换为概率分布probslogits=torch.tensor([3.0,1.0,0.2])probs=torch.softmax(logits,dim=0)#沿着第0维计算softmaxprint("probs =",probs)print("sum =",probs.sum().item())# 1.0