log_softmax和sigmoid防止溢出原理

1sum_softmax推理

指数函数的输出永远最大只有 1，前面常量不涉及指数计算基本不会溢出。

2 sigmoid的安全处理

对于常见操作

# 极易下溢出！如果 logits 很小，pred 变成 0，log(0) 报错
pred = torch.sigmoid(logits)
loss = torch.nn.BCELoss()(pred, target)

torch的内部自动处理了下溢出，数值绝对稳定 torch.nn.BCEWithLogitsLoss()(logits, target)处理策略：