当前位置：首页 > news >正文

深度学习损失函数详解 | Binary Cross Entropy（二元交叉熵）原理 + 数学推导 + Python实现

news 2025/7/18 7:35:21

在二分类任务中，最常用的损失函数之一就是 Binary Cross Entropy（二元交叉熵），它衡量的是模型输出的概率分布与真实标签之间的差距。

本文将带你全面理解 BCE 的数学原理、Python 实现方式、以及常见的应用场景。

📘 一、什么是 Binary Cross Entropy？

Binary Cross Entropy（简称 BCE）是用于二分类模型的损失函数，通常用于输出为概率（0~1）的问题，比如逻辑回归、神经网络的输出层等。

它本质上是信息论中的交叉熵（Cross Entropy）在二分类场景下的特例。

🧮 二、数学公式（LaTeX 表达）

设：

y∈{0,1}：真实标签
$\hat{y}$ ∈(0,1)：模型预测的概率
损失函数为 BCE(y, $\hat{y}$ )

那么 Binary Cross Entropy 的数学定义为：

$\text{BCE}(y, \hat{y}) = - \left[ y \cdot \log(\hat{y}) + (1 - y) \cdot \log(1 - \hat{y}) \right]$

解释：

如果真实标签 y=1，损失为 −log⁡( $\hat{y}$ )
如果 y=0，损失为 −log⁡(1− $\hat{y}$ )

该函数具有良好的凸性，可以用于梯度下降优化。

🧑‍💻 三、Python 手动实现 BCE 函数

下面是使用 Python 实现的 binary_cross_entropy 函数，并加入了防止 log(0) 的数值稳定性处理：

import mathdef binary_cross_entropy(y_true, y_pred_prob):"""手动实现二元交叉熵损失函数（Binary Cross Entropy）参数:y_true: 真实标签（0 或 1）y_pred_prob: 模型预测的概率（0 到 1 之间）返回:BCE 损失值"""epsilon = 1e-15  # 防止 log(0)y_pred_prob = min(max(y_pred_prob, epsilon), 1 - epsilon)return - (y_true * math.log(y_pred_prob) + (1 - y_true) * math.log(1 - y_pred_prob))# 示例
print("真实为 1，预测为 0.9：", binary_cross_entropy(1, 0.9))
print("真实为 0，预测为 0.1：", binary_cross_entropy(0, 0.1))

✅ 输出示例：

真实为 1，预测为 0.9： 0.105360...
真实为 0，预测为 0.1： 0.105360...

🎯 四、Binary Cross Entropy 的特性

特性	说明
适用场景	二分类问题、逻辑回归、神经网络输出层
值域	[0,∞)[0, \infty)，预测越准确，损失越接近 0
数值稳定性	需避免对 0 或 1 取对数，通常添加 ϵ=1×10−15\epsilon = 1 \times 10^{-15}
凸函数	适用于梯度下降优化