杭州弈儒软件技术有限公司用户9314
常用算法的损失函数
输入“/”快速插入内容
常用算法的损失函数
常用算法的损失函数
用户93142025年4月30日修改
一、回归问题的损失函数
回归任务的目标是预测连续值，常用的损失函数包括：
1.
均方误差（MSE, Mean Squared Error）
◦
公式：
◦
特点：
▪
对大误差惩罚强烈，适合数据分布较均匀的情况。
▪
连续可微，梯度下降效率高。
◦
应用：房价预测、时间序列分析。
2.
平均绝对误差（MAE, Mean Absolute Error）
◦
公式：
◦
特点：
▪
对异常值鲁棒，适合数据存在离群点的场景。
▪
在误差为零时不可导，需用次梯度方法处理。
◦
应用：金融数据预测、传感器噪声抑制。
3.
Huber损失（平滑L1损失）
◦
公式：
◦
特点：
▪
结合MSE和MAE的优点，通过参数
平衡鲁棒性与精度。
▪
用放大镜看小误差，用切割器看大误差”
◦
应用：目标检测中的边界框回归（YOLO）。
4.
均方根误差（RMSE, Root Mean Squared Error）
◦
公式：
◦
特点：
▪
与原始数据单位一致，便于直观解释。
5.
平均偏差误差（MBE, Mean Bias Error）
◦
公式：
◦
特点：
▪
反映预测系统的系统性偏差（正负误差会相互抵消）。
二、分类问题的损失函数
分类任务的目标是预测离散标签，常用损失函数包括：
1.
交叉熵损失（Cross-Entropy Loss）
◦
二分类：
◦
多分类：
◦
特点：
▪
鼓励模型输出接近真实分布的概率。
▪
常与Softmax激活结合使用。
◦
应用：图像分类、文本情感分析。
2.
Hinge损失（用于SVM）
◦
公式：
◦
特点：
▪
要求预测结果不仅正确，且置信度足够高。