机器学习概览

学习的本质都是最优化问题

学习目标

分类

回归

模型

SVM

树模型

ID3

C4.5

CART

XGBoost

LightGBM

CATBoost

神经网络

Dense (Fully Connected)

CNN

RNN

激活函数

将线性函数转化为非线性函数，激活函数一般来讲也是模型的一部分

sigmoid

softmax

tanh

relu

leakyRelu

目标函数

损失函数

最小二乘

*极大似然

logLoss/logitLoss

cross-entropy Loss

Focal Loss

正则化项

L1

L2

优化算法

梯度下降 (可视化 (opens new window))

• vanilla gradient decent
• Momentum
• AdaGrad
• RMSProp
• Adam

牛顿法

拟牛顿法

DFP

BFGS

Broyden

https://zhuanlan.zhihu.com/p/37524275

http://www.cs.toronto.edu/~tijmen/csc321/slides/lecture_slides_lec6.pdf

评价指标

Accuracy, Precision, Recall

F1-score

ROC/AUC