# 机器学习概览

学习的本质都是最优化问题

# 学习目标

分类

回归

# 模型

# SVM

# 树模型

ID3

C4.5

CART

XGBoost

LightGBM

CATBoost

# 神经网络

Dense (Fully Connected)

CNN

RNN

# 激活函数

将线性函数转化为非线性函数,激活函数一般来讲也是模型的一部分

sigmoid

softmax

tanh

relu

leakyRelu

# 目标函数

# 损失函数

最小二乘

*极大似然

logLoss/logitLoss

cross-entropy Loss

Focal Loss

# 正则化项

L1

L2

# 优化算法

梯度下降 (可视化 (opens new window))

  • vanilla gradient decent
  • Momentum
  • AdaGrad
  • RMSProp
  • Adam

牛顿法

拟牛顿法

DFP

BFGS

Broyden

https://zhuanlan.zhihu.com/p/37524275

http://www.cs.toronto.edu/~tijmen/csc321/slides/lecture_slides_lec6.pdf

# 评价指标

Accuracy, Precision, Recall

F1-score

ROC/AUC