regularization

TensorFlow2.1入门学习笔记(8)——欠拟合与过拟合(正则化)

欠拟合与过拟合 欠拟合:模型不能有效拟合数据集对现有数据集学习的不够彻底 过拟合:模型对训练集拟合的太好,而缺失了泛化力 欠拟合的解决方法: 增加输入特征项 增加网络参数 减少正则化参数 过拟合的解决方法: 数据清洗 增大训练集 采用正则化 增大正则化参数 正则化缓解过拟合 正则化在损失函数中引入模型复杂度指标,利用给W加权值,弱化了训练 数据的噪声(一般不正则化b) 常见的正则化: $loss_{l_1}(w)=\sum_i |w_i|$ $loss_{l_1}(w)=\sum_i |w_i ^2|$ 正则化的选择: L1正则化大概率会使很多参数变为零,因此该方法可通过稀疏参数,即减少参数的数量,降低复杂度。 L2正则化会使参数很接近零但不为零,因此该方法可通过减小参数值的大小降低复杂度。 例如:给出一个dot.csv数据集,判断y_是1的可能性大还是0的可能性大。 思路:可以将x1、x2分别作为横纵坐标,y_为1的点标为红色,为0的点标为蓝色,在坐标系中展示出来,通过神经网络离合出分界线模型。 采用l2正则化的源码: # 导入所需模块 import tensorflow as tf from matplotlib import pyplot as plt import numpy as np import pandas as pd # 读入数据/标签 生成x_train y_train df = pd.