在机器学习中,我们经常在训练集上训练模型,在测试集上测试模型。最终的目标是希望我们的模型在测试集上有最好的表现。
但是,我们往往只有一个包含m个观测的数据集D,我们既要用它进行训练,又要对它进行测试。此时,我们就需要对数据集D进行划分。
对于数据集D的划分,我们尽量需要满足三个要求:
- 训练集样本量充足
- 训练模型时的计算量可以忍受
- 不同的划分方式会得出不同的训练集和测试集,从而得出不同的结果,我们需要消除这种影响
我们将分别介绍留出法、交叉验证法,以及各自的python实现。自助法(bootstrapping)将在下篇中加以介绍。
1.留出法
留出法是最常用最直接最简单的方法,它直接将数据集D拆分成两个互斥的集合,其中一个作为训练集R,另一个作为测试集T。 即
在使用留出法时,需要注意:
- 要有足够的样本量,以保证训练模型的效果
- 在划分时注意保证数据分布的一致性(如:500个样本中正例和反例的比为2:3,则在训练集和测试集中正例和反例的比也要求为2:3),只需要采用随机分层抽样即可
- 为了减弱随机划分的影响,重复划分训练集和测试集,对得到的多次结果取平均作为最后的结果
- 一般训练集和测试集的比例在8:2或者7:3
当然留出法的缺点也非常明显,即它会损失一定的样本信息;同时需要大样本。
python实现留出法,只需要使用sklearn包就可以
from sklearn.model_selection import train_test_split #使用train_test_split划分训练集和测试集 train_X , test_X, train_Y ,test_Y = train_test_split( X, Y, test_size=0.2,random_state=0) ''' X为原始数据的自变量,Y为原始数据因变量; train_X,test_X是将X按照8:2划分所得; train_Y,test_Y是将X按照8:2划分所得; test_size是划分比例; random_state设置是否使用随机数 '''
2.交叉验证法
交叉验证法(cross validation)可以很好地解决留出法的问题,它对数据量的要求不高,并且样本信息损失不多。
交叉验证法先将数据集D划分为k个大小相似的互斥子集,即
为了保证数据分布的一致性,从D中随机分层抽样即可。
之后,每次都用k-1个子集的并集作为训练集,余下的那个子集作为测试集,这样我们就可以获得k组训练/测试集,从而进行k次训练和测试,最终返回这k组测试的均值。
具体说来,我们以k=10为例:
第一次我们选取第10份数据为测试集,前9份为训练集;
第二次我们选取第9份数据为测试集,第1-8和10为训练集;
…
第十次我们选取第1份数据为测试集,第2-9为训练集;
由此,我们共获得10组训练集和测试集,进行10次训练和测试,最终返回10次测试结果的均值。
显然,交叉验证法结果的稳定性和保真性很大程度取决于k的选择,为了强调这一点,交叉验证法也称作“k折交叉验证法”,k最常取的是10,也有取5或者20的。
同时,我们也需要避免由于数据划分的随机性造成的误差,我们可以重复进行p次实验。
p次k折交叉验证法,相当于做了pk次留出法(比例为k-1:1)
python实现交叉验证法,只需要使用sklearn包就可以。注意,函数返回的是样本序号。
import pandas as pd from sklearn.model_selection import KFold data = pd.read_excel('') #导入数据 kf = KFold(n_splits = 4,shuffle = False,random_state = None) '''n_splits表示将数据分成几份;shuffle和random_state表示是否随机生成。 如果shuffle = False,random_state = None,重复运行将产生同样的结果; 如果shuffle = True,random_state = None,重复运行将产生不同的结果; 如果shuffle = True,random_state = (一个数值),重复运行将产生相同的结果; ''' for train, test in kf.split(data): print("%s %s" % (train, test)) ''' 结果 [ 5 6 7 8 9 10 11 12 13 14 15 16 17 18] [0 1 2 3 4] [ 0 1 2 3 4 10 11 12 13 14 15 16 17 18] [5 6 7 8 9] [ 0 1 2 3 4 5 6 7 8 9 15 16 17 18] [10 11 12 13 14] [ 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14] [15 16 17 18] '''
如果想对数据集重复几次使用交叉验证法划分的话,使用RepeatedKFold函数即可,其中多了一个参数n_repeats
与留出法相比,交叉验证法的数据损失较小,更加适合于小样本,但是其计算复杂度变高,存储空间变大。极端的说来,如果将数据集D(m个样本)分成m份,每次都取m-1个样本为训练集,余下的那一个为测试集。共进行m次训练和测试。这种方法被叫做留一法。
留一法的优点显而易见,其数据损失只有一个样本,并且不会受到样本随即划分的影响。但是,其计算复杂度过高,空间存储占用过大。
python实现交叉验证法,只需要使用sklearn包就可以
from sklearn.model_selection import LeaveOneOut
X = [1, 2, 3, 4] loo = LeaveOneOut() for train, test in loo.split(data): print("%s %s" % (train, test)) '''结果 [1 2 3] [0] [0 2 3] [1] [0 1 3] [2] [0 1 2] [3] '''
综上所述:
- 当我们数据量足够时,选择留出法简单省时,在牺牲很小的准确度的情况下,换取计算的简便;
- 当我们的数据量较小时,我们应该选择交叉验证法,因为此时划分样本集将会使训练数据过少;
- 当我们的数据量特别少的时候,我们可以考虑留一法。
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
《魔兽世界》大逃杀!60人新游玩模式《强袭风暴》3月21日上线
暴雪近日发布了《魔兽世界》10.2.6 更新内容,新游玩模式《强袭风暴》即将于3月21 日在亚服上线,届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。
艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕,并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时,他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中,玩家将会进入一个全新的海盗主题大逃杀式限时活动,其中包含极高的风险和史诗级的奖励。
《强袭风暴》不是普通的战场,作为一个独立于主游戏之外的活动,玩家可以用大逃杀的风格来体验《魔兽世界》,不分职业、不分装备(除了你在赛局中捡到的),光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式,玩家在加入海盗主题的预赛大厅区域前,可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹,《巨龙崛起》和《魔兽世界:巫妖王之怒 经典版》的玩家都可以获得奖励。
更新动态
- 陈柏宇.2011-QUINQUENNIUM【SONY】【WAV+CUE】
- 《51首热门当红歌曲 十大顶级发烧女声 3CD》[WAV+CUE][1.6GB]
- 《赵传 深受摇滚迷青睐的台湾音乐人 约定》[WAV+CUE][320MB]
- 《庄心妍 实力唱将 发烧音乐精选集》[WAV+CUE][380MB]
- [音展纪念碟]2006年《TAA台湾第十六届国际HI-ENDHI-FI音响展》2cd[WAV]
- 中国音乐地图之听见西藏山歌牧歌酒歌2020[WAV分轨]
- 王宏伟2017-永远的红飘带[太平洋影音][WAV+CUE]
- 费翔.1997-NOW现在【第一中国】【WAV+CUE】
- 新格合唱团.1981-我唱你和2辑(滚石新格民歌系列)【新格】【WAV+CUE】
- 陈柏宇.2011-QUINQUENNIUM【SONY】【WAV+CUE】
- 雨果唱片-《金唛系列-蔷薇依韵琼瑶》WAV
- 陈百强《凝望(2012华纳LPCD45限量版)[DMI]》[WAV整轨]
- 模拟之声慢刻CD《徐小凤45周年》[德国母带][低速原抓WAV+CUE]
- 《庄心妍 实力唱将 发烧音乐精选集》[WAV+CUE][380MB]
- 《王菲 单曲合集》[FlAC/分轨][520MB]