本文实例讲述了Python实现的简单线性回归算法。分享给大家供大家参考,具体如下:
用python实现R的线性模型(lm)中一元线性回归的简单方法,使用R的women示例数据,R的运行结果:
> summary(fit)
Call:
lm(formula = weight ~ height, data = women)
Residuals:
Min 1Q Median 3Q Max
-1.7333 -1.1333 -0.3833 0.7417 3.1167
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) -87.51667 5.93694 -14.74 1.71e-09 ***
height 3.45000 0.09114 37.85 1.09e-14 ***
---
Signif. codes: 0 ‘***' 0.001 ‘**' 0.01 ‘*' 0.05 ‘.' 0.1 ‘ ' 1
Residual standard error: 1.525 on 13 degrees of freedom
Multiple R-squared: 0.991, Adjusted R-squared: 0.9903
F-statistic: 1433 on 1 and 13 DF, p-value: 1.091e-14
python实现的功能包括:
- 计算pearson相关系数
- 使用最小二乘法计算回归系数
- 计算拟合优度判定系数R2R2
- 计算估计标准误差Se
- 计算显著性检验的F和P值
import numpy as np import scipy.stats as ss class Lm: """简单一元线性模型,计算回归系数、拟合优度的判定系数和 估计标准误差,显著性水平""" def __init__(self, data_source, separator): self.beta = np.matrix(np.zeros(2)) self.yhat = np.matrix(np.zeros(2)) self.r2 = 0.0 self.se = 0.0 self.f = 0.0 self.msr = 0.0 self.mse = 0.0 self.p = 0.0 data_mat = np.genfromtxt(data_source, delimiter=separator) self.xarr = data_mat[:, :-1] self.yarr = data_mat[:, -1] self.ybar = np.mean(self.yarr) self.dfd = len(self.yarr) - 2 # 自由度n-2 return # 计算协方差 @staticmethod def cov_custom(x, y): result = sum((x - np.mean(x)) * (y - np.mean(y))) / (len(x) - 1) return result # 计算相关系数 @staticmethod def corr_custom(x, y): return Lm.cov_custom(x, y) / (np.std(x, ddof=1) * np.std(y, ddof=1)) # 计算回归系数 def simple_regression(self): xmat = np.mat(self.xarr) ymat = np.mat(self.yarr).T xtx = xmat.T * xmat if np.linalg.det(xtx) == 0.0: print('Can not resolve the problem') return self.beta = np.linalg.solve(xtx, xmat.T * ymat) # xtx.I * (xmat.T * ymat) self.yhat = (xmat * self.beta).flatten().A[0] return # 计算拟合优度的判定系数R方,即相关系数corr的平方 def r_square(self): y = np.mat(self.yarr) ybar = np.mean(y) self.r2 = np.sum((self.yhat - ybar) ** 2) / np.sum((y.A - ybar) ** 2) return # 计算估计标准误差 def estimate_deviation(self): y = np.array(self.yarr) self.se = np.sqrt(np.sum((y - self.yhat) ** 2) / self.dfd) return # 显著性检验F def sig_test(self): ybar = np.mean(self.yarr) self.msr = np.sum((self.yhat - ybar) ** 2) self.mse = np.sum((self.yarr - self.yhat) ** 2) / self.dfd self.f = self.msr / self.mse self.p = ss.f.sf(self.f, 1, self.dfd) return def summary(self): self.simple_regression() corr_coe = Lm.corr_custom(self.xarr[:, -1], self.yarr) self.r_square() self.estimate_deviation() self.sig_test() print('The Pearson\'s correlation coefficient: %.3f' % corr_coe) print('The Regression Coefficient: %s' % self.beta.flatten().A[0]) print('R square: %.3f' % self.r2) print('The standard error of estimate: %.3f' % self.se) print('F-statistic: %d on %s and %s DF, p-value: %.3e' % (self.f, 1, self.dfd, self.p))
python执行结果:
The Regression Coefficient: [-87.51666667 3.45 ]
R square: 0.991
The standard error of estimate: 1.525
F-statistic: 1433 on 1 and 13 DF, p-value: 1.091e-14
其中求回归系数时用矩阵转置求逆再用numpy
内置的解线性方程组的方法是最快的:
a = np.mat(women.xarr); b = np.mat(women.yarr).T timeit (a.I * b) 99.9 µs ± 941 ns per loop (mean ± std. dev. of 7 runs, 10000 loops each) timeit ata.I * (a.T*b) 64.9 µs ± 717 ns per loop (mean ± std. dev. of 7 runs, 10000 loops each) timeit np.linalg.solve(ata, a.T*b) 15.1 µs ± 126 ns per loop (mean ± std. dev. of 7 runs, 100000 loops each)
更多关于Python相关内容感兴趣的读者可查看本站专题:《Python数学运算技巧总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》及《Python入门与进阶经典教程》
希望本文所述对大家Python程序设计有所帮助。
Python,线性回归,算法
《魔兽世界》大逃杀!60人新游玩模式《强袭风暴》3月21日上线
暴雪近日发布了《魔兽世界》10.2.6 更新内容,新游玩模式《强袭风暴》即将于3月21 日在亚服上线,届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。
艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕,并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时,他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中,玩家将会进入一个全新的海盗主题大逃杀式限时活动,其中包含极高的风险和史诗级的奖励。
《强袭风暴》不是普通的战场,作为一个独立于主游戏之外的活动,玩家可以用大逃杀的风格来体验《魔兽世界》,不分职业、不分装备(除了你在赛局中捡到的),光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式,玩家在加入海盗主题的预赛大厅区域前,可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹,《巨龙崛起》和《魔兽世界:巫妖王之怒 经典版》的玩家都可以获得奖励。
更新动态
- 叶丽仪.1992-仙鹤神针电视剧原声音乐专辑【星传真】【WAV+CUE】
- 陈柏宇.2011-QUINQUENNIUM【SONY】【WAV+CUE】
- 《51首热门当红歌曲 十大顶级发烧女声 3CD》[WAV+CUE][1.6GB]
- 《赵传 深受摇滚迷青睐的台湾音乐人 约定》[WAV+CUE][320MB]
- 《庄心妍 实力唱将 发烧音乐精选集》[WAV+CUE][380MB]
- [音展纪念碟]2006年《TAA台湾第十六届国际HI-ENDHI-FI音响展》2cd[WAV]
- 中国音乐地图之听见西藏山歌牧歌酒歌2020[WAV分轨]
- 王宏伟2017-永远的红飘带[太平洋影音][WAV+CUE]
- 费翔.1997-NOW现在【第一中国】【WAV+CUE】
- 新格合唱团.1981-我唱你和2辑(滚石新格民歌系列)【新格】【WAV+CUE】
- 陈柏宇.2011-QUINQUENNIUM【SONY】【WAV+CUE】
- 雨果唱片-《金唛系列-蔷薇依韵琼瑶》WAV
- 陈百强《凝望(2012华纳LPCD45限量版)[DMI]》[WAV整轨]
- 模拟之声慢刻CD《徐小凤45周年》[德国母带][低速原抓WAV+CUE]
- 《庄心妍 实力唱将 发烧音乐精选集》[WAV+CUE][380MB]