这篇文章主要介绍了如何在python中写hive脚本,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
1、直接执行.sql脚本
import numpy as np import pandas as pd import lightgbm as lgb from pandas import DataFrame from sklearn.model_selection import train_test_split from io import StringIO import gc import sys import os hive_cmd = "hive -f ./sql/sql.sql" output = os.popen(hive_cmd) data_cart_prop = pd.read_csv(StringIO(unicode(output.read(),'utf-8')), sep="\t",header=0)
2、Hive语句执行
假如有如下hive sql:
hive_cmd = 'hive -e "select count(*) from hbase.routermac_sort_10;"'
一般在python中按照如下方式执行该hive sql:
os.system(hive_cmd)
---------------------
hive_cmd1 = "hive -f ./user.sql" output1 = os.popen(hive_cmd1) test_user = pd.read_csv(StringIO(unicode(output1.read(),'utf-8')), sep="\t",header=0) hive_cmd2 = "hive -f ./action.sql" output2 = os.popen(hive_cmd2) test_action = pd.read_csv(StringIO(unicode(output2.read(),'utf-8')), sep="\t",header=0) hive_cmd3 = "hive -f ./click.sql" output3 = os.popen(hive_cmd3) test_click = pd.read_csv(StringIO(unicode(output3.read(),'utf-8')), sep="\t",header=0)
为了显示表头,在脚本中加上一句:set hive.cli.print.header=true;
或者,使用如下语句:
hive_cmd = 'hive -e "set hive.cli.print.header=true;SELECT * FROM dev.temp_dev_jypt_decor_user_label_phase_one_view_feature WHERE(dt = "2018-09-17");"' output = os.popen(hive_cmd) data_cart_prop = pd.read_csv(StringIO(unicode(output.read(),'utf-8')), sep="\t",header=0)
3、tf 显存占用
import tensorflow as tf tf.enable_eager_execution() x = tf.get_variable('x', shape=[1], initializer=tf.constant_initializer(3.)) with tf.GradientTape() as tape: y = tf.square(x) y_grad = tape.gradient(y, x) print([y.numpy(), y_grad.numpy()])
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
标签:
python,hive,脚本
免责声明:本站文章均来自网站采集或用户投稿,网站不提供任何软件下载或自行开发的软件!
如有用户或公司发现本站内容信息存在侵权行为,请邮件告知! 858582#qq.com
暂无“如何在python中写hive脚本”评论...
RTX 5090要首发 性能要翻倍!三星展示GDDR7显存
三星在GTC上展示了专为下一代游戏GPU设计的GDDR7内存。
首次推出的GDDR7内存模块密度为16GB,每个模块容量为2GB。其速度预设为32 Gbps(PAM3),但也可以降至28 Gbps,以提高产量和初始阶段的整体性能和成本效益。
据三星表示,GDDR7内存的能效将提高20%,同时工作电压仅为1.1V,低于标准的1.2V。通过采用更新的封装材料和优化的电路设计,使得在高速运行时的发热量降低,GDDR7的热阻比GDDR6降低了70%。
更新动态
20240727
20240727
- 《刀郎13CD合集》[WAV+CUE][8.4G]
- 群星.2024-天行健影视剧原声带【企鹅影视】【FLAC分轨】
- 郑源2008-源·情歌[首版][WAV+CUE]
- 郭峰1999-甘心情愿[首版][WAV+CUE]
- 关智斌.2006-寻找美惠【英皇娱乐】【FLAC分轨】
- 谢安琪.2007-THEFIRSTDAY(新歌+重绎)【新艺宝】【WAV+CUE】
- 群星.1992-1994-宝丽金绝佳经典2辑【宝丽金】【WAV+CUE】
- 雷婷-《我的爱回不来(紫银合金AQCD)》[WAV+CUE]
- 群星《妙音20周年辉煌经典纪念版》蓝光BSCD[正版原抓WAV+CUE]
- 【雨果唱片】音乐图书馆系列《绣金匾》1999【WAV整轨+CUE】
- 曜爆甘弦乐团《忆声弦命 滚石40【40首OST 致经典】》[320K/MP3][94.1MB]
- 曜爆甘弦乐团《忆声弦命 滚石40【40首OST 致经典】》[FLAC/分轨][208.1MB]
- 丁当《日与夜,跟自己说晚安》[320K/MP3][98.51MB]
- 何炅.2005-漫游【中唱】【WAV+CUE】
- 何嘉莉.1998-MYDREAMS(EP)【飞图】【WAV+CUE】