前言
今天逛github时,发现了这款对 SQL 进行优化和改写的自动化工具sora。感觉挺不错的,就下载学习了一下。这个工具支持的功能比较多,可以作为我们日常开发中的一款辅助工具,现在我就把它推荐给你们~~~
github传送门:https://github.com/XiaoMi/soar
背景
在我们日常开发中,优化SQL总是我们日常开发任务之一。例行 SQL 优化,不仅可以提升程序性能,还能够降低线上故障的概率。
目前常用的 SQL 优化方式包括但不限于:业务层优化、SQL逻辑优化、索引优化等。其中索引优化通常通过调整索引或新增索引从而达到 SQL 优化的目的。索引优化往往可以在短时间内产生非常巨大的效果。如果能够将索引优化转化成工具化、标准化的流程,减少人工介入的工作量,无疑会大大提高我们的工作效率。
SOAR(SQL Optimizer And Rewriter) 是一个对 SQL 进行优化和改写的自动化工具。由小米人工智能与云平台的数据库团队开发与维护。
与业内其他优秀产品对比如下:
SOAR
sqlcheck
pt-query-advisor
SQL Advisor
Inception
sqlautoreview
启发式建议
"htmlcode">
$ wget https://github.com/XiaoMi/soar/releases/download/0.11.0/soar.linux-amd64 -O soar chmod a+x soar
这里建议直接下载最新版,要不会有bug。
下载好的二进制文件添加到环境变量中即可(不会的谷歌一下吧,这里就不讲了)。
测试一下:
$ echo 'select * from user' | soar.darwin-amd64(根据你自己的二进制文件名来输入) # Query: AC4262B5AF150CB5 ★ ★ ★ ☆ ☆ 75分 ```sql SELECT * FROM USER ``` ## 最外层 SELECT 未指定 WHERE 条件 * **Item:** CLA.001 * **Severity:** L4 * **Content:** SELECT 语句没有 WHERE 子句,可能检查比预期更多的行(全表扫描)。对于 SELECT COUNT(\*) 类型的请求如果不要求精度,建议使用 SHOW TABLE STATUS 或 EXPLAIN 替代。 ## 不建议使用 SELECT * 类型查询 * **Item:** COL.001 * **Severity:** L1 * **Content:** 当表结构变更时,使用 \* 通配符选择所有列将导致查询的含义和行为会发生更改,可能导致查询返回更多的数据。
源码安装
依赖环境:
1. Go 1.10+
2. git
高级依赖(仅面向开发人员)
- mysql 客户端版本需要与容器中MySQL版本相同,避免出现由于认证原因导致无法连接问题
- docker MySQL Server测试容器管理
- govendor Go包管理
- retool 依赖外部代码质量静态检查工具二进制文件管理
生成二进制文件:
go get -d github.com/XiaoMi/soar
cd ${GOPATH}/src/github.com/XiaoMi/soar && make
生成的二进制文件与上面一样,直接放入环境变量即可,这里我没有尝试,靠你们自己踩坑了呦~~~
简单使用
0. 前置准备
准备一个table,如下:
CREATE TABLE `users` ( `id` bigint(20) unsigned NOT NULL AUTO_INCREMENT, `username` varchar(64) NOT NULL DEFAULT '', `nickname` varchar(255) DEFAULT '', `password` varchar(256) NOT NULL DEFAULT '', `salt` varchar(48) NOT NULL DEFAULT '', `avatar` varchar(128) DEFAULT NULL, `uptime` datetime DEFAULT NULL, PRIMARY KEY (`id`), UNIQUE KEY `username` (`username`) ) ENGINE=InnoDB AUTO_INCREMENT=11 DEFAULT CHARSET=utf8mb4
1. 直接输入sql语句(不运行)
$ echo "select * from users" | soar.darwin-amd64 $ # Query: 30AFCB1E1344BEBD ★ ★ ★ ☆ ☆ 75分 ```sql SELECT * FROM users ``` ## 最外层 SELECT 未指定 WHERE 条件 * **Item:** CLA.001 * **Severity:** L4 * **Content:** SELECT 语句没有 WHERE 子句,可能检查比预期更多的行(全表扫描)。对于 SELECT COUNT(\*) 类型的请求如果不要求精度,建议使用 SHOW TABLE STATUS 或 EXPLAIN 替代。 ## 不建议使用 SELECT * 类型查询 * **Item:** COL.001 * **Severity:** L1 * **Content:** 当表结构变更时,使用 \* 通配符选择所有列将导致查询的含义和行为会发生更改,可能导致查询返回更多的数据。
现在是完全根据SQL语句进行分析的,因为没有连接到mysql。可以看到,给出的报告也很详细,但是只是空壳子,仅凭SQL语句给出的分析并不是准确的,所以我们开始接下来的应用。
2. 连接mysql生成EXPLAIN分析报告
我们可以在配置文件中配置好mysql相关的配置,操作如下:
vi soar.yaml # yaml format config file online-dsn: addr: 127.0.0.1:3306 schema: asong user: root password: root1997 disable: false test-dsn: addr: 127.0.0.1:3306 schema: asong user: root password: root1997 disable: false
配置好了,我们来实践一下子吧:
$ echo "SELECT id,username,nickname,password,salt,avatar,uptime FROM users WHERE username = 'asong1111'" | soar.darwin-amd64 -test-dsn="root:root1997@127.0.0.1:3306/asong" -allow-online-as-test -log-output=soar.log $ # Query: D12A420193AD1674 ★ ★ ★ ★ ★ 100分 ```sql SELECT id, username, nickname, PASSWORD, salt, avatar, uptime FROM users WHERE username = 'asong1111' ``` ## Explain信息 | id | select\_type | table | partitions | type | possible_keys | key | key\_len | ref | rows | filtered | scalability | Extra | |---|---|---|---|---|---|---|---|---|---|---|---|---| | 1 | SIMPLE | *users* | NULL | const | username | username | 258 | const | 1 | "htmlcode">$ echo "selec * from users" | soar.darwin-amd64 -only-syntax-check At SQL 1 : line 1 column 5 near "selec * from users" (total length 18)这里select关键字少了一个t,运行该指令帮助我们一下就定位了问题,当我们的sql语句很长时,就可以使用该指令来辅助我们检查SQL语句是否正确。
4. SQL美化
我们日常开发时,经常会看其他人写的代码,因为水平不一样,所以有些SQL语句会写的很乱,所以这个工具就派上用场了,我们可以把我们的SQL语句变得漂亮一些,更容易我们理解哦。
$ echo "SELECT id,username,nickname,password,salt,avatar,uptime FROM users WHERE username = 'asong1111'" | soar.darwin-amd64 -report-type=pretty SELECT id, username, nickname, PASSWORD, salt, avatar, uptime FROM users WHERE username = 'asong1111';这样看起来是不是更直观了呢~~。
结尾
因为我也才是刚使用这个工具,更多的玩法我还没有发现,以后补充。更多玩法可以自己研究一下,github传送门:https://github.com/XiaoMi/soar。官方文档其实很粗糙,更多方法解锁还要靠自己研究,毕竟源码已经给我们了,对于学习go也有一定帮助,当作一个小项目慢慢优化岂不是更好呢~~。
Mysql,优化
更新动态
- 凤飞飞《我们的主题曲》飞跃制作[正版原抓WAV+CUE]
- 刘嘉亮《亮情歌2》[WAV+CUE][1G]
- 红馆40·谭咏麟《歌者恋歌浓情30年演唱会》3CD[低速原抓WAV+CUE][1.8G]
- 刘纬武《睡眠宝宝竖琴童谣 吉卜力工作室 白噪音安抚》[320K/MP3][193.25MB]
- 【轻音乐】曼托凡尼乐团《精选辑》2CD.1998[FLAC+CUE整轨]
- 邝美云《心中有爱》1989年香港DMIJP版1MTO东芝首版[WAV+CUE]
- 群星《情叹-发烧女声DSD》天籁女声发烧碟[WAV+CUE]
- 刘纬武《睡眠宝宝竖琴童谣 吉卜力工作室 白噪音安抚》[FLAC/分轨][748.03MB]
- 理想混蛋《Origin Sessions》[320K/MP3][37.47MB]
- 公馆青少年《我其实一点都不酷》[320K/MP3][78.78MB]
- 群星《情叹-发烧男声DSD》最值得珍藏的完美男声[WAV+CUE]
- 群星《国韵飘香·贵妃醉酒HQCD黑胶王》2CD[WAV]
- 卫兰《DAUGHTER》【低速原抓WAV+CUE】
- 公馆青少年《我其实一点都不酷》[FLAC/分轨][398.22MB]
- ZWEI《迟暮的花 (Explicit)》[320K/MP3][57.16MB]