杰晶网络

利用shell命令统计日志的方法详解
脚本专栏 2024/12/28 佚名
3 2

前言

大家都知道，通过使用 shell 命令可以很方便地对日志进行统计和分析，当服务有异常的时候，需要去排查日志，那么掌握一种统计日志的技巧就是必不可少的了。

假设有一个包含下面内容的日志文件 access.log。我们以统计这个文件的日志为例。

date=2017-09-23 13:32:50 | ip=40.80.31.153 | method=GET | url=/api/foo/bar"-" | user-agent="Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.7 (KHTML, like Gecko) Chrome/16.0.912.63 Safari/535.7" | cookie="-"
date=2017-09-23 00:00:00 | ip=100.109.222.3 | method=HEAD | url=/api/foo/healthcheck | status=200 | time=0.337 | bytes=10 | referrer="-" | user-agent="-" | cookie="-"
date=2017-09-23 13:32:50 | ip=40.80.31.153 | method=GET | url=/api/foo/bar"-" | user-agent="GuzzleHttp/6.2.0 curl/7.19.7 PHP/7.0.15" | cookie="-"
date=2017-09-23 13:32:50 | ip=40.80.31.153 | method=GET | url=/api/foo/bar"-" | user-agent="Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.7 (KHTML, like Gecko) Chrome/16.0.912.63 Safari/535.7" | cookie="-"
date=2017-09-23 13:32:50 | ip=40.80.31.153 | method=GET | url=/api/foo/bar"-" | user-agent="Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.7 (KHTML, like Gecko) Chrome/16.0.912.63 Safari/535.7" | cookie="-"

不同的服务对应的日志可能不一样，本文使用示例日志的格式是：

date | ip | method | url | status | time | bytes | referrer | user-agent | cookie

注意：mac 系统和 linux 系统中的命令行为可能不同，以下命令请在 linux 系统中使用

排除特殊日志

统计日志时，我们可能不关心 HEAD 请求，或者只关心 GET 请求，这里首先需要筛选日志，可以使用 grep 命令。-v 的含义是排除匹配的文本行。

grep GET access.log # 只统计 GET 请求
grep -v HEAD access.log # 不统计 HEAD 请求
grep -v 'HEAD\|POST' access.log # 不统计 HEAD 和 POST 请求

查看接口耗时情况

我们可以将每行的 time 匹配出来，然后做一个排序。使用 awk 的 match 方法可以匹配正则：

awk '{ match($0, /time=([0-9]+\.[0-9]+)/, result); print result[1]}' access.log

awk 命令使用方法如下：

awk '{pattern + action}' {filenames}

我们实际上只用到了 action：match($0, /time=([0-9]+\.[0-9]+)/, result); print result[1] 这一段。

match 方法接收三个参数：需要匹配的文本、正则表达式、结果数组。$0 代表 awk 命令处理的每一行，结果数组是可选的，因为我们要拿到匹配结果所以这里传入了一个 result 数组，用来存储匹配后的结果。

注意这里的正则我没有使用 \d 来表示数字，因为 awk 指令默认使用 “EREs"，不支持 \d 的表示，具体请看 linux shell 正则表达式(BREs,EREs,PREs)差异比较。

result 数组实际上和 javascript 里的结果数组很像了，所以我们打印出第二个元素，即匹配到的内容。执行完这行命令后结果如下：

9.703
0.337
8.829
9.962
11.822

当然实际上一天的日志可能是成千上万条，我们需要对日志进行排序，且只展示前 3 条。这里使用到 sort 命令。

sort 命令默认从小到大排序，且当作字符串排序。所以默认情况下使用 sort 命令之后 "11" 会排在 "8" 前面。那么需要使用 -n 指定按数字排序，-r 来按从大到小排序，然后我们查看前 3 条：

awk '{ match($0, /time=([0-9]+\.[0-9]+)/, result); print result[1]}' access.log | sort -rn | head -3

结果：

11.822
9.962
9.703

查看耗时最高的接口

当然我们一般不会只查看接口耗时情况，还需要把具体日志也打印出来，上面的命令就不能满足要求了。

awk 的打印默认是按空格分隔的，意思是 2017-09-23 GET 这一行如果使用 awk '{print $1}' 会打印出 "2017-09-23"，类似地，$2 会打印出 GET。

根据日志特征，我们可以使用 | 来作为分隔符，这样就能打印出各个我们感兴趣的值了。因为我们想找出耗时最高的接口，那么我们把 time、date 和 url 单独找出来。

awk 的 -F 参数用来自定义分隔符。然后我们可以数一下三个部分按 | 分隔后分别是第几个：time 是第 6 个、date 是第 1 个、url 是第 4 个。

awk -F '|' '{print $6 $1 $4}' access.log

这样打出来结果为：

 time=9.703 date=2017-09-23 13:32:50 url=/api/foo/bar"htmlcode">



awk -F '|' '{print $6 $1 $4}' access.log | awk -F 'time=' '{print $2}'





结果：





9.703 date=2017-09-23 13:32:50 url=/api/foo/bar"htmlcode">



awk -F '|' '{print $6 $1 $4}' access.log | awk -F 'time=' '{print $2}' | sort -k1nr | head -3





结果：





11.822 date=2017-09-23 13:32:50 url=/api/foo/bar"color: #ff0000">统计请求次数最多的接口




如果需要统计哪些接口每天请求量是最多的，只需要新引入 uniq 命令。


我们已经可以通过 grep -v HEAD access.log | awk -F '|' '{print $4}' 来筛选出所有的 url，uniq 命令可以删除 相邻 的相同的行，而 -c 可以输出每行出现的次数。


所以我们先把 url 排序以让相同的 url 放在一起，然后使用 uniq -c 来统计出现的次数：





grep -v HEAD access.log | awk -F '|' '{print $4}' | sort | uniq -c





因为示例日志数量太少，我们假设日志里有多条，那么结果应该类似下面：





1 url=/api/foo/bar"htmlcode">



grep -v HEAD access.log | awk -F '|' '{print $4}' | sort | uniq -c | sort -k1nr | head -10





总结


以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作能带来一定的帮助，如果有疑问大家可以留言交流，谢谢大家对的支持。


                                

                                

                                     

                                

                                    标签：
                                        
shell常用命令,shell,查看日志命令,shell,分析日志
免责声明：本站文章均来自网站采集或用户投稿，网站不提供任何软件下载或自行开发的软件！ 如有用户或公司发现本站内容信息存在侵权行为，请邮件告知！ 858582#qq.com
评论“利用shell命令统计日志的方法详解”
暂无“利用shell命令统计日志的方法详解”评论...
www.imxmx.com 杰晶网络
8,675无损音乐
1,324高清电影
213破解软件
120,141站长资源
一句话新闻
苹果官宣WWDC 2024！预计会有大批AI功能 - 2024/12/28

3月27日消息，苹果宣布2024年全球开发者大会（WWDC）将于6月10日至6月14日举行，巧合的是，这次大会与端午假期重合。

苹果官方表示：

在线参加 Apple 每年规模最大的开发者盛会。亲眼见证 Apple 最新平台、技术和工具的发布。了解如何创建和改进你的 App 和游戏。与 Apple 设计师和工程师互动交流，与全球开发者社区建立联系。以上活动均免费在线举行。

探索各种新的工具、框架和功能，助力你打造出理想的 App 和游戏。通过视频讲座学习新技能，与 Apple 专家进行一对一会面，以推进你的项目，完善你的构思。

Swift Student Challenge 旨在支持和鼓舞下一代开发者、创作者和企业家。太平洋时间 3 月 28 日，我们将公布今年的获奖者名单。获奖者将有资格参加在 Apple Park 举办的特别活动。我们还会选出 50 名杰出获胜者，他们将受邀前往库比提诺，获得为期三天的非凡体验，包括参加 Apple Park 的特别活动。

RTX 5090要首发 性能要翻倍！三星展示GDDR7显存

三星在GTC上展示了专为下一代游戏GPU设计的GDDR7内存。

首次推出的GDDR7内存模块密度为16GB，每个模块容量为2GB。其速度预设为32 Gbps（PAM3），但也可以降至28 Gbps，以提高产量和初始阶段的整体性能和成本效益。

据三星表示，GDDR7内存的能效将提高20%，同时工作电压仅为1.1V，低于标准的1.2V。通过采用更新的封装材料和优化的电路设计，使得在高速运行时的发热量降低，GDDR7的热阻比GDDR6降低了70%。

更新动态

友情链接

杰晶网络 DDR爱好者之家 南强小屋 黑松山资源网 白云城资源网