背景
最近在做一个服务发现/注册的agent, 各个服务需要通过这个agent来注册自己的服务,在完成
开发后,测试性能时发现性能达不到要求,通过pprof 来确认cpu主要耗费在gc上,分析结果主要是由于字符串拼接导致,故需要测试一下字符串拼接的几种方法的性能;
字符串拼接的几种方法
1、直接使用加号进行拼接
2、strings.Join()
3、fmt.Sprintf()
4、bytes.Buffer
大量字符串拼接性能测试
我们使用的场景主要是大量字符串拼接,所以需要的场景是不断在字符串上拼接所以测试函数如下:
// fmt.Printf func BenchmarkFmtSprintfMore(b *testing.B) { var s string for i := 0; i < b.N; i++ { s += fmt.Sprintf("%s%s", "hello", "world") } fmt.Errorf(s) } // 加号 拼接 func BenchmarkAddMore(b *testing.B) { var s string for i := 0; i < b.N; i++ { s += "hello" + "world" } fmt.Errorf(s) } // strings.Join func BenchmarkStringsJoinMore(b *testing.B) { var s string for i := 0; i < b.N; i++ { s += strings.Join([]string{"hello", "world"}, "") } fmt.Errorf(s) } // bytes.Buffer func BenchmarkBufferMore(b *testing.B) { buffer := bytes.Buffer{} for i := 0; i < b.N; i++ { buffer.WriteString("hello") buffer.WriteString("world") } fmt.Errorf(buffer.String()) }
执行测试函数
~/gopath/src/test/string go test -bench="." goos: darwin goarch: amd64 pkg: test/string BenchmarkFmtSprintfMore-4 300000 118493 ns/op BenchmarkAddMore-4 300000 124940 ns/op BenchmarkStringsJoinMore-4 300000 117050 ns/op BenchmarkBufferMore-4 100000000 37.2 ns/op PASS ok test/string 112.294s
从上可以看出使用bytes.buffer的性能是非常高的,如果涉及到大量数据拼接推荐
bytes.buffer{}
单次字符串拼接性能测试
func BenchmarkFmtSprintf(b *testing.B) { for i := 0; i < b.N; i++ { s := fmt.Sprintf("%s%s", "hello", "world") fmt.Errorf(s) } } func BenchmarkAdd(b *testing.B) { for i := 0; i < b.N; i++ { s := "hello" + "world" fmt.Errorf(s) } } func BenchmarkStringsJoin(b *testing.B) { for i := 0; i < b.N; i++ { s := strings.Join([]string{"hello", "world"}, "") fmt.Errorf(s) } } func BenchmarkBuffer(b *testing.B) { for i := 0; i < b.N; i++ { b := bytes.Buffer{} b.WriteString("hello") b.WriteString("world") fmt.Errorf(b.String()) } }
执行测试函数
~/gopath/src/test/string go test -bench="." goos: darwin goarch: amd64 pkg: test/string BenchmarkFmtSprintf-4 10000000 200 ns/op BenchmarkAdd-4 20000000 93.6 ns/op BenchmarkStringsJoin-4 10000000 152 ns/op BenchmarkBuffer-4 10000000 175 ns/op PASS ok test/string 7.818s
从上可以看出单词调用字符串拼接性能 + > strings.Join > bytes.Buffer > fmt.Sprintf
总结
如果涉及到大量数据拼接推荐 bytes.buffer{}
后记
当然只是通过bytes.buffer{} 性能还是不够的,针对这个问题我们通过添加缓存进一步接口qps.
cpu 耗费在gc 上的原因,需要分析golang gc 回收机制, 这是另外一个topic, 之后总结。
补充:Go语言字符串批量拼接-StringBuilder
1.安装
go get -u github.com/typa01/go-utils
import ( "github.com/typa01/go-utils" )
使用,例:
fieldNames := tsgutils.NewInterfaceBuilder()
2.使用
func TestStringBuilderReplace(t *testing.T) { builder1 := NewStringBuilder() builder1.Append("%111%abc%987%") FmtPrintln(builder1.Replace("%", "$").ToString()) // $111$abc$987$ builder2 := builder1.Clear() builder2.AppendStrings("abc","defg").AppendInt(123).AppendFloat64(66.44).AppendStrings("aaa", "bbb", "&") FmtPrintln(builder2.RemoveLast().ToString()) // abcdefg1236.644E+01aaabbb str1 := NewString("123") builder3 := NewStringBuilderString(str1).Append("456") FmtPrintln(builder3.ToString()) // 123456 }
3.GitHub源码地址
https://github.com/typa01/go-utils
https://github.com/typa01/go-utils/blob/master/string_builder.go
以上为个人经验,希望能给大家一个参考,也希望大家多多支持。如有错误或未考虑完全的地方,望不吝赐教。
golang,字符串拼接
RTX 5090要首发 性能要翻倍!三星展示GDDR7显存
三星在GTC上展示了专为下一代游戏GPU设计的GDDR7内存。
首次推出的GDDR7内存模块密度为16GB,每个模块容量为2GB。其速度预设为32 Gbps(PAM3),但也可以降至28 Gbps,以提高产量和初始阶段的整体性能和成本效益。
据三星表示,GDDR7内存的能效将提高20%,同时工作电压仅为1.1V,低于标准的1.2V。通过采用更新的封装材料和优化的电路设计,使得在高速运行时的发热量降低,GDDR7的热阻比GDDR6降低了70%。
更新动态
- 凤飞飞《我们的主题曲》飞跃制作[正版原抓WAV+CUE]
- 刘嘉亮《亮情歌2》[WAV+CUE][1G]
- 红馆40·谭咏麟《歌者恋歌浓情30年演唱会》3CD[低速原抓WAV+CUE][1.8G]
- 刘纬武《睡眠宝宝竖琴童谣 吉卜力工作室 白噪音安抚》[320K/MP3][193.25MB]
- 【轻音乐】曼托凡尼乐团《精选辑》2CD.1998[FLAC+CUE整轨]
- 邝美云《心中有爱》1989年香港DMIJP版1MTO东芝首版[WAV+CUE]
- 群星《情叹-发烧女声DSD》天籁女声发烧碟[WAV+CUE]
- 刘纬武《睡眠宝宝竖琴童谣 吉卜力工作室 白噪音安抚》[FLAC/分轨][748.03MB]
- 理想混蛋《Origin Sessions》[320K/MP3][37.47MB]
- 公馆青少年《我其实一点都不酷》[320K/MP3][78.78MB]
- 群星《情叹-发烧男声DSD》最值得珍藏的完美男声[WAV+CUE]
- 群星《国韵飘香·贵妃醉酒HQCD黑胶王》2CD[WAV]
- 卫兰《DAUGHTER》【低速原抓WAV+CUE】
- 公馆青少年《我其实一点都不酷》[FLAC/分轨][398.22MB]
- ZWEI《迟暮的花 (Explicit)》[320K/MP3][57.16MB]