You cannot select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.

528 lines
21 KiB
Markdown

This file contains invisible Unicode characters!

This file contains invisible Unicode characters that may be processed differently from what appears below. If your use case is intentional and legitimate, you can safely ignore this warning. Use the Escape button to reveal hidden characters.

This file contains ambiguous Unicode characters that may be confused with others in your current locale. If your use case is intentional and legitimate, you can safely ignore this warning. Use the Escape button to highlight these characters.

# 36 | 代码测试(上):如何编写 Go 语言单元测试和性能测试用例?
你好,我是孔令飞。
从今天开始我们就进入了服务测试模块这一模块主要介绍如何测试我们的Go项目。
在Go项目开发中我们不仅要开发功能更重要的是确保这些功能稳定可靠并且拥有一个不错的性能。要确保这些就要对代码进行测试。开发人员通常会进行单元测试和性能测试分别用来测试代码的功能是否正常和代码的性能是否满足需求。
每种语言通常都有自己的测试包/模块Go语言也不例外。在Go中我们可以通过`testing`包对代码进行单元测试和性能测试。这一讲,我会用一些示例来讲解如何编写单元测试和性能测试用例,下一讲则会介绍如何编写其他的测试类型,并介绍 IAM 项目的测试用例。
## 如何测试 Go 代码?
Go语言有自带的测试框架`testing`可以用来实现单元测试T类型和性能测试B类型通过`go test`命令来执行单元测试和性能测试。
go test 执行测试用例时是以go包为单位进行测试的。执行时需要指定包名比如`go test 包名`如果没有指定包名默认会选择执行命令时所在的包。go test在执行时会遍历以`_test.go`结尾的源码文件,执行其中以`Test`、`Benchmark`、`Example`开头的测试函数。
为了演示如何编写测试用例我预先编写了4个函数。假设这些函数保存在test目录下的`math.go`文件中,包名为`test`math.go代码如下
```go
package test
import (
"fmt"
"math"
"math/rand"
)
// Abs returns the absolute value of x.
func Abs(x float64) float64 {
return math.Abs(x)
}
// Max returns the larger of x or y.
func Max(x, y float64) float64 {
return math.Max(x, y)
}
// Min returns the smaller of x or y.
func Min(x, y float64) float64 {
return math.Min(x, y)
}
// RandInt returns a non-negative pseudo-random int from the default Source.
func RandInt() int {
return rand.Int()
}
```
在这一讲后面的内容中,我会演示如何编写测试用例,来对这些函数进行单元测试和性能测试。下面让我们先来看下测试命名规范。
## 测试命名规范
在我们对Go代码进行测试时需要编写测试文件、测试函数、测试变量它们都需要遵循一定的规范。这些规范有些来自于官方有些则来自于社区。这里我分别来介绍下测试文件、包、测试函数和测试变量的命名规范。
### 测试文件的命名规范
Go的测试文件名必须以`_test.go`结尾。例如,如果我们有一个名为`person.go`的文件,那它的测试文件必须命名为`person_test.go`。这样做是因为Go需要区分哪些文件是测试文件。这些测试文件可以被go test命令行工具加载用来测试我们编写的代码但会被Go的构建程序忽略掉因为Go程序的运行不需要这些测试代码。
### 包的命名规范
Go的测试可以分为白盒测试和黑盒测试。
* **白盒测试:**将测试和生产代码放在同一个Go包中这使我们可以同时测试Go包中可导出和不可导出的标识符。当我们编写的单元测试需要访问Go包中不可导出的变量、函数和方法时就需要编写白盒测试用例。
* **黑盒测试:**将测试和生产代码放在不同的Go包中。这时我们仅可以测试Go包的可导出标识符。这意味着我们的测试包将无法访问生产代码中的任何内部函数、变量或常量。
在白盒测试中Go的测试包名称需要跟被测试的包名保持一致例如`person.go`定义了一个`person`包,则`person_test.go`的包名也要为`person`,这也意味着`person.go`和`person_test.go`都要在同一个目录中。
在黑盒测试中Go的测试包名称需要跟被测试的包名不同但仍然可以存放在同一个目录下。比如`person.go`定义了一个`person`包,则`person_test.go`的包名需要跟`person`不同,通常我们命名为`person_test`。
如果不是需要使用黑盒测试我们在做单元测试时要尽量使用白盒测试。一方面这是go test工具的默认行为另一方面使用白盒测试我们可以测试和使用不可导出的标识符。
测试文件和包的命名规范由Go语言及go test工具来强制约束。
### 函数的命名规范
测试用例函数必须以`Test`、`Benchmark`、`Example`开头,例如`TestXxx`、`BenchmarkXxx`、`ExampleXxx``Xxx`部分为任意字母数字的组合首字母大写。这是由Go语言和go test工具来进行约束的`Xxx`一般是需要测试的函数名。
除此之外,还有一些社区的约束,这些约束不是强制的,但是遵循这些约束会让我们的测试函数名更加易懂。例如,我们有以下函数:
```go
package main
type Person struct {
age int64
}
func (p *Person) older(other *Person) bool {
return p.age > other.age
}
```
很显然,我们可以把测试函数命名为`TestOlder`,这个名称可以很清晰地说明它是`Older`函数的测试用例。但是,如果我们想用多个测试用例来测试`TestOlder`函数,这些测试用例该如何命名呢?也许你会说,我们命名为`TestOlder1`、`TestOlder2`不就行了?
其实,还有其他更好的命名方法。比如,这种情况下,我们可以将函数命名为`TestOlderXxx`,其中`Xxx`代表`Older`函数的某个场景描述。例如,`strings.Compare`函数有如下测试函数:`TestCompare`、`TestCompareIdenticalString`、`TestCompareStrings`。
### 变量的命名规范
Go语言和go test没有对变量的命名做任何约束。但是在编写单元测试用例时还是有一些规范值得我们去遵守。
单元测试用例通常会有一个实际的输出,在单元测试中,我们会将预期的输出跟实际的输出进行对比,来判断单元测试是否通过。为了清晰地表达函数的实际输出和预期输出,可以将这两类输出命名为`expected/actual`,或者`got/want`。例如:
```go
if c.expected != actual {
t.Fatalf("Expected User-Agent '%s' does not match '%s'", c.expected, actual)
}
```
或者:
```go
if got, want := diags[3].Description().Summary, undeclPlural; got != want {
t.Errorf("wrong summary for diagnostic 3\ngot: %s\nwant: %s", got, want)
}
```
其他的变量命名我们可以遵循Go语言推荐的变量命名方法例如
* Go中的变量名应该短而不是长对于范围有限的局部变量来说尤其如此。
* 变量离声明越远,对名称的描述性要求越高。
* 像循环、索引之类的变量名称可以是单个字母i。如果是不常见的变量和全局变量变量名就需要具有更多的描述性。
上面我介绍了Go测试的一些基础知识。接下来我们来看看如何编写单元测试用例和性能测试用例。
## 单元测试
单元测试用例函数以 `Test` 开头,例如 `TestXxx``Test_xxx` `Xxx` 部分为任意字母数字组合,首字母大写)。函数参数必须是 `*testing.T`,可以使用该类型来记录错误或测试状态。
我们可以调用 `testing.T``Error` 、`Errorf` 、`FailNow` 、`Fatal` 、`FatalIf` 方法,来说明测试不通过;调用 `Log` 、`Logf` 方法来记录测试信息。函数列表和相关描述如下表所示:
![图片](https://static001.geekbang.org/resource/image/b3/ab/b374d392abfe62459d2c22e6ff76c0ab.jpg?wh=1920x1570)
下面的代码是两个简单的单元测试函数(函数位于文件[math\_test.go](https://github.com/marmotedu/gopractise-demo)中):
```go
func TestAbs(t *testing.T) {
got := Abs(-1)
if got != 1 {
t.Errorf("Abs(-1) = %f; want 1", got)
}
}
func TestMax(t *testing.T) {
got := Max(1, 2)
if got != 2 {
t.Errorf("Max(1, 2) = %f; want 2", got)
}
}
```
执行`go test`命令来执行如上单元测试用例:
```go
$ go test
PASS
ok github.com/marmotedu/gopractise-demo/31/test 0.002s
```
`go test`命令自动搜集所有的测试文件,也就是格式为`*_test.go`的文件,从中提取全部测试函数并执行。
go test还支持下面三个参数。
* \-v显示所有测试函数的运行细节
```go
$ go test -v
=== RUN TestAbs
--- PASS: TestAbs (0.00s)
=== RUN TestMax
--- PASS: TestMax (0.00s)
PASS
ok github.com/marmotedu/gopractise-demo/31/test 0.002s
```
* \-run < regexp>,指定要执行的测试函数:
```go
$ go test -v -run='TestA.*'
=== RUN TestAbs
--- PASS: TestAbs (0.00s)
PASS
ok github.com/marmotedu/gopractise-demo/31/test 0.001s
```
上面的例子中,我们只运行了以`TestA`开头的测试函数。
* \-count N指定执行测试函数的次数
```go
$ go test -v -run='TestA.*' -count=2
=== RUN TestAbs
--- PASS: TestAbs (0.00s)
=== RUN TestAbs
--- PASS: TestAbs (0.00s)
PASS
ok github.com/marmotedu/gopractise-demo/31/test 0.002s
```
### 多个输入的测试用例
前面介绍的单元测试用例只有一个输入,但是很多时候,我们需要测试一个函数在多种不同输入下是否能正常返回。这时候,我们可以编写一个稍微复杂点的测试用例,用来支持多输入下的用例测试。例如,我们可以将`TestAbs`改造成如下函数:
```go
func TestAbs_2(t *testing.T) {
tests := []struct {
x float64
want float64
}{
{-0.3, 0.3},
{-2, 2},
{-3.1, 3.1},
{5, 5},
}
for _, tt := range tests {
if got := Abs(tt.x); got != tt.want {
t.Errorf("Abs() = %f, want %v", got, tt.want)
}
}
}
```
上述测试用例函数中,我们定义了一个结构体数组,数组中的每一个元素代表一次测试用例。数组元素的的值包含输入和预期的返回值:
```go
tests := []struct {
x float64
want float64
}{
{-0.3, 0.3},
{-2, 2},
{-3.1, 3.1},
{5, 5},
}
```
上述测试用例将被测函数放在for循环中执行
```go
for _, tt := range tests {
if got := Abs(tt.x); got != tt.want {
t.Errorf("Abs() = %f, want %v", got, tt.want)
}
}
```
上面的代码将输入传递给被测函数,并将被测函数的返回值跟预期的返回值进行比较。如果相等,则说明此次测试通过,如果不相等则说明此次测试不通过。通过这种方式,我们就可以在一个测试用例中,测试不同的输入和输出,也就是不同的测试用例。如果要新增一个测试用例,根据需要添加输入和预期的返回值就可以了,这些测试用例都共享其余的测试代码。
上面的测试用例中,我们通过`got != tt.want`来对比实际返回结果和预期返回结果。我们也可以使用`github.com/stretchr/testify/assert`包中提供的函数来做结果对比,例如:
```go
func TestAbs_3(t *testing.T) {
tests := []struct {
x float64
want float64
}{
{-0.3, 0.3},
{-2, 2},
{-3.1, 3.1},
{5, 5},
}
for _, tt := range tests {
got := Abs(tt.x)
assert.Equal(t, got, tt.want)
}
}
```
使用`assert`来对比结果,有下面这些好处:
* 友好的输出结果,易于阅读。
* 因为少了`if got := Xxx(); got != tt.wang {}`的判断,代码变得更加简洁。
* 可以针对每次断言,添加额外的消息说明,例如`assert.Equal(t, got, tt.want, "Abs test")`。
assert包还提供了很多其他函数供开发者进行结果对比例如`Zero`、`NotZero`、`Equal`、`NotEqual`、`Less`、`True`、`Nil`、`NotNil`等。如果想了解更多函数,你可以参考`go doc github.com/stretchr/testify/assert`。
### 自动生成单元测试用例
通过上面的学习,你也许可以发现,测试用例其实可以抽象成下面的模型:
![图片](https://static001.geekbang.org/resource/image/8f/fa/8f06e0a1bf2638a9255467a29e6dfcfa.jpg?wh=1920x688)
用代码可表示为:
```go
func TestXxx(t *testing.T) {
type args struct {
// TODO: Add function input parameter definition.
}
type want struct {
// TODO: Add function return parameter definition.
}
tests := []struct {
name string
args args
want want
}{
// TODO: Add test cases.
}
for _, tt := range tests {
t.Run(tt.name, func(t *testing.T) {
if got := Xxx(tt.args); got != tt.want {
t.Errorf("Xxx() = %v, want %v", got, tt.want)
}
})
}
}
```
既然测试用例可以抽象成一些模型那么我们就可以基于这些模型来自动生成测试代码。Go社区中有一些优秀的工具可以自动生成测试代码我推荐你使用[gotests](https://github.com/cweill/gotests)工具。
下面我来讲讲gotests工具的使用方法可以分成三个步骤。
第一步安装gotests工具
```bash
$ go get -u github.com/cweill/gotests/...
```
gotests命令执行格式为`gotests [options] [PATH] [FILE] ...`。gotests可以为`PATH`下的所有Go源码文件中的函数生成测试代码也可以只为某个`FILE`中的函数生成测试代码。
第二步进入测试代码目录执行gotests生成测试用例
```bash
$ gotests -all -w .
```
上面的命令会为当前目录下所有Go源码文件中的函数生成测试代码。
第三步,添加测试用例:
生成完测试用例你只需要添加需要测试的输入和预期的输出就可以了。下面的测试用例是通过gotests生成的
```go
func TestUnpointer(t *testing.T) {
type args struct {
offset *int64
limit *int64
}
tests := []struct {
name string
args args
want *LimitAndOffset
}{
// TODO: Add test cases.
}
for _, tt := range tests {
t.Run(tt.name, func(t *testing.T) {
if got := Unpointer(tt.args.offset, tt.args.limit); !reflect.DeepEqual(got, tt.want) {
t.Errorf("Unpointer() = %v, want %v", got, tt.want)
}
})
}
}
```
我们只需要补全`TODO`位置的测试数据即可,补全后的测试用例见[gorm\_test.go](https://github.com/marmotedu/iam/blob/v1.0.8/internal/pkg/util/gormutil/gorm_test.go)文件。
## 性能测试
上面,我讲了用来测试代码的功能是否正常的单元测试,接下来我们来看下性能测试,它是用来测试代码的性能是否满足需求的。
性能测试的用例函数必须以`Benchmark`开头,例如`BenchmarkXxx`或`Benchmark_Xxx` `Xxx` 部分为任意字母数字组合,首字母大写)。
函数参数必须是`*testing.B`,函数内以`b.N`作为循环次数,其中`N`会在运行时动态调整,直到性能测试函数可以持续足够长的时间,以便能够可靠地计时。下面的代码是一个简单的性能测试函数(函数位于文件[math\_test.go](https://github.com/marmotedu/gopractise-demo/blob/master/test/math_test.go)中):
```go
func BenchmarkRandInt(b *testing.B) {
for i := 0; i < b.N; i++ {
RandInt()
}
}
```
`go test`命令默认不会执行性能测试函数,需要通过指定参数`-bench <pattern>`来运行性能测试函数。`-bench`后可以跟正则表达式,选择需要执行的性能测试函数,例如`go test -bench=".*"`表示执行所有的压力测试函数。执行`go test -bench=".*"`后输出如下:
```bash
$ go test -bench=".*"
goos: linux
goarch: amd64
pkg: github.com/marmotedu/gopractise-demo/31/test
BenchmarkRandInt-4 97384827 12.4 ns/op
PASS
ok github.com/marmotedu/gopractise-demo/31/test 1.223s
```
上面的结果只显示了性能测试函数的执行结果。`BenchmarkRandInt`性能测试函数的执行结果如下:
```bash
BenchmarkRandInt-4 90848414 12.8 ns/op
```
每个函数的性能执行结果一共有3列分别代表不同的意思这里用上面的函数举例子
* `BenchmarkRandInt-4``BenchmarkRandInt`表示所测试的测试函数名4表示有4个CPU线程参与了此次测试默认是`GOMAXPROCS`的值。
* `90848414` ,说明函数中的循环执行了`90848414`次。
* `12.8 ns/op`,说明每次循环的执行平均耗时是 `12.8` 纳秒,该值越小,说明代码性能越高。
如果我们的性能测试函数在执行循环前,需要做一些耗时的准备工作,我们就需要重置性能测试时间计数,例如:
```go
func BenchmarkBigLen(b *testing.B) {
big := NewBig()
b.ResetTimer()
for i := 0; i < b.N; i++ {
big.Len()
}
}
```
当然,我们也可以先停止性能测试的时间计数,然后再开始时间计数,例如:
```go
func BenchmarkBigLen(b *testing.B) {
b.StopTimer() // 调用该函数停止压力测试的时间计数
big := NewBig()
b.StartTimer() // 重新开始时间
for i := 0; i < b.N; i++ {
big.Len()
}
}
```
B类型的性能测试还支持下面 4 个参数。
* benchmem输出内存分配统计
```bash
$ go test -bench=".*" -benchmem
goos: linux
goarch: amd64
pkg: github.com/marmotedu/gopractise-demo/31/test
BenchmarkRandInt-4 96776823 12.8 ns/op 0 B/op 0 allocs/op
PASS
ok github.com/marmotedu/gopractise-demo/31/test 1.255s
```
指定了`-benchmem`参数后,执行结果中又多了两列: 0 B/op表示每次执行分配了多少内存字节该值越小说明代码内存占用越小0 allocs/op表示每次执行分配了多少次内存该值越小说明分配内存次数越少意味着代码性能越高。
* benchtime指定测试时间和循环执行次数格式需要为Nx例如100x
```bash
$ go test -bench=".*" -benchtime=10s # 指定测试时间
goos: linux
goarch: amd64
pkg: github.com/marmotedu/gopractise-demo/31/test
BenchmarkRandInt-4      910328618               13.1 ns/op
PASS
ok      github.com/marmotedu/gopractise-demo/31/test    13.260s
$ go test -bench=".*" -benchtime=100x # 指定循环执行次数
goos: linux
goarch: amd64
pkg: github.com/marmotedu/gopractise-demo/31/test
BenchmarkRandInt-4           100                16.9 ns/op
PASS
ok      github.com/marmotedu/gopractise-demo/31/test    0.003s
```
* cpu指定GOMAXPROCS。
* timeout指定测试函数执行的超时时间
```bash
$ go test -bench=".*" -timeout=10s
goos: linux
goarch: amd64
pkg: github.com/marmotedu/gopractise-demo/31/test
BenchmarkRandInt-4 97375881 12.4 ns/op
PASS
ok github.com/marmotedu/gopractise-demo/31/test 1.224s
```
## 总结
代码开发完成之后我们需要为代码编写单元测试用例并根据需要给一些函数编写性能测试用例。Go语言提供了 `testing` 包,供我们编写测试用例,并通过 `go test` 命令来执行这些测试用例。
go test在执行测试用例时会查找具有固定格式的Go源码文件名并执行其中具有固定格式的函数这些函数就是测试用例。这就要求我们的测试文件名、函数名要符合 `go test` 工具的要求Go的测试文件名必须以 `_test.go` 结尾;测试用例函数必须以 `Test``Benchmark``Example` 开头。此外,我们在编写测试用例时,还要注意包和变量的命名规范。
Go项目开发中编写得最多的是单元测试用例。单元测试用例函数以 `Test` 开头,例如 `TestXxx``Test_xxx` `Xxx` 部分为任意字母数字组合,首字母大写)。函数参数必须是 `*testing.T` ,可以使用该类型来记录错误或测试状态。我们可以调用 `testing.T``Error` 、`Errorf` 、`FailNow` 、`Fatal` 、`FatalIf` 方法,来说明测试不通过;调用 `Log` 、`Logf` 方法来记录测试信息。
下面是一个简单的单元测试函数:
```go
func TestAbs(t *testing.T) {
    got := Abs(-1)
    if got != 1 {
        t.Errorf("Abs(-1) = %f; want 1", got)
    }
}
```
编写完测试用例之后,可以使用 `go test` 命令行工具来执行这些测试用例。
此外,我们还可以使用[gotests](https://github.com/cweill/gotests)工具,来自动地生成单元测试用例,从而减少编写测试用例的工作量。
我们在Go项目开发中还经常需要编写性能测试用例。性能测试用例函数必须以`Benchmark`开头,以`*testing.B` 作为函数入参,通过 `go test -bench <pattern>` 运行。
## 课后练习
1. 编写一个 `PrintHello` 函数,该函数会返回 `Hello World` 字符串,并编写单元测试用例,对 `PrintHello` 函数进行测试。
2. 思考一下,哪些场景下采用白盒测试,哪些场景下采用黑盒测试?
欢迎你在留言区与我交流讨论,我们下一讲见。