数据库中的重型字段迁移优化（golang）
最近在数据迁移中的一些优化点，在这里分享一些，当然也不一定是最优的，欢迎讨论。
首先，在某些数据表中的字段，存着非常大的json数据。
并且有几十万行数据，需要更改json中的某个数组字段，追加一些元素。
常规方式
- 读取所有的行
- json反序列化
- 修改数据
- json序列号并保持到数据库
有几个问题
- 内存占用非常大，每行大概至少有8KB的数据，各种对象，内存申请，这个迁移程序可能会吃到数G的内存。
- 性能也不好，在读取数据库期间，其实是浪费了的
第二次优化
按每个团队划分，分别查询，内存降低了一点，因为golang中，使用过的对象并不会立即GC掉。
由于频繁的make对象，所以内存不会立即gc，内存还是比较高的。
第三次优化
使用golang中的Pool功能来复用对象：
var issueTypePool = sync.Pool{ New: func() interface{} { return make([]*IssueType, 0) }, }
数据库查询
issueTypes := issueTypePool.Get().([]*IssueType) _, err := tx.Select(&issueTypes, sql, teamUUID) if err != nil { return nil, err }
恢复对象到对象池：
defer issueTypePool.Put(issueTypes[:0])
这样已经不错了，对象能复用，内存占用取决于最大的团队的内存占用。。
第四次优化
使用golang中的游标方式。
下面的代码中有第二个参数就是channel缓冲区，并且在rows中边读边丢入channel
func AllObjects(tx sq.DB, issueTypeChan chan<- IssueType) error { // 。。。。 for rows.Next() { it := new(IssueType) err = rows.Scan(&it.UUID, &it.TeamUUID, &it.DefaultConfigs) if err != nil { return err } issueTypeChan <- it } return nil }
启动goroutine，并在持续从chan缓冲区读取数据，同时对数据修改迁移，并写入数据库。
issueTypeChan := make(chan IssueType, 1000) doneChan := make(chan bool) timer := time.NewTimer(5 time.Second) defer timer.Stop()
go func() { for { select { case <-timer.C: close(doneChan) fmt.Println("done...") return case it := <-issueTypeChan: timer.Reset(5 * time.Second) // TODO .... } } }()
这样就比较满意了，但是这种方式还没有经过测试，理论上读写分离之后，性能是更优的。