golang chan 最详细原理剖析,全面源码分析!看完不可能不懂的!

渗透技巧 3年前 (2020) admin
591 0 0
golang  chan 最详细原理剖析,全面源码分析!看完不可能不懂的!

大纲

golang  chan 最详细原理剖析,全面源码分析!看完不可能不懂的!


  • channel 是什么?

  • channel 使用姿势

    • chan 创建

    • chan 入队

    • chan 出队

    • 结合 select 语句

    • 结合 for-range 语句

  • 源码解析

    • `makechan`

    • hchan 结构

    • chansend

    • chanrecv

    • selectnbsend

    • selectnbrecv

    • selectnbrecv2

    • chanrecv2

  • 总结


golang  chan 最详细原理剖析,全面源码分析!看完不可能不懂的!

概述

golang  chan 最详细原理剖析,全面源码分析!看完不可能不懂的!


chan 是 golang 的最重要的一个结构,是区别于其他高级语言的最重要的特色之一,也是 goroutine 通信必须要的要素之一。很多人用它,但是很少人彻底理解过它,甚至 c <- x<-c 这样的语法可能都记不清晰,怎么办?本文教你从源码编译器的角度全方位的剖析 channel 的用法。

golang  chan 最详细原理剖析,全面源码分析!看完不可能不懂的!

channel 是什么?

golang  chan 最详细原理剖析,全面源码分析!看完不可能不懂的!


本质上就实现角度来讲,golang 的 channel 就是一个环形队列(ringbuffer)的实现。我们称 chan 为管理结构,channel 里面可以放任何类型的对象,我们称之为元素。

我们从 channel 的使用姿势入手,讲解最详细的 channel 使用方法。

golang  chan 最详细原理剖析,全面源码分析!看完不可能不懂的!
golang  chan 最详细原理剖析,全面源码分析!看完不可能不懂的!

channel 使用姿势

golang  chan 最详细原理剖析,全面源码分析!看完不可能不懂的!


我们从宏观的 chan 使用姿势入手,总结来讲,有以下几种姿势:

  • chan 的创建
  • chan 入队
  • chan 出队
  • select 和 chan 结合
  • for-range 和 chan 结合

chan 创建

创建一个 channel ,一般用户使用姿势有两种,分别是创建有 buffer 和没有 buffer 的 channel 。

// no buffer 的 channel
c := make(chan int)
// 自带 buffer 的 channel 
c1 := make(chan int , 10)

这个对应了实际函数是 makechan ,位于 runtime/chan.go 文件里。

chan 入队

用户使用姿势:

c <- x

对应函数实现 chansend ,位于 runtime/chan.go 文件。

chan 出队

用户使用姿势:

v := <-c
v, ok := <-c

对应函数分别是 chanrecv1chanrecv2 ,位于 runtime/chan.go 文件。

结合 select 语句

用户使用姿势:

select {
case c <- v:
 //  ... foo
default:
 //  ... bar
}

对应函数实现为 selectnbsend , 位于 runtime/chan.go 文件中。

用户使用姿势:

select {
case v = <-c:
 //  ... foo
default:
 //  ... bar
}

对应函数实现为 selectnbrecv , 位于 runtime/chan.go 文件中。

用户使用姿势:

select {
case v, ok = <-c:
 //  ... foo
default:
 //  ... bar
}

对应函数实现为 selectnbrecv2 , 位于 runtime/chan.go 文件中。

结合 for-range 语句

用户使用姿势:

for m := range c {
    // ...   do something
}

对应使用函数 chanrecv2 ,位于 runtime/chan.go  文件中。


golang  chan 最详细原理剖析,全面源码分析!看完不可能不懂的!

源码解析

golang  chan 最详细原理剖析,全面源码分析!看完不可能不懂的!


上面我们通过宏观的用户使用姿势,了解清楚了不同的使用姿势对应了不同实现函数(这个翻译是编译器来做的),我们接下来就是仔细看下这些函数的实现。

makechan

负责 channel 的创建,当我们 go 程序里写类似 v := make(chan int) 的初始化语句,就会相应的调用不同类型对应的初始化函数,其中 channel 的初始化函数就是 makechen

runtime.makechan

定义原型:

func makechan(t *chantype, size int) *hchan {
}

通过这个,我们能得知到,声明创建一个 channel ,本质上是得到了一个 hchan 的指针,所以 channel 的核心结构就是基于 hchan 来实现的。

其中 t 参数是指明元素类型:

type chantype struct {
 typ  _type
 elem *_type
 dir  uintptr
}

size 指明这个 channel buffer 槽位有多少。如果是带 buffer 的 channel,比如那么 size 就是槽位数,如果没有指定,那么就是 0;

// size == 0
a := make(chan int)
// size == 2
b := make(chan int2)

我们看下 makechan 做的事情,其实很简单,就只做了两件事:

func makechan(t *chantype, size int) *hchan {
    // 参数校验
    // 初始化 hchan 结构
}

参数校验无非就是一些越界,或者 limit 的校验。

初始化 hchan 则简单的分为三种情况:

switch {
// no buffer 的场景,这种 channel 可以看成 pipe;
case mem == 0:
    c = (*hchan)(mallocgc(hchanSize, niltrue))
    c.buf = c.raceaddr()
// channel 元素不含指针的场景,那么是分配出一个大内存块;
case elem.ptrdata == 0:
    c = (*hchan)(mallocgc(hchanSize+mem, niltrue))
    c.buf = add(unsafe.Pointer(c), hchanSize)
// 默认场景,hchan 结构体和 buffer 内存块单独分配;
default:
    c = new(hchan)
    c.buf = mallocgc(mem, elem, true)
}
  1. 如果是不带 buffer 的 channel ,那么只需要分配出一个 hchan 结构体即可;
  2. 如果 channel 元素(elem)内不含指针,那么 hchan 和 buffer 其实是可以在一起分配的,hchan 和 elem buffer 的内存块连续;
  3. 如果 channel 元素(elem)是带有指针的,那么 hchan 和 buffer 就不能分配在一起,所以先 new 一个 hchan 结构,再单独分配 elem buffer 数组;

所以我们看到除了 hchan 结构体本身的内存分配,该结构体初始化的关键在于四个字段:

// channel 的元素 buffer 数组地址;
c.buf = mallocgc(mem, elem, true)
// channel 元素大小,如果是 int,那么就是 8 字节;
c.elemsize = uint16(elem.size)
// 元素类型,这样就知道 channel 里面每个元素究竟是啥了;
c.elemtype = elem
// 元素 buffer 数组的大小,比如 make(chan int, 2),那么这里赋值的就是 2;
c.dataqsiz = uint(size)

hchan 结构

makechan 函数负责创建了 chan 的核心结构-hchan,接下来我们再仔细分析下 hchan 结构体本身。

type hchan struct {
 qcount   uint           // queue 里面有效用户元素,这个字段是在元素出对,入队改变的;
 dataqsiz uint           // 初始化的时候赋值,之后不再改变,指明数组 buffer 的大小;
 buf      unsafe.Pointer // 指明 buffer 数组的地址,初始化赋值,之后不会再改变;
 elemsize uint16  // 指明元素的大小,和 dataqsiz 配合使用就能知道 buffer 内存块的大小了;
 closed   uint32
 elemtype *_type // 元素类型,初始化赋值;
 sendx    uint   // send index
 recvx    uint   // receive index
 recvq    waitq  // 等待 recv 响应的对象列表,抽象成 waiters
 sendq    waitq  // 等待 sedn 响应的对象列表,抽象成 waiters

 // 互斥资源的保护锁,官方特意说明,在持有本互斥锁的时候,绝对不要修改 Goroutine 的状态,不能很有可能在栈扩缩容的时候,出现死锁
 lock mutex
}

makechan 我们就看到初始化的时候其实只会初始化四个核心字段:

  1. buf :指明 buffer 地址
  2. elemsize :指明元素大小
  3. elemtype :指明元素类型
  4. dataqsiz :指明数组大小

我们使用 channel 的时候知道,channel 常常会因为两种情况阻塞,1)投递的时候没有空间了,2)取出的时候还未有元素。

// 如果 c 没有空间了,那么这行代码就会 hang 住,goroutine 会把执行权限让出去,直到有 buffer 空间,才会返回;
c <- x

// 如果 c 里面没有用户元素,那么这行代码会 hang 住,goroutine 切走,直到取到一个元素,这行代码才会返回;
<- c

从以上描述来说,就涉及到 goroutine 阻塞和 goroutine 唤醒,这个功能就跟 recvqsendq 这两个字段有关。

 recvq    waitq  // list of recv waiters
 sendq    waitq  // list of send waiters

waitq 类型其实就是一个双向列表的实现,和 linux 里面的 LIST 实现非常相像。

type waitq struct {
 first *sudog
 last  *sudog
}

chansend

chansend 函数是在编译器解析到 c <- x 这样的代码的时候插入的,本质上就是把一个用户元素投递到 hchan 的 ringbuffer 中。chansend 调用的时候,一般用户会遇到两种情况:

  1. 投递成功,非常顺利,正常返回;
  2. 投递受阻,该函数阻塞,goroutine 切走;

接下来,我们看下 chansend 究竟是做了什么。

func chansend(c *hchan, ep unsafe.Pointer, block bool, callerpc uintptr) bool {
    // channel 的所有操作,都在互斥锁下;
    lock(&c.lock)
    // 如果投递的目标是已经关闭的 channel,那么直接 panic;
    if c.closed != 0 {
        unlock(&c.lock)
        panic(plainError("send on closed channel"))
    }
    // 场景一:性能最好的场景,我投递的元素刚好有人在等着(那我直接给他就完了);
    // 调用的是 send 函数,这个函数后面详细阐述,其实非常简单,递增 sendx, recvx 的索引,然后直接把元素给到等他的人,并且唤醒他;
    if sg := c.recvq.dequeue(); sg != nil {
        send(c, sg, ep, func() { unlock(&c.lock) }, 3)
        return true
    }
    // 场景二:ringbuffer 还有空间,那么把元素放好,递增索引,就可以返回了;
    if c.qcount < c.dataqsiz {
        // 复制,赋值好元素;
        qp := chanbuf(c, c.sendx)
        typedmemmove(c.elemtype, qp, ep)
        // 递增索引
        c.sendx++
        // 回环空间
        if c.sendx == c.dataqsiz {
            c.sendx = 0
        }
        // 递增元素个数
        c.qcount++
        unlock(&c.lock)
        return true
    }
    // 判断是否需要阻塞?如果是非阻塞的,那么就直接解锁返回了,如果是阻塞的场景,那么就会走到下面的逻辑哦;
    // chan <- 和 <-chan 的场景,都是 true,但是会有其他场景这里是 false,可以提前想下?
    if !block {
        unlock(&c.lock)
        return false
    }
    // 代码走到这里,说明都是因为条件不满足,要阻塞当前 goroutine,所以做的事情本质上就是保留好通知路径,等待条件满足,会在这个地方唤醒;
    gp := getg()
    mysg := acquireSudog()
    mysg.releasetime = 0
    mysg.elem = ep
    mysg.waitlink = nil
    mysg.g = gp
    mysg.isSelect = false
    mysg.c = c
    gp.waiting = mysg
    gp.param = nil
    // 把 goroutine 相关的线索结构入队,等待条件满足的唤醒;
    c.sendq.enqueue(mysg)
    // goroutine 切走,让出 cpu 执行权限;
    gopark(chanparkcommit, unsafe.Pointer(&c.lock), waitReasonChanSend, traceEvGoBlockSend, 2)

    // 到这就是某些人唤醒该 goroutine 了。
    // 下面就是唤醒之后的逻辑了;
    if mysg != gp.waiting {
        throw("G waiting list is corrupted")
    }
    // 做一些资源的释放和环境的清理。
    gp.waiting = nil
    gp.activeStackChans = false
    if gp.param == nil {
        // 做一些校验
        if c.closed == 0 {
            throw("chansend: spurious wakeup")
        }
        panic(plainError("send on closed channel"))
    }
    gp.param = nil
    mysg.c = nil
    releaseSudog(mysg)
    return true
}

当我们在 golang 里面执行 c <- x 这么一行代码意图投递一个元素到 channel 的时候,其实就是调用到 chansend 函数。这个函数分几个场景来处理,总结来说:

  1. 场景一:如果有人( goroutine )等着取 channel 的元素,这种场景最快乐,直接把元素给他就完了,然后把它唤醒,hchan 本身递增下 ringbuffer 索引;
  2. 场景二:如果 ringbuffer 还有空间,那么就把元素存着,这种也是场景的流程,存和取走的是异步流程,可以把 channel 理解成消息队列,生产者和消费者解耦;
  3. 场景三:ringbuffer 没空间,这个时候就要是否需要 block 了,一般来讲,c <- x 编译出的代码都是 block = true ,那么什么时候 chansend 的 block 参数会是 false 呢?答案是:select 的时候;

关于返回值:chansend 返回值标明元素是否 push 入队成功,成功的话,返回值为 true,否则 false 。

select 的提前揭秘:

select {
case c <- v:
    // ... foo
default:
    // ... bar
}

golang 源代码经过编译会变成类似如下:

if selectnbsend(c, v) {
//  ... foo
else {
//  ... bar
}

selectnbasend 只是一个代理:

func selectnbsend(c *hchan, elem unsafe.Pointer) (selected bool) {
    // 调用的就是 chansend 函数,block 参数为 false;
 return chansend(c, elem, false, getcallerpc())
}

小结:没错,chansend 功能就是这么简单,本质上就是一句话:投递元素到 channel 中。

chanrecv

对应的 golang 语句是:<- c 。该函数实现了 channel 的元素出队功能。举个例子,编译对应一般如下:

golang 语句:

<- c

对应:

func chanrecv1(c *hchan, elem unsafe.Pointer) {
    chanrecv(c, elem, true)
}

golang 语句(这次的区别在于是否有返回值):

v, ok :=  <- c

对应:

func chanrecv2(c *hchan, elem unsafe.Pointer) (received bool) {
    _, received = chanrecv(c, elem, true)       
    return
}

编译器在遇到 <-cv, ok := <-c  的语句的时候,会换成对应的 chanrecv1chanrecv2 函数,这两个函数本质上都是一个简单的封装,元素出队的实现函数是 chanrecv ,我们详细分析下这个函数。block 都等于 true(同样的,只有 select 的时候,block 才会是 false )。

func chanrecv(c *hchan, ep unsafe.Pointer, block bool) (selected, received bool) {
 // 特殊场景:非阻塞模式,并且没有元素的场景直接就可以返回了,这个分支是快速分支,下面的代码都是在锁内的;
 if !block && (c.dataqsiz == 0 && c.sendq.first == nil ||
  c.dataqsiz > 0 && atomic.Loaduint(&c.qcount) == 0) &&
  atomic.Load(&c.closed) == 0 {
  return
 }

 // 以下所有的逻辑都在锁内;
 lock(&c.lock)

 if c.closed != 0 && c.qcount == 0 {
  if raceenabled {
   raceacquire(c.raceaddr())
  }
  unlock(&c.lock)
  if ep != nil {
   typedmemclr(c.elemtype, ep)
  }
  return truefalse
 }

 // 场景:如果发现有个人(sender)正在等着别人接收,那么刚刚好,直接把它的元素给到我们这里就好了;
 if sg := c.sendq.dequeue(); sg != nil {
  recv(c, sg, ep, func() { unlock(&c.lock) }, 3)
  return truetrue
 }

 // 场景:ringbuffer 还有空间存元素,那么下面就可以把元素放到 ringbuffer 放好,递增索引,就可以返回了;
 if c.qcount > 0 {
  // 存元素
  qp := chanbuf(c, c.recvx)
  if ep != nil {
   typedmemmove(c.elemtype, ep, qp)
  }
  typedmemclr(c.elemtype, qp)
  // 递增索引
  c.recvx++
  if c.recvx == c.dataqsiz {
   c.recvx = 0
  }
  c.qcount--
  unlock(&c.lock)
  return truetrue
 }

 // 代码到这说明 ringbuffer 空间是不够的,后面学会要做两个事情,是否需要阻塞?
 // 如果 block 为 false ,那么直接就退出了,返回对应的返回值;
 if !block {
  unlock(&c.lock)
  return falsefalse
 }

 // 到这就说明要阻塞等待了,下面唯一要做的就是给阻塞做准备(准备好唤醒的条件)
 gp := getg()
 mysg := acquireSudog()
 mysg.releasetime = 0
 mysg.elem = ep
 mysg.waitlink = nil
 gp.waiting = mysg
 mysg.g = gp
 mysg.isSelect = false
 mysg.c = c
 gp.param = nil
 // goroutine 作为一个 waiter 入队列,等待条件满足之后,从这个队列里取出来唤醒;
 c.recvq.enqueue(mysg)
 // goroutine 切走,交出 cpu 执行权限
 goparkunlock(&c.lock, waitReasonChanReceive, traceEvGoBlockRecv, 3)

 // 这里是被唤醒的开始的地方;
 if mysg != gp.waiting {
  throw("G waiting list is corrupted")
 }
 // 下面做一些资源的清理
 gp.waiting = nil
 closed := gp.param == nil
 gp.param = nil
 mysg.c = nil
 releaseSudog(mysg)
 return true, !closed
}

chanrecv 函数的返回值有两个值,selected,received,其中 selected 一般作为 select 结合的函数返回值,指明是否要进入 select-case 的代码分支,received 表明是否从队列中成功获取到元素,有几种情况:

  1. 如果是非阻塞模式( block=false ),并且没有任何可用元素,返回 (selected=false,received=false),这样就不会进到 select 的 case 分支;
  2. 如果是阻塞模式( block=true ),如果 chan 已经 closed 了,那么返回的是 (selected=true,received=false),说明需要进到 select 的分支,但是是没有取到元素的;
  3. 如果是阻塞模式,chan 还是正常状态,那么返回(selected=true,recived=true),说明正常取到了元素;

selectnbsend

该函数是 c <- v  结合到 select 时候的函数,我们使用 select 的 case 里面如果是一个 chan 的表达式,那么编译器会转换成对应的 selectnbsend 函数,如下:

select {
case c <- v:
 //  ... foo
default:
 //  ... bar
}

对应编译函数逻辑如下:

if selectnbsend(c, v) {
 //  ... foo
else {
 //  ... bar
}

selectnbsend 本质上也就是个 chansend 的封装:

func selectnbsend(c *hchan, elem unsafe.Pointer) (selected bool) {
        // 注意 block 参数为 false
        return chansend(c, elem, false, getcallerpc())
}

chansend 的内部逻辑上面已经详细说明过,唯一不同的就是 block 参数是赋值成 false ,也就是说,在 ringbuffer 没有空间的是否也不会阻塞,直接返回。划重点:chan 在这里不会切走执行权限。

selectnbrecv

该函数也是 v := <-c 结合到 select 时候的函数,我们使用 select 的 case 里面如果是一个 chan 的表达式,那么编译器会转换成对应的 selectnbsrecv 函数,如下:

select {
case v = <-c:
 //  ... foo
default:
 //  ... bar
}

对应编译函数逻辑如下:

if selectnbrecv(&v, c) {
 //  ... foo
else {
 //  ... bar
}

selectnbrecv 本质上也就是个 chanrecv 的封装:

func selectnbrecv(elem unsafe.Pointer, c *hchan) (selected bool) {
    // block 参数为 false
    selected, _ = chanrecv(c, elem, false)        
    return
}

chanrecv 的内部逻辑上面已经详细说明过,在 ringbuffer 没有元素也不会阻塞,直接返回。这里不会因此而切走调度权限。

selectnbrecv2

该函数是 v, ok = <-c  结合到 select 时候的函数,我们使用 select 的 case 里面如果是一个 chan 的表达式,那么编译器会转换成对应的 selectnbrecv2 函数,如下:

select {
case v, ok = <-c:
 //  ... foo
default:
 //  ... bar
}

对应编译函数逻辑如下:

if selectnbrecv2(&v,  &ok,  c) {
 //  ... foo
else {
 //  ... bar
}

selectnbrecv2 本质上是个 chanrecv 的封装,只不过返回值不一样而已:

func selectnbrecv2(elem unsafe.Pointer, received *bool, c *hchan) (selected bool) {
    // block 参数为 false
    selected, *received = chanrecv(c, elem, false)
    return
}

chanrecv 的内部逻辑上面已经详细说明过,在 ringbuffer 没有元素也不会阻塞,直接返回。这里不会因此而切走调度权限。selectnbrecv2 对比 selectnbrecv 函数的不同是还有个 ok 参数指明是否获取到了元素。

chanrecv2

chan 可以和 for-range 结合使用,编译器会识别这种语法使用,如下:

for m := range c {
    // ...   do something
}

这个本质上是个 for 循环,我们知道 for 循环关键是拆建成 3 个部分,初始化,条件判断,条件递进:

for (init , condition, increment) {
    // do something
}

那么在我们 for-rangechan 结合起来之后,这 3 个关键因素又是怎么理解呢?简述如下:

init 初始化 :无

condition 条件判断

ok := chanrecv2(c, ep)
if ok {
}

increment 条件递进 :无

当编译器遇到上面 chan 结合 for-range  写法 ,会转换成 chanrecv2  的函数调用。意图从 channel 里出队元素, 返回值为 received 。首先看下 chanrecv2 的实现:

func chanrecv2(c *hchan, elem unsafe.Pointer) (received bool) {
    // 注意了,这个 block=true,说明 chanrecv 内部是阻塞的;
    _, received = chanrecv(c, elem, true)        
    return
}

chan 结合 for-range 编译之后的伪代码如下:

for (   ; ok = chanrecv2( c, ep )  ;   ) {
    // do something
}

划重点:从这个实现,我们可以获取一个非常重要的信息,for-range 和 chan 的结束条件只有这个 chan 被 close 了,否则一直会处于这个死循环内部。为什么?注意看 chanrecv  接收的参数是 block=true ,并且这个 for-range 是一个死循环,除非 chanrecv2 返回值为 false ,才有可能跳出循环,而 chanrecv2 在 block=true 场景下返回值为 false 的唯一原因只有:这个 chan 是 close 状态。


golang  chan 最详细原理剖析,全面源码分析!看完不可能不懂的!

总结

golang  chan 最详细原理剖析,全面源码分析!看完不可能不懂的!


golang 的 chan 使用非常简单,这些简单的语法糖背后其实都是对应了相应的函数实现,这个翻译由编译器来完成。深入理解这些函数的实现,这些对于我们彻底理解 chan 的使用和限制条件是少不了的。深入理解原理,知其然知其所以然,你才能从心所欲的使用 golang 。


往期推荐



golang 调试分析的高阶技巧

golang 混合写屏障原理深入剖析,这篇文章给你梳理的明明白白!!!

Golang 语法到底是怎么回事?gdb调一调?

Golang 数据结构到底是怎么回事?gdb调一调?

Golang 协程Goroutine到底是怎么回事?(二)

Golang 协程Goroutine到底是怎么回事?(一)




坚持思考,方向比努力更重要。关注我:奇伢云存储

golang  chan 最详细原理剖析,全面源码分析!看完不可能不懂的!

来都来了,点个“在看”再走叭~~             
golang  chan 最详细原理剖析,全面源码分析!看完不可能不懂的!


原文始发于微信公众号(奇伢云存储):golang chan 最详细原理剖析,全面源码分析!看完不可能不懂的!

版权声明:admin 发表于 2020年11月9日 上午12:21。
转载请注明:golang chan 最详细原理剖析,全面源码分析!看完不可能不懂的! | CTF导航

相关文章

暂无评论

您必须登录才能参与评论!
立即登录
暂无评论...