ch8/ch8-06

[giscus[bot]]

ch8/ch8-06

中文版

https://golang-china.github.io/gopl-zh/ch8/ch8-06.html

[EZ2Cold]

最后一段代码的如下代码片段是否有类似“循环变量快照”的问题？

for link := range unseenLinks {
      foundLinks := crawl(link)
      go func() { worklist <- foundLinks }()
}

[MzoroHaHa]

应该不会， foundLinks 是声明在 for 内部的域内。快照问题的出现需要那个变量是在for 的域内

[mefly2012]

现在还存在循环变量快照的问题吗？是不是已经修复了

[xq-120]

确定是练习题吗，感觉都好难啊

[xq-120]

最后那句"crawl函数爬到的链接在一个专有的goroutine中被发送到worklist中来避免死锁。",有没有高手解释一下为啥会死锁？

[MzoroHaHa]

应该是 worklist 和 unseenLinks 存在类似交叉锁的问题。

 go func() { worklist <- foundLinks }()

这样写，应该就打破了直接交叉的问题

[MzoroHaHa]

假设某一时刻 worklist 是满的，unseenLinks 也是满的。 unseenLinks <- link 与 worklist <- foundLinks 就可能交叉等待，程序 卡住

[freewong]

我的看法是，那20个goroutine是负责干活的,如果不另起goroutine,像这样的话

go func() {
            for link := range unseenLinks {
                foundLinks := crawl(link)
                worklist <- foundLinks
            }
        }()

又由于 worklist 是无缓冲的,所以这样的话，这个goroutine 就需要做同步等待，就很有可能 导致这20个goroutine都在等待往 worklist 这里发数据，最终是导致了限制了并发数量

[diantaowang]

认同 MzoroHaHa 的观点：worklist 是满的，unseenLinks 也是满的情况下，存在死锁。而且这种死锁很容易构造。和 freewong 的观点有些冲突，冲突点如下：

• foundLinks := crawl(link) 的执行时间单位是 ms，且不同网站的访问延迟是不同的，很有可能导致这 20 个 goroutine 都在等待往 worklist 这里发数据 这个假设不成立；
• 即使 20 个 goroutine 都在等待往 worklist 这里发数据，多核机器上的多个线程竞争同一 chan 的耗时，相较于以 ms 为单位的 crawl(link) 操作微不足道，不足以成为性能瓶颈而限制并发数量。

[identifysun]

在这个Go程序中，worklist <- foundLinks 被放置在一个独立的goroutine中运行，主要是为了非阻塞地处理找到的新链接。这样做有几个好处：

1. 并发处理：通过创建新的goroutine来处理找到的链接，可以使爬虫继续处理下一个链接而不必等待新链接被添加到 worklist 中。这增加了程序的并发性，允许爬虫更快地处理链接列表。

2. 避免阻塞：如果直接在爬虫goroutine内部将 foundLinks 发送到 worklist，那么这个操作可能会阻塞爬虫goroutine。如果 worklist 缓冲区满了，或者处理 worklist 的goroutine暂时不能接受新的链接，那么发送操作就会阻塞，从而阻止爬虫继续处理新的链接。通过在一个新的goroutine中进行发送操作，原始的爬虫goroutine可以立即继续工作，而新的goroutine则负责等待 worklist 准备好接收新的链接。

3. 资源利用最大化：通过分离发送操作到另一个goroutine，可以更好地利用系统资源，因为爬虫goroutine可以立即返回去获取和处理下一个链接，而不是等待 worklist 处理当前的链接。

总结来说，将 worklist <- foundLinks 放在一个独立的goroutine中运行是为了提高程序的并发性和响应速度，避免因为发送操作而导致的阻塞，从而使爬虫能够更高效地工作。这种方法是Go语言中常见的模式，通常被称为“do it asynchronously”（异步执行）。

[Etherealss]

"这个程序实在是太他妈并行了"。笑死我