一周搞定Python爬虫,网络爬虫实战第六天-Scrapy中调试的使用

2024-04-16 15:29

1. 一周搞定Python爬虫,网络爬虫实战第六天-Scrapy中调试的使用


一周搞定Python爬虫,网络爬虫实战第六天-Scrapy中调试的使用

2. scrapy在爬网页的时候是自动采用多线程的吗

  scrapy在爬网页的时候是自动采用多线程的。
  scrapy基于twisted异步IO框架,downloader是多线程的。
  但是,由于python使用GIL(全局解释器锁,保证同时只有一个线程在使用解释器),这极大限制了并行性,在处理运算密集型程序的时候,Python的多线程效果很差,而如果开多个线程进行耗时的IO操作时,Python的多线程才能发挥出更大的作用。(因为Python在进行长时IO操作时会释放GIL)
  所以简单的说,scrapy是多线程的,不许要再设置了,由于目前版本python的特性,多线程地不是很完全,但实际测试scrapy效率还可以。
最新文章
热门文章
推荐阅读