项目

Python publisher01 14℃

“””
1.什么是进程
一个正在运行的应用程序就是一个进程,系统会给每个进程分配一个独立的内存区域,用来保存程序运行过程中产生的数据,
当进程结束的时候,这个内存区域会自动销毁。

2.什么是线程
进程想要执行任务就必须要有线程。每个进程都默认有一个线程,这个线程叫主线程,其他的线程叫子线程。
程序任务都是默认在主线程中执行的。

一个线程中执行多个任务,任务是串行执行的(一个一个按顺序执行)

一个进程中如果有多个线程,多线程执行不同任务的时候是并行(同时执行,实质是假象,是cpu在不同线程间来回调度,由GIL决定)

3.python全局GIL锁
Python代码的执行由Python解释器进行控制。目前Python的解释器有多种,如CPython、PyPy、Jython等,
其中CPython为最广泛使用的Python解释器。理论上CPU是多核时支持多个线程同时执行,
但在Python设计之初考虑到在Python解释器的主循环中执行Python代码,于是CPython中设计了全局解释器锁
GIL(Global Interpreter Lock)机制用于管理解释器的访问,Python线程的执行必须先竞争到GIL权限才能执行。
全局解释器锁GIL机制流程
  a、设置 GIL;
  b、切换到一个线程去运行;
  c、运行指定数量的字节码指令或者线程主动让出控制(可以调用 time.sleep(0));
  d、把线程设置为睡眠状态;
  e、解锁 GIL;
  d、再次重复以上所有步骤。

4.池的概念:
  创建进程或线程都需要消耗时间,销毁进程/线程也需要消耗时间。即便开启了成千上万的进程/线程,
操作系统也不能让他们同时执行,这样反而会影响程序的效率。因此我们不能无限制的根据任务开启或者结束进程/线程。
所以就有了池的概念。
  定义一个池子,在里面放上固定数量的进程/线程,有需求来了,就拿一个池中的进程/线程来处理任务,等到处理完毕,
并不关闭,而是将进程/线程再放回进程池中继续等待任务。如果有很多任务需要执行,池中的进程/线程数量不够,
任务就要等待之前的进程/线程执行任务完毕归来,拿到空闲进程/线程才能继续执行。
  减少了进程/线程创建/销毁带来的消耗,同时又可以最大化的利用CPU。

进程池/线程池数量的确定
知道了池的概念,那进程/线程开启的数量该怎么确定呢?多少个进程/线程才能最大化利用CPU,并且不会给操作系统带来额外的消耗呢?
进程数:CPU数量 < 进程数 < CPU数量*2
线程数: CPU数量 * 5
“””

import re
import datetime
import requests
from multiprocessing.dummy import Pool as Threadpool
def get_msg(i):
    url = "https://maoyan.com/board/4?offset=%s" % (i*10)
    headers = {
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) '
                      'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36'
    }
    ret_html = requests.get(url=url, headers=headers)
    ret_text = ret_html.text
    patterns = re.compile('<a href=.*?data-act="boarditem-click" data-val=".*?">(.*?)</a>')
    result = patterns.findall(ret_text)
    return result
def main1():
    all_result = []
    for i in range(10):
        result = get_msg(i)
        all_result += result
    print(all_result)
    print(len(all_result))
def main():
    th = Threadpool(5)
    result = th.map(get_msg, [i for i in range(10)])
    print(result)
if __name__ == '__main__':
    starttime = datetime.datetime.now()
    main()
    endtime = datetime.datetime.now()
    print(endtime - starttime)
    print('-------------------------')
    starttime = datetime.datetime.now()
    main1()
    endtime = datetime.datetime.now()
    print(endtime - starttime)

转载请注明:Python量化投资 » 项目

喜欢 (0)or分享 (0)