给深度学习入门者的Python快速教程基础篇之多进程（multiprocessing）

House · 发表于 2018-11-14 10:46

EDA365欢迎您登录！

您需要登录才可以下载或查看，没有帐号？注册

x

本帖最后由 House 于 2018-11-14 14:32 编辑

多进程（multiprocessing）
深度学习中对数据高效处理常常会需要并行，这时多进程就派上了用场。考虑这样一个场景，在数据准备阶段，有很多文件需要运行一定的预处理，正好有台多核服务器，我们希望把这些文件分成32份，并行处理：

from multiprocessing import Process#, freeze_support

def process_data(filelist):
for filepath in filelist:
print('Processing {} ...'.format(filepath))
# 处理数据
...

if __name__ == '__main__':
# 如果是在Windows下，还需要加上freeze_support()
#freeze_support()

# full_list包含了要处理的全部文件列表
...

n_total = len(full_list) # 一个远大于32的数
n_processes = 32

# 每段子列表的平均长度
length = float(n_total) / float(n_processes)

# 计算下标，尽可能均匀地划分输入文件列表
indices = [int(round(i*length)) for i in range(n_processes+1)]

# 生成每个进程要处理的子文件列表
sublists = [full_list[indices:indices[i+1]] for i in range(n_processes)]: m' @' ^  G. e5 O

  Y6 P+ G' ?* n1 g) H, p# 生成进程6 g4 U/ y  m  a  }& b, o
processes = [Process(target=process_data, args=(x,)) for x in sublists]5 D6 Q# q6 k  x) z8 I+ f

% Y+ z6 P% t" A8 t3 {# 并行处理
) I# n7 i+ M" I4 qfor p in processes:; d8 r9 K7 M/ E: P4 ?
p.start()% M: p: P! ]1 k, l
' M" q  l0 K: r9 M" r5 ]( o
for p in processes:
4 y5 m5 k2 E* \) bp.join()

如意qq · 发表于 2018-11-14 19:19

谢谢分享

帐号		自动登录	找回密码
密码			注册

给深度学习入门者的Python快速教程基础篇之多进程（multiprocessing）

EDA365欢迎您登录！

推荐内容 /1