npy太大,memory不够怎么办?

搜了一圈,有2条思路出现:

从制作npy数据集的时候就开始,分批生成npy数据集,在np.load()的时候,分批导入
  • Way-2:
研究mmap_mode怎么用,少占用内存
  • Way-3:
再申请2块GPU,这样的话,内存又会给quota配到更大

Way-1:

X_train是83.4G,太大了,把它分成了7个parts.
X_validate是23G,分成了2parts.

np.load()进来之后,再进行垂直方向的合并。


Way-2:

还未开展实验,估计会比较耗时,暂缓学习,尽量用WAY1+WAY2搞定先。
参考:
https://stackoverflow.com/questions/42727412/efficient-way-to-partially-read-large-numpy-file



Way-3:

13:20申请了2块k80,等待审批。
===>发现审批在一分钟内通过了。看来付费用户真的很爽。

https://www.jianshu.com/p/4246da0b4552

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
0 条回复 A 作者 M 管理员
    所有的伟大,都源于一个勇敢的开始!
欢迎您,新朋友,感谢参与互动!欢迎您 {{author}},您在本站有{{commentsCount}}条评论