Iterable
MXNET中讀入數據需要使用到數據迭代器(Iter),用戶可以使用MXNET提供的一些數據迭代器也可以自己寫一個迭代器。雖然一般情況下,我們很多的數據都可以直接讀入內存之中,但是面向神經網絡進行大數據學習時,學習的樣本往往達到了幾個GB甚至幾十上百個GB。這顯然是我們的內存所不能承受的。這樣的情況下,我們不得不分批次的將數據送入我們的學習網絡之中。迭代器的目的就是在需要數據的時候得到部分數據,然后下次需要的時候能夠繼續獲得后續數據。在網上發現這篇Blog對迭代的概念解釋的非常好。
NDarray
numpy中的ndarray存儲數據時采用的是一維的形式。二維或者多維數組在numpy中采用“別樣”解讀的方式來實現。比如,一個30元素可以看作5x6或者3x10
Super
dataiter = mx.io.ImageRecordIter(
#rec文件所在位置
path_imgrec="MNIST.rec",
#rec文件中圖像大小以及通道數量
data_shape=(3,28,28),
#每個batch中圖像的數量
batch_size=100,
#平均圖像,如果設置了平均圖像,則輸入圖像將減去該平均圖像
mean_img="data/cifar/cifar10_mean.bin",
#隨機對圖像進行裁剪
rand_crop=True,
#隨機對圖像進行鏡像
rand_mirror=True,
#從rec文件中隨機取出圖像
shuffle=False,
#預處理線程數
preprocess_threads=4,
#預取緩存
prefetch_buffer=1)