diff datasets/gzpklfile.py @ 266:1e4e60ddadb1

Merge. Ah, et dans le dernier commit, j'avais oublié de mentionner que j'ai ajouté du code pour gérer l'isolation de différents clones pour rouler des expériences et modifier le code en même temps.
author fsavard
date Fri, 19 Mar 2010 10:56:16 -0400
parents c2fae7b96769
children
line wrap: on
line diff
--- a/datasets/gzpklfile.py	Fri Mar 19 10:54:39 2010 -0400
+++ b/datasets/gzpklfile.py	Fri Mar 19 10:56:16 2010 -0400
@@ -19,8 +19,9 @@
         return res
 
 class GzpklDataSet(DataSet):
-    def __init__(self, fname):
+    def __init__(self, fname, maxsize):
         self._fname = fname
+        self.maxsize = maxsize
         self._train = 0
         self._valid = 1
         self._test = 2
@@ -35,5 +36,5 @@
     def _return_it(self, batchsz, bufsz, id):
         if not hasattr(self, 'datas'):
             self._load()
-        return izip(DataIterator([ArrayFile(self.datas[id][0])], batchsz, bufsz),
-                    DataIterator([ArrayFile(self.datas[id][1])], batchsz, bufsz))
+        return izip(DataIterator([ArrayFile(self.datas[id][0][:self.maxsize])], batchsz, bufsz),
+                    DataIterator([ArrayFile(self.datas[id][1][:self.maxsize])], batchsz, bufsz))