Mercurial > ift6266

annotate scripts/setup_batches.py @ 348:45156cbf6722

Find changesets by keywords (author, files, the commit message), revision number or hash, or revset expression.
training an rbm using cd or pcd
author goldfinger
date Mon, 19 Apr 2010 08:17:45 -0400
parents 5b260cc8f477
children 7bc555cc9aab b0741ea3ff6f
rev   line source
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
1 # -*- coding: utf-8 -*-
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
2
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
3 import random
295
a6b6b1140de9 modifié setup_batches.py pour compatibilité avec mlp_nist.py
Guillaume Sicard <guitch21@gmail.com>
parents: 272
diff changeset
4 from numpy import *
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
5 from pylearn.io import filetensor as ft
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
6
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
7 class Batches():
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
8 def __init__(self):
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
9 data_path = '/data/lisa/data/nist/by_class/'
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
10
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
11 digits_train_data = 'digits/digits_train_data.ft'
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
12 digits_train_labels = 'digits/digits_train_labels.ft'
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
13 digits_test_data = 'digits/digits_test_data.ft'
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
14 digits_test_labels = 'digits/digits_test_labels.ft'
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
15
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
16 lower_train_data = 'lower/lower_train_data.ft'
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
17 lower_train_labels = 'lower/lower_train_labels.ft'
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
18 upper_train_data = 'upper/upper_train_data.ft'
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
19 upper_train_labels = 'upper/upper_train_labels.ft'
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
20 test_data = 'all/all_test_data.ft'
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
21 test_labels = 'all/all_test_labels.ft'
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
22
295
a6b6b1140de9 modifié setup_batches.py pour compatibilité avec mlp_nist.py
Guillaume Sicard <guitch21@gmail.com>
parents: 272
diff changeset
23 print 'Opening data...'
a6b6b1140de9 modifié setup_batches.py pour compatibilité avec mlp_nist.py
Guillaume Sicard <guitch21@gmail.com>
parents: 272
diff changeset
24
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
25 f_digits_train_data = open(data_path + digits_train_data)
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
26 f_digits_train_labels = open(data_path + digits_train_labels)
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
27 f_digits_test_data = open(data_path + digits_test_data)
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
28 f_digits_test_labels = open(data_path + digits_test_labels)
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
29
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
30 f_lower_train_data = open(data_path + lower_train_data)
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
31 f_lower_train_labels = open(data_path + lower_train_labels)
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
32 f_upper_train_data = open(data_path + upper_train_data)
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
33 f_upper_train_labels = open(data_path + upper_train_labels)
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
34
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
35 f_test_data = open(data_path + test_data)
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
36 f_test_labels = open(data_path + test_labels)
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
37
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
38 self.raw_digits_train_data = ft.read(f_digits_train_data)
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
39 self.raw_digits_train_labels = ft.read(f_digits_train_labels)
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
40 self.raw_digits_test_data = ft.read(f_digits_test_data)
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
41 self.raw_digits_test_labels = ft.read(f_digits_test_labels)
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
42
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
43 self.raw_lower_train_data = ft.read(f_lower_train_data)
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
44 self.raw_lower_train_labels = ft.read(f_lower_train_labels)
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
45 self.raw_upper_train_data = ft.read(f_upper_train_data)
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
46 self.raw_upper_train_labels = ft.read(f_upper_train_labels)
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
47
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
48 self.raw_test_data = ft.read(f_test_data)
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
49 self.raw_test_labels = ft.read(f_test_labels)
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
50
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
51 f_digits_train_data.close()
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
52 f_digits_train_labels.close()
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
53 f_digits_test_data.close()
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
54 f_digits_test_labels.close()
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
55
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
56 f_lower_train_data.close()
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
57 f_lower_train_labels.close()
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
58 f_upper_train_data.close()
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
59 f_upper_train_labels.close()
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
60
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
61 f_test_data.close()
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
62 f_test_labels.close()
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
63
295
a6b6b1140de9 modifié setup_batches.py pour compatibilité avec mlp_nist.py
Guillaume Sicard <guitch21@gmail.com>
parents: 272
diff changeset
64 print 'Data opened'
a6b6b1140de9 modifié setup_batches.py pour compatibilité avec mlp_nist.py
Guillaume Sicard <guitch21@gmail.com>
parents: 272
diff changeset
65
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
66 def set_batches(self, start_ratio = -1, end_ratio = -1, batch_size = 20, verbose = False):
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
67 self.batch_size = batch_size
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
68
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
69 digits_train_size = len(self.raw_digits_train_labels)
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
70 digits_test_size = len(self.raw_digits_test_labels)
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
71
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
72 lower_train_size = len(self.raw_lower_train_labels)
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
73 upper_train_size = len(self.raw_upper_train_labels)
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
74
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
75 if verbose == True:
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
76 print 'digits_train_size = %d' %digits_train_size
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
77 print 'digits_test_size = %d' %digits_test_size
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
78 print 'lower_train_size = %d' %lower_train_size
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
79 print 'upper_train_size = %d' %upper_train_size
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
80
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
81 # define main and other datasets
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
82 raw_main_train_data = self.raw_digits_train_data
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
83 raw_other_train_data1 = self.raw_lower_train_labels
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
84 raw_other_train_data2 = self.raw_upper_train_labels
295
a6b6b1140de9 modifié setup_batches.py pour compatibilité avec mlp_nist.py
Guillaume Sicard <guitch21@gmail.com>
parents: 272
diff changeset
85 raw_test_data = self.raw_digits_test_data
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
86 #raw_test_data = self.raw_test_data
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
87
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
88 raw_main_train_labels = self.raw_digits_train_labels
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
89 raw_other_train_labels1 = self.raw_lower_train_labels
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
90 raw_other_train_labels2 = self.raw_upper_train_labels
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
91 raw_test_labels = self.raw_digits_test_labels
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
92 #raw_test_labels = self.raw_test_labels
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
93
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
94 main_train_size = len(raw_main_train_labels)
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
95 other_train_size1 = len(raw_other_train_labels1)
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
96 other_train_size2 = len(raw_other_train_labels2)
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
97 other_train_size = other_train_size1 + other_train_size2
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
98
295
a6b6b1140de9 modifié setup_batches.py pour compatibilité avec mlp_nist.py
Guillaume Sicard <guitch21@gmail.com>
parents: 272
diff changeset
99 test_size = len(raw_test_labels)
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
100 test_size = int(test_size/batch_size)
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
101 test_size *= batch_size
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
102 validation_size = test_size
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
103
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
104 # default ratio is actual ratio
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
105 if start_ratio == -1:
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
106 self.start_ratio = float(main_train_size - test_size) / float(main_train_size + other_train_size)
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
107 else:
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
108 self.start_ratio = start_ratio
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
109
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
110 if start_ratio == -1:
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
111 self.end_ratio = float(main_train_size - test_size) / float(main_train_size + other_train_size)
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
112 else:
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
113 self.end_ratio = end_ratio
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
114
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
115 if verbose == True:
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
116 print 'start_ratio = %f' %self.start_ratio
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
117 print 'end_ratio = %f' %self.end_ratio
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
118
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
119 i_main = 0
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
120 i_other1 = 0
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
121 i_other2 = 0
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
122 i_batch = 0
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
123
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
124 # compute the number of batches given start and end ratios
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
125 n_main_batch = (main_train_size - test_size - batch_size * (self.end_ratio - self.start_ratio) / 2 ) / (batch_size * (self.start_ratio + (self.end_ratio - self.start_ratio) / 2))
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
126 if (batch_size != batch_size * (self.start_ratio + (self.end_ratio - self.start_ratio) / 2)):
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
127 n_other_batch = (other_train_size - batch_size * (self.end_ratio - self.start_ratio) / 2 ) / (batch_size - batch_size * (self.start_ratio + (self.end_ratio - self.start_ratio) / 2))
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
128 else:
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
129 n_other_batch = n_main_batch
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
130
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
131 n_batches = min([n_main_batch, n_other_batch])
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
132
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
133 # train batches
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
134 self.train_batches = []
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
135
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
136 # as long as we have data left in main and other, we create batches
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
137 while i_main < main_train_size - batch_size - test_size and i_other1 < other_train_size1 - batch_size and i_other2 < other_train_size2 - batch_size:
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
138 ratio = self.start_ratio + i_batch * (self.end_ratio - self.start_ratio) / n_batches
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
139 batch_data = copy(raw_main_train_data[0:self.batch_size])
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
140 batch_labels = copy(raw_main_train_labels[0:self.batch_size])
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
141
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
142 for i in xrange(0, self.batch_size): # randomly choose between main and other, given the current ratio
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
143 rnd1 = random.randint(0, 100)
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
144
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
145 if rnd1 < 100 * ratio:
295
a6b6b1140de9 modifié setup_batches.py pour compatibilité avec mlp_nist.py
Guillaume Sicard <guitch21@gmail.com>
parents: 272
diff changeset
146 batch_data[i] = raw_main_train_data[i_main]
a6b6b1140de9 modifié setup_batches.py pour compatibilité avec mlp_nist.py
Guillaume Sicard <guitch21@gmail.com>
parents: 272
diff changeset
147 batch_labels[i] = raw_main_train_labels[i_main]
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
148 i_main += 1
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
149 else:
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
150 rnd2 = random.randint(0, 100)
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
151
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
152 if rnd2 < 100 * float(other_train_size1) / float(other_train_size):
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
153 batch_data[i] = raw_other_train_data1[i_other1]
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
154 batch_labels[i] = raw_other_train_labels1[i_other1]
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
155 i_other1 += 1
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
156 else:
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
157 batch_data[i] = raw_other_train_data2[i_other2]
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
158 batch_labels[i] = raw_other_train_labels2[i_other2]
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
159 i_other2 += 1
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
160
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
161 self.train_batches = self.train_batches + \
295
a6b6b1140de9 modifié setup_batches.py pour compatibilité avec mlp_nist.py
Guillaume Sicard <guitch21@gmail.com>
parents: 272
diff changeset
162 [(batch_data, batch_labels)]
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
163 i_batch += 1
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
164
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
165 offset = i_main
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
166
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
167 # test batches
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
168 self.test_batches = []
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
169 for i in xrange(0, test_size, batch_size):
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
170 self.test_batches = self.test_batches + \
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
171 [(raw_test_data[i:i+batch_size], raw_test_labels[i:i+batch_size])]
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
172
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
173 # validation batches
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
174 self.validation_batches = []
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
175 for i in xrange(0, validation_size, batch_size):
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
176 self.validation_batches = self.validation_batches + \
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
177 [(raw_main_train_data[offset+i:offset+i+batch_size], raw_main_train_labels[offset+i:offset+i+batch_size])]
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
178
295
a6b6b1140de9 modifié setup_batches.py pour compatibilité avec mlp_nist.py
Guillaume Sicard <guitch21@gmail.com>
parents: 272
diff changeset
179 if verbose == True:
a6b6b1140de9 modifié setup_batches.py pour compatibilité avec mlp_nist.py
Guillaume Sicard <guitch21@gmail.com>
parents: 272
diff changeset
180 print 'n_main = %d' %i_main
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
181 print 'n_other1 = %d' %i_other1
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
182 print 'n_other2 = %d' %i_other2
295
a6b6b1140de9 modifié setup_batches.py pour compatibilité avec mlp_nist.py
Guillaume Sicard <guitch21@gmail.com>
parents: 272
diff changeset
183 print 'nb_train_batches = %d / %d' %(i_batch,n_batches)
a6b6b1140de9 modifié setup_batches.py pour compatibilité avec mlp_nist.py
Guillaume Sicard <guitch21@gmail.com>
parents: 272
diff changeset
184 print 'offset = %d' %offset
a6b6b1140de9 modifié setup_batches.py pour compatibilité avec mlp_nist.py
Guillaume Sicard <guitch21@gmail.com>
parents: 272
diff changeset
185
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
186 def get_train_batches(self):
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
187 return self.train_batches
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
188
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
189 def get_test_batches(self):
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
190 return self.test_batches
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
191
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
192 def get_validation_batches(self):
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
193 return self.validation_batches
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
194
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
195 def test_set_batches(self, intervall = 1000):
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
196 for i in xrange(0, len(self.train_batches) - self.batch_size, intervall):
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
197 n_main = 0
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
198
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
199 for j in xrange(0, self.batch_size):
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
200 if self.train_batches[i][1][j] < 10:
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
201 n_main +=1
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
202 print 'ratio batch %d : %f' %(i,float(n_main) / float(self.batch_size))
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
203
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
204 if __name__ == '__main__':
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
205 batches = Batches()
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
206 batches.set_batches(0.5,1, 20, True)
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
207 batches.test_set_batches()