Mercurial > ift6266

annotate scripts/setup_batches.py @ 356:b0741ea3ff6f

Find changesets by keywords (author, files, the commit message), revision number or hash, or revset expression.
Extension du choix de la classe principale pour les batches d'entrainement
author Guillaume Sicard <guitch21@gmail.com>
date Wed, 21 Apr 2010 23:47:50 -0400
parents 5b260cc8f477
children 22919039f7ab
rev   line source
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
1 # -*- coding: utf-8 -*-
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
2
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
3 import random
295
a6b6b1140de9 modifié setup_batches.py pour compatibilité avec mlp_nist.py
Guillaume Sicard <guitch21@gmail.com>
parents: 272
diff changeset
4 from numpy import *
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
5 from pylearn.io import filetensor as ft
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
6
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
7 class Batches():
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
8 def __init__(self):
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
9 data_path = '/data/lisa/data/nist/by_class/'
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
10
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
11 digits_train_data = 'digits/digits_train_data.ft'
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
12 digits_train_labels = 'digits/digits_train_labels.ft'
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
13 digits_test_data = 'digits/digits_test_data.ft'
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
14 digits_test_labels = 'digits/digits_test_labels.ft'
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
15
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
16 lower_train_data = 'lower/lower_train_data.ft'
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
17 lower_train_labels = 'lower/lower_train_labels.ft'
356
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
18 lower_test_data = 'lower/lower_test_data.ft'
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
19 lower_test_labels = 'lower/lower_test_labels.ft'
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
20
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
21 upper_train_data = 'upper/upper_train_data.ft'
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
22 upper_train_labels = 'upper/upper_train_labels.ft'
356
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
23 upper_test_data = 'upper/upper_test_data.ft'
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
24 upper_test_labels = 'upper/upper_test_labels.ft'
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
25
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
26 test_data = 'all/all_test_data.ft'
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
27 test_labels = 'all/all_test_labels.ft'
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
28
295
a6b6b1140de9 modifié setup_batches.py pour compatibilité avec mlp_nist.py
Guillaume Sicard <guitch21@gmail.com>
parents: 272
diff changeset
29 print 'Opening data...'
a6b6b1140de9 modifié setup_batches.py pour compatibilité avec mlp_nist.py
Guillaume Sicard <guitch21@gmail.com>
parents: 272
diff changeset
30
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
31 f_digits_train_data = open(data_path + digits_train_data)
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
32 f_digits_train_labels = open(data_path + digits_train_labels)
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
33 f_digits_test_data = open(data_path + digits_test_data)
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
34 f_digits_test_labels = open(data_path + digits_test_labels)
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
35
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
36 f_lower_train_data = open(data_path + lower_train_data)
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
37 f_lower_train_labels = open(data_path + lower_train_labels)
356
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
38 f_lower_test_data = open(data_path + lower_test_data)
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
39 f_lower_test_labels = open(data_path + lower_test_labels)
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
40
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
41 f_upper_train_data = open(data_path + upper_train_data)
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
42 f_upper_train_labels = open(data_path + upper_train_labels)
356
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
43 f_upper_test_data = open(data_path + upper_test_data)
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
44 f_upper_test_labels = open(data_path + upper_test_labels)
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
45
356
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
46 #f_test_data = open(data_path + test_data)
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
47 #f_test_labels = open(data_path + test_labels)
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
48
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
49 self.raw_digits_train_data = ft.read(f_digits_train_data)
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
50 self.raw_digits_train_labels = ft.read(f_digits_train_labels)
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
51 self.raw_digits_test_data = ft.read(f_digits_test_data)
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
52 self.raw_digits_test_labels = ft.read(f_digits_test_labels)
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
53
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
54 self.raw_lower_train_data = ft.read(f_lower_train_data)
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
55 self.raw_lower_train_labels = ft.read(f_lower_train_labels)
356
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
56 self.raw_lower_test_data = ft.read(f_lower_test_data)
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
57 self.raw_lower_test_labels = ft.read(f_lower_test_labels)
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
58
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
59 self.raw_upper_train_data = ft.read(f_upper_train_data)
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
60 self.raw_upper_train_labels = ft.read(f_upper_train_labels)
356
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
61 self.raw_upper_test_data = ft.read(f_upper_test_data)
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
62 self.raw_upper_test_labels = ft.read(f_upper_test_labels)
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
63
356
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
64 #self.raw_test_data = ft.read(f_test_data)
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
65 #self.raw_test_labels = ft.read(f_test_labels)
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
66
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
67 f_digits_train_data.close()
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
68 f_digits_train_labels.close()
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
69 f_digits_test_data.close()
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
70 f_digits_test_labels.close()
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
71
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
72 f_lower_train_data.close()
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
73 f_lower_train_labels.close()
356
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
74 f_lower_test_data.close()
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
75 f_lower_test_labels.close()
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
76
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
77 f_upper_train_data.close()
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
78 f_upper_train_labels.close()
356
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
79 f_upper_test_data.close()
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
80 f_upper_test_labels.close()
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
81
356
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
82 #f_test_data.close()
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
83 #f_test_labels.close()
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
84
295
a6b6b1140de9 modifié setup_batches.py pour compatibilité avec mlp_nist.py
Guillaume Sicard <guitch21@gmail.com>
parents: 272
diff changeset
85 print 'Data opened'
a6b6b1140de9 modifié setup_batches.py pour compatibilité avec mlp_nist.py
Guillaume Sicard <guitch21@gmail.com>
parents: 272
diff changeset
86
356
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
87 def set_batches(self, main_class = "d", start_ratio = -1, end_ratio = -1, batch_size = 20, verbose = False):
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
88 self.batch_size = batch_size
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
89
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
90 digits_train_size = len(self.raw_digits_train_labels)
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
91 digits_test_size = len(self.raw_digits_test_labels)
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
92
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
93 lower_train_size = len(self.raw_lower_train_labels)
356
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
94
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
95 upper_train_size = len(self.raw_upper_train_labels)
356
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
96 upper_test_size = len(self.raw_upper_test_labels)
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
97
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
98 if verbose == True:
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
99 print 'digits_train_size = %d' %digits_train_size
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
100 print 'digits_test_size = %d' %digits_test_size
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
101 print 'lower_train_size = %d' %lower_train_size
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
102 print 'upper_train_size = %d' %upper_train_size
356
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
103 print 'upper_test_size = %d' %upper_test_size
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
104
356
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
105 if main_class == "u":
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
106 # define main and other datasets
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
107 raw_main_train_data = self.raw_upper_train_data
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
108 raw_other_train_data1 = self.raw_lower_train_labels
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
109 raw_other_train_data2 = self.raw_digits_train_labels
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
110 raw_test_data = self.raw_upper_test_data
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
111
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
112 raw_main_train_labels = self.raw_upper_train_labels
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
113 raw_other_train_labels1 = self.raw_lower_train_labels
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
114 raw_other_train_labels2 = self.raw_digits_train_labels
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
115 raw_test_labels = self.raw_upper_test_labels
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
116
356
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
117 elif main_class == "l":
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
118 # define main and other datasets
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
119 raw_main_train_data = self.raw_lower_train_data
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
120 raw_other_train_data1 = self.raw_upper_train_labels
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
121 raw_other_train_data2 = self.raw_digits_train_labels
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
122 raw_test_data = self.raw_lower_test_data
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
123
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
124 raw_main_train_labels = self.raw_lower_train_labels
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
125 raw_other_train_labels1 = self.raw_upper_train_labels
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
126 raw_other_train_labels2 = self.raw_digits_train_labels
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
127 raw_test_labels = self.raw_lower_test_labels
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
128
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
129 else:
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
130 main_class = "d"
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
131 # define main and other datasets
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
132 raw_main_train_data = self.raw_digits_train_data
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
133 raw_other_train_data1 = self.raw_lower_train_labels
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
134 raw_other_train_data2 = self.raw_upper_train_labels
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
135 raw_test_data = self.raw_digits_test_data
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
136
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
137 raw_main_train_labels = self.raw_digits_train_labels
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
138 raw_other_train_labels1 = self.raw_lower_train_labels
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
139 raw_other_train_labels2 = self.raw_upper_train_labels
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
140 raw_test_labels = self.raw_digits_test_labels
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
141
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
142 main_train_size = len(raw_main_train_labels)
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
143 other_train_size1 = len(raw_other_train_labels1)
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
144 other_train_size2 = len(raw_other_train_labels2)
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
145 other_train_size = other_train_size1 + other_train_size2
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
146
295
a6b6b1140de9 modifié setup_batches.py pour compatibilité avec mlp_nist.py
Guillaume Sicard <guitch21@gmail.com>
parents: 272
diff changeset
147 test_size = len(raw_test_labels)
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
148 test_size = int(test_size/batch_size)
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
149 test_size *= batch_size
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
150 validation_size = test_size
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
151
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
152 # default ratio is actual ratio
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
153 if start_ratio == -1:
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
154 self.start_ratio = float(main_train_size - test_size) / float(main_train_size + other_train_size)
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
155 else:
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
156 self.start_ratio = start_ratio
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
157
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
158 if start_ratio == -1:
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
159 self.end_ratio = float(main_train_size - test_size) / float(main_train_size + other_train_size)
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
160 else:
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
161 self.end_ratio = end_ratio
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
162
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
163 if verbose == True:
356
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
164 print 'main class : %s' %main_class
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
165 print 'start_ratio = %f' %self.start_ratio
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
166 print 'end_ratio = %f' %self.end_ratio
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
167
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
168 i_main = 0
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
169 i_other1 = 0
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
170 i_other2 = 0
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
171 i_batch = 0
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
172
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
173 # compute the number of batches given start and end ratios
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
174 n_main_batch = (main_train_size - test_size - batch_size * (self.end_ratio - self.start_ratio) / 2 ) / (batch_size * (self.start_ratio + (self.end_ratio - self.start_ratio) / 2))
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
175 if (batch_size != batch_size * (self.start_ratio + (self.end_ratio - self.start_ratio) / 2)):
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
176 n_other_batch = (other_train_size - batch_size * (self.end_ratio - self.start_ratio) / 2 ) / (batch_size - batch_size * (self.start_ratio + (self.end_ratio - self.start_ratio) / 2))
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
177 else:
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
178 n_other_batch = n_main_batch
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
179
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
180 n_batches = min([n_main_batch, n_other_batch])
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
181
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
182 # train batches
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
183 self.train_batches = []
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
184
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
185 # as long as we have data left in main and other, we create batches
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
186 while i_main < main_train_size - batch_size - test_size and i_other1 < other_train_size1 - batch_size and i_other2 < other_train_size2 - batch_size:
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
187 ratio = self.start_ratio + i_batch * (self.end_ratio - self.start_ratio) / n_batches
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
188 batch_data = copy(raw_main_train_data[0:self.batch_size])
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
189 batch_labels = copy(raw_main_train_labels[0:self.batch_size])
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
190
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
191 for i in xrange(0, self.batch_size): # randomly choose between main and other, given the current ratio
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
192 rnd1 = random.randint(0, 100)
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
193
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
194 if rnd1 < 100 * ratio:
295
a6b6b1140de9 modifié setup_batches.py pour compatibilité avec mlp_nist.py
Guillaume Sicard <guitch21@gmail.com>
parents: 272
diff changeset
195 batch_data[i] = raw_main_train_data[i_main]
a6b6b1140de9 modifié setup_batches.py pour compatibilité avec mlp_nist.py
Guillaume Sicard <guitch21@gmail.com>
parents: 272
diff changeset
196 batch_labels[i] = raw_main_train_labels[i_main]
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
197 i_main += 1
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
198 else:
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
199 rnd2 = random.randint(0, 100)
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
200
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
201 if rnd2 < 100 * float(other_train_size1) / float(other_train_size):
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
202 batch_data[i] = raw_other_train_data1[i_other1]
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
203 batch_labels[i] = raw_other_train_labels1[i_other1]
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
204 i_other1 += 1
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
205 else:
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
206 batch_data[i] = raw_other_train_data2[i_other2]
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
207 batch_labels[i] = raw_other_train_labels2[i_other2]
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
208 i_other2 += 1
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
209
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
210 self.train_batches = self.train_batches + \
295
a6b6b1140de9 modifié setup_batches.py pour compatibilité avec mlp_nist.py
Guillaume Sicard <guitch21@gmail.com>
parents: 272
diff changeset
211 [(batch_data, batch_labels)]
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
212 i_batch += 1
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
213
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
214 offset = i_main
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
215
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
216 # test batches
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
217 self.test_batches = []
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
218 for i in xrange(0, test_size, batch_size):
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
219 self.test_batches = self.test_batches + \
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
220 [(raw_test_data[i:i+batch_size], raw_test_labels[i:i+batch_size])]
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
221
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
222 # validation batches
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
223 self.validation_batches = []
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
224 for i in xrange(0, validation_size, batch_size):
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
225 self.validation_batches = self.validation_batches + \
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
226 [(raw_main_train_data[offset+i:offset+i+batch_size], raw_main_train_labels[offset+i:offset+i+batch_size])]
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
227
295
a6b6b1140de9 modifié setup_batches.py pour compatibilité avec mlp_nist.py
Guillaume Sicard <guitch21@gmail.com>
parents: 272
diff changeset
228 if verbose == True:
a6b6b1140de9 modifié setup_batches.py pour compatibilité avec mlp_nist.py
Guillaume Sicard <guitch21@gmail.com>
parents: 272
diff changeset
229 print 'n_main = %d' %i_main
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
230 print 'n_other1 = %d' %i_other1
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
231 print 'n_other2 = %d' %i_other2
295
a6b6b1140de9 modifié setup_batches.py pour compatibilité avec mlp_nist.py
Guillaume Sicard <guitch21@gmail.com>
parents: 272
diff changeset
232 print 'nb_train_batches = %d / %d' %(i_batch,n_batches)
a6b6b1140de9 modifié setup_batches.py pour compatibilité avec mlp_nist.py
Guillaume Sicard <guitch21@gmail.com>
parents: 272
diff changeset
233 print 'offset = %d' %offset
a6b6b1140de9 modifié setup_batches.py pour compatibilité avec mlp_nist.py
Guillaume Sicard <guitch21@gmail.com>
parents: 272
diff changeset
234
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
235 def get_train_batches(self):
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
236 return self.train_batches
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
237
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
238 def get_test_batches(self):
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
239 return self.test_batches
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
240
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
241 def get_validation_batches(self):
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
242 return self.validation_batches
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
243
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
244 def test_set_batches(self, intervall = 1000):
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
245 for i in xrange(0, len(self.train_batches) - self.batch_size, intervall):
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
246 n_main = 0
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
247
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
248 for j in xrange(0, self.batch_size):
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
249 if self.train_batches[i][1][j] < 10:
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
250 n_main +=1
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
251 print 'ratio batch %d : %f' %(i,float(n_main) / float(self.batch_size))
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
252
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
253 if __name__ == '__main__':
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
254 batches = Batches()
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
255 batches.set_batches(0.5,1, 20, True)
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
256 batches.test_set_batches()