Mercurial > ift6266

annotate scripts/setup_batches.py @ 389:88cb95007670

Find changesets by keywords (author, files, the commit message), revision number or hash, or revset expression.
Ajout d'une option finetune amelioree pour PNIST07
author SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
date Tue, 27 Apr 2010 08:43:04 -0400
parents 22919039f7ab
children
rev   line source
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
1 # -*- coding: utf-8 -*-
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
2
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
3 import random
295
a6b6b1140de9 modifié setup_batches.py pour compatibilité avec mlp_nist.py
Guillaume Sicard <guitch21@gmail.com>
parents: 272
diff changeset
4 from numpy import *
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
5 from pylearn.io import filetensor as ft
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
6
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
7 class Batches():
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
8 def __init__(self):
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
9 data_path = '/data/lisa/data/nist/by_class/'
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
10
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
11 digits_train_data = 'digits/digits_train_data.ft'
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
12 digits_train_labels = 'digits/digits_train_labels.ft'
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
13 digits_test_data = 'digits/digits_test_data.ft'
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
14 digits_test_labels = 'digits/digits_test_labels.ft'
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
15
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
16 lower_train_data = 'lower/lower_train_data.ft'
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
17 lower_train_labels = 'lower/lower_train_labels.ft'
346
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
18 lower_test_data = 'lower/lower_test_data.ft'
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
19 lower_test_labels = 'lower/lower_test_labels.ft'
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
20
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
21 upper_train_data = 'upper/upper_train_data.ft'
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
22 upper_train_labels = 'upper/upper_train_labels.ft'
346
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
23 upper_test_data = 'upper/upper_test_data.ft'
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
24 upper_test_labels = 'upper/upper_test_labels.ft'
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
25
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
26 test_data = 'all/all_test_data.ft'
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
27 test_labels = 'all/all_test_labels.ft'
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
28
295
a6b6b1140de9 modifié setup_batches.py pour compatibilité avec mlp_nist.py
Guillaume Sicard <guitch21@gmail.com>
parents: 272
diff changeset
29 print 'Opening data...'
a6b6b1140de9 modifié setup_batches.py pour compatibilité avec mlp_nist.py
Guillaume Sicard <guitch21@gmail.com>
parents: 272
diff changeset
30
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
31 f_digits_train_data = open(data_path + digits_train_data)
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
32 f_digits_train_labels = open(data_path + digits_train_labels)
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
33 f_digits_test_data = open(data_path + digits_test_data)
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
34 f_digits_test_labels = open(data_path + digits_test_labels)
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
35
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
36 f_lower_train_data = open(data_path + lower_train_data)
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
37 f_lower_train_labels = open(data_path + lower_train_labels)
346
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
38 f_lower_test_data = open(data_path + lower_test_data)
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
39 f_lower_test_labels = open(data_path + lower_test_labels)
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
40
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
41 f_upper_train_data = open(data_path + upper_train_data)
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
42 f_upper_train_labels = open(data_path + upper_train_labels)
346
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
43 f_upper_test_data = open(data_path + upper_test_data)
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
44 f_upper_test_labels = open(data_path + upper_test_labels)
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
45
346
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
46 #f_test_data = open(data_path + test_data)
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
47 #f_test_labels = open(data_path + test_labels)
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
48
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
49 self.raw_digits_train_data = ft.read(f_digits_train_data)
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
50 self.raw_digits_train_labels = ft.read(f_digits_train_labels)
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
51 self.raw_digits_test_data = ft.read(f_digits_test_data)
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
52 self.raw_digits_test_labels = ft.read(f_digits_test_labels)
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
53
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
54 self.raw_lower_train_data = ft.read(f_lower_train_data)
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
55 self.raw_lower_train_labels = ft.read(f_lower_train_labels)
346
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
56 self.raw_lower_test_data = ft.read(f_lower_test_data)
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
57 self.raw_lower_test_labels = ft.read(f_lower_test_labels)
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
58
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
59 self.raw_upper_train_data = ft.read(f_upper_train_data)
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
60 self.raw_upper_train_labels = ft.read(f_upper_train_labels)
346
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
61 self.raw_upper_test_data = ft.read(f_upper_test_data)
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
62 self.raw_upper_test_labels = ft.read(f_upper_test_labels)
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
63
356
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
64 #self.raw_test_data = ft.read(f_test_data)
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
65 #self.raw_test_labels = ft.read(f_test_labels)
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
66
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
67 f_digits_train_data.close()
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
68 f_digits_train_labels.close()
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
69 f_digits_test_data.close()
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
70 f_digits_test_labels.close()
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
71
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
72 f_lower_train_data.close()
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
73 f_lower_train_labels.close()
346
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
74 f_lower_test_data.close()
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
75 f_lower_test_labels.close()
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
76
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
77 f_upper_train_data.close()
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
78 f_upper_train_labels.close()
346
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
79 f_upper_test_data.close()
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
80 f_upper_test_labels.close()
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
81
356
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
82 #f_test_data.close()
b0741ea3ff6f Extension du choix de la classe principale pour les batches d'entrainement
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
83 #f_test_labels.close()
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
84
295
a6b6b1140de9 modifié setup_batches.py pour compatibilité avec mlp_nist.py
Guillaume Sicard <guitch21@gmail.com>
parents: 272
diff changeset
85 print 'Data opened'
a6b6b1140de9 modifié setup_batches.py pour compatibilité avec mlp_nist.py
Guillaume Sicard <guitch21@gmail.com>
parents: 272
diff changeset
86
346
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
87 def set_batches(self, main_class = "d", start_ratio = -1, end_ratio = -1, batch_size = 20, verbose = False):
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
88 self.batch_size = batch_size
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
89
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
90 digits_train_size = len(self.raw_digits_train_labels)
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
91 digits_test_size = len(self.raw_digits_test_labels)
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
92
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
93 lower_train_size = len(self.raw_lower_train_labels)
346
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
94
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
95 upper_train_size = len(self.raw_upper_train_labels)
346
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
96 upper_test_size = len(self.raw_upper_test_labels)
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
97
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
98 if verbose == True:
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
99 print 'digits_train_size = %d' %digits_train_size
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
100 print 'digits_test_size = %d' %digits_test_size
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
101 print 'lower_train_size = %d' %lower_train_size
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
102 print 'upper_train_size = %d' %upper_train_size
346
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
103 print 'upper_test_size = %d' %upper_test_size
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
104
346
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
105 if main_class == "u":
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
106 # define main and other datasets
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
107 raw_main_train_data = self.raw_upper_train_data
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
108 raw_other_train_data1 = self.raw_lower_train_labels
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
109 raw_other_train_data2 = self.raw_digits_train_labels
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
110 raw_test_data = self.raw_upper_test_data
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
111
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
112 raw_main_train_labels = self.raw_upper_train_labels
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
113 raw_other_train_labels1 = self.raw_lower_train_labels
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
114 raw_other_train_labels2 = self.raw_digits_train_labels
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
115 raw_test_labels = self.raw_upper_test_labels
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
116
346
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
117 elif main_class == "l":
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
118 # define main and other datasets
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
119 raw_main_train_data = self.raw_lower_train_data
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
120 raw_other_train_data1 = self.raw_upper_train_labels
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
121 raw_other_train_data2 = self.raw_digits_train_labels
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
122 raw_test_data = self.raw_lower_test_data
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
123
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
124 raw_main_train_labels = self.raw_lower_train_labels
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
125 raw_other_train_labels1 = self.raw_upper_train_labels
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
126 raw_other_train_labels2 = self.raw_digits_train_labels
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
127 raw_test_labels = self.raw_lower_test_labels
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
128
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
129 else:
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
130 main_class = "d"
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
131 # define main and other datasets
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
132 raw_main_train_data = self.raw_digits_train_data
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
133 raw_other_train_data1 = self.raw_lower_train_labels
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
134 raw_other_train_data2 = self.raw_upper_train_labels
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
135 raw_test_data = self.raw_digits_test_data
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
136
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
137 raw_main_train_labels = self.raw_digits_train_labels
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
138 raw_other_train_labels1 = self.raw_lower_train_labels
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
139 raw_other_train_labels2 = self.raw_upper_train_labels
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
140 raw_test_labels = self.raw_digits_test_labels
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
141
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
142 main_train_size = len(raw_main_train_labels)
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
143 other_train_size1 = len(raw_other_train_labels1)
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
144 other_train_size2 = len(raw_other_train_labels2)
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
145 other_train_size = other_train_size1 + other_train_size2
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
146
295
a6b6b1140de9 modifié setup_batches.py pour compatibilité avec mlp_nist.py
Guillaume Sicard <guitch21@gmail.com>
parents: 272
diff changeset
147 test_size = len(raw_test_labels)
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
148 test_size = int(test_size/batch_size)
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
149 test_size *= batch_size
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
150 validation_size = test_size
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
151
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
152 # default ratio is actual ratio
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
153 if start_ratio == -1:
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
154 self.start_ratio = float(main_train_size - test_size) / float(main_train_size + other_train_size)
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
155 else:
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
156 self.start_ratio = start_ratio
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
157
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
158 if start_ratio == -1:
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
159 self.end_ratio = float(main_train_size - test_size) / float(main_train_size + other_train_size)
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
160 else:
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
161 self.end_ratio = end_ratio
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
162
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
163 if verbose == True:
346
7bc555cc9aab Ajouté dans set_batches : choix de la classe principale
Guillaume Sicard <guitch21@gmail.com>
parents: 332
diff changeset
164 print 'main class : %s' %main_class
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
165 print 'start_ratio = %f' %self.start_ratio
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
166 print 'end_ratio = %f' %self.end_ratio
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
167
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
168 i_main = 0
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
169 i_other1 = 0
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
170 i_other2 = 0
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
171 i_batch = 0
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
172
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
173 # compute the number of batches given start and end ratios
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
174 n_main_batch = (main_train_size - test_size - batch_size * (self.end_ratio - self.start_ratio) / 2 ) / (batch_size * (self.start_ratio + (self.end_ratio - self.start_ratio) / 2))
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
175 if (batch_size != batch_size * (self.start_ratio + (self.end_ratio - self.start_ratio) / 2)):
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
176 n_other_batch = (other_train_size - batch_size * (self.end_ratio - self.start_ratio) / 2 ) / (batch_size - batch_size * (self.start_ratio + (self.end_ratio - self.start_ratio) / 2))
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
177 else:
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
178 n_other_batch = n_main_batch
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
179
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
180 n_batches = min([n_main_batch, n_other_batch])
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
181
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
182 # train batches
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
183 self.train_batches = []
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
184
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
185 # as long as we have data left in main and other, we create batches
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
186 while i_main < main_train_size - batch_size - test_size and i_other1 < other_train_size1 - batch_size and i_other2 < other_train_size2 - batch_size:
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
187 ratio = self.start_ratio + i_batch * (self.end_ratio - self.start_ratio) / n_batches
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
188 batch_data = copy(raw_main_train_data[0:self.batch_size])
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
189 batch_labels = copy(raw_main_train_labels[0:self.batch_size])
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
190
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
191 for i in xrange(0, self.batch_size): # randomly choose between main and other, given the current ratio
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
192 rnd1 = random.randint(0, 100)
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
193
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
194 if rnd1 < 100 * ratio:
295
a6b6b1140de9 modifié setup_batches.py pour compatibilité avec mlp_nist.py
Guillaume Sicard <guitch21@gmail.com>
parents: 272
diff changeset
195 batch_data[i] = raw_main_train_data[i_main]
a6b6b1140de9 modifié setup_batches.py pour compatibilité avec mlp_nist.py
Guillaume Sicard <guitch21@gmail.com>
parents: 272
diff changeset
196 batch_labels[i] = raw_main_train_labels[i_main]
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
197 i_main += 1
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
198 else:
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
199 rnd2 = random.randint(0, 100)
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
200
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
201 if rnd2 < 100 * float(other_train_size1) / float(other_train_size):
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
202 batch_data[i] = raw_other_train_data1[i_other1]
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
203 batch_labels[i] = raw_other_train_labels1[i_other1]
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
204 i_other1 += 1
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
205 else:
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
206 batch_data[i] = raw_other_train_data2[i_other2]
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
207 batch_labels[i] = raw_other_train_labels2[i_other2]
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
208 i_other2 += 1
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
209
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
210 self.train_batches = self.train_batches + \
295
a6b6b1140de9 modifié setup_batches.py pour compatibilité avec mlp_nist.py
Guillaume Sicard <guitch21@gmail.com>
parents: 272
diff changeset
211 [(batch_data, batch_labels)]
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
212 i_batch += 1
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
213
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
214 offset = i_main
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
215
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
216 # test batches
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
217 self.test_batches = []
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
218 for i in xrange(0, test_size, batch_size):
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
219 self.test_batches = self.test_batches + \
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
220 [(raw_test_data[i:i+batch_size], raw_test_labels[i:i+batch_size])]
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
221
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
222 # validation batches
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
223 self.validation_batches = []
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
224 for i in xrange(0, validation_size, batch_size):
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
225 self.validation_batches = self.validation_batches + \
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
226 [(raw_main_train_data[offset+i:offset+i+batch_size], raw_main_train_labels[offset+i:offset+i+batch_size])]
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
227
295
a6b6b1140de9 modifié setup_batches.py pour compatibilité avec mlp_nist.py
Guillaume Sicard <guitch21@gmail.com>
parents: 272
diff changeset
228 if verbose == True:
a6b6b1140de9 modifié setup_batches.py pour compatibilité avec mlp_nist.py
Guillaume Sicard <guitch21@gmail.com>
parents: 272
diff changeset
229 print 'n_main = %d' %i_main
332
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
230 print 'n_other1 = %d' %i_other1
5b260cc8f477 Correction de bug numpy array et ajout d'une deuxième classe auxiliaire
Guillaume Sicard <guitch21@gmail.com>
parents: 295
diff changeset
231 print 'n_other2 = %d' %i_other2
295
a6b6b1140de9 modifié setup_batches.py pour compatibilité avec mlp_nist.py
Guillaume Sicard <guitch21@gmail.com>
parents: 272
diff changeset
232 print 'nb_train_batches = %d / %d' %(i_batch,n_batches)
a6b6b1140de9 modifié setup_batches.py pour compatibilité avec mlp_nist.py
Guillaume Sicard <guitch21@gmail.com>
parents: 272
diff changeset
233 print 'offset = %d' %offset
a6b6b1140de9 modifié setup_batches.py pour compatibilité avec mlp_nist.py
Guillaume Sicard <guitch21@gmail.com>
parents: 272
diff changeset
234
272
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
235 def get_train_batches(self):
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
236 return self.train_batches
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
237
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
238 def get_test_batches(self):
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
239 return self.test_batches
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
240
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
241 def get_validation_batches(self):
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
242 return self.validation_batches
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
243
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
244 def test_set_batches(self, intervall = 1000):
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
245 for i in xrange(0, len(self.train_batches) - self.batch_size, intervall):
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
246 n_main = 0
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
247
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
248 for j in xrange(0, self.batch_size):
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
249 if self.train_batches[i][1][j] < 10:
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
250 n_main +=1
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
251 print 'ratio batch %d : %f' %(i,float(n_main) / float(self.batch_size))
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
252
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
253 if __name__ == '__main__':
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
254 batches = Batches()
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
255 batches.set_batches(0.5,1, 20, True)
f6d9b6b89c2a ajouté : module de préparation de batches en fonction d'un ratio de classes
Guillaume Sicard <guitch21@gmail.com>
parents:
diff changeset
256 batches.test_set_batches()