annotate deep/stacked_dae/v_sylvain/sgd_optimization.py @ 455:09e1c5872c2b

Ajout de trois lignes de code pour le calcul de l'erreur standart
author SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
date Wed, 26 May 2010 20:23:02 -0400
parents 5e11dda78995
children 78ed4628071d
rev   line source
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
1 #!/usr/bin/python
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
2 # coding: utf-8
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
3
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
4 # Generic SdA optimization loop, adapted from the deeplearning.net tutorial
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
5
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
6 import numpy
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
7 import theano
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
8 import time
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
9 import datetime
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
10 import theano.tensor as T
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
11 import sys
350
625c0c3fcbdb Amelioration de l'efficacite de la sauvegarde des parametres
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 336
diff changeset
12 #import pickle
625c0c3fcbdb Amelioration de l'efficacite de la sauvegarde des parametres
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 336
diff changeset
13 import cPickle
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
14
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
15 from jobman import DD
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
16 import jobman, jobman.sql
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
17 from copy import copy
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
18
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
19 from stacked_dae import SdA
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
20
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
21 from ift6266.utils.seriestables import *
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
22
310
a5abd5c8b4b0 Petits changements pour pouvoir utiliser le GPU
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 305
diff changeset
23 #For test purpose only
a5abd5c8b4b0 Petits changements pour pouvoir utiliser le GPU
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 305
diff changeset
24 buffersize=1000
a5abd5c8b4b0 Petits changements pour pouvoir utiliser le GPU
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 305
diff changeset
25
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
26 default_series = { \
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
27 'reconstruction_error' : DummySeries(),
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
28 'training_error' : DummySeries(),
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
29 'validation_error' : DummySeries(),
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
30 'test_error' : DummySeries(),
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
31 'params' : DummySeries()
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
32 }
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
33
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
34 def itermax(iter, max):
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
35 for i,it in enumerate(iter):
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
36 if i >= max:
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
37 break
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
38 yield it
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
39
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
40 class SdaSgdOptimizer:
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
41 def __init__(self, dataset, hyperparameters, n_ins, n_outs,
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
42 examples_per_epoch, series=default_series, max_minibatches=None):
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
43 self.dataset = dataset
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
44 self.hp = hyperparameters
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
45 self.n_ins = n_ins
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
46 self.n_outs = n_outs
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
47 self.parameters_pre=[]
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
48
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
49 self.max_minibatches = max_minibatches
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
50 print "SdaSgdOptimizer, max_minibatches =", max_minibatches
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
51
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
52 self.ex_per_epoch = examples_per_epoch
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
53 self.mb_per_epoch = examples_per_epoch / self.hp.minibatch_size
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
54
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
55 self.series = series
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
56
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
57 self.rng = numpy.random.RandomState(1234)
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
58
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
59 self.init_classifier()
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
60
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
61 sys.stdout.flush()
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
62
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
63 def init_classifier(self):
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
64 print "Constructing classifier"
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
65
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
66 # we don't want to save arrays in DD objects, so
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
67 # we recreate those arrays here
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
68 nhl = self.hp.num_hidden_layers
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
69 layers_sizes = [self.hp.hidden_layers_sizes] * nhl
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
70 corruption_levels = [self.hp.corruption_levels] * nhl
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
71
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
72 # construct the stacked denoising autoencoder class
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
73 self.classifier = SdA( \
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
74 batch_size = self.hp.minibatch_size, \
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
75 n_ins= self.n_ins, \
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
76 hidden_layers_sizes = layers_sizes, \
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
77 n_outs = self.n_outs, \
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
78 corruption_levels = corruption_levels,\
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
79 rng = self.rng,\
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
80 pretrain_lr = self.hp.pretraining_lr, \
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
81 finetune_lr = self.hp.finetuning_lr)
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
82
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
83 #theano.printing.pydotprint(self.classifier.pretrain_functions[0], "function.graph")
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
84
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
85 sys.stdout.flush()
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
86
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
87 def train(self):
233
02ed13244133 version pour utilisation du module dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 230
diff changeset
88 self.pretrain(self.dataset)
02ed13244133 version pour utilisation du module dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 230
diff changeset
89 self.finetune(self.dataset)
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
90
352
cfb79f9fd1a4 Ajout d'une fonctionnalite pour pouvoir avoir un taux d'apprentissage decroissant dans le pretrain
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 350
diff changeset
91 def pretrain(self,dataset,decrease=0):
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
92 print "STARTING PRETRAINING, time = ", datetime.datetime.now()
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
93 sys.stdout.flush()
286
1cc535f3e254 correction d'un bug pour affichage des resultats de pre-train avec P07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 283
diff changeset
94
305
fe5d428c2acc Ajout de commentaires ainsi que correction de bug pour sauvegarder les parametres
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 286
diff changeset
95 un_fichier=int(819200.0/self.hp.minibatch_size) #Number of batches in a P07 file
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
96
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
97 start_time = time.clock()
352
cfb79f9fd1a4 Ajout d'une fonctionnalite pour pouvoir avoir un taux d'apprentissage decroissant dans le pretrain
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 350
diff changeset
98
cfb79f9fd1a4 Ajout d'une fonctionnalite pour pouvoir avoir un taux d'apprentissage decroissant dans le pretrain
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 350
diff changeset
99 ######## This is hardcoaded. THe 0.95 parameter is hardcoaded and can be changed at will ###
cfb79f9fd1a4 Ajout d'une fonctionnalite pour pouvoir avoir un taux d'apprentissage decroissant dans le pretrain
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 350
diff changeset
100 #Set the decreasing rate of the learning rate. We want the final learning rate to
cfb79f9fd1a4 Ajout d'une fonctionnalite pour pouvoir avoir un taux d'apprentissage decroissant dans le pretrain
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 350
diff changeset
101 #be 5% of the original learning rate. The decreasing factor is linear
cfb79f9fd1a4 Ajout d'une fonctionnalite pour pouvoir avoir un taux d'apprentissage decroissant dans le pretrain
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 350
diff changeset
102 decreasing = (decrease*self.hp.pretraining_lr)/float(self.hp.pretraining_epochs_per_layer*800000/self.hp.minibatch_size)
cfb79f9fd1a4 Ajout d'une fonctionnalite pour pouvoir avoir un taux d'apprentissage decroissant dans le pretrain
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 350
diff changeset
103
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
104 ## Pre-train layer-wise
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
105 for i in xrange(self.classifier.n_layers):
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
106 # go through pretraining epochs
352
cfb79f9fd1a4 Ajout d'une fonctionnalite pour pouvoir avoir un taux d'apprentissage decroissant dans le pretrain
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 350
diff changeset
107
cfb79f9fd1a4 Ajout d'une fonctionnalite pour pouvoir avoir un taux d'apprentissage decroissant dans le pretrain
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 350
diff changeset
108 #To reset the learning rate to his original value
cfb79f9fd1a4 Ajout d'une fonctionnalite pour pouvoir avoir un taux d'apprentissage decroissant dans le pretrain
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 350
diff changeset
109 learning_rate=self.hp.pretraining_lr
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
110 for epoch in xrange(self.hp.pretraining_epochs_per_layer):
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
111 # go through the training set
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
112 batch_index=0
281
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
113 count=0
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
114 num_files=0
233
02ed13244133 version pour utilisation du module dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 230
diff changeset
115 for x,y in dataset.train(self.hp.minibatch_size):
352
cfb79f9fd1a4 Ajout d'une fonctionnalite pour pouvoir avoir un taux d'apprentissage decroissant dans le pretrain
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 350
diff changeset
116 c = self.classifier.pretrain_functions[i](x,learning_rate)
281
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
117 count +=1
238
9fc641d7adda Possibilite de restreindre la taille des ensemble d'entrainement, valid et test afin de pouvoir tester le code rapidement
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 235
diff changeset
118
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
119 self.series["reconstruction_error"].append((epoch, batch_index), c)
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
120 batch_index+=1
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
121
352
cfb79f9fd1a4 Ajout d'une fonctionnalite pour pouvoir avoir un taux d'apprentissage decroissant dans le pretrain
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 350
diff changeset
122 #If we need to decrease the learning rate for the pretrain
cfb79f9fd1a4 Ajout d'une fonctionnalite pour pouvoir avoir un taux d'apprentissage decroissant dans le pretrain
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 350
diff changeset
123 if decrease != 0:
cfb79f9fd1a4 Ajout d'une fonctionnalite pour pouvoir avoir un taux d'apprentissage decroissant dans le pretrain
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 350
diff changeset
124 learning_rate -= decreasing
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
125
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
126 # useful when doing tests
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
127 if self.max_minibatches and batch_index >= self.max_minibatches:
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
128 break
281
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
129
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
130 #When we pass through the data only once (the case with P07)
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
131 #There is approximately 800*1024=819200 examples per file (1k per example and files are 800M)
286
1cc535f3e254 correction d'un bug pour affichage des resultats de pre-train avec P07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 283
diff changeset
132 if self.hp.pretraining_epochs_per_layer == 1 and count%un_fichier == 0:
281
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
133 print 'Pre-training layer %i, epoch %d, cost '%(i,num_files),c
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
134 num_files+=1
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
135 sys.stdout.flush()
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
136 self.series['params'].append((num_files,), self.classifier.all_params)
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
137
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
138 #When NIST is used
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
139 if self.hp.pretraining_epochs_per_layer > 1:
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
140 print 'Pre-training layer %i, epoch %d, cost '%(i,epoch),c
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
141 sys.stdout.flush()
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
142
281
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
143 self.series['params'].append((epoch,), self.classifier.all_params)
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
144
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
145 end_time = time.clock()
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
146
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
147 print ('Pretraining took %f minutes' %((end_time-start_time)/60.))
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
148 self.hp.update({'pretraining_time': end_time-start_time})
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
149
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
150 sys.stdout.flush()
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
151
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
152 #To be able to load them later for tests on finetune
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
153 self.parameters_pre=[copy(x.value) for x in self.classifier.params]
263
a0264184684e ajout de fonctionnalitees pour deux testsets
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 252
diff changeset
154 f = open('params_pretrain.txt', 'w')
350
625c0c3fcbdb Amelioration de l'efficacite de la sauvegarde des parametres
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 336
diff changeset
155 cPickle.dump(self.parameters_pre,f,protocol=-1)
263
a0264184684e ajout de fonctionnalitees pour deux testsets
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 252
diff changeset
156 f.close()
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
157
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
158
384
8117c0e70db9 Ajout de la faculte de prendre PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 367
diff changeset
159 def finetune(self,dataset,dataset_test,num_finetune,ind_test,special=0,decrease=0,dataset_test2=None):
281
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
160
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
161 if special != 0 and special != 1:
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
162 sys.exit('Bad value for variable special. Must be in {0,1}')
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
163 print "STARTING FINETUNING, time = ", datetime.datetime.now()
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
164
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
165 minibatch_size = self.hp.minibatch_size
281
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
166 if ind_test == 0 or ind_test == 20:
263
a0264184684e ajout de fonctionnalitees pour deux testsets
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 252
diff changeset
167 nom_test = "NIST"
281
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
168 nom_train="P07"
389
88cb95007670 Ajout d'une option finetune amelioree pour PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 384
diff changeset
169 elif ind_test == 30:
384
8117c0e70db9 Ajout de la faculte de prendre PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 367
diff changeset
170 nom_train = "PNIST07"
8117c0e70db9 Ajout de la faculte de prendre PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 367
diff changeset
171 nom_test = "NIST"
8117c0e70db9 Ajout de la faculte de prendre PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 367
diff changeset
172 nom_test2 = "P07"
389
88cb95007670 Ajout d'une option finetune amelioree pour PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 384
diff changeset
173 elif ind_test == 31:
88cb95007670 Ajout d'une option finetune amelioree pour PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 384
diff changeset
174 nom_train = "NIST"
88cb95007670 Ajout d'une option finetune amelioree pour PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 384
diff changeset
175 nom_test = "PNIST07"
88cb95007670 Ajout d'une option finetune amelioree pour PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 384
diff changeset
176 nom_test2 = "P07"
263
a0264184684e ajout de fonctionnalitees pour deux testsets
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 252
diff changeset
177 else:
a0264184684e ajout de fonctionnalitees pour deux testsets
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 252
diff changeset
178 nom_test = "P07"
281
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
179 nom_train = "NIST"
263
a0264184684e ajout de fonctionnalitees pour deux testsets
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 252
diff changeset
180
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
181
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
182 # create a function to compute the mistakes that are made by the model
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
183 # on the validation set, or testing set
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
184 test_model = \
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
185 theano.function(
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
186 [self.classifier.x,self.classifier.y], self.classifier.errors)
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
187 # givens = {
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
188 # self.classifier.x: ensemble_x,
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
189 # self.classifier.y: ensemble_y]})
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
190
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
191 validate_model = \
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
192 theano.function(
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
193 [self.classifier.x,self.classifier.y], self.classifier.errors)
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
194 # givens = {
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
195 # self.classifier.x: ,
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
196 # self.classifier.y: ]})
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
197
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
198
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
199 # early-stopping parameters
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
200 patience = 10000 # look as this many examples regardless
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
201 patience_increase = 2. # wait this much longer when a new best is
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
202 # found
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
203 improvement_threshold = 0.995 # a relative improvement of this much is
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
204 # considered significant
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
205 validation_frequency = min(self.mb_per_epoch, patience/2)
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
206 # go through this many
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
207 # minibatche before checking the network
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
208 # on the validation set; in this case we
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
209 # check every epoch
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
210 if self.max_minibatches and validation_frequency > self.max_minibatches:
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
211 validation_frequency = self.max_minibatches / 2
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
212
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
213 best_params = None
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
214 best_validation_loss = float('inf')
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
215 test_score = 0.
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
216 start_time = time.clock()
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
217
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
218 done_looping = False
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
219 epoch = 0
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
220
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
221 total_mb_index = 0
330
18dc860a4ef4 Rajout de la capacite de faire decroitre le taux d'apprentissage si demande
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 325
diff changeset
222 minibatch_index = 0
305
fe5d428c2acc Ajout de commentaires ainsi que correction de bug pour sauvegarder les parametres
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 286
diff changeset
223 parameters_finetune=[]
331
c2331b8e4b89 Ajout d'une ligne faisant rapetisser le finetune_lr pour NIST lorsqu'on a P07+NIST
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 330
diff changeset
224
389
88cb95007670 Ajout d'une option finetune amelioree pour PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 384
diff changeset
225 if ind_test == 21 | ind_test == 31:
352
cfb79f9fd1a4 Ajout d'une fonctionnalite pour pouvoir avoir un taux d'apprentissage decroissant dans le pretrain
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 350
diff changeset
226 learning_rate = self.hp.finetuning_lr / 10.0
331
c2331b8e4b89 Ajout d'une ligne faisant rapetisser le finetune_lr pour NIST lorsqu'on a P07+NIST
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 330
diff changeset
227 else:
c2331b8e4b89 Ajout d'une ligne faisant rapetisser le finetune_lr pour NIST lorsqu'on a P07+NIST
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 330
diff changeset
228 learning_rate = self.hp.finetuning_lr #The initial finetune lr
330
18dc860a4ef4 Rajout de la capacite de faire decroitre le taux d'apprentissage si demande
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 325
diff changeset
229
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
230
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
231 while (epoch < num_finetune) and (not done_looping):
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
232 epoch = epoch + 1
283
28b628f331b2 correction d'un bug sur l'indice des mini-batches
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 281
diff changeset
233
310
a5abd5c8b4b0 Petits changements pour pouvoir utiliser le GPU
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 305
diff changeset
234 for x,y in dataset.train(minibatch_size,bufsize=buffersize):
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
235 minibatch_index += 1
330
18dc860a4ef4 Rajout de la capacite de faire decroitre le taux d'apprentissage si demande
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 325
diff changeset
236
18dc860a4ef4 Rajout de la capacite de faire decroitre le taux d'apprentissage si demande
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 325
diff changeset
237
281
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
238 if special == 0:
330
18dc860a4ef4 Rajout de la capacite de faire decroitre le taux d'apprentissage si demande
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 325
diff changeset
239 cost_ij = self.classifier.finetune(x,y,learning_rate)
281
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
240 elif special == 1:
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
241 cost_ij = self.classifier.finetune2(x,y)
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
242 total_mb_index += 1
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
243
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
244 self.series["training_error"].append((epoch, minibatch_index), cost_ij)
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
245
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
246 if (total_mb_index+1) % validation_frequency == 0:
283
28b628f331b2 correction d'un bug sur l'indice des mini-batches
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 281
diff changeset
247 #minibatch_index += 1
305
fe5d428c2acc Ajout de commentaires ainsi que correction de bug pour sauvegarder les parametres
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 286
diff changeset
248 #The validation set is always NIST (we want the model to be good on NIST)
389
88cb95007670 Ajout d'une option finetune amelioree pour PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 384
diff changeset
249 if ind_test == 0 | ind_test == 20 | ind_test == 30:
384
8117c0e70db9 Ajout de la faculte de prendre PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 367
diff changeset
250 iter=dataset_test.valid(minibatch_size,bufsize=buffersize)
281
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
251 else:
310
a5abd5c8b4b0 Petits changements pour pouvoir utiliser le GPU
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 305
diff changeset
252 iter = dataset.valid(minibatch_size,bufsize=buffersize)
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
253 if self.max_minibatches:
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
254 iter = itermax(iter, self.max_minibatches)
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
255 validation_losses = [validate_model(x,y) for x,y in iter]
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
256 this_validation_loss = numpy.mean(validation_losses)
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
257
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
258 self.series["validation_error"].\
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
259 append((epoch, minibatch_index), this_validation_loss*100.)
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
260
305
fe5d428c2acc Ajout de commentaires ainsi que correction de bug pour sauvegarder les parametres
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 286
diff changeset
261 print('epoch %i, minibatch %i, validation error on NIST : %f %%' % \
fe5d428c2acc Ajout de commentaires ainsi que correction de bug pour sauvegarder les parametres
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 286
diff changeset
262 (epoch, minibatch_index+1, \
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
263 this_validation_loss*100.))
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
264
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
265
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
266 # if we got the best validation score until now
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
267 if this_validation_loss < best_validation_loss:
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
268
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
269 #improve patience if loss improvement is good enough
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
270 if this_validation_loss < best_validation_loss * \
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
271 improvement_threshold :
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
272 patience = max(patience, total_mb_index * patience_increase)
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
273
305
fe5d428c2acc Ajout de commentaires ainsi que correction de bug pour sauvegarder les parametres
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 286
diff changeset
274 # save best validation score, iteration number and parameters
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
275 best_validation_loss = this_validation_loss
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
276 best_iter = total_mb_index
305
fe5d428c2acc Ajout de commentaires ainsi que correction de bug pour sauvegarder les parametres
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 286
diff changeset
277 parameters_finetune=[copy(x.value) for x in self.classifier.params]
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
278
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
279 # test it on the test set
310
a5abd5c8b4b0 Petits changements pour pouvoir utiliser le GPU
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 305
diff changeset
280 iter = dataset.test(minibatch_size,bufsize=buffersize)
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
281 if self.max_minibatches:
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
282 iter = itermax(iter, self.max_minibatches)
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
283 test_losses = [test_model(x,y) for x,y in iter]
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
284 test_score = numpy.mean(test_losses)
263
a0264184684e ajout de fonctionnalitees pour deux testsets
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 252
diff changeset
285
a0264184684e ajout de fonctionnalitees pour deux testsets
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 252
diff changeset
286 #test it on the second test set
310
a5abd5c8b4b0 Petits changements pour pouvoir utiliser le GPU
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 305
diff changeset
287 iter2 = dataset_test.test(minibatch_size,bufsize=buffersize)
263
a0264184684e ajout de fonctionnalitees pour deux testsets
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 252
diff changeset
288 if self.max_minibatches:
a0264184684e ajout de fonctionnalitees pour deux testsets
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 252
diff changeset
289 iter2 = itermax(iter2, self.max_minibatches)
a0264184684e ajout de fonctionnalitees pour deux testsets
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 252
diff changeset
290 test_losses2 = [test_model(x,y) for x,y in iter2]
a0264184684e ajout de fonctionnalitees pour deux testsets
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 252
diff changeset
291 test_score2 = numpy.mean(test_losses2)
384
8117c0e70db9 Ajout de la faculte de prendre PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 367
diff changeset
292
8117c0e70db9 Ajout de la faculte de prendre PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 367
diff changeset
293 #test it on the third test set if there is one
8117c0e70db9 Ajout de la faculte de prendre PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 367
diff changeset
294 iter3 = dataset_test2.test(minibatch_size, bufsize=buffersize)
8117c0e70db9 Ajout de la faculte de prendre PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 367
diff changeset
295 if self.max_minibatches:
8117c0e70db9 Ajout de la faculte de prendre PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 367
diff changeset
296 iter3 = itermax(iter3, self.max_minibatches)
8117c0e70db9 Ajout de la faculte de prendre PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 367
diff changeset
297 test_losses3 = [test_model(x,y) for x,y in iter3]
8117c0e70db9 Ajout de la faculte de prendre PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 367
diff changeset
298 test_score3 = numpy.mean(test_losses3)
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
299
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
300 self.series["test_error"].\
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
301 append((epoch, minibatch_index), test_score*100.)
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
302
281
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
303 print((' epoch %i, minibatch %i, test error on dataset %s (train data) of best '
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
304 'model %f %%') %
281
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
305 (epoch, minibatch_index+1,nom_train,
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
306 test_score*100.))
263
a0264184684e ajout de fonctionnalitees pour deux testsets
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 252
diff changeset
307
a0264184684e ajout de fonctionnalitees pour deux testsets
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 252
diff changeset
308 print((' epoch %i, minibatch %i, test error on dataset %s of best '
a0264184684e ajout de fonctionnalitees pour deux testsets
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 252
diff changeset
309 'model %f %%') %
a0264184684e ajout de fonctionnalitees pour deux testsets
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 252
diff changeset
310 (epoch, minibatch_index+1,nom_test,
a0264184684e ajout de fonctionnalitees pour deux testsets
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 252
diff changeset
311 test_score2*100.))
384
8117c0e70db9 Ajout de la faculte de prendre PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 367
diff changeset
312 print((' epoch %i, minibatch %i, test error on dataset %s of best '
8117c0e70db9 Ajout de la faculte de prendre PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 367
diff changeset
313 'model %f %%') %
8117c0e70db9 Ajout de la faculte de prendre PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 367
diff changeset
314 (epoch, minibatch_index+1,nom_test2,
8117c0e70db9 Ajout de la faculte de prendre PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 367
diff changeset
315 test_score3*100.))
281
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
316
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
317 if patience <= total_mb_index:
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
318 done_looping = True
305
fe5d428c2acc Ajout de commentaires ainsi que correction de bug pour sauvegarder les parametres
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 286
diff changeset
319 break #to exit the FOR loop
281
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
320
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
321 sys.stdout.flush()
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
322
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
323 # useful when doing tests
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
324 if self.max_minibatches and minibatch_index >= self.max_minibatches:
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
325 break
330
18dc860a4ef4 Rajout de la capacite de faire decroitre le taux d'apprentissage si demande
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 325
diff changeset
326
18dc860a4ef4 Rajout de la capacite de faire decroitre le taux d'apprentissage si demande
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 325
diff changeset
327 if decrease == 1:
389
88cb95007670 Ajout d'une option finetune amelioree pour PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 384
diff changeset
328 if (ind_test == 21 & epoch % 100 == 0) | ind_test == 20 | ind_test == 30 | (ind_test == 31 & epoch % 100 == 0):
350
625c0c3fcbdb Amelioration de l'efficacite de la sauvegarde des parametres
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 336
diff changeset
329 learning_rate /= 2 #divide the learning rate by 2 for each new epoch of P07 (or 100 of NIST)
330
18dc860a4ef4 Rajout de la capacite de faire decroitre le taux d'apprentissage si demande
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 325
diff changeset
330
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
331 self.series['params'].append((epoch,), self.classifier.all_params)
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
332
281
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
333 if done_looping == True: #To exit completly the fine-tuning
305
fe5d428c2acc Ajout de commentaires ainsi que correction de bug pour sauvegarder les parametres
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 286
diff changeset
334 break #to exit the WHILE loop
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
335
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
336 end_time = time.clock()
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
337 self.hp.update({'finetuning_time':end_time-start_time,\
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
338 'best_validation_error':best_validation_loss,\
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
339 'test_score':test_score,
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
340 'num_finetuning_epochs':epoch})
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
341
281
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
342 print(('\nOptimization complete with best validation score of %f %%,'
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
343 'with test performance %f %% on dataset %s ') %
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
344 (best_validation_loss * 100., test_score*100.,nom_train))
263
a0264184684e ajout de fonctionnalitees pour deux testsets
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 252
diff changeset
345 print(('The test score on the %s dataset is %f')%(nom_test,test_score2*100.))
384
8117c0e70db9 Ajout de la faculte de prendre PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 367
diff changeset
346 print(('The test score on the %s dataset is %f')%(nom_test2,test_score3*100.))
263
a0264184684e ajout de fonctionnalitees pour deux testsets
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 252
diff changeset
347
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
348 print ('The finetuning ran for %f minutes' % ((end_time-start_time)/60.))
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
349
305
fe5d428c2acc Ajout de commentaires ainsi que correction de bug pour sauvegarder les parametres
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 286
diff changeset
350 sys.stdout.flush()
fe5d428c2acc Ajout de commentaires ainsi que correction de bug pour sauvegarder les parametres
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 286
diff changeset
351
281
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
352 #Save a copy of the parameters in a file to be able to get them in the future
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
353
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
354 if special == 1: #To keep a track of the value of the parameters
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
355 f = open('params_finetune_stanford.txt', 'w')
350
625c0c3fcbdb Amelioration de l'efficacite de la sauvegarde des parametres
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 336
diff changeset
356 cPickle.dump(parameters_finetune,f,protocol=-1)
281
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
357 f.close()
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
358
331
c2331b8e4b89 Ajout d'une ligne faisant rapetisser le finetune_lr pour NIST lorsqu'on a P07+NIST
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 330
diff changeset
359 elif ind_test == 0 | ind_test == 20: #To keep a track of the value of the parameters
281
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
360 f = open('params_finetune_P07.txt', 'w')
350
625c0c3fcbdb Amelioration de l'efficacite de la sauvegarde des parametres
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 336
diff changeset
361 cPickle.dump(parameters_finetune,f,protocol=-1)
281
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
362 f.close()
331
c2331b8e4b89 Ajout d'une ligne faisant rapetisser le finetune_lr pour NIST lorsqu'on a P07+NIST
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 330
diff changeset
363
281
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
364
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
365 elif ind_test== 1: #For the run with 2 finetunes. It will be faster.
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
366 f = open('params_finetune_NIST.txt', 'w')
350
625c0c3fcbdb Amelioration de l'efficacite de la sauvegarde des parametres
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 336
diff changeset
367 cPickle.dump(parameters_finetune,f,protocol=-1)
281
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
368 f.close()
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
369
321
403b9e6ecfaa finetune NIST+P07 change pour P07+NIST, les experiences n'ont pas ete concluentes
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 310
diff changeset
370 elif ind_test== 21: #To keep a track of the value of the parameters
403b9e6ecfaa finetune NIST+P07 change pour P07+NIST, les experiences n'ont pas ete concluentes
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 310
diff changeset
371 f = open('params_finetune_P07_then_NIST.txt', 'w')
350
625c0c3fcbdb Amelioration de l'efficacite de la sauvegarde des parametres
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 336
diff changeset
372 cPickle.dump(parameters_finetune,f,protocol=-1)
281
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
373 f.close()
389
88cb95007670 Ajout d'une option finetune amelioree pour PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 384
diff changeset
374 elif ind_test == 30:
384
8117c0e70db9 Ajout de la faculte de prendre PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 367
diff changeset
375 f = open('params_finetune_PNIST07.txt', 'w')
8117c0e70db9 Ajout de la faculte de prendre PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 367
diff changeset
376 cPickle.dump(parameters_finetune,f,protocol=-1)
8117c0e70db9 Ajout de la faculte de prendre PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 367
diff changeset
377 f.close()
389
88cb95007670 Ajout d'une option finetune amelioree pour PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 384
diff changeset
378 elif ind_test == 31:
88cb95007670 Ajout d'une option finetune amelioree pour PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 384
diff changeset
379 f = open('params_finetune_PNIST07_then_NIST.txt', 'w')
88cb95007670 Ajout d'une option finetune amelioree pour PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 384
diff changeset
380 cPickle.dump(parameters_finetune,f,protocol=-1)
88cb95007670 Ajout d'une option finetune amelioree pour PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 384
diff changeset
381 f.close()
281
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
382
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
383
305
fe5d428c2acc Ajout de commentaires ainsi que correction de bug pour sauvegarder les parametres
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 286
diff changeset
384 #Set parameters like they where right after pre-train or finetune
281
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
385 def reload_parameters(self,which):
263
a0264184684e ajout de fonctionnalitees pour deux testsets
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 252
diff changeset
386
a0264184684e ajout de fonctionnalitees pour deux testsets
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 252
diff changeset
387 #self.parameters_pre=pickle.load('params_pretrain.txt')
281
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
388 f = open(which)
350
625c0c3fcbdb Amelioration de l'efficacite de la sauvegarde des parametres
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 336
diff changeset
389 self.parameters_pre=cPickle.load(f)
263
a0264184684e ajout de fonctionnalitees pour deux testsets
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 252
diff changeset
390 f.close()
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
391 for idx,x in enumerate(self.parameters_pre):
310
a5abd5c8b4b0 Petits changements pour pouvoir utiliser le GPU
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 305
diff changeset
392 if x.dtype=='float64':
a5abd5c8b4b0 Petits changements pour pouvoir utiliser le GPU
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 305
diff changeset
393 self.classifier.params[idx].value=theano._asarray(copy(x),dtype=theano.config.floatX)
a5abd5c8b4b0 Petits changements pour pouvoir utiliser le GPU
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 305
diff changeset
394 else:
a5abd5c8b4b0 Petits changements pour pouvoir utiliser le GPU
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 305
diff changeset
395 self.classifier.params[idx].value=copy(x)
330
18dc860a4ef4 Rajout de la capacite de faire decroitre le taux d'apprentissage si demande
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 325
diff changeset
396
397
5e11dda78995 Ajout de fonctionnalite pour pouvoir facilement calculer une erreur sur differentes parties de NSIT
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 389
diff changeset
397 def training_error(self,dataset,part=0):
455
09e1c5872c2b Ajout de trois lignes de code pour le calcul de l'erreur standart
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 397
diff changeset
398 import math
325
048898c1ee55 Ajout d'une fonction pour calculer l'erreur effectuee par le modele sur un ensemble pre-determine
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 321
diff changeset
399 # create a function to compute the mistakes that are made by the model
048898c1ee55 Ajout d'une fonction pour calculer l'erreur effectuee par le modele sur un ensemble pre-determine
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 321
diff changeset
400 # on the validation set, or testing set
048898c1ee55 Ajout d'une fonction pour calculer l'erreur effectuee par le modele sur un ensemble pre-determine
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 321
diff changeset
401 test_model = \
048898c1ee55 Ajout d'une fonction pour calculer l'erreur effectuee par le modele sur un ensemble pre-determine
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 321
diff changeset
402 theano.function(
048898c1ee55 Ajout d'une fonction pour calculer l'erreur effectuee par le modele sur un ensemble pre-determine
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 321
diff changeset
403 [self.classifier.x,self.classifier.y], self.classifier.errors)
397
5e11dda78995 Ajout de fonctionnalite pour pouvoir facilement calculer une erreur sur differentes parties de NSIT
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 389
diff changeset
404 #train
5e11dda78995 Ajout de fonctionnalite pour pouvoir facilement calculer une erreur sur differentes parties de NSIT
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 389
diff changeset
405 if part == 0:
5e11dda78995 Ajout de fonctionnalite pour pouvoir facilement calculer une erreur sur differentes parties de NSIT
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 389
diff changeset
406 iter2 = dataset.train(self.hp.minibatch_size,bufsize=buffersize)
5e11dda78995 Ajout de fonctionnalite pour pouvoir facilement calculer une erreur sur differentes parties de NSIT
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 389
diff changeset
407 name = 'train'
5e11dda78995 Ajout de fonctionnalite pour pouvoir facilement calculer une erreur sur differentes parties de NSIT
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 389
diff changeset
408 #validation
5e11dda78995 Ajout de fonctionnalite pour pouvoir facilement calculer une erreur sur differentes parties de NSIT
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 389
diff changeset
409 if part == 1:
5e11dda78995 Ajout de fonctionnalite pour pouvoir facilement calculer une erreur sur differentes parties de NSIT
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 389
diff changeset
410 iter2 = dataset.valid(self.hp.minibatch_size,bufsize=buffersize)
5e11dda78995 Ajout de fonctionnalite pour pouvoir facilement calculer une erreur sur differentes parties de NSIT
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 389
diff changeset
411 name = 'validation'
5e11dda78995 Ajout de fonctionnalite pour pouvoir facilement calculer une erreur sur differentes parties de NSIT
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 389
diff changeset
412 if part == 2:
5e11dda78995 Ajout de fonctionnalite pour pouvoir facilement calculer une erreur sur differentes parties de NSIT
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 389
diff changeset
413 iter2 = dataset.test(self.hp.minibatch_size,bufsize=buffersize)
5e11dda78995 Ajout de fonctionnalite pour pouvoir facilement calculer une erreur sur differentes parties de NSIT
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 389
diff changeset
414 name = 'test'
325
048898c1ee55 Ajout d'une fonction pour calculer l'erreur effectuee par le modele sur un ensemble pre-determine
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 321
diff changeset
415 train_losses2 = [test_model(x,y) for x,y in iter2]
048898c1ee55 Ajout d'une fonction pour calculer l'erreur effectuee par le modele sur un ensemble pre-determine
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 321
diff changeset
416 train_score2 = numpy.mean(train_losses2)
397
5e11dda78995 Ajout de fonctionnalite pour pouvoir facilement calculer une erreur sur differentes parties de NSIT
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 389
diff changeset
417 print 'On the ' + name + 'dataset'
5e11dda78995 Ajout de fonctionnalite pour pouvoir facilement calculer une erreur sur differentes parties de NSIT
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 389
diff changeset
418 print(('\t the error is %f')%(train_score2*100.))
455
09e1c5872c2b Ajout de trois lignes de code pour le calcul de l'erreur standart
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 397
diff changeset
419 stderr = math.sqrt(train_score2-train_score2**2)/math.sqrt(len(train_losses2)*self.hp.minibatch_size)
09e1c5872c2b Ajout de trois lignes de code pour le calcul de l'erreur standart
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 397
diff changeset
420 print (('\t the stderr is %f')%(stderr*100.))
361
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
421
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
422 #To see the prediction of the model, the real answer and the image to judge
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
423 def see_error(self, dataset):
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
424 import pylab
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
425 #The function to know the prediction
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
426 test_model = \
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
427 theano.function(
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
428 [self.classifier.x,self.classifier.y], self.classifier.logLayer.y_pred)
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
429 user = []
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
430 nb_total = 0 #total number of exemples seen
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
431 nb_error = 0 #total number of errors
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
432 for x,y in dataset.test(1):
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
433 nb_total += 1
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
434 pred = self.translate(test_model(x,y))
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
435 rep = self.translate(y)
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
436 error = pred != rep
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
437 print 'prediction: ' + str(pred) +'\t answer: ' + str(rep) + '\t right: ' + str(not(error))
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
438 pylab.imshow(x.reshape((32,32)))
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
439 pylab.draw()
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
440 if error:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
441 nb_error += 1
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
442 user.append(int(raw_input("1 = The error is normal, 0 = The error is not normal : ")))
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
443 print '\t\t character is hard to distinguish: ' + str(user[-1])
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
444 else:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
445 time.sleep(3)
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
446 print '\n Over the '+str(nb_total)+' exemples, there is '+str(nb_error)+' errors. \nThe percentage of errors is'+ str(float(nb_error)/float(nb_total))
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
447 print 'The percentage of errors done by the model that an human will also do: ' + str(numpy.mean(user))
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
448
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
449
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
450
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
451
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
452 #To translate the numeric prediction in character if necessary
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
453 def translate(self,y):
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
454
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
455 if y <= 9:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
456 return y[0]
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
457 elif y == 10:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
458 return 'A'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
459 elif y == 11:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
460 return 'B'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
461 elif y == 12:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
462 return 'C'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
463 elif y == 13:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
464 return 'D'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
465 elif y == 14:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
466 return 'E'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
467 elif y == 15:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
468 return 'F'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
469 elif y == 16:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
470 return 'G'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
471 elif y == 17:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
472 return 'H'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
473 elif y == 18:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
474 return 'I'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
475 elif y == 19:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
476 return 'J'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
477 elif y == 20:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
478 return 'K'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
479 elif y == 21:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
480 return 'L'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
481 elif y == 22:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
482 return 'M'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
483 elif y == 23:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
484 return 'N'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
485 elif y == 24:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
486 return 'O'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
487 elif y == 25:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
488 return 'P'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
489 elif y == 26:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
490 return 'Q'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
491 elif y == 27:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
492 return 'R'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
493 elif y == 28:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
494 return 'S'
367
f24b10e43a6f correction d'un petit bug dans la fonction traduire()
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 361
diff changeset
495 elif y == 29:
361
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
496 return 'T'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
497 elif y == 30:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
498 return 'U'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
499 elif y == 31:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
500 return 'V'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
501 elif y == 32:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
502 return 'W'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
503 elif y == 33:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
504 return 'X'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
505 elif y == 34:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
506 return 'Y'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
507 elif y == 35:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
508 return 'Z'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
509
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
510 elif y == 36:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
511 return 'a'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
512 elif y == 37:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
513 return 'b'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
514 elif y == 38:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
515 return 'c'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
516 elif y == 39:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
517 return 'd'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
518 elif y == 40:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
519 return 'e'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
520 elif y == 41:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
521 return 'f'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
522 elif y == 42:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
523 return 'g'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
524 elif y == 43:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
525 return 'h'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
526 elif y == 44:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
527 return 'i'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
528 elif y == 45:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
529 return 'j'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
530 elif y == 46:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
531 return 'k'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
532 elif y == 47:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
533 return 'l'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
534 elif y == 48:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
535 return 'm'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
536 elif y == 49:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
537 return 'n'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
538 elif y == 50:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
539 return 'o'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
540 elif y == 51:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
541 return 'p'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
542 elif y == 52:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
543 return 'q'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
544 elif y == 53:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
545 return 'r'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
546 elif y == 54:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
547 return 's'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
548 elif y == 55:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
549 return 't'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
550 elif y == 56:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
551 return 'u'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
552 elif y == 57:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
553 return 'v'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
554 elif y == 58:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
555 return 'w'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
556 elif y == 59:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
557 return 'x'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
558 elif y == 60:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
559 return 'y'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
560 elif y == 61:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
561 return 'z'
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
562
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
563
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
564
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
565