Mercurial > ift6266

annotate deep/stacked_dae/v_sylvain/sgd_optimization.py @ 387:44094ff28ed1

Find changesets by keywords (author, files, the commit message), revision number or hash, or revset expression.
Ajout d'une option finetune amelioree pour PNIST07
author SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
date Tue, 27 Apr 2010 08:41:58 -0400
parents 8117c0e70db9
children 88cb95007670
rev   line source
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
1 #!/usr/bin/python
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
2 # coding: utf-8
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
3
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
4 # Generic SdA optimization loop, adapted from the deeplearning.net tutorial
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
5
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
6 import numpy
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
7 import theano
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
8 import time
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
9 import datetime
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
10 import theano.tensor as T
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
11 import sys
350
625c0c3fcbdb Amelioration de l'efficacite de la sauvegarde des parametres
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 336
diff changeset
12 #import pickle
625c0c3fcbdb Amelioration de l'efficacite de la sauvegarde des parametres
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 336
diff changeset
13 import cPickle
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
14
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
15 from jobman import DD
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
16 import jobman, jobman.sql
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
17 from copy import copy
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
18
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
19 from stacked_dae import SdA
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
20
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
21 from ift6266.utils.seriestables import *
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
22
310
a5abd5c8b4b0 Petits changements pour pouvoir utiliser le GPU
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 305
diff changeset
23 #For test purpose only
a5abd5c8b4b0 Petits changements pour pouvoir utiliser le GPU
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 305
diff changeset
24 buffersize=1000
a5abd5c8b4b0 Petits changements pour pouvoir utiliser le GPU
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 305
diff changeset
25
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
26 default_series = { \
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
27 'reconstruction_error' : DummySeries(),
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
28 'training_error' : DummySeries(),
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
29 'validation_error' : DummySeries(),
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
30 'test_error' : DummySeries(),
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
31 'params' : DummySeries()
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
32 }
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
33
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
34 def itermax(iter, max):
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
35 for i,it in enumerate(iter):
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
36 if i >= max:
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
37 break
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
38 yield it
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
39
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
40 class SdaSgdOptimizer:
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
41 def __init__(self, dataset, hyperparameters, n_ins, n_outs,
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
42 examples_per_epoch, series=default_series, max_minibatches=None):
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
43 self.dataset = dataset
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
44 self.hp = hyperparameters
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
45 self.n_ins = n_ins
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
46 self.n_outs = n_outs
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
47 self.parameters_pre=[]
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
48
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
49 self.max_minibatches = max_minibatches
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
50 print "SdaSgdOptimizer, max_minibatches =", max_minibatches
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
51
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
52 self.ex_per_epoch = examples_per_epoch
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
53 self.mb_per_epoch = examples_per_epoch / self.hp.minibatch_size
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
54
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
55 self.series = series
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
56
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
57 self.rng = numpy.random.RandomState(1234)
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
58
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
59 self.init_classifier()
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
60
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
61 sys.stdout.flush()
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
62
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
63 def init_classifier(self):
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
64 print "Constructing classifier"
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
65
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
66 # we don't want to save arrays in DD objects, so
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
67 # we recreate those arrays here
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
68 nhl = self.hp.num_hidden_layers
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
69 layers_sizes = [self.hp.hidden_layers_sizes] * nhl
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
70 corruption_levels = [self.hp.corruption_levels] * nhl
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
71
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
72 # construct the stacked denoising autoencoder class
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
73 self.classifier = SdA( \
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
74 batch_size = self.hp.minibatch_size, \
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
75 n_ins= self.n_ins, \
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
76 hidden_layers_sizes = layers_sizes, \
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
77 n_outs = self.n_outs, \
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
78 corruption_levels = corruption_levels,\
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
79 rng = self.rng,\
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
80 pretrain_lr = self.hp.pretraining_lr, \
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
81 finetune_lr = self.hp.finetuning_lr)
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
82
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
83 #theano.printing.pydotprint(self.classifier.pretrain_functions[0], "function.graph")
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
84
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
85 sys.stdout.flush()
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
86
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
87 def train(self):
233
02ed13244133 version pour utilisation du module dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 230
diff changeset
88 self.pretrain(self.dataset)
02ed13244133 version pour utilisation du module dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 230
diff changeset
89 self.finetune(self.dataset)
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
90
352
cfb79f9fd1a4 Ajout d'une fonctionnalite pour pouvoir avoir un taux d'apprentissage decroissant dans le pretrain
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 350
diff changeset
91 def pretrain(self,dataset,decrease=0):
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
92 print "STARTING PRETRAINING, time = ", datetime.datetime.now()
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
93 sys.stdout.flush()
286
1cc535f3e254 correction d'un bug pour affichage des resultats de pre-train avec P07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 283
diff changeset
94
305
fe5d428c2acc Ajout de commentaires ainsi que correction de bug pour sauvegarder les parametres
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 286
diff changeset
95 un_fichier=int(819200.0/self.hp.minibatch_size) #Number of batches in a P07 file
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
96
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
97 start_time = time.clock()
352
cfb79f9fd1a4 Ajout d'une fonctionnalite pour pouvoir avoir un taux d'apprentissage decroissant dans le pretrain
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 350
diff changeset
98
cfb79f9fd1a4 Ajout d'une fonctionnalite pour pouvoir avoir un taux d'apprentissage decroissant dans le pretrain
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 350
diff changeset
99 ######## This is hardcoaded. THe 0.95 parameter is hardcoaded and can be changed at will ###
cfb79f9fd1a4 Ajout d'une fonctionnalite pour pouvoir avoir un taux d'apprentissage decroissant dans le pretrain
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 350
diff changeset
100 #Set the decreasing rate of the learning rate. We want the final learning rate to
cfb79f9fd1a4 Ajout d'une fonctionnalite pour pouvoir avoir un taux d'apprentissage decroissant dans le pretrain
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 350
diff changeset
101 #be 5% of the original learning rate. The decreasing factor is linear
cfb79f9fd1a4 Ajout d'une fonctionnalite pour pouvoir avoir un taux d'apprentissage decroissant dans le pretrain
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 350
diff changeset
102 decreasing = (decrease*self.hp.pretraining_lr)/float(self.hp.pretraining_epochs_per_layer*800000/self.hp.minibatch_size)
cfb79f9fd1a4 Ajout d'une fonctionnalite pour pouvoir avoir un taux d'apprentissage decroissant dans le pretrain
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 350
diff changeset
103
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
104 ## Pre-train layer-wise
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
105 for i in xrange(self.classifier.n_layers):
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
106 # go through pretraining epochs
352
cfb79f9fd1a4 Ajout d'une fonctionnalite pour pouvoir avoir un taux d'apprentissage decroissant dans le pretrain
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 350
diff changeset
107
cfb79f9fd1a4 Ajout d'une fonctionnalite pour pouvoir avoir un taux d'apprentissage decroissant dans le pretrain
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 350
diff changeset
108 #To reset the learning rate to his original value
cfb79f9fd1a4 Ajout d'une fonctionnalite pour pouvoir avoir un taux d'apprentissage decroissant dans le pretrain
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 350
diff changeset
109 learning_rate=self.hp.pretraining_lr
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
110 for epoch in xrange(self.hp.pretraining_epochs_per_layer):
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
111 # go through the training set
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
112 batch_index=0
281
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
113 count=0
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
114 num_files=0
233
02ed13244133 version pour utilisation du module dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 230
diff changeset
115 for x,y in dataset.train(self.hp.minibatch_size):
352
cfb79f9fd1a4 Ajout d'une fonctionnalite pour pouvoir avoir un taux d'apprentissage decroissant dans le pretrain
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 350
diff changeset
116 c = self.classifier.pretrain_functions[i](x,learning_rate)
281
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
117 count +=1
238
9fc641d7adda Possibilite de restreindre la taille des ensemble d'entrainement, valid et test afin de pouvoir tester le code rapidement
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 235
diff changeset
118
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
119 self.series["reconstruction_error"].append((epoch, batch_index), c)
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
120 batch_index+=1
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
121
352
cfb79f9fd1a4 Ajout d'une fonctionnalite pour pouvoir avoir un taux d'apprentissage decroissant dans le pretrain
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 350
diff changeset
122 #If we need to decrease the learning rate for the pretrain
cfb79f9fd1a4 Ajout d'une fonctionnalite pour pouvoir avoir un taux d'apprentissage decroissant dans le pretrain
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 350
diff changeset
123 if decrease != 0:
cfb79f9fd1a4 Ajout d'une fonctionnalite pour pouvoir avoir un taux d'apprentissage decroissant dans le pretrain
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 350
diff changeset
124 learning_rate -= decreasing
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
125
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
126 # useful when doing tests
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
127 if self.max_minibatches and batch_index >= self.max_minibatches:
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
128 break
281
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
129
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
130 #When we pass through the data only once (the case with P07)
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
131 #There is approximately 800*1024=819200 examples per file (1k per example and files are 800M)
286
1cc535f3e254 correction d'un bug pour affichage des resultats de pre-train avec P07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 283
diff changeset
132 if self.hp.pretraining_epochs_per_layer == 1 and count%un_fichier == 0:
281
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
133 print 'Pre-training layer %i, epoch %d, cost '%(i,num_files),c
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
134 num_files+=1
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
135 sys.stdout.flush()
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
136 self.series['params'].append((num_files,), self.classifier.all_params)
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
137
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
138 #When NIST is used
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
139 if self.hp.pretraining_epochs_per_layer > 1:
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
140 print 'Pre-training layer %i, epoch %d, cost '%(i,epoch),c
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
141 sys.stdout.flush()
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
142
281
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
143 self.series['params'].append((epoch,), self.classifier.all_params)
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
144
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
145 end_time = time.clock()
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
146
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
147 print ('Pretraining took %f minutes' %((end_time-start_time)/60.))
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
148 self.hp.update({'pretraining_time': end_time-start_time})
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
149
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
150 sys.stdout.flush()
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
151
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
152 #To be able to load them later for tests on finetune
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
153 self.parameters_pre=[copy(x.value) for x in self.classifier.params]
263
a0264184684e ajout de fonctionnalitees pour deux testsets
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 252
diff changeset
154 f = open('params_pretrain.txt', 'w')
350
625c0c3fcbdb Amelioration de l'efficacite de la sauvegarde des parametres
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 336
diff changeset
155 cPickle.dump(self.parameters_pre,f,protocol=-1)
263
a0264184684e ajout de fonctionnalitees pour deux testsets
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 252
diff changeset
156 f.close()
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
157
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
158
384
8117c0e70db9 Ajout de la faculte de prendre PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 367
diff changeset
159 def finetune(self,dataset,dataset_test,num_finetune,ind_test,special=0,decrease=0,dataset_test2=None):
281
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
160
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
161 if special != 0 and special != 1:
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
162 sys.exit('Bad value for variable special. Must be in {0,1}')
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
163 print "STARTING FINETUNING, time = ", datetime.datetime.now()
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
164
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
165 minibatch_size = self.hp.minibatch_size
281
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
166 if ind_test == 0 or ind_test == 20:
263
a0264184684e ajout de fonctionnalitees pour deux testsets
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 252
diff changeset
167 nom_test = "NIST"
281
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
168 nom_train="P07"
384
8117c0e70db9 Ajout de la faculte de prendre PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 367
diff changeset
169 elif ind_test == 2:
8117c0e70db9 Ajout de la faculte de prendre PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 367
diff changeset
170 nom_train = "PNIST07"
8117c0e70db9 Ajout de la faculte de prendre PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 367
diff changeset
171 nom_test = "NIST"
8117c0e70db9 Ajout de la faculte de prendre PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 367
diff changeset
172 nom_test2 = "P07"
263
a0264184684e ajout de fonctionnalitees pour deux testsets
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 252
diff changeset
173 else:
a0264184684e ajout de fonctionnalitees pour deux testsets
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 252
diff changeset
174 nom_test = "P07"
281
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
175 nom_train = "NIST"
263
a0264184684e ajout de fonctionnalitees pour deux testsets
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 252
diff changeset
176
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
177
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
178 # create a function to compute the mistakes that are made by the model
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
179 # on the validation set, or testing set
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
180 test_model = \
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
181 theano.function(
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
182 [self.classifier.x,self.classifier.y], self.classifier.errors)
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
183 # givens = {
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
184 # self.classifier.x: ensemble_x,
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
185 # self.classifier.y: ensemble_y]})
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
186
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
187 validate_model = \
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
188 theano.function(
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
189 [self.classifier.x,self.classifier.y], self.classifier.errors)
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
190 # givens = {
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
191 # self.classifier.x: ,
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
192 # self.classifier.y: ]})
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
193
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
194
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
195 # early-stopping parameters
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
196 patience = 10000 # look as this many examples regardless
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
197 patience_increase = 2. # wait this much longer when a new best is
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
198 # found
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
199 improvement_threshold = 0.995 # a relative improvement of this much is
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
200 # considered significant
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
201 validation_frequency = min(self.mb_per_epoch, patience/2)
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
202 # go through this many
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
203 # minibatche before checking the network
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
204 # on the validation set; in this case we
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
205 # check every epoch
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
206 if self.max_minibatches and validation_frequency > self.max_minibatches:
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
207 validation_frequency = self.max_minibatches / 2
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
208
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
209 best_params = None
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
210 best_validation_loss = float('inf')
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
211 test_score = 0.
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
212 start_time = time.clock()
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
213
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
214 done_looping = False
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
215 epoch = 0
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
216
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
217 total_mb_index = 0
330
18dc860a4ef4 Rajout de la capacite de faire decroitre le taux d'apprentissage si demande
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 325
diff changeset
218 minibatch_index = 0
305
fe5d428c2acc Ajout de commentaires ainsi que correction de bug pour sauvegarder les parametres
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 286
diff changeset
219 parameters_finetune=[]
331
c2331b8e4b89 Ajout d'une ligne faisant rapetisser le finetune_lr pour NIST lorsqu'on a P07+NIST
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 330
diff changeset
220
c2331b8e4b89 Ajout d'une ligne faisant rapetisser le finetune_lr pour NIST lorsqu'on a P07+NIST
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 330
diff changeset
221 if ind_test == 21:
352
cfb79f9fd1a4 Ajout d'une fonctionnalite pour pouvoir avoir un taux d'apprentissage decroissant dans le pretrain
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 350
diff changeset
222 learning_rate = self.hp.finetuning_lr / 10.0
331
c2331b8e4b89 Ajout d'une ligne faisant rapetisser le finetune_lr pour NIST lorsqu'on a P07+NIST
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 330
diff changeset
223 else:
c2331b8e4b89 Ajout d'une ligne faisant rapetisser le finetune_lr pour NIST lorsqu'on a P07+NIST
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 330
diff changeset
224 learning_rate = self.hp.finetuning_lr #The initial finetune lr
330
18dc860a4ef4 Rajout de la capacite de faire decroitre le taux d'apprentissage si demande
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 325
diff changeset
225
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
226
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
227 while (epoch < num_finetune) and (not done_looping):
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
228 epoch = epoch + 1
283
28b628f331b2 correction d'un bug sur l'indice des mini-batches
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 281
diff changeset
229
310
a5abd5c8b4b0 Petits changements pour pouvoir utiliser le GPU
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 305
diff changeset
230 for x,y in dataset.train(minibatch_size,bufsize=buffersize):
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
231 minibatch_index += 1
330
18dc860a4ef4 Rajout de la capacite de faire decroitre le taux d'apprentissage si demande
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 325
diff changeset
232
18dc860a4ef4 Rajout de la capacite de faire decroitre le taux d'apprentissage si demande
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 325
diff changeset
233
281
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
234 if special == 0:
330
18dc860a4ef4 Rajout de la capacite de faire decroitre le taux d'apprentissage si demande
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 325
diff changeset
235 cost_ij = self.classifier.finetune(x,y,learning_rate)
281
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
236 elif special == 1:
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
237 cost_ij = self.classifier.finetune2(x,y)
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
238 total_mb_index += 1
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
239
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
240 self.series["training_error"].append((epoch, minibatch_index), cost_ij)
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
241
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
242 if (total_mb_index+1) % validation_frequency == 0:
283
28b628f331b2 correction d'un bug sur l'indice des mini-batches
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 281
diff changeset
243 #minibatch_index += 1
305
fe5d428c2acc Ajout de commentaires ainsi que correction de bug pour sauvegarder les parametres
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 286
diff changeset
244 #The validation set is always NIST (we want the model to be good on NIST)
384
8117c0e70db9 Ajout de la faculte de prendre PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 367
diff changeset
245 if ind_test == 0 | ind_test == 20 | ind_test == 2:
8117c0e70db9 Ajout de la faculte de prendre PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 367
diff changeset
246 iter=dataset_test.valid(minibatch_size,bufsize=buffersize)
281
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
247 else:
310
a5abd5c8b4b0 Petits changements pour pouvoir utiliser le GPU
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 305
diff changeset
248 iter = dataset.valid(minibatch_size,bufsize=buffersize)
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
249 if self.max_minibatches:
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
250 iter = itermax(iter, self.max_minibatches)
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
251 validation_losses = [validate_model(x,y) for x,y in iter]
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
252 this_validation_loss = numpy.mean(validation_losses)
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
253
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
254 self.series["validation_error"].\
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
255 append((epoch, minibatch_index), this_validation_loss*100.)
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
256
305
fe5d428c2acc Ajout de commentaires ainsi que correction de bug pour sauvegarder les parametres
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 286
diff changeset
257 print('epoch %i, minibatch %i, validation error on NIST : %f %%' % \
fe5d428c2acc Ajout de commentaires ainsi que correction de bug pour sauvegarder les parametres
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 286
diff changeset
258 (epoch, minibatch_index+1, \
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
259 this_validation_loss*100.))
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
260
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
261
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
262 # if we got the best validation score until now
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
263 if this_validation_loss < best_validation_loss:
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
264
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
265 #improve patience if loss improvement is good enough
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
266 if this_validation_loss < best_validation_loss * \
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
267 improvement_threshold :
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
268 patience = max(patience, total_mb_index * patience_increase)
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
269
305
fe5d428c2acc Ajout de commentaires ainsi que correction de bug pour sauvegarder les parametres
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 286
diff changeset
270 # save best validation score, iteration number and parameters
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
271 best_validation_loss = this_validation_loss
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
272 best_iter = total_mb_index
305
fe5d428c2acc Ajout de commentaires ainsi que correction de bug pour sauvegarder les parametres
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 286
diff changeset
273 parameters_finetune=[copy(x.value) for x in self.classifier.params]
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
274
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
275 # test it on the test set
310
a5abd5c8b4b0 Petits changements pour pouvoir utiliser le GPU
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 305
diff changeset
276 iter = dataset.test(minibatch_size,bufsize=buffersize)
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
277 if self.max_minibatches:
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
278 iter = itermax(iter, self.max_minibatches)
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
279 test_losses = [test_model(x,y) for x,y in iter]
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
280 test_score = numpy.mean(test_losses)
263
a0264184684e ajout de fonctionnalitees pour deux testsets
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 252
diff changeset
281
a0264184684e ajout de fonctionnalitees pour deux testsets
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 252
diff changeset
282 #test it on the second test set
310
a5abd5c8b4b0 Petits changements pour pouvoir utiliser le GPU
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 305
diff changeset
283 iter2 = dataset_test.test(minibatch_size,bufsize=buffersize)
263
a0264184684e ajout de fonctionnalitees pour deux testsets
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 252
diff changeset
284 if self.max_minibatches:
a0264184684e ajout de fonctionnalitees pour deux testsets
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 252
diff changeset
285 iter2 = itermax(iter2, self.max_minibatches)
a0264184684e ajout de fonctionnalitees pour deux testsets
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 252
diff changeset
286 test_losses2 = [test_model(x,y) for x,y in iter2]
a0264184684e ajout de fonctionnalitees pour deux testsets
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 252
diff changeset
287 test_score2 = numpy.mean(test_losses2)
384
8117c0e70db9 Ajout de la faculte de prendre PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 367
diff changeset
288
8117c0e70db9 Ajout de la faculte de prendre PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 367
diff changeset
289 #test it on the third test set if there is one
8117c0e70db9 Ajout de la faculte de prendre PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 367
diff changeset
290 iter3 = dataset_test2.test(minibatch_size, bufsize=buffersize)
8117c0e70db9 Ajout de la faculte de prendre PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 367
diff changeset
291 if self.max_minibatches:
8117c0e70db9 Ajout de la faculte de prendre PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 367
diff changeset
292 iter3 = itermax(iter3, self.max_minibatches)
8117c0e70db9 Ajout de la faculte de prendre PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 367
diff changeset
293 test_losses3 = [test_model(x,y) for x,y in iter3]
8117c0e70db9 Ajout de la faculte de prendre PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 367
diff changeset
294 test_score3 = numpy.mean(test_losses3)
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
295
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
296 self.series["test_error"].\
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
297 append((epoch, minibatch_index), test_score*100.)
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
298
281
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
299 print((' epoch %i, minibatch %i, test error on dataset %s (train data) of best '
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
300 'model %f %%') %
281
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
301 (epoch, minibatch_index+1,nom_train,
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
302 test_score*100.))
263
a0264184684e ajout de fonctionnalitees pour deux testsets
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 252
diff changeset
303
a0264184684e ajout de fonctionnalitees pour deux testsets
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 252
diff changeset
304 print((' epoch %i, minibatch %i, test error on dataset %s of best '
a0264184684e ajout de fonctionnalitees pour deux testsets
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 252
diff changeset
305 'model %f %%') %
a0264184684e ajout de fonctionnalitees pour deux testsets
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 252
diff changeset
306 (epoch, minibatch_index+1,nom_test,
a0264184684e ajout de fonctionnalitees pour deux testsets
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 252
diff changeset
307 test_score2*100.))
384
8117c0e70db9 Ajout de la faculte de prendre PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 367
diff changeset
308 print((' epoch %i, minibatch %i, test error on dataset %s of best '
8117c0e70db9 Ajout de la faculte de prendre PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 367
diff changeset
309 'model %f %%') %
8117c0e70db9 Ajout de la faculte de prendre PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 367
diff changeset
310 (epoch, minibatch_index+1,nom_test2,
8117c0e70db9 Ajout de la faculte de prendre PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 367
diff changeset
311 test_score3*100.))
281
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
312
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
313 if patience <= total_mb_index:
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
314 done_looping = True
305
fe5d428c2acc Ajout de commentaires ainsi que correction de bug pour sauvegarder les parametres
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 286
diff changeset
315 break #to exit the FOR loop
281
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
316
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
317 sys.stdout.flush()
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
318
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
319 # useful when doing tests
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
320 if self.max_minibatches and minibatch_index >= self.max_minibatches:
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
321 break
330
18dc860a4ef4 Rajout de la capacite de faire decroitre le taux d'apprentissage si demande
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 325
diff changeset
322
18dc860a4ef4 Rajout de la capacite de faire decroitre le taux d'apprentissage si demande
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 325
diff changeset
323 if decrease == 1:
384
8117c0e70db9 Ajout de la faculte de prendre PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 367
diff changeset
324 if (ind_test == 21 & epoch % 100 == 0) | ind_test == 20 | ind_test == 2:
350
625c0c3fcbdb Amelioration de l'efficacite de la sauvegarde des parametres
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 336
diff changeset
325 learning_rate /= 2 #divide the learning rate by 2 for each new epoch of P07 (or 100 of NIST)
330
18dc860a4ef4 Rajout de la capacite de faire decroitre le taux d'apprentissage si demande
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 325
diff changeset
326
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
327 self.series['params'].append((epoch,), self.classifier.all_params)
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
328
281
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
329 if done_looping == True: #To exit completly the fine-tuning
305
fe5d428c2acc Ajout de commentaires ainsi que correction de bug pour sauvegarder les parametres
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 286
diff changeset
330 break #to exit the WHILE loop
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
331
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
332 end_time = time.clock()
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
333 self.hp.update({'finetuning_time':end_time-start_time,\
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
334 'best_validation_error':best_validation_loss,\
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
335 'test_score':test_score,
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
336 'num_finetuning_epochs':epoch})
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
337
281
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
338 print(('\nOptimization complete with best validation score of %f %%,'
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
339 'with test performance %f %% on dataset %s ') %
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
340 (best_validation_loss * 100., test_score*100.,nom_train))
263
a0264184684e ajout de fonctionnalitees pour deux testsets
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 252
diff changeset
341 print(('The test score on the %s dataset is %f')%(nom_test,test_score2*100.))
384
8117c0e70db9 Ajout de la faculte de prendre PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 367
diff changeset
342 print(('The test score on the %s dataset is %f')%(nom_test2,test_score3*100.))
263
a0264184684e ajout de fonctionnalitees pour deux testsets
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 252
diff changeset
343
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
344 print ('The finetuning ran for %f minutes' % ((end_time-start_time)/60.))
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
345
305
fe5d428c2acc Ajout de commentaires ainsi que correction de bug pour sauvegarder les parametres
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 286
diff changeset
346 sys.stdout.flush()
fe5d428c2acc Ajout de commentaires ainsi que correction de bug pour sauvegarder les parametres
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 286
diff changeset
347
281
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
348 #Save a copy of the parameters in a file to be able to get them in the future
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
349
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
350 if special == 1: #To keep a track of the value of the parameters
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
351 f = open('params_finetune_stanford.txt', 'w')
350
625c0c3fcbdb Amelioration de l'efficacite de la sauvegarde des parametres
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 336
diff changeset
352 cPickle.dump(parameters_finetune,f,protocol=-1)
281
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
353 f.close()
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
354
331
c2331b8e4b89 Ajout d'une ligne faisant rapetisser le finetune_lr pour NIST lorsqu'on a P07+NIST
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 330
diff changeset
355 elif ind_test == 0 | ind_test == 20: #To keep a track of the value of the parameters
281
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
356 f = open('params_finetune_P07.txt', 'w')
350
625c0c3fcbdb Amelioration de l'efficacite de la sauvegarde des parametres
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 336
diff changeset
357 cPickle.dump(parameters_finetune,f,protocol=-1)
281
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
358 f.close()
331
c2331b8e4b89 Ajout d'une ligne faisant rapetisser le finetune_lr pour NIST lorsqu'on a P07+NIST
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 330
diff changeset
359
281
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
360
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
361 elif ind_test== 1: #For the run with 2 finetunes. It will be faster.
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
362 f = open('params_finetune_NIST.txt', 'w')
350
625c0c3fcbdb Amelioration de l'efficacite de la sauvegarde des parametres
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 336
diff changeset
363 cPickle.dump(parameters_finetune,f,protocol=-1)
281
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
364 f.close()
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
365
321
403b9e6ecfaa finetune NIST+P07 change pour P07+NIST, les experiences n'ont pas ete concluentes
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 310
diff changeset
366 elif ind_test== 21: #To keep a track of the value of the parameters
403b9e6ecfaa finetune NIST+P07 change pour P07+NIST, les experiences n'ont pas ete concluentes
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 310
diff changeset
367 f = open('params_finetune_P07_then_NIST.txt', 'w')
350
625c0c3fcbdb Amelioration de l'efficacite de la sauvegarde des parametres
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 336
diff changeset
368 cPickle.dump(parameters_finetune,f,protocol=-1)
281
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
369 f.close()
384
8117c0e70db9 Ajout de la faculte de prendre PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 367
diff changeset
370 elif ind_test == 2:
8117c0e70db9 Ajout de la faculte de prendre PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 367
diff changeset
371 f = open('params_finetune_PNIST07.txt', 'w')
8117c0e70db9 Ajout de la faculte de prendre PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 367
diff changeset
372 cPickle.dump(parameters_finetune,f,protocol=-1)
8117c0e70db9 Ajout de la faculte de prendre PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 367
diff changeset
373 f.close()
281
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
374
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
375
305
fe5d428c2acc Ajout de commentaires ainsi que correction de bug pour sauvegarder les parametres
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 286
diff changeset
376 #Set parameters like they where right after pre-train or finetune
281
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
377 def reload_parameters(self,which):
263
a0264184684e ajout de fonctionnalitees pour deux testsets
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 252
diff changeset
378
a0264184684e ajout de fonctionnalitees pour deux testsets
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 252
diff changeset
379 #self.parameters_pre=pickle.load('params_pretrain.txt')
281
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 263
diff changeset
380 f = open(which)
350
625c0c3fcbdb Amelioration de l'efficacite de la sauvegarde des parametres
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 336
diff changeset
381 self.parameters_pre=cPickle.load(f)
263
a0264184684e ajout de fonctionnalitees pour deux testsets
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 252
diff changeset
382 f.close()
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
383 for idx,x in enumerate(self.parameters_pre):
310
a5abd5c8b4b0 Petits changements pour pouvoir utiliser le GPU
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 305
diff changeset
384 if x.dtype=='float64':
a5abd5c8b4b0 Petits changements pour pouvoir utiliser le GPU
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 305
diff changeset
385 self.classifier.params[idx].value=theano._asarray(copy(x),dtype=theano.config.floatX)
a5abd5c8b4b0 Petits changements pour pouvoir utiliser le GPU
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 305
diff changeset
386 else:
a5abd5c8b4b0 Petits changements pour pouvoir utiliser le GPU
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 305
diff changeset
387 self.classifier.params[idx].value=copy(x)
330
18dc860a4ef4 Rajout de la capacite de faire decroitre le taux d'apprentissage si demande
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 325
diff changeset
388
18dc860a4ef4 Rajout de la capacite de faire decroitre le taux d'apprentissage si demande
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 325
diff changeset
389 def training_error(self,dataset):
325
048898c1ee55 Ajout d'une fonction pour calculer l'erreur effectuee par le modele sur un ensemble pre-determine
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 321
diff changeset
390 # create a function to compute the mistakes that are made by the model
048898c1ee55 Ajout d'une fonction pour calculer l'erreur effectuee par le modele sur un ensemble pre-determine
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 321
diff changeset
391 # on the validation set, or testing set
048898c1ee55 Ajout d'une fonction pour calculer l'erreur effectuee par le modele sur un ensemble pre-determine
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 321
diff changeset
392 test_model = \
048898c1ee55 Ajout d'une fonction pour calculer l'erreur effectuee par le modele sur un ensemble pre-determine
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 321
diff changeset
393 theano.function(
048898c1ee55 Ajout d'une fonction pour calculer l'erreur effectuee par le modele sur un ensemble pre-determine
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 321
diff changeset
394 [self.classifier.x,self.classifier.y], self.classifier.errors)
048898c1ee55 Ajout d'une fonction pour calculer l'erreur effectuee par le modele sur un ensemble pre-determine
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 321
diff changeset
395
330
18dc860a4ef4 Rajout de la capacite de faire decroitre le taux d'apprentissage si demande
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 325
diff changeset
396 iter2 = dataset.train(self.hp.minibatch_size,bufsize=buffersize)
325
048898c1ee55 Ajout d'une fonction pour calculer l'erreur effectuee par le modele sur un ensemble pre-determine
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 321
diff changeset
397 train_losses2 = [test_model(x,y) for x,y in iter2]
048898c1ee55 Ajout d'une fonction pour calculer l'erreur effectuee par le modele sur un ensemble pre-determine
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 321
diff changeset
398 train_score2 = numpy.mean(train_losses2)
384
8117c0e70db9 Ajout de la faculte de prendre PNIST07
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 367
diff changeset
399 print(('The training error is %f')%(train_score2*100.))
361
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
400
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
401 #To see the prediction of the model, the real answer and the image to judge
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
402 def see_error(self, dataset):
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
403 import pylab
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
404 #The function to know the prediction
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
405 test_model = \
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
406 theano.function(
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
407 [self.classifier.x,self.classifier.y], self.classifier.logLayer.y_pred)
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
408 user = []
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
409 nb_total = 0 #total number of exemples seen
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
410 nb_error = 0 #total number of errors
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
411 for x,y in dataset.test(1):
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
412 nb_total += 1
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
413 pred = self.translate(test_model(x,y))
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
414 rep = self.translate(y)
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
415 error = pred != rep
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
416 print 'prediction: ' + str(pred) +'\t answer: ' + str(rep) + '\t right: ' + str(not(error))
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
417 pylab.imshow(x.reshape((32,32)))
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
418 pylab.draw()
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
419 if error:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
420 nb_error += 1
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
421 user.append(int(raw_input("1 = The error is normal, 0 = The error is not normal : ")))
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
422 print '\t\t character is hard to distinguish: ' + str(user[-1])
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
423 else:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
424 time.sleep(3)
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
425 print '\n Over the '+str(nb_total)+' exemples, there is '+str(nb_error)+' errors. \nThe percentage of errors is'+ str(float(nb_error)/float(nb_total))
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
426 print 'The percentage of errors done by the model that an human will also do: ' + str(numpy.mean(user))
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
427
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
428
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
429
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
430
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
431 #To translate the numeric prediction in character if necessary
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
432 def translate(self,y):
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
433
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
434 if y <= 9:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
435 return y[0]
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
436 elif y == 10:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
437 return 'A'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
438 elif y == 11:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
439 return 'B'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
440 elif y == 12:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
441 return 'C'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
442 elif y == 13:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
443 return 'D'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
444 elif y == 14:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
445 return 'E'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
446 elif y == 15:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
447 return 'F'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
448 elif y == 16:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
449 return 'G'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
450 elif y == 17:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
451 return 'H'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
452 elif y == 18:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
453 return 'I'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
454 elif y == 19:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
455 return 'J'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
456 elif y == 20:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
457 return 'K'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
458 elif y == 21:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
459 return 'L'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
460 elif y == 22:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
461 return 'M'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
462 elif y == 23:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
463 return 'N'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
464 elif y == 24:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
465 return 'O'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
466 elif y == 25:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
467 return 'P'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
468 elif y == 26:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
469 return 'Q'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
470 elif y == 27:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
471 return 'R'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
472 elif y == 28:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
473 return 'S'
367
f24b10e43a6f correction d'un petit bug dans la fonction traduire()
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 361
diff changeset
474 elif y == 29:
361
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
475 return 'T'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
476 elif y == 30:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
477 return 'U'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
478 elif y == 31:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
479 return 'V'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
480 elif y == 32:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
481 return 'W'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
482 elif y == 33:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
483 return 'X'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
484 elif y == 34:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
485 return 'Y'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
486 elif y == 35:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
487 return 'Z'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
488
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
489 elif y == 36:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
490 return 'a'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
491 elif y == 37:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
492 return 'b'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
493 elif y == 38:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
494 return 'c'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
495 elif y == 39:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
496 return 'd'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
497 elif y == 40:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
498 return 'e'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
499 elif y == 41:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
500 return 'f'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
501 elif y == 42:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
502 return 'g'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
503 elif y == 43:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
504 return 'h'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
505 elif y == 44:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
506 return 'i'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
507 elif y == 45:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
508 return 'j'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
509 elif y == 46:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
510 return 'k'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
511 elif y == 47:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
512 return 'l'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
513 elif y == 48:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
514 return 'm'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
515 elif y == 49:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
516 return 'n'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
517 elif y == 50:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
518 return 'o'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
519 elif y == 51:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
520 return 'p'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
521 elif y == 52:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
522 return 'q'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
523 elif y == 53:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
524 return 'r'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
525 elif y == 54:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
526 return 's'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
527 elif y == 55:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
528 return 't'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
529 elif y == 56:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
530 return 'u'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
531 elif y == 57:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
532 return 'v'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
533 elif y == 58:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
534 return 'w'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
535 elif y == 59:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
536 return 'x'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
537 elif y == 60:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
538 return 'y'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
539 elif y == 61:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 352
diff changeset
540 return 'z'
252
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents: 238
diff changeset
541
230
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
542
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
543
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning
SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca>
parents:
diff changeset
544