ift6266: deep/stacked_dae/v_sylvain/sgd

annotate deep/stacked_dae/v_sylvain/sgd_optimization.py @ 453:3140f678dad2

Test

author	fsavard
date	Thu, 13 May 2010 12:03:57 -0400
parents	5e11dda78995
children	09e1c5872c2b

rev	line source
230 8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	1 #!/usr/bin/python
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	2 # coding: utf-8
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	3
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	4 # Generic SdA optimization loop, adapted from the deeplearning.net tutorial
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	5
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	6 import numpy
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	7 import theano
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	8 import time
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	9 import datetime
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	10 import theano.tensor as T
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	11 import sys
350 625c0c3fcbdb Amelioration de l'efficacite de la sauvegarde des parametres SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 336 diff changeset	12 #import pickle
625c0c3fcbdb Amelioration de l'efficacite de la sauvegarde des parametres SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 336 diff changeset	13 import cPickle
230 8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	14
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	15 from jobman import DD
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	16 import jobman, jobman.sql
252 7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	17 from copy import copy
230 8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	18
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	19 from stacked_dae import SdA
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	20
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	21 from ift6266.utils.seriestables import *
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	22
310 a5abd5c8b4b0 Petits changements pour pouvoir utiliser le GPU SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 305 diff changeset	23 #For test purpose only
a5abd5c8b4b0 Petits changements pour pouvoir utiliser le GPU SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 305 diff changeset	24 buffersize=1000
a5abd5c8b4b0 Petits changements pour pouvoir utiliser le GPU SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 305 diff changeset	25
230 8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	26 default_series = { \
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	27 'reconstruction_error' : DummySeries(),
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	28 'training_error' : DummySeries(),
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	29 'validation_error' : DummySeries(),
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	30 'test_error' : DummySeries(),
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	31 'params' : DummySeries()
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	32 }
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	33
252 7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	34 def itermax(iter, max):
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	35 for i,it in enumerate(iter):
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	36 if i >= max:
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	37 break
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	38 yield it
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	39
230 8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	40 class SdaSgdOptimizer:
252 7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	41 def __init__(self, dataset, hyperparameters, n_ins, n_outs,
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	42 examples_per_epoch, series=default_series, max_minibatches=None):
230 8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	43 self.dataset = dataset
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	44 self.hp = hyperparameters
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	45 self.n_ins = n_ins
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	46 self.n_outs = n_outs
252 7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	47 self.parameters_pre=[]
230 8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	48
252 7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	49 self.max_minibatches = max_minibatches
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	50 print "SdaSgdOptimizer, max_minibatches =", max_minibatches
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	51
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	52 self.ex_per_epoch = examples_per_epoch
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	53 self.mb_per_epoch = examples_per_epoch / self.hp.minibatch_size
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	54
230 8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	55 self.series = series
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	56
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	57 self.rng = numpy.random.RandomState(1234)
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	58
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	59 self.init_classifier()
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	60
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	61 sys.stdout.flush()
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	62
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	63 def init_classifier(self):
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	64 print "Constructing classifier"
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	65
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	66 # we don't want to save arrays in DD objects, so
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	67 # we recreate those arrays here
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	68 nhl = self.hp.num_hidden_layers
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	69 layers_sizes = [self.hp.hidden_layers_sizes] * nhl
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	70 corruption_levels = [self.hp.corruption_levels] * nhl
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	71
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	72 # construct the stacked denoising autoencoder class
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	73 self.classifier = SdA( \
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	74 batch_size = self.hp.minibatch_size, \
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	75 n_ins= self.n_ins, \
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	76 hidden_layers_sizes = layers_sizes, \
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	77 n_outs = self.n_outs, \
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	78 corruption_levels = corruption_levels,\
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	79 rng = self.rng,\
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	80 pretrain_lr = self.hp.pretraining_lr, \
252 7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	81 finetune_lr = self.hp.finetuning_lr)
230 8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	82
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	83 #theano.printing.pydotprint(self.classifier.pretrain_functions[0], "function.graph")
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	84
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	85 sys.stdout.flush()
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	86
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	87 def train(self):
233 02ed13244133 version pour utilisation du module dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 230 diff changeset	88 self.pretrain(self.dataset)
02ed13244133 version pour utilisation du module dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 230 diff changeset	89 self.finetune(self.dataset)
230 8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	90
352 cfb79f9fd1a4 Ajout d'une fonctionnalite pour pouvoir avoir un taux d'apprentissage decroissant dans le pretrain SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 350 diff changeset	91 def pretrain(self,dataset,decrease=0):
230 8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	92 print "STARTING PRETRAINING, time = ", datetime.datetime.now()
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	93 sys.stdout.flush()
286 1cc535f3e254 correction d'un bug pour affichage des resultats de pre-train avec P07 SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 283 diff changeset	94
305 fe5d428c2acc Ajout de commentaires ainsi que correction de bug pour sauvegarder les parametres SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 286 diff changeset	95 un_fichier=int(819200.0/self.hp.minibatch_size) #Number of batches in a P07 file
230 8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	96
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	97 start_time = time.clock()
352 cfb79f9fd1a4 Ajout d'une fonctionnalite pour pouvoir avoir un taux d'apprentissage decroissant dans le pretrain SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 350 diff changeset	98
cfb79f9fd1a4 Ajout d'une fonctionnalite pour pouvoir avoir un taux d'apprentissage decroissant dans le pretrain SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 350 diff changeset	99 ######## This is hardcoaded. THe 0.95 parameter is hardcoaded and can be changed at will ###
cfb79f9fd1a4 Ajout d'une fonctionnalite pour pouvoir avoir un taux d'apprentissage decroissant dans le pretrain SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 350 diff changeset	100 #Set the decreasing rate of the learning rate. We want the final learning rate to
cfb79f9fd1a4 Ajout d'une fonctionnalite pour pouvoir avoir un taux d'apprentissage decroissant dans le pretrain SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 350 diff changeset	101 #be 5% of the original learning rate. The decreasing factor is linear
cfb79f9fd1a4 Ajout d'une fonctionnalite pour pouvoir avoir un taux d'apprentissage decroissant dans le pretrain SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 350 diff changeset	102 decreasing = (decreaseself.hp.pretraining_lr)/float(self.hp.pretraining_epochs_per_layer800000/self.hp.minibatch_size)
cfb79f9fd1a4 Ajout d'une fonctionnalite pour pouvoir avoir un taux d'apprentissage decroissant dans le pretrain SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 350 diff changeset	103
230 8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	104 ## Pre-train layer-wise
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	105 for i in xrange(self.classifier.n_layers):
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	106 # go through pretraining epochs
352 cfb79f9fd1a4 Ajout d'une fonctionnalite pour pouvoir avoir un taux d'apprentissage decroissant dans le pretrain SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 350 diff changeset	107
cfb79f9fd1a4 Ajout d'une fonctionnalite pour pouvoir avoir un taux d'apprentissage decroissant dans le pretrain SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 350 diff changeset	108 #To reset the learning rate to his original value
cfb79f9fd1a4 Ajout d'une fonctionnalite pour pouvoir avoir un taux d'apprentissage decroissant dans le pretrain SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 350 diff changeset	109 learning_rate=self.hp.pretraining_lr
230 8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	110 for epoch in xrange(self.hp.pretraining_epochs_per_layer):
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	111 # go through the training set
252 7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	112 batch_index=0
281 a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 263 diff changeset	113 count=0
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 263 diff changeset	114 num_files=0
233 02ed13244133 version pour utilisation du module dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 230 diff changeset	115 for x,y in dataset.train(self.hp.minibatch_size):
352 cfb79f9fd1a4 Ajout d'une fonctionnalite pour pouvoir avoir un taux d'apprentissage decroissant dans le pretrain SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 350 diff changeset	116 c = self.classifier.pretrain_functions[i](x,learning_rate)
281 a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 263 diff changeset	117 count +=1
238 9fc641d7adda Possibilite de restreindre la taille des ensemble d'entrainement, valid et test afin de pouvoir tester le code rapidement SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 235 diff changeset	118
230 8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	119 self.series["reconstruction_error"].append((epoch, batch_index), c)
252 7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	120 batch_index+=1
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	121
352 cfb79f9fd1a4 Ajout d'une fonctionnalite pour pouvoir avoir un taux d'apprentissage decroissant dans le pretrain SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 350 diff changeset	122 #If we need to decrease the learning rate for the pretrain
cfb79f9fd1a4 Ajout d'une fonctionnalite pour pouvoir avoir un taux d'apprentissage decroissant dans le pretrain SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 350 diff changeset	123 if decrease != 0:
cfb79f9fd1a4 Ajout d'une fonctionnalite pour pouvoir avoir un taux d'apprentissage decroissant dans le pretrain SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 350 diff changeset	124 learning_rate -= decreasing
252 7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	125
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	126 # useful when doing tests
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	127 if self.max_minibatches and batch_index >= self.max_minibatches:
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	128 break
281 a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 263 diff changeset	129
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 263 diff changeset	130 #When we pass through the data only once (the case with P07)
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 263 diff changeset	131 #There is approximately 800*1024=819200 examples per file (1k per example and files are 800M)
286 1cc535f3e254 correction d'un bug pour affichage des resultats de pre-train avec P07 SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 283 diff changeset	132 if self.hp.pretraining_epochs_per_layer == 1 and count%un_fichier == 0:
281 a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 263 diff changeset	133 print 'Pre-training layer %i, epoch %d, cost '%(i,num_files),c
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 263 diff changeset	134 num_files+=1
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 263 diff changeset	135 sys.stdout.flush()
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 263 diff changeset	136 self.series['params'].append((num_files,), self.classifier.all_params)
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 263 diff changeset	137
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 263 diff changeset	138 #When NIST is used
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 263 diff changeset	139 if self.hp.pretraining_epochs_per_layer > 1:
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 263 diff changeset	140 print 'Pre-training layer %i, epoch %d, cost '%(i,epoch),c
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 263 diff changeset	141 sys.stdout.flush()
230 8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	142
281 a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 263 diff changeset	143 self.series['params'].append((epoch,), self.classifier.all_params)
230 8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	144
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	145 end_time = time.clock()
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	146
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	147 print ('Pretraining took %f minutes' %((end_time-start_time)/60.))
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	148 self.hp.update({'pretraining_time': end_time-start_time})
252 7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	149
230 8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	150 sys.stdout.flush()
252 7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	151
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	152 #To be able to load them later for tests on finetune
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	153 self.parameters_pre=[copy(x.value) for x in self.classifier.params]
263 a0264184684e ajout de fonctionnalitees pour deux testsets SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 252 diff changeset	154 f = open('params_pretrain.txt', 'w')
350 625c0c3fcbdb Amelioration de l'efficacite de la sauvegarde des parametres SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 336 diff changeset	155 cPickle.dump(self.parameters_pre,f,protocol=-1)
263 a0264184684e ajout de fonctionnalitees pour deux testsets SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 252 diff changeset	156 f.close()
230 8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	157
252 7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	158
384 8117c0e70db9 Ajout de la faculte de prendre PNIST07 SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 367 diff changeset	159 def finetune(self,dataset,dataset_test,num_finetune,ind_test,special=0,decrease=0,dataset_test2=None):
281 a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 263 diff changeset	160
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 263 diff changeset	161 if special != 0 and special != 1:
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 263 diff changeset	162 sys.exit('Bad value for variable special. Must be in {0,1}')
230 8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	163 print "STARTING FINETUNING, time = ", datetime.datetime.now()
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	164
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	165 minibatch_size = self.hp.minibatch_size
281 a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 263 diff changeset	166 if ind_test == 0 or ind_test == 20:
263 a0264184684e ajout de fonctionnalitees pour deux testsets SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 252 diff changeset	167 nom_test = "NIST"
281 a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 263 diff changeset	168 nom_train="P07"
389 88cb95007670 Ajout d'une option finetune amelioree pour PNIST07 SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 384 diff changeset	169 elif ind_test == 30:
384 8117c0e70db9 Ajout de la faculte de prendre PNIST07 SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 367 diff changeset	170 nom_train = "PNIST07"
8117c0e70db9 Ajout de la faculte de prendre PNIST07 SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 367 diff changeset	171 nom_test = "NIST"
8117c0e70db9 Ajout de la faculte de prendre PNIST07 SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 367 diff changeset	172 nom_test2 = "P07"
389 88cb95007670 Ajout d'une option finetune amelioree pour PNIST07 SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 384 diff changeset	173 elif ind_test == 31:
88cb95007670 Ajout d'une option finetune amelioree pour PNIST07 SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 384 diff changeset	174 nom_train = "NIST"
88cb95007670 Ajout d'une option finetune amelioree pour PNIST07 SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 384 diff changeset	175 nom_test = "PNIST07"
88cb95007670 Ajout d'une option finetune amelioree pour PNIST07 SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 384 diff changeset	176 nom_test2 = "P07"
263 a0264184684e ajout de fonctionnalitees pour deux testsets SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 252 diff changeset	177 else:
a0264184684e ajout de fonctionnalitees pour deux testsets SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 252 diff changeset	178 nom_test = "P07"
281 a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 263 diff changeset	179 nom_train = "NIST"
263 a0264184684e ajout de fonctionnalitees pour deux testsets SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 252 diff changeset	180
230 8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	181
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	182 # create a function to compute the mistakes that are made by the model
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	183 # on the validation set, or testing set
252 7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	184 test_model = \
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	185 theano.function(
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	186 [self.classifier.x,self.classifier.y], self.classifier.errors)
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	187 # givens = {
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	188 # self.classifier.x: ensemble_x,
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	189 # self.classifier.y: ensemble_y]})
230 8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	190
252 7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	191 validate_model = \
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	192 theano.function(
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	193 [self.classifier.x,self.classifier.y], self.classifier.errors)
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	194 # givens = {
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	195 # self.classifier.x: ,
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	196 # self.classifier.y: ]})
230 8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	197
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	198
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	199 # early-stopping parameters
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	200 patience = 10000 # look as this many examples regardless
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	201 patience_increase = 2. # wait this much longer when a new best is
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	202 # found
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	203 improvement_threshold = 0.995 # a relative improvement of this much is
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	204 # considered significant
252 7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	205 validation_frequency = min(self.mb_per_epoch, patience/2)
230 8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	206 # go through this many
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	207 # minibatche before checking the network
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	208 # on the validation set; in this case we
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	209 # check every epoch
252 7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	210 if self.max_minibatches and validation_frequency > self.max_minibatches:
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	211 validation_frequency = self.max_minibatches / 2
230 8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	212
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	213 best_params = None
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	214 best_validation_loss = float('inf')
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	215 test_score = 0.
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	216 start_time = time.clock()
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	217
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	218 done_looping = False
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	219 epoch = 0
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	220
252 7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	221 total_mb_index = 0
330 18dc860a4ef4 Rajout de la capacite de faire decroitre le taux d'apprentissage si demande SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 325 diff changeset	222 minibatch_index = 0
305 fe5d428c2acc Ajout de commentaires ainsi que correction de bug pour sauvegarder les parametres SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 286 diff changeset	223 parameters_finetune=[]
331 c2331b8e4b89 Ajout d'une ligne faisant rapetisser le finetune_lr pour NIST lorsqu'on a P07+NIST SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 330 diff changeset	224
389 88cb95007670 Ajout d'une option finetune amelioree pour PNIST07 SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 384 diff changeset	225 if ind_test == 21 \| ind_test == 31:
352 cfb79f9fd1a4 Ajout d'une fonctionnalite pour pouvoir avoir un taux d'apprentissage decroissant dans le pretrain SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 350 diff changeset	226 learning_rate = self.hp.finetuning_lr / 10.0
331 c2331b8e4b89 Ajout d'une ligne faisant rapetisser le finetune_lr pour NIST lorsqu'on a P07+NIST SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 330 diff changeset	227 else:
c2331b8e4b89 Ajout d'une ligne faisant rapetisser le finetune_lr pour NIST lorsqu'on a P07+NIST SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 330 diff changeset	228 learning_rate = self.hp.finetuning_lr #The initial finetune lr
330 18dc860a4ef4 Rajout de la capacite de faire decroitre le taux d'apprentissage si demande SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 325 diff changeset	229
252 7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	230
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	231 while (epoch < num_finetune) and (not done_looping):
230 8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	232 epoch = epoch + 1
283 28b628f331b2 correction d'un bug sur l'indice des mini-batches SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 281 diff changeset	233
310 a5abd5c8b4b0 Petits changements pour pouvoir utiliser le GPU SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 305 diff changeset	234 for x,y in dataset.train(minibatch_size,bufsize=buffersize):
252 7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	235 minibatch_index += 1
330 18dc860a4ef4 Rajout de la capacite de faire decroitre le taux d'apprentissage si demande SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 325 diff changeset	236
18dc860a4ef4 Rajout de la capacite de faire decroitre le taux d'apprentissage si demande SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 325 diff changeset	237
281 a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 263 diff changeset	238 if special == 0:
330 18dc860a4ef4 Rajout de la capacite de faire decroitre le taux d'apprentissage si demande SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 325 diff changeset	239 cost_ij = self.classifier.finetune(x,y,learning_rate)
281 a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 263 diff changeset	240 elif special == 1:
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 263 diff changeset	241 cost_ij = self.classifier.finetune2(x,y)
252 7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	242 total_mb_index += 1
230 8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	243
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	244 self.series["training_error"].append((epoch, minibatch_index), cost_ij)
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	245
252 7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	246 if (total_mb_index+1) % validation_frequency == 0:
283 28b628f331b2 correction d'un bug sur l'indice des mini-batches SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 281 diff changeset	247 #minibatch_index += 1
305 fe5d428c2acc Ajout de commentaires ainsi que correction de bug pour sauvegarder les parametres SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 286 diff changeset	248 #The validation set is always NIST (we want the model to be good on NIST)
389 88cb95007670 Ajout d'une option finetune amelioree pour PNIST07 SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 384 diff changeset	249 if ind_test == 0 \| ind_test == 20 \| ind_test == 30:
384 8117c0e70db9 Ajout de la faculte de prendre PNIST07 SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 367 diff changeset	250 iter=dataset_test.valid(minibatch_size,bufsize=buffersize)
281 a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 263 diff changeset	251 else:
310 a5abd5c8b4b0 Petits changements pour pouvoir utiliser le GPU SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 305 diff changeset	252 iter = dataset.valid(minibatch_size,bufsize=buffersize)
252 7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	253 if self.max_minibatches:
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	254 iter = itermax(iter, self.max_minibatches)
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	255 validation_losses = [validate_model(x,y) for x,y in iter]
230 8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	256 this_validation_loss = numpy.mean(validation_losses)
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	257
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	258 self.series["validation_error"].\
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	259 append((epoch, minibatch_index), this_validation_loss*100.)
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	260
305 fe5d428c2acc Ajout de commentaires ainsi que correction de bug pour sauvegarder les parametres SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 286 diff changeset	261 print('epoch %i, minibatch %i, validation error on NIST : %f %%' % \
fe5d428c2acc Ajout de commentaires ainsi que correction de bug pour sauvegarder les parametres SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 286 diff changeset	262 (epoch, minibatch_index+1, \
230 8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	263 this_validation_loss*100.))
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	264
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	265
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	266 # if we got the best validation score until now
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	267 if this_validation_loss < best_validation_loss:
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	268
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	269 #improve patience if loss improvement is good enough
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	270 if this_validation_loss < best_validation_loss * \
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	271 improvement_threshold :
252 7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	272 patience = max(patience, total_mb_index * patience_increase)
230 8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	273
305 fe5d428c2acc Ajout de commentaires ainsi que correction de bug pour sauvegarder les parametres SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 286 diff changeset	274 # save best validation score, iteration number and parameters
230 8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	275 best_validation_loss = this_validation_loss
252 7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	276 best_iter = total_mb_index
305 fe5d428c2acc Ajout de commentaires ainsi que correction de bug pour sauvegarder les parametres SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 286 diff changeset	277 parameters_finetune=[copy(x.value) for x in self.classifier.params]
230 8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	278
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	279 # test it on the test set
310 a5abd5c8b4b0 Petits changements pour pouvoir utiliser le GPU SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 305 diff changeset	280 iter = dataset.test(minibatch_size,bufsize=buffersize)
252 7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	281 if self.max_minibatches:
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	282 iter = itermax(iter, self.max_minibatches)
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	283 test_losses = [test_model(x,y) for x,y in iter]
230 8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	284 test_score = numpy.mean(test_losses)
263 a0264184684e ajout de fonctionnalitees pour deux testsets SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 252 diff changeset	285
a0264184684e ajout de fonctionnalitees pour deux testsets SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 252 diff changeset	286 #test it on the second test set
310 a5abd5c8b4b0 Petits changements pour pouvoir utiliser le GPU SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 305 diff changeset	287 iter2 = dataset_test.test(minibatch_size,bufsize=buffersize)
263 a0264184684e ajout de fonctionnalitees pour deux testsets SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 252 diff changeset	288 if self.max_minibatches:
a0264184684e ajout de fonctionnalitees pour deux testsets SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 252 diff changeset	289 iter2 = itermax(iter2, self.max_minibatches)
a0264184684e ajout de fonctionnalitees pour deux testsets SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 252 diff changeset	290 test_losses2 = [test_model(x,y) for x,y in iter2]
a0264184684e ajout de fonctionnalitees pour deux testsets SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 252 diff changeset	291 test_score2 = numpy.mean(test_losses2)
384 8117c0e70db9 Ajout de la faculte de prendre PNIST07 SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 367 diff changeset	292
8117c0e70db9 Ajout de la faculte de prendre PNIST07 SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 367 diff changeset	293 #test it on the third test set if there is one
8117c0e70db9 Ajout de la faculte de prendre PNIST07 SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 367 diff changeset	294 iter3 = dataset_test2.test(minibatch_size, bufsize=buffersize)
8117c0e70db9 Ajout de la faculte de prendre PNIST07 SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 367 diff changeset	295 if self.max_minibatches:
8117c0e70db9 Ajout de la faculte de prendre PNIST07 SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 367 diff changeset	296 iter3 = itermax(iter3, self.max_minibatches)
8117c0e70db9 Ajout de la faculte de prendre PNIST07 SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 367 diff changeset	297 test_losses3 = [test_model(x,y) for x,y in iter3]
8117c0e70db9 Ajout de la faculte de prendre PNIST07 SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 367 diff changeset	298 test_score3 = numpy.mean(test_losses3)
230 8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	299
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	300 self.series["test_error"].\
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	301 append((epoch, minibatch_index), test_score*100.)
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	302
281 a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 263 diff changeset	303 print((' epoch %i, minibatch %i, test error on dataset %s (train data) of best '
230 8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	304 'model %f %%') %
281 a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 263 diff changeset	305 (epoch, minibatch_index+1,nom_train,
230 8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	306 test_score*100.))
263 a0264184684e ajout de fonctionnalitees pour deux testsets SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 252 diff changeset	307
a0264184684e ajout de fonctionnalitees pour deux testsets SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 252 diff changeset	308 print((' epoch %i, minibatch %i, test error on dataset %s of best '
a0264184684e ajout de fonctionnalitees pour deux testsets SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 252 diff changeset	309 'model %f %%') %
a0264184684e ajout de fonctionnalitees pour deux testsets SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 252 diff changeset	310 (epoch, minibatch_index+1,nom_test,
a0264184684e ajout de fonctionnalitees pour deux testsets SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 252 diff changeset	311 test_score2*100.))
384 8117c0e70db9 Ajout de la faculte de prendre PNIST07 SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 367 diff changeset	312 print((' epoch %i, minibatch %i, test error on dataset %s of best '
8117c0e70db9 Ajout de la faculte de prendre PNIST07 SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 367 diff changeset	313 'model %f %%') %
8117c0e70db9 Ajout de la faculte de prendre PNIST07 SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 367 diff changeset	314 (epoch, minibatch_index+1,nom_test2,
8117c0e70db9 Ajout de la faculte de prendre PNIST07 SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 367 diff changeset	315 test_score3*100.))
281 a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 263 diff changeset	316
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 263 diff changeset	317 if patience <= total_mb_index:
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 263 diff changeset	318 done_looping = True
305 fe5d428c2acc Ajout de commentaires ainsi que correction de bug pour sauvegarder les parametres SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 286 diff changeset	319 break #to exit the FOR loop
281 a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 263 diff changeset	320
230 8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	321 sys.stdout.flush()
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	322
252 7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	323 # useful when doing tests
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	324 if self.max_minibatches and minibatch_index >= self.max_minibatches:
7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	325 break
330 18dc860a4ef4 Rajout de la capacite de faire decroitre le taux d'apprentissage si demande SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 325 diff changeset	326
18dc860a4ef4 Rajout de la capacite de faire decroitre le taux d'apprentissage si demande SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 325 diff changeset	327 if decrease == 1:
389 88cb95007670 Ajout d'une option finetune amelioree pour PNIST07 SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 384 diff changeset	328 if (ind_test == 21 & epoch % 100 == 0) \| ind_test == 20 \| ind_test == 30 \| (ind_test == 31 & epoch % 100 == 0):
350 625c0c3fcbdb Amelioration de l'efficacite de la sauvegarde des parametres SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 336 diff changeset	329 learning_rate /= 2 #divide the learning rate by 2 for each new epoch of P07 (or 100 of NIST)
330 18dc860a4ef4 Rajout de la capacite de faire decroitre le taux d'apprentissage si demande SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 325 diff changeset	330
230 8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	331 self.series['params'].append((epoch,), self.classifier.all_params)
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	332
281 a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 263 diff changeset	333 if done_looping == True: #To exit completly the fine-tuning
305 fe5d428c2acc Ajout de commentaires ainsi que correction de bug pour sauvegarder les parametres SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 286 diff changeset	334 break #to exit the WHILE loop
230 8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	335
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	336 end_time = time.clock()
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	337 self.hp.update({'finetuning_time':end_time-start_time,\
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	338 'best_validation_error':best_validation_loss,\
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	339 'test_score':test_score,
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	340 'num_finetuning_epochs':epoch})
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	341
281 a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 263 diff changeset	342 print(('\nOptimization complete with best validation score of %f %%,'
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 263 diff changeset	343 'with test performance %f %% on dataset %s ') %
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 263 diff changeset	344 (best_validation_loss * 100., test_score*100.,nom_train))
263 a0264184684e ajout de fonctionnalitees pour deux testsets SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 252 diff changeset	345 print(('The test score on the %s dataset is %f')%(nom_test,test_score2*100.))
384 8117c0e70db9 Ajout de la faculte de prendre PNIST07 SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 367 diff changeset	346 print(('The test score on the %s dataset is %f')%(nom_test2,test_score3*100.))
263 a0264184684e ajout de fonctionnalitees pour deux testsets SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 252 diff changeset	347
230 8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	348 print ('The finetuning ran for %f minutes' % ((end_time-start_time)/60.))
252 7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	349
305 fe5d428c2acc Ajout de commentaires ainsi que correction de bug pour sauvegarder les parametres SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 286 diff changeset	350 sys.stdout.flush()
fe5d428c2acc Ajout de commentaires ainsi que correction de bug pour sauvegarder les parametres SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 286 diff changeset	351
281 a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 263 diff changeset	352 #Save a copy of the parameters in a file to be able to get them in the future
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 263 diff changeset	353
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 263 diff changeset	354 if special == 1: #To keep a track of the value of the parameters
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 263 diff changeset	355 f = open('params_finetune_stanford.txt', 'w')
350 625c0c3fcbdb Amelioration de l'efficacite de la sauvegarde des parametres SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 336 diff changeset	356 cPickle.dump(parameters_finetune,f,protocol=-1)
281 a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 263 diff changeset	357 f.close()
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 263 diff changeset	358
331 c2331b8e4b89 Ajout d'une ligne faisant rapetisser le finetune_lr pour NIST lorsqu'on a P07+NIST SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 330 diff changeset	359 elif ind_test == 0 \| ind_test == 20: #To keep a track of the value of the parameters
281 a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 263 diff changeset	360 f = open('params_finetune_P07.txt', 'w')
350 625c0c3fcbdb Amelioration de l'efficacite de la sauvegarde des parametres SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 336 diff changeset	361 cPickle.dump(parameters_finetune,f,protocol=-1)
281 a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 263 diff changeset	362 f.close()
331 c2331b8e4b89 Ajout d'une ligne faisant rapetisser le finetune_lr pour NIST lorsqu'on a P07+NIST SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 330 diff changeset	363
281 a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 263 diff changeset	364
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 263 diff changeset	365 elif ind_test== 1: #For the run with 2 finetunes. It will be faster.
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 263 diff changeset	366 f = open('params_finetune_NIST.txt', 'w')
350 625c0c3fcbdb Amelioration de l'efficacite de la sauvegarde des parametres SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 336 diff changeset	367 cPickle.dump(parameters_finetune,f,protocol=-1)
281 a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 263 diff changeset	368 f.close()
a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 263 diff changeset	369
321 403b9e6ecfaa finetune NIST+P07 change pour P07+NIST, les experiences n'ont pas ete concluentes SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 310 diff changeset	370 elif ind_test== 21: #To keep a track of the value of the parameters
403b9e6ecfaa finetune NIST+P07 change pour P07+NIST, les experiences n'ont pas ete concluentes SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 310 diff changeset	371 f = open('params_finetune_P07_then_NIST.txt', 'w')
350 625c0c3fcbdb Amelioration de l'efficacite de la sauvegarde des parametres SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 336 diff changeset	372 cPickle.dump(parameters_finetune,f,protocol=-1)
281 a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 263 diff changeset	373 f.close()
389 88cb95007670 Ajout d'une option finetune amelioree pour PNIST07 SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 384 diff changeset	374 elif ind_test == 30:
384 8117c0e70db9 Ajout de la faculte de prendre PNIST07 SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 367 diff changeset	375 f = open('params_finetune_PNIST07.txt', 'w')
8117c0e70db9 Ajout de la faculte de prendre PNIST07 SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 367 diff changeset	376 cPickle.dump(parameters_finetune,f,protocol=-1)
8117c0e70db9 Ajout de la faculte de prendre PNIST07 SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 367 diff changeset	377 f.close()
389 88cb95007670 Ajout d'une option finetune amelioree pour PNIST07 SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 384 diff changeset	378 elif ind_test == 31:
88cb95007670 Ajout d'une option finetune amelioree pour PNIST07 SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 384 diff changeset	379 f = open('params_finetune_PNIST07_then_NIST.txt', 'w')
88cb95007670 Ajout d'une option finetune amelioree pour PNIST07 SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 384 diff changeset	380 cPickle.dump(parameters_finetune,f,protocol=-1)
88cb95007670 Ajout d'une option finetune amelioree pour PNIST07 SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 384 diff changeset	381 f.close()
281 a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 263 diff changeset	382
252 7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	383
305 fe5d428c2acc Ajout de commentaires ainsi que correction de bug pour sauvegarder les parametres SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 286 diff changeset	384 #Set parameters like they where right after pre-train or finetune
281 a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 263 diff changeset	385 def reload_parameters(self,which):
263 a0264184684e ajout de fonctionnalitees pour deux testsets SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 252 diff changeset	386
a0264184684e ajout de fonctionnalitees pour deux testsets SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 252 diff changeset	387 #self.parameters_pre=pickle.load('params_pretrain.txt')
281 a8b92a4a708d rajout de methode reliant toutes les couches cachees a la logistic et changeant seulement les parametres de la logistic durant finetune SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 263 diff changeset	388 f = open(which)
350 625c0c3fcbdb Amelioration de l'efficacite de la sauvegarde des parametres SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 336 diff changeset	389 self.parameters_pre=cPickle.load(f)
263 a0264184684e ajout de fonctionnalitees pour deux testsets SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 252 diff changeset	390 f.close()
252 7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	391 for idx,x in enumerate(self.parameters_pre):
310 a5abd5c8b4b0 Petits changements pour pouvoir utiliser le GPU SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 305 diff changeset	392 if x.dtype=='float64':
a5abd5c8b4b0 Petits changements pour pouvoir utiliser le GPU SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 305 diff changeset	393 self.classifier.params[idx].value=theano._asarray(copy(x),dtype=theano.config.floatX)
a5abd5c8b4b0 Petits changements pour pouvoir utiliser le GPU SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 305 diff changeset	394 else:
a5abd5c8b4b0 Petits changements pour pouvoir utiliser le GPU SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 305 diff changeset	395 self.classifier.params[idx].value=copy(x)
330 18dc860a4ef4 Rajout de la capacite de faire decroitre le taux d'apprentissage si demande SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 325 diff changeset	396
397 5e11dda78995 Ajout de fonctionnalite pour pouvoir facilement calculer une erreur sur differentes parties de NSIT SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 389 diff changeset	397 def training_error(self,dataset,part=0):
325 048898c1ee55 Ajout d'une fonction pour calculer l'erreur effectuee par le modele sur un ensemble pre-determine SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 321 diff changeset	398 # create a function to compute the mistakes that are made by the model
048898c1ee55 Ajout d'une fonction pour calculer l'erreur effectuee par le modele sur un ensemble pre-determine SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 321 diff changeset	399 # on the validation set, or testing set
048898c1ee55 Ajout d'une fonction pour calculer l'erreur effectuee par le modele sur un ensemble pre-determine SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 321 diff changeset	400 test_model = \
048898c1ee55 Ajout d'une fonction pour calculer l'erreur effectuee par le modele sur un ensemble pre-determine SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 321 diff changeset	401 theano.function(
048898c1ee55 Ajout d'une fonction pour calculer l'erreur effectuee par le modele sur un ensemble pre-determine SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 321 diff changeset	402 [self.classifier.x,self.classifier.y], self.classifier.errors)
397 5e11dda78995 Ajout de fonctionnalite pour pouvoir facilement calculer une erreur sur differentes parties de NSIT SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 389 diff changeset	403 #train
5e11dda78995 Ajout de fonctionnalite pour pouvoir facilement calculer une erreur sur differentes parties de NSIT SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 389 diff changeset	404 if part == 0:
5e11dda78995 Ajout de fonctionnalite pour pouvoir facilement calculer une erreur sur differentes parties de NSIT SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 389 diff changeset	405 iter2 = dataset.train(self.hp.minibatch_size,bufsize=buffersize)
5e11dda78995 Ajout de fonctionnalite pour pouvoir facilement calculer une erreur sur differentes parties de NSIT SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 389 diff changeset	406 name = 'train'
5e11dda78995 Ajout de fonctionnalite pour pouvoir facilement calculer une erreur sur differentes parties de NSIT SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 389 diff changeset	407 #validation
5e11dda78995 Ajout de fonctionnalite pour pouvoir facilement calculer une erreur sur differentes parties de NSIT SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 389 diff changeset	408 if part == 1:
5e11dda78995 Ajout de fonctionnalite pour pouvoir facilement calculer une erreur sur differentes parties de NSIT SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 389 diff changeset	409 iter2 = dataset.valid(self.hp.minibatch_size,bufsize=buffersize)
5e11dda78995 Ajout de fonctionnalite pour pouvoir facilement calculer une erreur sur differentes parties de NSIT SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 389 diff changeset	410 name = 'validation'
5e11dda78995 Ajout de fonctionnalite pour pouvoir facilement calculer une erreur sur differentes parties de NSIT SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 389 diff changeset	411 if part == 2:
5e11dda78995 Ajout de fonctionnalite pour pouvoir facilement calculer une erreur sur differentes parties de NSIT SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 389 diff changeset	412 iter2 = dataset.test(self.hp.minibatch_size,bufsize=buffersize)
5e11dda78995 Ajout de fonctionnalite pour pouvoir facilement calculer une erreur sur differentes parties de NSIT SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 389 diff changeset	413 name = 'test'
325 048898c1ee55 Ajout d'une fonction pour calculer l'erreur effectuee par le modele sur un ensemble pre-determine SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 321 diff changeset	414 train_losses2 = [test_model(x,y) for x,y in iter2]
048898c1ee55 Ajout d'une fonction pour calculer l'erreur effectuee par le modele sur un ensemble pre-determine SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 321 diff changeset	415 train_score2 = numpy.mean(train_losses2)
397 5e11dda78995 Ajout de fonctionnalite pour pouvoir facilement calculer une erreur sur differentes parties de NSIT SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 389 diff changeset	416 print 'On the ' + name + 'dataset'
5e11dda78995 Ajout de fonctionnalite pour pouvoir facilement calculer une erreur sur differentes parties de NSIT SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 389 diff changeset	417 print(('\t the error is %f')%(train_score2*100.))
361 b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	418
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	419 #To see the prediction of the model, the real answer and the image to judge
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	420 def see_error(self, dataset):
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	421 import pylab
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	422 #The function to know the prediction
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	423 test_model = \
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	424 theano.function(
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	425 [self.classifier.x,self.classifier.y], self.classifier.logLayer.y_pred)
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	426 user = []
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	427 nb_total = 0 #total number of exemples seen
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	428 nb_error = 0 #total number of errors
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	429 for x,y in dataset.test(1):
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	430 nb_total += 1
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	431 pred = self.translate(test_model(x,y))
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	432 rep = self.translate(y)
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	433 error = pred != rep
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	434 print 'prediction: ' + str(pred) +'\t answer: ' + str(rep) + '\t right: ' + str(not(error))
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	435 pylab.imshow(x.reshape((32,32)))
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	436 pylab.draw()
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	437 if error:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	438 nb_error += 1
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	439 user.append(int(raw_input("1 = The error is normal, 0 = The error is not normal : ")))
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	440 print '\t\t character is hard to distinguish: ' + str(user[-1])
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	441 else:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	442 time.sleep(3)
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	443 print '\n Over the '+str(nb_total)+' exemples, there is '+str(nb_error)+' errors. \nThe percentage of errors is'+ str(float(nb_error)/float(nb_total))
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	444 print 'The percentage of errors done by the model that an human will also do: ' + str(numpy.mean(user))
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	445
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	446
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	447
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	448
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	449 #To translate the numeric prediction in character if necessary
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	450 def translate(self,y):
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	451
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	452 if y <= 9:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	453 return y[0]
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	454 elif y == 10:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	455 return 'A'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	456 elif y == 11:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	457 return 'B'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	458 elif y == 12:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	459 return 'C'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	460 elif y == 13:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	461 return 'D'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	462 elif y == 14:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	463 return 'E'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	464 elif y == 15:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	465 return 'F'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	466 elif y == 16:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	467 return 'G'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	468 elif y == 17:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	469 return 'H'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	470 elif y == 18:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	471 return 'I'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	472 elif y == 19:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	473 return 'J'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	474 elif y == 20:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	475 return 'K'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	476 elif y == 21:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	477 return 'L'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	478 elif y == 22:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	479 return 'M'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	480 elif y == 23:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	481 return 'N'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	482 elif y == 24:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	483 return 'O'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	484 elif y == 25:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	485 return 'P'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	486 elif y == 26:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	487 return 'Q'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	488 elif y == 27:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	489 return 'R'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	490 elif y == 28:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	491 return 'S'
367 f24b10e43a6f correction d'un petit bug dans la fonction traduire() SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 361 diff changeset	492 elif y == 29:
361 b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	493 return 'T'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	494 elif y == 30:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	495 return 'U'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	496 elif y == 31:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	497 return 'V'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	498 elif y == 32:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	499 return 'W'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	500 elif y == 33:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	501 return 'X'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	502 elif y == 34:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	503 return 'Y'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	504 elif y == 35:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	505 return 'Z'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	506
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	507 elif y == 36:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	508 return 'a'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	509 elif y == 37:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	510 return 'b'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	511 elif y == 38:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	512 return 'c'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	513 elif y == 39:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	514 return 'd'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	515 elif y == 40:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	516 return 'e'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	517 elif y == 41:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	518 return 'f'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	519 elif y == 42:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	520 return 'g'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	521 elif y == 43:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	522 return 'h'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	523 elif y == 44:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	524 return 'i'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	525 elif y == 45:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	526 return 'j'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	527 elif y == 46:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	528 return 'k'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	529 elif y == 47:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	530 return 'l'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	531 elif y == 48:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	532 return 'm'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	533 elif y == 49:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	534 return 'n'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	535 elif y == 50:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	536 return 'o'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	537 elif y == 51:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	538 return 'p'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	539 elif y == 52:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	540 return 'q'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	541 elif y == 53:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	542 return 'r'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	543 elif y == 54:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	544 return 's'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	545 elif y == 55:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	546 return 't'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	547 elif y == 56:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	548 return 'u'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	549 elif y == 57:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	550 return 'v'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	551 elif y == 58:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	552 return 'w'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	553 elif y == 59:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	554 return 'x'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	555 elif y == 60:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	556 return 'y'
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	557 elif y == 61:
b599886e3655 Ajout d'une fonctionnalite utile avec le programme voir_erreurs.py afin de voir les exemples ainsi que la prediction du modele donne dans le fichier config.py SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 352 diff changeset	558 return 'z'
252 7dd43ef66d15 ajout de fonctionnalite pour different finetune dataset SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: 238 diff changeset	559
230 8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	560
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	561
8a94a5c808cd Repertoire pour faire les tests avec les differents ensembles pour le finetuning SylvainPL <sylvain.pannetier.lebeuf@umontreal.ca> parents: diff changeset	562

Mercurial > ift6266

annotate deep/stacked_dae/v_sylvain/sgd_optimization.py @ 453:3140f678dad2