Mercurial > ift6266

annotate deep/stacked_dae/config.py.example @ 336:a79db7cee035

Find changesets by keywords (author, files, the commit message), revision number or hash, or revset expression.
Arrange pour avoir un taux d'apprentissage decroissant decent pour NIST
author sylvainpl
date Thu, 15 Apr 2010 14:41:00 -0400
parents 8a3af19ae272
children
rev   line source
265
c8fe09a65039 Déplacer le nouveau code de stacked_dae de v2 vers le répertoire de base 'stacked_dae', et bougé le vieux code vers le répertoire 'old'
fsavard
parents: 239
diff changeset
1 # ----------------------------------------------------------------------------
c8fe09a65039 Déplacer le nouveau code de stacked_dae de v2 vers le répertoire de base 'stacked_dae', et bougé le vieux code vers le répertoire 'old'
fsavard
parents: 239
diff changeset
2 # BEGIN EXPERIMENT ISOLATION CODE
c8fe09a65039 Déplacer le nouveau code de stacked_dae de v2 vers le répertoire de base 'stacked_dae', et bougé le vieux code vers le répertoire 'old'
fsavard
parents: 239
diff changeset
3
c8fe09a65039 Déplacer le nouveau code de stacked_dae de v2 vers le répertoire de base 'stacked_dae', et bougé le vieux code vers le répertoire 'old'
fsavard
parents: 239
diff changeset
4 '''
c8fe09a65039 Déplacer le nouveau code de stacked_dae de v2 vers le répertoire de base 'stacked_dae', et bougé le vieux code vers le répertoire 'old'
fsavard
parents: 239
diff changeset
5 This makes sure we use the codebase clone created for this experiment.
c8fe09a65039 Déplacer le nouveau code de stacked_dae de v2 vers le répertoire de base 'stacked_dae', et bougé le vieux code vers le répertoire 'old'
fsavard
parents: 239
diff changeset
6 I.e. if you want to make modifications to the codebase but don't want your
c8fe09a65039 Déplacer le nouveau code de stacked_dae de v2 vers le répertoire de base 'stacked_dae', et bougé le vieux code vers le répertoire 'old'
fsavard
parents: 239
diff changeset
7 running experiment code to be impacted by those changes, first copy the
c8fe09a65039 Déplacer le nouveau code de stacked_dae de v2 vers le répertoire de base 'stacked_dae', et bougé le vieux code vers le répertoire 'old'
fsavard
parents: 239
diff changeset
8 codebase somewhere, and configure this section. It will make sure we import
c8fe09a65039 Déplacer le nouveau code de stacked_dae de v2 vers le répertoire de base 'stacked_dae', et bougé le vieux code vers le répertoire 'old'
fsavard
parents: 239
diff changeset
9 from the right place.
c8fe09a65039 Déplacer le nouveau code de stacked_dae de v2 vers le répertoire de base 'stacked_dae', et bougé le vieux code vers le répertoire 'old'
fsavard
parents: 239
diff changeset
10
c8fe09a65039 Déplacer le nouveau code de stacked_dae de v2 vers le répertoire de base 'stacked_dae', et bougé le vieux code vers le répertoire 'old'
fsavard
parents: 239
diff changeset
11 MUST BE DONE BEFORE IMPORTING ANYTHING ELSE
c8fe09a65039 Déplacer le nouveau code de stacked_dae de v2 vers le répertoire de base 'stacked_dae', et bougé le vieux code vers le répertoire 'old'
fsavard
parents: 239
diff changeset
12 (Leave this comment there so others will understand what's going on)
c8fe09a65039 Déplacer le nouveau code de stacked_dae de v2 vers le répertoire de base 'stacked_dae', et bougé le vieux code vers le répertoire 'old'
fsavard
parents: 239
diff changeset
13 '''
c8fe09a65039 Déplacer le nouveau code de stacked_dae de v2 vers le répertoire de base 'stacked_dae', et bougé le vieux code vers le répertoire 'old'
fsavard
parents: 239
diff changeset
14
c8fe09a65039 Déplacer le nouveau code de stacked_dae de v2 vers le répertoire de base 'stacked_dae', et bougé le vieux code vers le répertoire 'old'
fsavard
parents: 239
diff changeset
15 # Place where you copied modules that should be fixed for this experiment
c8fe09a65039 Déplacer le nouveau code de stacked_dae de v2 vers le répertoire de base 'stacked_dae', et bougé le vieux code vers le répertoire 'old'
fsavard
parents: 239
diff changeset
16 codebase_clone_path = "/u/savardf/ift6266/experiment_clones/ift6266_experiment10"
c8fe09a65039 Déplacer le nouveau code de stacked_dae de v2 vers le répertoire de base 'stacked_dae', et bougé le vieux code vers le répertoire 'old'
fsavard
parents: 239
diff changeset
17
c8fe09a65039 Déplacer le nouveau code de stacked_dae de v2 vers le répertoire de base 'stacked_dae', et bougé le vieux code vers le répertoire 'old'
fsavard
parents: 239
diff changeset
18 # Places where there might be conflicting modules from your $PYTHONPATH
c8fe09a65039 Déplacer le nouveau code de stacked_dae de v2 vers le répertoire de base 'stacked_dae', et bougé le vieux code vers le répertoire 'old'
fsavard
parents: 239
diff changeset
19 remove_these_from_pythonpath = ["/u/savardf/ift6266/dev_code"]
c8fe09a65039 Déplacer le nouveau code de stacked_dae de v2 vers le répertoire de base 'stacked_dae', et bougé le vieux code vers le répertoire 'old'
fsavard
parents: 239
diff changeset
20
c8fe09a65039 Déplacer le nouveau code de stacked_dae de v2 vers le répertoire de base 'stacked_dae', et bougé le vieux code vers le répertoire 'old'
fsavard
parents: 239
diff changeset
21 import sys
c8fe09a65039 Déplacer le nouveau code de stacked_dae de v2 vers le répertoire de base 'stacked_dae', et bougé le vieux code vers le répertoire 'old'
fsavard
parents: 239
diff changeset
22 sys.path[0:0] = [codebase_clone_path]
c8fe09a65039 Déplacer le nouveau code de stacked_dae de v2 vers le répertoire de base 'stacked_dae', et bougé le vieux code vers le répertoire 'old'
fsavard
parents: 239
diff changeset
23
c8fe09a65039 Déplacer le nouveau code de stacked_dae de v2 vers le répertoire de base 'stacked_dae', et bougé le vieux code vers le répertoire 'old'
fsavard
parents: 239
diff changeset
24 # remove paths we specifically don't want in $PYTHONPATH
c8fe09a65039 Déplacer le nouveau code de stacked_dae de v2 vers le répertoire de base 'stacked_dae', et bougé le vieux code vers le répertoire 'old'
fsavard
parents: 239
diff changeset
25 for bad_path in remove_these_from_pythonpath:
268
b077d9e97a3b Légères corrections à config.py.example et ajusté nist_sda pour utiliser la nouvelle 'interface' des datasets (nist_all()).
fsavard
parents: 267
diff changeset
26 sys.path[:] = [el for el in sys.path if not el in (bad_path, bad_path+"/")]
265
c8fe09a65039 Déplacer le nouveau code de stacked_dae de v2 vers le répertoire de base 'stacked_dae', et bougé le vieux code vers le répertoire 'old'
fsavard
parents: 239
diff changeset
27
c8fe09a65039 Déplacer le nouveau code de stacked_dae de v2 vers le répertoire de base 'stacked_dae', et bougé le vieux code vers le répertoire 'old'
fsavard
parents: 239
diff changeset
28 # Make the imports
c8fe09a65039 Déplacer le nouveau code de stacked_dae de v2 vers le répertoire de base 'stacked_dae', et bougé le vieux code vers le répertoire 'old'
fsavard
parents: 239
diff changeset
29 import ift6266
c8fe09a65039 Déplacer le nouveau code de stacked_dae de v2 vers le répertoire de base 'stacked_dae', et bougé le vieux code vers le répertoire 'old'
fsavard
parents: 239
diff changeset
30
c8fe09a65039 Déplacer le nouveau code de stacked_dae de v2 vers le répertoire de base 'stacked_dae', et bougé le vieux code vers le répertoire 'old'
fsavard
parents: 239
diff changeset
31 # Just making sure we're importing from the right place
c8fe09a65039 Déplacer le nouveau code de stacked_dae de v2 vers le répertoire de base 'stacked_dae', et bougé le vieux code vers le répertoire 'old'
fsavard
parents: 239
diff changeset
32 modules_to_check = [ift6266]
c8fe09a65039 Déplacer le nouveau code de stacked_dae de v2 vers le répertoire de base 'stacked_dae', et bougé le vieux code vers le répertoire 'old'
fsavard
parents: 239
diff changeset
33 for module in modules_to_check:
268
b077d9e97a3b Légères corrections à config.py.example et ajusté nist_sda pour utiliser la nouvelle 'interface' des datasets (nist_all()).
fsavard
parents: 267
diff changeset
34 if not codebase_clone_path in module.__path__[0]:
b077d9e97a3b Légères corrections à config.py.example et ajusté nist_sda pour utiliser la nouvelle 'interface' des datasets (nist_all()).
fsavard
parents: 267
diff changeset
35 raise RuntimeError("Module loaded from incorrect path "+module.__path__[0])
265
c8fe09a65039 Déplacer le nouveau code de stacked_dae de v2 vers le répertoire de base 'stacked_dae', et bougé le vieux code vers le répertoire 'old'
fsavard
parents: 239
diff changeset
36
c8fe09a65039 Déplacer le nouveau code de stacked_dae de v2 vers le répertoire de base 'stacked_dae', et bougé le vieux code vers le répertoire 'old'
fsavard
parents: 239
diff changeset
37 # Path to pass to jobman sqlschedule. IMPORTANT TO CHANGE TO REFLECT YOUR CLONE.
c8fe09a65039 Déplacer le nouveau code de stacked_dae de v2 vers le répertoire de base 'stacked_dae', et bougé le vieux code vers le répertoire 'old'
fsavard
parents: 239
diff changeset
38 # Make sure this is accessible from the default $PYTHONPATH (in your .bashrc)
268
b077d9e97a3b Légères corrections à config.py.example et ajusté nist_sda pour utiliser la nouvelle 'interface' des datasets (nist_all()).
fsavard
parents: 267
diff changeset
39 # (and make sure every subdirectory has its __init__.py file)
267
798d1344e6a2 Modifs à nist_sda.py et config.py.example pour corrections viz le mécanisme pour isolation d'expérience
fsavard
parents: 265
diff changeset
40 EXPERIMENT_PATH = "ift6266_experiment10.ift6266.deep.stacked_dae.nist_sda.jobman_entrypoint"
265
c8fe09a65039 Déplacer le nouveau code de stacked_dae de v2 vers le répertoire de base 'stacked_dae', et bougé le vieux code vers le répertoire 'old'
fsavard
parents: 239
diff changeset
41
c8fe09a65039 Déplacer le nouveau code de stacked_dae de v2 vers le répertoire de base 'stacked_dae', et bougé le vieux code vers le répertoire 'old'
fsavard
parents: 239
diff changeset
42 # END EXPERIMENT ISOLATION CODE
c8fe09a65039 Déplacer le nouveau code de stacked_dae de v2 vers le répertoire de base 'stacked_dae', et bougé le vieux code vers le répertoire 'old'
fsavard
parents: 239
diff changeset
43 # ----------------------------------------------------------------------------
c8fe09a65039 Déplacer le nouveau code de stacked_dae de v2 vers le répertoire de base 'stacked_dae', et bougé le vieux code vers le répertoire 'old'
fsavard
parents: 239
diff changeset
44
268
b077d9e97a3b Légères corrections à config.py.example et ajusté nist_sda pour utiliser la nouvelle 'interface' des datasets (nist_all()).
fsavard
parents: 267
diff changeset
45 from jobman import DD
b077d9e97a3b Légères corrections à config.py.example et ajusté nist_sda pour utiliser la nouvelle 'interface' des datasets (nist_all()).
fsavard
parents: 267
diff changeset
46
239
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
47 '''
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
48 These are parameters used by nist_sda.py. They'll end up as globals in there.
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
49
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
50 Rename this file to config.py and configure as needed.
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
51 DON'T add the renamed file to the repository, as others might use it
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
52 without realizing it, with dire consequences.
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
53 '''
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
54
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
55 # Set this to True when you want to run cluster tests, ie. you want
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
56 # to run on the cluster, many jobs, but want to reduce the training
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
57 # set size and the number of epochs, so you know everything runs
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
58 # fine on the cluster.
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
59 # Set this PRIOR to inserting your test jobs in the DB.
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
60 TEST_CONFIG = False
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
61
284
8a3af19ae272 Enlevé mécanique pour limiter le nombre d'exemples utilisés (remplacé par paramètre dans l'appel au code de dataset), et ajouté option pour sauvegarde des poids à la fin de l'entraînement
fsavard
parents: 278
diff changeset
62 # save params at training end
8a3af19ae272 Enlevé mécanique pour limiter le nombre d'exemples utilisés (remplacé par paramètre dans l'appel au code de dataset), et ajouté option pour sauvegarde des poids à la fin de l'entraînement
fsavard
parents: 278
diff changeset
63 SAVE_PARAMS = False
8a3af19ae272 Enlevé mécanique pour limiter le nombre d'exemples utilisés (remplacé par paramètre dans l'appel au code de dataset), et ajouté option pour sauvegarde des poids à la fin de l'entraînement
fsavard
parents: 278
diff changeset
64
239
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
65 NIST_ALL_LOCATION = '/data/lisa/data/nist/by_class/all'
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
66 NIST_ALL_TRAIN_SIZE = 649081
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
67 # valid et test =82587 82587
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
68
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
69 # change "sandbox" when you're ready
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
70 JOBDB = 'postgres://ift6266h10@gershwin/ift6266h10_sandbox_db/yourtablenamehere'
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
71
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
72 # reduce training set to that many examples
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
73 REDUCE_TRAIN_TO = None
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
74 # that's a max, it usually doesn't get to that point
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
75 MAX_FINETUNING_EPOCHS = 1000
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
76 # number of minibatches before taking means for valid error etc.
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
77 REDUCE_EVERY = 100
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
78
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
79 if TEST_CONFIG:
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
80 REDUCE_TRAIN_TO = 1000
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
81 MAX_FINETUNING_EPOCHS = 2
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
82 REDUCE_EVERY = 10
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
83
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
84
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
85 # This is to configure insertion of jobs on the cluster.
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
86 # Possible values the hyperparameters can take. These are then
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
87 # combined with produit_cartesien_jobs so we get a list of all
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
88 # possible combinations, each one resulting in a job inserted
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
89 # in the jobman DB.
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
90 JOB_VALS = {'pretraining_lr': [0.1, 0.01],#, 0.001],#, 0.0001],
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
91 'pretraining_epochs_per_layer': [10,20],
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
92 'hidden_layers_sizes': [300,800],
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
93 'corruption_levels': [0.1,0.2,0.3],
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
94 'minibatch_size': [20],
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
95 'max_finetuning_epochs':[MAX_FINETUNING_EPOCHS],
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
96 'finetuning_lr':[0.1, 0.01], #0.001 was very bad, so we leave it out
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
97 'num_hidden_layers':[2,3]}
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
98
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
99 # Just useful for tests... minimal number of epochs
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
100 # (This is used when running a single job, locally, when
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
101 # calling ./nist_sda.py test_jobman_entrypoint
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
102 DEFAULT_HP_NIST = DD({'finetuning_lr':0.1,
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
103 'pretraining_lr':0.1,
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
104 'pretraining_epochs_per_layer':2,
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
105 'max_finetuning_epochs':2,
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
106 'hidden_layers_sizes':800,
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
107 'corruption_levels':0.2,
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
108 'minibatch_size':20,
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
109 'reduce_train_to':10000,
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
110 'num_hidden_layers':1})
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
111
278
43afd29f3dbd Ajouté fonctionnalité pour réinsérer de nouvelles jobs aux paramètres choisis manuellement, en liste, pour repartir des jobs spécifiques qui ont crashé
fsavard
parents: 268
diff changeset
112 # To reinsert duplicate of jobs that crashed
43afd29f3dbd Ajouté fonctionnalité pour réinsérer de nouvelles jobs aux paramètres choisis manuellement, en liste, pour repartir des jobs spécifiques qui ont crashé
fsavard
parents: 268
diff changeset
113 REINSERT_COLS = ['pretraining_lr','pretraining_epochs_per_layer','hidden_layers_sizes','corruption_levels','minibatch_size','max_finetuning_epochs','finetuning_lr','num_hidden_layers','dupe']
43afd29f3dbd Ajouté fonctionnalité pour réinsérer de nouvelles jobs aux paramètres choisis manuellement, en liste, pour repartir des jobs spécifiques qui ont crashé
fsavard
parents: 268
diff changeset
114 REINSERT_JOB_VALS = [\
43afd29f3dbd Ajouté fonctionnalité pour réinsérer de nouvelles jobs aux paramètres choisis manuellement, en liste, pour repartir des jobs spécifiques qui ont crashé
fsavard
parents: 268
diff changeset
115 [0.1,10,800,0.3,20,1000,0.01,3,2],
43afd29f3dbd Ajouté fonctionnalité pour réinsérer de nouvelles jobs aux paramètres choisis manuellement, en liste, pour repartir des jobs spécifiques qui ont crashé
fsavard
parents: 268
diff changeset
116 [0.1,10,800,0.4,20,1000,0.01,3,2],
43afd29f3dbd Ajouté fonctionnalité pour réinsérer de nouvelles jobs aux paramètres choisis manuellement, en liste, pour repartir des jobs spécifiques qui ont crashé
fsavard
parents: 268
diff changeset
117 [0.1,10,800,0.3,20,1000,0.005,3,2],
43afd29f3dbd Ajouté fonctionnalité pour réinsérer de nouvelles jobs aux paramètres choisis manuellement, en liste, pour repartir des jobs spécifiques qui ont crashé
fsavard
parents: 268
diff changeset
118 [0.1,10,800,0.6,20,1000,0.005,3,2]]
239
42005ec87747 Mergé (manuellement) les changements de Sylvain pour utiliser le code de dataset d'Arnaud, à cette différence près que je n'utilse pas les givens. J'ai probablement une approche différente pour limiter la taille du dataset dans mon débuggage, aussi.
fsavard
parents:
diff changeset
119