Mercurial > ift6266

annotate deep/crbm/mnist_config.py.example @ 643:24d9819a810f

Find changesets by keywords (author, files, the commit message), revision number or hash, or revset expression.
reviews aistats finales
author Yoshua Bengio <bengioy@iro.umontreal.ca>
date Thu, 24 Mar 2011 17:04:38 -0400
parents 1e9788ce1680
children
rev   line source
359
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
1 # ----------------------------------------------------------------------------
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
2 # BEGIN EXPERIMENT ISOLATION CODE
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
3
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
4 # Path to pass to jobman sqlschedule. IMPORTANT TO CHANGE TO REFLECT YOUR CLONE.
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
5 # Make sure this is accessible from the default $PYTHONPATH (in your .bashrc)
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
6 # (and make sure every subdirectory has its __init__.py file)
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
7 EXPERIMENT_PATH = "ift6266_mnistcrbm_exp1.ift6266.deep.crbm.mnist_crbm.jobman_entrypoint"
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
8
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
9 def isolate_experiment():
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
10 '''
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
11 This makes sure we use the codebase clone created for this experiment.
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
12 I.e. if you want to make modifications to the codebase but don't want your
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
13 running experiment code to be impacted by those changes, first copy the
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
14 codebase somewhere, and configure this section. It will make sure we import
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
15 from the right place.
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
16
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
17 MUST BE DONE BEFORE IMPORTING ANYTHING ELSE
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
18 (Leave this comment there so others will understand what's going on)
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
19 '''
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
20
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
21 # Place where you copied modules that should be frozen for this experiment
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
22 codebase_clone_path = "/u/savardf/ift6266/experiment_clones/ift6266_mnistcrbm_exp1"
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
23
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
24 # Places where there might be conflicting modules from your $PYTHONPATH
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
25 remove_these_from_pythonpath = ["/u/savardf/ift6266/dev_code"]
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
26
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
27 import sys
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
28 sys.path[0:0] = [codebase_clone_path]
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
29
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
30 # remove paths we specifically don't want in $PYTHONPATH
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
31 for bad_path in remove_these_from_pythonpath:
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
32 sys.path[:] = [el for el in sys.path if not el in (bad_path, bad_path+"/")]
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
33
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
34 # Make the imports
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
35 import ift6266
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
36
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
37 # Just making sure we're importing from the right place
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
38 modules_to_check = [ift6266]
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
39 for module in modules_to_check:
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
40 if not codebase_clone_path in module.__path__[0]:
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
41 raise RuntimeError("Module loaded from incorrect path "+module.__path__[0])
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
42
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
43 # END EXPERIMENT ISOLATION CODE
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
44 # ----------------------------------------------------------------------------
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
45
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
46 from jobman import DD
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
47
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
48 '''
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
49 These are parameters used by mnist_crbm.py. They'll end up as globals in there.
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
50
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
51 Rename this file to config.py and configure as needed.
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
52 DON'T add the renamed file to the repository, as others might use it
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
53 without realizing it, with dire consequences.
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
54 '''
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
55
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
56 # change "sandbox" when you're ready
360
f37c0705649d Problèmes de révisions hg... tentative de merger
fsavard
parents: 359
diff changeset
57 JOBDB = 'postgres://ift6266h10@gershwin/ift6266h10_sandbox_db/yourtablenamehere'
359
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
58
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
59 # Set this to True when you want to run cluster tests, ie. you want
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
60 # to run on the cluster, many jobs, but want to reduce the training
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
61 # set size and the number of epochs, so you know everything runs
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
62 # fine on the cluster.
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
63 # Set this PRIOR to inserting your test jobs in the DB.
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
64 TEST_CONFIG = False
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
65
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
66 # save params at training end
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
67 SAVE_PARAMS = True
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
68
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
69 IMAGE_OUTPUT_DIR = 'img/'
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
70
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
71 # number of minibatches before taking means for valid error etc.
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
72 REDUCE_EVERY = 100
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
73
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
74 # print series to stdout too (otherwise just produce the HDF5 file)
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
75 SERIES_STDOUT_TOO = False
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
76
415
1e9788ce1680 Added the parts concerning the transformations I'd announced I'd do: Local elastic deformations; occlusions; gimp transformations; salt and pepper noise; background images
fsavard
parents: 366
diff changeset
77 # every X minibatches
1e9788ce1680 Added the parts concerning the transformations I'd announced I'd do: Local elastic deformations; occlusions; gimp transformations; salt and pepper noise; background images
fsavard
parents: 366
diff changeset
78 VISUALIZE_EVERY = 1000 # x20, ie. every 20,000 examples
359
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
79 GIBBS_STEPS_IN_VIZ_CHAIN = 1000
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
80
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
81 if TEST_CONFIG:
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
82 REDUCE_EVERY = 10
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
83 VISUALIZE_EVERY = 20
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
84
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
85 # This is to configure insertion of jobs on the cluster.
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
86 # Possible values the hyperparameters can take. These are then
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
87 # combined with produit_cartesien_jobs so we get a list of all
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
88 # possible combinations, each one resulting in a job inserted
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
89 # in the jobman DB.
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
90 JOB_VALS = {'learning_rate': [1.0, 0.1, 0.01],
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
91 'sparsity_lambda': [3.0,0.5],
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
92 'sparsity_p': [0.3,0.05],
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
93 'num_filters': [40,15],
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
94 'filter_size': [12,7],
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
95 'minibatch_size': [20],
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
96 'num_epochs': [20]}
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
97
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
98 # Just useful for tests... minimal number of epochs
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
99 # Useful when launching a single local job
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
100 DEFAULT_STATE = DD({'learning_rate': 0.1,
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
101 'sparsity_lambda': 1.0,
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
102 'sparsity_p': 0.05,
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
103 'num_filters': 40,
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
104 'filter_size': 12,
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
105 'minibatch_size': 10,
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
106 'num_epochs': 20})
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
107
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
108 # To reinsert duplicate of jobs that crashed
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
109 REINSERT_COLS = ['learning_rate','sparsity_lambda','sparsity_p','num_filters','filter_size','minibatch_size','dupe']
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
110 #REINSERT_JOB_VALS = [\
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
111 # [,2],]
969ad25e78cc Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff changeset
112