Mercurial > ift6266
annotate deep/crbm/mnist_config.py.example @ 415:1e9788ce1680
Added the parts concerning the transformations I'd announced I'd do: Local elastic deformations; occlusions; gimp transformations; salt and pepper noise; background images
author | fsavard |
---|---|
date | Thu, 29 Apr 2010 17:21:48 -0400 |
parents | 64fa85d68923 |
children |
rev | line source |
---|---|
359
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
1 # ---------------------------------------------------------------------------- |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
2 # BEGIN EXPERIMENT ISOLATION CODE |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
3 |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
4 # Path to pass to jobman sqlschedule. IMPORTANT TO CHANGE TO REFLECT YOUR CLONE. |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
5 # Make sure this is accessible from the default $PYTHONPATH (in your .bashrc) |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
6 # (and make sure every subdirectory has its __init__.py file) |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
7 EXPERIMENT_PATH = "ift6266_mnistcrbm_exp1.ift6266.deep.crbm.mnist_crbm.jobman_entrypoint" |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
8 |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
9 def isolate_experiment(): |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
10 ''' |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
11 This makes sure we use the codebase clone created for this experiment. |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
12 I.e. if you want to make modifications to the codebase but don't want your |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
13 running experiment code to be impacted by those changes, first copy the |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
14 codebase somewhere, and configure this section. It will make sure we import |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
15 from the right place. |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
16 |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
17 MUST BE DONE BEFORE IMPORTING ANYTHING ELSE |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
18 (Leave this comment there so others will understand what's going on) |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
19 ''' |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
20 |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
21 # Place where you copied modules that should be frozen for this experiment |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
22 codebase_clone_path = "/u/savardf/ift6266/experiment_clones/ift6266_mnistcrbm_exp1" |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
23 |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
24 # Places where there might be conflicting modules from your $PYTHONPATH |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
25 remove_these_from_pythonpath = ["/u/savardf/ift6266/dev_code"] |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
26 |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
27 import sys |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
28 sys.path[0:0] = [codebase_clone_path] |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
29 |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
30 # remove paths we specifically don't want in $PYTHONPATH |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
31 for bad_path in remove_these_from_pythonpath: |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
32 sys.path[:] = [el for el in sys.path if not el in (bad_path, bad_path+"/")] |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
33 |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
34 # Make the imports |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
35 import ift6266 |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
36 |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
37 # Just making sure we're importing from the right place |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
38 modules_to_check = [ift6266] |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
39 for module in modules_to_check: |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
40 if not codebase_clone_path in module.__path__[0]: |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
41 raise RuntimeError("Module loaded from incorrect path "+module.__path__[0]) |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
42 |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
43 # END EXPERIMENT ISOLATION CODE |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
44 # ---------------------------------------------------------------------------- |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
45 |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
46 from jobman import DD |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
47 |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
48 ''' |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
49 These are parameters used by mnist_crbm.py. They'll end up as globals in there. |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
50 |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
51 Rename this file to config.py and configure as needed. |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
52 DON'T add the renamed file to the repository, as others might use it |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
53 without realizing it, with dire consequences. |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
54 ''' |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
55 |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
56 # change "sandbox" when you're ready |
360 | 57 JOBDB = 'postgres://ift6266h10@gershwin/ift6266h10_sandbox_db/yourtablenamehere' |
359
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
58 |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
59 # Set this to True when you want to run cluster tests, ie. you want |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
60 # to run on the cluster, many jobs, but want to reduce the training |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
61 # set size and the number of epochs, so you know everything runs |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
62 # fine on the cluster. |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
63 # Set this PRIOR to inserting your test jobs in the DB. |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
64 TEST_CONFIG = False |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
65 |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
66 # save params at training end |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
67 SAVE_PARAMS = True |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
68 |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
69 IMAGE_OUTPUT_DIR = 'img/' |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
70 |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
71 # number of minibatches before taking means for valid error etc. |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
72 REDUCE_EVERY = 100 |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
73 |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
74 # print series to stdout too (otherwise just produce the HDF5 file) |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
75 SERIES_STDOUT_TOO = False |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
76 |
415
1e9788ce1680
Added the parts concerning the transformations I'd announced I'd do: Local elastic deformations; occlusions; gimp transformations; salt and pepper noise; background images
fsavard
parents:
366
diff
changeset
|
77 # every X minibatches |
1e9788ce1680
Added the parts concerning the transformations I'd announced I'd do: Local elastic deformations; occlusions; gimp transformations; salt and pepper noise; background images
fsavard
parents:
366
diff
changeset
|
78 VISUALIZE_EVERY = 1000 # x20, ie. every 20,000 examples |
359
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
79 GIBBS_STEPS_IN_VIZ_CHAIN = 1000 |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
80 |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
81 if TEST_CONFIG: |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
82 REDUCE_EVERY = 10 |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
83 VISUALIZE_EVERY = 20 |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
84 |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
85 # This is to configure insertion of jobs on the cluster. |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
86 # Possible values the hyperparameters can take. These are then |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
87 # combined with produit_cartesien_jobs so we get a list of all |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
88 # possible combinations, each one resulting in a job inserted |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
89 # in the jobman DB. |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
90 JOB_VALS = {'learning_rate': [1.0, 0.1, 0.01], |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
91 'sparsity_lambda': [3.0,0.5], |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
92 'sparsity_p': [0.3,0.05], |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
93 'num_filters': [40,15], |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
94 'filter_size': [12,7], |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
95 'minibatch_size': [20], |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
96 'num_epochs': [20]} |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
97 |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
98 # Just useful for tests... minimal number of epochs |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
99 # Useful when launching a single local job |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
100 DEFAULT_STATE = DD({'learning_rate': 0.1, |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
101 'sparsity_lambda': 1.0, |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
102 'sparsity_p': 0.05, |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
103 'num_filters': 40, |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
104 'filter_size': 12, |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
105 'minibatch_size': 10, |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
106 'num_epochs': 20}) |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
107 |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
108 # To reinsert duplicate of jobs that crashed |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
109 REINSERT_COLS = ['learning_rate','sparsity_lambda','sparsity_p','num_filters','filter_size','minibatch_size','dupe'] |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
110 #REINSERT_JOB_VALS = [\ |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
111 # [,2],] |
969ad25e78cc
Fichier config.py.example supprimé je ne sais pas pourquoi ?! Enfin je le réajoute
fsavard
parents:
diff
changeset
|
112 |