ift6266: transformations/pipeline.py annotate

annotate transformations/pipeline.py @ 296:089f236759d9

Fix testmod so that modules with no parameters are accepted.

author	Arnaud Bergeron <abergeron@gmail.com>
date	Wed, 10 Feb 2010 10:58:44 -0500
parents	5e448ea129b3
children	95c491bb5662

rev	line source
41 fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	1 #!/usr/bin/python
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	2 # coding: utf-8
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	3
10 faacc76d21c2 Basic new pipeline script for the images tranforms Arnaud Bergeron <abergeron@gmail.com> parents: diff changeset	4 from __future__ import with_statement
faacc76d21c2 Basic new pipeline script for the images tranforms Arnaud Bergeron <abergeron@gmail.com> parents: diff changeset	5
48 fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	6 # This is intended to be run as a GIMP script
61 cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	7 #from gimpfu import *
48 fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	8
41 fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	9 import sys, os, getopt
10 faacc76d21c2 Basic new pipeline script for the images tranforms Arnaud Bergeron <abergeron@gmail.com> parents: diff changeset	10 import numpy
faacc76d21c2 Basic new pipeline script for the images tranforms Arnaud Bergeron <abergeron@gmail.com> parents: diff changeset	11 import filetensor as ft
faacc76d21c2 Basic new pipeline script for the images tranforms Arnaud Bergeron <abergeron@gmail.com> parents: diff changeset	12 import random
faacc76d21c2 Basic new pipeline script for the images tranforms Arnaud Bergeron <abergeron@gmail.com> parents: diff changeset	13
61 cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	14 # To debug locally, also call with -s 100 (to stop after ~100)
48 fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	15 # (otherwise we allocate all needed memory, might be loonnng and/or crash
fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	16 # if, lucky like me, you have an age-old laptop creaking from everywhere)
67 5e448ea129b3 Ajouté la source (optionnelle) de données OCR Autriche avec une probabilité passée en argument boulanni <nicolas_boulanger@hotmail.com> parents: 64 diff changeset	17 DEBUG = False
50 ff59670cd1f9 Ajouté l'enregistrement de la complexité, et un strict minimum pour reloader les fichiers d'images et de paramètres fsavard parents: 48 diff changeset	18 DEBUG_X = False
ff59670cd1f9 Ajouté l'enregistrement de la complexité, et un strict minimum pour reloader les fichiers d'images et de paramètres fsavard parents: 48 diff changeset	19 if DEBUG:
ff59670cd1f9 Ajouté l'enregistrement de la complexité, et un strict minimum pour reloader les fichiers d'images et de paramètres fsavard parents: 48 diff changeset	20 DEBUG_X = False # Debug under X (pylab.show())
10 faacc76d21c2 Basic new pipeline script for the images tranforms Arnaud Bergeron <abergeron@gmail.com> parents: diff changeset	21
48 fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	22 DEBUG_IMAGES_PATH = None
fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	23 if DEBUG:
fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	24 # UNTESTED YET
fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	25 # To avoid loading NIST if you don't have it handy
fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	26 # (use with debug_images_iterator(), see main())
fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	27 # To use NIST, leave as = None
fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	28 DEBUG_IMAGES_PATH = None#'/home/francois/Desktop/debug_images'
fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	29
fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	30 # Directory where to dump images to visualize results
fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	31 # (create it, otherwise it'll crash)
fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	32 DEBUG_OUTPUT_DIR = 'debug_out'
fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	33
61 cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	34 DEFAULT_NIST_PATH = '/data/lisa/data/ift6266h10/train_data.ft'
cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	35 DEFAULT_LABEL_PATH = '/data/lisa/data/ift6266h10/train_labels.ft'
67 5e448ea129b3 Ajouté la source (optionnelle) de données OCR Autriche avec une probabilité passée en argument boulanni <nicolas_boulanger@hotmail.com> parents: 64 diff changeset	36 DEFAULT_OCR_PATH = '/data/lisa/data/ocr_breuel/filetensor/unlv-corrected-2010-02-01-shuffled.ft'
5e448ea129b3 Ajouté la source (optionnelle) de données OCR Autriche avec une probabilité passée en argument boulanni <nicolas_boulanger@hotmail.com> parents: 64 diff changeset	37 DEFAULT_OCRLABEL_PATH = '/data/lisa/data/ocr_breuel/filetensor/unlv-corrected-2010-02-01-labels-shuffled.ft'
41 fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	38 ARGS_FILE = os.environ['PIPELINE_ARGS_TMPFILE']
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	39
48 fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	40 if DEBUG_X:
41 fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	41 import pylab
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	42 pylab.ion()
10 faacc76d21c2 Basic new pipeline script for the images tranforms Arnaud Bergeron <abergeron@gmail.com> parents: diff changeset	43
41 fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	44 #from add_background_image import AddBackground
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	45 #from affine_transform import AffineTransformation
48 fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	46 from PoivreSel import PoivreSel
41 fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	47 from thick import Thick
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	48 #from BruitGauss import BruitGauss
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	49 #from gimp_script import GIMPTransformation
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	50 #from Rature import Rature
48 fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	51 from contrast import Contrast
41 fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	52 from local_elastic_distortions import LocalElasticDistorter
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	53 from slant import Slant
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	54
48 fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	55 if DEBUG:
fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	56 from visualizer import Visualizer
fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	57 # Either put the visualizer as in the MODULES_INSTANCES list
fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	58 # after each module you want to visualize, or in the
fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	59 # AFTER_EACH_MODULE_HOOK list (but not both, it's redundant)
fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	60 VISUALIZER = Visualizer(to_dir=DEBUG_OUTPUT_DIR, on_screen=False)
fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	61
52 c89defea1e65 Modification aux déformations élastiques pour mettre en cache 50x10 champs de déformation, selon 10 niveaux de complexité fsavard parents: 50 diff changeset	62 MODULE_INSTANCES = [LocalElasticDistorter()]
48 fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	63
fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	64 # These should have a "after_transform_callback(self, image)" method
fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	65 # (called after each call to transform_image in a module)
fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	66 AFTER_EACH_MODULE_HOOK = []
fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	67 if DEBUG:
fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	68 AFTER_EACH_MODULE_HOOK = [VISUALIZER]
fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	69
fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	70 # These should have a "end_transform_callback(self, final_image" method
fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	71 # (called after all modules have been called)
fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	72 END_TRANSFORM_HOOK = []
fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	73 if DEBUG:
fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	74 END_TRANSFORM_HOOK = [VISUALIZER]
10 faacc76d21c2 Basic new pipeline script for the images tranforms Arnaud Bergeron <abergeron@gmail.com> parents: diff changeset	75
41 fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	76 class Pipeline():
61 cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	77 def __init__(self, modules, num_img, image_size=(32,32)):
41 fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	78 self.modules = modules
61 cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	79 self.num_img = num_img
41 fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	80 self.num_params_stored = 0
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	81 self.image_size = image_size
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	82
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	83 self.init_memory()
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	84
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	85 def init_num_params_stored(self):
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	86 # just a dummy call to regenerate_parameters() to get the
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	87 # real number of params (only those which are stored)
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	88 self.num_params_stored = 0
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	89 for m in self.modules:
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	90 self.num_params_stored += len(m.regenerate_parameters(0.0))
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	91
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	92 def init_memory(self):
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	93 self.init_num_params_stored()
10 faacc76d21c2 Basic new pipeline script for the images tranforms Arnaud Bergeron <abergeron@gmail.com> parents: diff changeset	94
61 cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	95 total = self.num_img
41 fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	96 num_px = self.image_size[0] * self.image_size[1]
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	97
61 cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	98 self.res_data = numpy.empty((total, num_px), dtype=numpy.uint8)
50 ff59670cd1f9 Ajouté l'enregistrement de la complexité, et un strict minimum pour reloader les fichiers d'images et de paramètres fsavard parents: 48 diff changeset	99 # +1 to store complexity
ff59670cd1f9 Ajouté l'enregistrement de la complexité, et un strict minimum pour reloader les fichiers d'images et de paramètres fsavard parents: 48 diff changeset	100 self.params = numpy.empty((total, self.num_params_stored+1))
61 cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	101 self.res_labels = numpy.empty(total, dtype=numpy.int32)
41 fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	102
61 cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	103 def run(self, img_iterator, complexity_iterator):
41 fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	104 img_size = self.image_size
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	105
48 fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	106 should_hook_after_each = len(AFTER_EACH_MODULE_HOOK) != 0
fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	107 should_hook_at_the_end = len(END_TRANSFORM_HOOK) != 0
fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	108
61 cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	109 for img_no, (img, label) in enumerate(img_iterator):
cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	110 sys.stdout.flush()
41 fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	111 complexity = complexity_iterator.next()
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	112
61 cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	113 global_idx = img_no
41 fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	114
61 cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	115 img = img.reshape(img_size)
15 f6b6c74bb82f Fix the datatypes. Arnaud Bergeron <abergeron@gmail.com> parents: 10 diff changeset	116
61 cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	117 param_idx = 1
cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	118 # store complexity along with other params
cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	119 self.params[global_idx, 0] = complexity
cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	120 for mod in self.modules:
cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	121 # This used to be done _per batch_,
cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	122 # ie. out of the "for img" loop
cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	123 p = mod.regenerate_parameters(complexity)
cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	124 self.params[global_idx, param_idx:param_idx+len(p)] = p
cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	125 param_idx += len(p)
10 faacc76d21c2 Basic new pipeline script for the images tranforms Arnaud Bergeron <abergeron@gmail.com> parents: diff changeset	126
61 cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	127 img = mod.transform_image(img)
41 fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	128
61 cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	129 if should_hook_after_each:
cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	130 for hook in AFTER_EACH_MODULE_HOOK:
cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	131 hook.after_transform_callback(img)
10 faacc76d21c2 Basic new pipeline script for the images tranforms Arnaud Bergeron <abergeron@gmail.com> parents: diff changeset	132
61 cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	133 self.res_data[global_idx] = \
cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	134 img.reshape((img_size[0] * img_size[1],))*255
cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	135 self.res_labels[global_idx] = label
48 fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	136
61 cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	137 if should_hook_at_the_end:
cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	138 for hook in END_TRANSFORM_HOOK:
cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	139 hook.end_transform_callback(img)
41 fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	140
61 cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	141 def write_output(self, output_file_path, params_output_file_path, labels_output_file_path):
41 fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	142 with open(output_file_path, 'wb') as f:
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	143 ft.write(f, self.res_data)
10 faacc76d21c2 Basic new pipeline script for the images tranforms Arnaud Bergeron <abergeron@gmail.com> parents: diff changeset	144
41 fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	145 numpy.save(params_output_file_path, self.params)
61 cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	146
cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	147 with open(labels_output_file_path, 'wb') as f:
cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	148 ft.write(f, self.res_labels)
41 fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	149
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	150
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	151 ##############################################################################
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	152 # COMPLEXITY ITERATORS
61 cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	153 # They're called once every img, to get the complexity to use for that img
41 fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	154 # they must be infinite (should never throw StopIteration when calling next())
10 faacc76d21c2 Basic new pipeline script for the images tranforms Arnaud Bergeron <abergeron@gmail.com> parents: diff changeset	155
41 fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	156 # probability of generating 0 complexity, otherwise
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	157 # uniform over 0.0-max_complexity
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	158 def range_complexity_iterator(probability_zero, max_complexity):
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	159 assert max_complexity <= 1.0
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	160 n = numpy.random.uniform(0.0, 1.0)
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	161 while True:
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	162 if n < probability_zero:
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	163 yield 0.0
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	164 else:
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	165 yield numpy.random.uniform(0.0, max_complexity)
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	166
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	167 ##############################################################################
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	168 # DATA ITERATORS
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	169 # They can be used to interleave different data sources etc.
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	170
48 fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	171 '''
fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	172 # Following code (DebugImages and iterator) is untested
fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	173
fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	174 def load_image(filepath):
fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	175 _RGB_TO_GRAYSCALE = [0.3, 0.59, 0.11, 0.0]
fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	176 img = Image.open(filepath)
fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	177 img = numpy.asarray(img)
fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	178 if len(img.shape) > 2:
fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	179 img = (img * _RGB_TO_GRAYSCALE).sum(axis=2)
fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	180 return (img / 255.0).astype('float')
fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	181
fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	182 class DebugImages():
fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	183 def __init__(self, images_dir_path):
fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	184 import glob, os.path
fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	185 self.filelist = glob.glob(os.path.join(images_dir_path, "*.png"))
fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	186
fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	187 def debug_images_iterator(debug_images):
fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	188 for path in debug_images.filelist:
fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	189 yield load_image(path)
fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	190 '''
fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	191
41 fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	192 class NistData():
67 5e448ea129b3 Ajouté la source (optionnelle) de données OCR Autriche avec une probabilité passée en argument boulanni <nicolas_boulanger@hotmail.com> parents: 64 diff changeset	193 def __init__(self, nist_path, label_path, ocr_path, ocrlabel_path):
41 fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	194 self.train_data = open(nist_path, 'rb')
61 cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	195 self.train_labels = open(label_path, 'rb')
41 fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	196 self.dim = tuple(ft._read_header(self.train_data)[3])
64 1afa95285b9c fixed small bug related to loading the data - should seek back to the beginning of the file Dumitru Erhan <dumitru.erhan@gmail.com> parents: 61 diff changeset	197 # in order to seek to the beginning of the file
1afa95285b9c fixed small bug related to loading the data - should seek back to the beginning of the file Dumitru Erhan <dumitru.erhan@gmail.com> parents: 61 diff changeset	198 self.train_data.close()
1afa95285b9c fixed small bug related to loading the data - should seek back to the beginning of the file Dumitru Erhan <dumitru.erhan@gmail.com> parents: 61 diff changeset	199 self.train_data = open(nist_path, 'rb')
67 5e448ea129b3 Ajouté la source (optionnelle) de données OCR Autriche avec une probabilité passée en argument boulanni <nicolas_boulanger@hotmail.com> parents: 64 diff changeset	200 self.ocr_data = open(ocr_path, 'rb')
5e448ea129b3 Ajouté la source (optionnelle) de données OCR Autriche avec une probabilité passée en argument boulanni <nicolas_boulanger@hotmail.com> parents: 64 diff changeset	201 self.ocr_labels = open(ocrlabel_path, 'rb')
10 faacc76d21c2 Basic new pipeline script for the images tranforms Arnaud Bergeron <abergeron@gmail.com> parents: diff changeset	202
67 5e448ea129b3 Ajouté la source (optionnelle) de données OCR Autriche avec une probabilité passée en argument boulanni <nicolas_boulanger@hotmail.com> parents: 64 diff changeset	203 def nist_supp_iterator(nist, prob_font, prob_captcha, prob_ocr, num_img):
5e448ea129b3 Ajouté la source (optionnelle) de données OCR Autriche avec une probabilité passée en argument boulanni <nicolas_boulanger@hotmail.com> parents: 64 diff changeset	204 img = ft.read(nist.train_data).astype(numpy.float32)/255
5e448ea129b3 Ajouté la source (optionnelle) de données OCR Autriche avec une probabilité passée en argument boulanni <nicolas_boulanger@hotmail.com> parents: 64 diff changeset	205 labels = ft.read(nist.train_labels)
5e448ea129b3 Ajouté la source (optionnelle) de données OCR Autriche avec une probabilité passée en argument boulanni <nicolas_boulanger@hotmail.com> parents: 64 diff changeset	206 if prob_ocr:
5e448ea129b3 Ajouté la source (optionnelle) de données OCR Autriche avec une probabilité passée en argument boulanni <nicolas_boulanger@hotmail.com> parents: 64 diff changeset	207 ocr_img = ft.read(nist.ocr_data).astype(numpy.float32)/255
5e448ea129b3 Ajouté la source (optionnelle) de données OCR Autriche avec une probabilité passée en argument boulanni <nicolas_boulanger@hotmail.com> parents: 64 diff changeset	208 ocr_labels = ft.read(nist.ocr_labels)
64 1afa95285b9c fixed small bug related to loading the data - should seek back to the beginning of the file Dumitru Erhan <dumitru.erhan@gmail.com> parents: 61 diff changeset	209
61 cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	210 for i in xrange(num_img):
cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	211 r = numpy.random.rand()
67 5e448ea129b3 Ajouté la source (optionnelle) de données OCR Autriche avec une probabilité passée en argument boulanni <nicolas_boulanger@hotmail.com> parents: 64 diff changeset	212 if r <= prob_font:
61 cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	213 pass #get font
67 5e448ea129b3 Ajouté la source (optionnelle) de données OCR Autriche avec une probabilité passée en argument boulanni <nicolas_boulanger@hotmail.com> parents: 64 diff changeset	214 elif r <= prob_font + prob_captcha:
61 cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	215 pass #get captcha
67 5e448ea129b3 Ajouté la source (optionnelle) de données OCR Autriche avec une probabilité passée en argument boulanni <nicolas_boulanger@hotmail.com> parents: 64 diff changeset	216 elif r <= prob_font + prob_captcha + prob_ocr:
5e448ea129b3 Ajouté la source (optionnelle) de données OCR Autriche avec une probabilité passée en argument boulanni <nicolas_boulanger@hotmail.com> parents: 64 diff changeset	217 j = numpy.random.randint(len(ocr_labels))
5e448ea129b3 Ajouté la source (optionnelle) de données OCR Autriche avec une probabilité passée en argument boulanni <nicolas_boulanger@hotmail.com> parents: 64 diff changeset	218 yield ocr_img[j], ocr_labels[j]
61 cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	219 else:
67 5e448ea129b3 Ajouté la source (optionnelle) de données OCR Autriche avec une probabilité passée en argument boulanni <nicolas_boulanger@hotmail.com> parents: 64 diff changeset	220 j = numpy.random.randint(len(labels))
61 cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	221 yield img[j], labels[j]
50 ff59670cd1f9 Ajouté l'enregistrement de la complexité, et un strict minimum pour reloader les fichiers d'images et de paramètres fsavard parents: 48 diff changeset	222
ff59670cd1f9 Ajouté l'enregistrement de la complexité, et un strict minimum pour reloader les fichiers d'images et de paramètres fsavard parents: 48 diff changeset	223
ff59670cd1f9 Ajouté l'enregistrement de la complexité, et un strict minimum pour reloader les fichiers d'images et de paramètres fsavard parents: 48 diff changeset	224 # Mostly for debugging, for the moment, just to see if we can
ff59670cd1f9 Ajouté l'enregistrement de la complexité, et un strict minimum pour reloader les fichiers d'images et de paramètres fsavard parents: 48 diff changeset	225 # reload the images and parameters.
ff59670cd1f9 Ajouté l'enregistrement de la complexité, et un strict minimum pour reloader les fichiers d'images et de paramètres fsavard parents: 48 diff changeset	226 def reload(output_file_path, params_output_file_path):
ff59670cd1f9 Ajouté l'enregistrement de la complexité, et un strict minimum pour reloader les fichiers d'images et de paramètres fsavard parents: 48 diff changeset	227 images_ft = open(output_file_path, 'rb')
ff59670cd1f9 Ajouté l'enregistrement de la complexité, et un strict minimum pour reloader les fichiers d'images et de paramètres fsavard parents: 48 diff changeset	228 images_ft_dim = tuple(ft._read_header(images_ft)[3])
ff59670cd1f9 Ajouté l'enregistrement de la complexité, et un strict minimum pour reloader les fichiers d'images et de paramètres fsavard parents: 48 diff changeset	229
ff59670cd1f9 Ajouté l'enregistrement de la complexité, et un strict minimum pour reloader les fichiers d'images et de paramètres fsavard parents: 48 diff changeset	230 print "Images dimensions: ", images_ft_dim
ff59670cd1f9 Ajouté l'enregistrement de la complexité, et un strict minimum pour reloader les fichiers d'images et de paramètres fsavard parents: 48 diff changeset	231
ff59670cd1f9 Ajouté l'enregistrement de la complexité, et un strict minimum pour reloader les fichiers d'images et de paramètres fsavard parents: 48 diff changeset	232 params = numpy.load(params_output_file_path)
ff59670cd1f9 Ajouté l'enregistrement de la complexité, et un strict minimum pour reloader les fichiers d'images et de paramètres fsavard parents: 48 diff changeset	233
ff59670cd1f9 Ajouté l'enregistrement de la complexité, et un strict minimum pour reloader les fichiers d'images et de paramètres fsavard parents: 48 diff changeset	234 print "Params dimensions: ", params.shape
ff59670cd1f9 Ajouté l'enregistrement de la complexité, et un strict minimum pour reloader les fichiers d'images et de paramètres fsavard parents: 48 diff changeset	235 print params
ff59670cd1f9 Ajouté l'enregistrement de la complexité, et un strict minimum pour reloader les fichiers d'images et de paramètres fsavard parents: 48 diff changeset	236
41 fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	237
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	238 ##############################################################################
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	239 # MAIN
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	240
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	241 def usage():
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	242 print '''
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	243 Usage: run_pipeline.sh [-m ...] [-z ...] [-o ...] [-p ...]
61 cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	244 -m, --max-complexity: max complexity to generate for an image
cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	245 -z, --probability-zero: probability of using complexity=0 for an image
41 fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	246 -o, --output-file: full path to file to use for output of images
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	247 -p, --params-output-file: path to file to output params to
67 5e448ea129b3 Ajouté la source (optionnelle) de données OCR Autriche avec une probabilité passée en argument boulanni <nicolas_boulanger@hotmail.com> parents: 64 diff changeset	248 -x, --labels-output-file: path to file to output labels to
61 cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	249 -f, --data-file: path to filetensor (.ft) data file (NIST)
cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	250 -l, --label-file: path to filetensor (.ft) labels file (NIST labels)
67 5e448ea129b3 Ajouté la source (optionnelle) de données OCR Autriche avec une probabilité passée en argument boulanni <nicolas_boulanger@hotmail.com> parents: 64 diff changeset	251 -c, --ocr-file: path to filetensor (.ft) data file (OCR)
5e448ea129b3 Ajouté la source (optionnelle) de données OCR Autriche avec une probabilité passée en argument boulanni <nicolas_boulanger@hotmail.com> parents: 64 diff changeset	252 -d, --ocrlabel-file: path to filetensor (.ft) labels file (OCR labels)
61 cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	253 -a, --prob-font: probability of using a raw font image
cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	254 -b, --prob-captcha: probability of using a captcha image
67 5e448ea129b3 Ajouté la source (optionnelle) de données OCR Autriche avec une probabilité passée en argument boulanni <nicolas_boulanger@hotmail.com> parents: 64 diff changeset	255 -e, --prob-ocr: probability of using an ocr image
41 fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	256 '''
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	257
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	258 # See run_pipeline.py
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	259 def get_argv():
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	260 with open(ARGS_FILE) as f:
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	261 args = [l.rstrip() for l in f.readlines()]
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	262 return args
10 faacc76d21c2 Basic new pipeline script for the images tranforms Arnaud Bergeron <abergeron@gmail.com> parents: diff changeset	263
41 fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	264 # Might be called locally or through dbidispatch. In all cases it should be
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	265 # passed to the GIMP executable to be able to use GIMP filters.
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	266 # Ex:
48 fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	267 def _main():
67 5e448ea129b3 Ajouté la source (optionnelle) de données OCR Autriche avec une probabilité passée en argument boulanni <nicolas_boulanger@hotmail.com> parents: 64 diff changeset	268 #global DEFAULT_NIST_PATH, DEFAULT_LABEL_PATH, DEFAULT_OCR_PATH, DEFAULT_OCRLABEL_PATH
5e448ea129b3 Ajouté la source (optionnelle) de données OCR Autriche avec une probabilité passée en argument boulanni <nicolas_boulanger@hotmail.com> parents: 64 diff changeset	269 #global getopt, get_argv
5e448ea129b3 Ajouté la source (optionnelle) de données OCR Autriche avec une probabilité passée en argument boulanni <nicolas_boulanger@hotmail.com> parents: 64 diff changeset	270
41 fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	271 max_complexity = 0.5 # default
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	272 probability_zero = 0.1 # default
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	273 output_file_path = None
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	274 params_output_file_path = None
61 cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	275 labels_output_file_path = None
cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	276 nist_path = DEFAULT_NIST_PATH
cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	277 label_path = DEFAULT_LABEL_PATH
67 5e448ea129b3 Ajouté la source (optionnelle) de données OCR Autriche avec une probabilité passée en argument boulanni <nicolas_boulanger@hotmail.com> parents: 64 diff changeset	278 ocr_path = DEFAULT_OCR_PATH
5e448ea129b3 Ajouté la source (optionnelle) de données OCR Autriche avec une probabilité passée en argument boulanni <nicolas_boulanger@hotmail.com> parents: 64 diff changeset	279 ocrlabel_path = DEFAULT_OCRLABEL_PATH
61 cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	280 prob_font = 0.0
cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	281 prob_captcha = 0.0
67 5e448ea129b3 Ajouté la source (optionnelle) de données OCR Autriche avec une probabilité passée en argument boulanni <nicolas_boulanger@hotmail.com> parents: 64 diff changeset	282 prob_ocr = 0.0
41 fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	283 stop_after = None
50 ff59670cd1f9 Ajouté l'enregistrement de la complexité, et un strict minimum pour reloader les fichiers d'images et de paramètres fsavard parents: 48 diff changeset	284 reload_mode = False
48 fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	285
41 fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	286 try:
67 5e448ea129b3 Ajouté la source (optionnelle) de données OCR Autriche avec une probabilité passée en argument boulanni <nicolas_boulanger@hotmail.com> parents: 64 diff changeset	287 opts, args = getopt.getopt(get_argv(), "rm:z:o:p:x:s:f:l:c:d:a:b:e:", ["reload","max-complexity=", "probability-zero=", "output-file=", "params-output-file=", "labels-output-file=", "stop-after=", "data-file=", "label-file=", "ocr-file=", "ocrlabel-file=", "prob-font=", "prob-captcha=", "prob-ocr="])
41 fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	288 except getopt.GetoptError, err:
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	289 # print help information and exit:
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	290 print str(err) # will print something like "option -a not recognized"
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	291 usage()
67 5e448ea129b3 Ajouté la source (optionnelle) de données OCR Autriche avec une probabilité passée en argument boulanni <nicolas_boulanger@hotmail.com> parents: 64 diff changeset	292 pdb.gimp_quit(0)
41 fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	293 sys.exit(2)
50 ff59670cd1f9 Ajouté l'enregistrement de la complexité, et un strict minimum pour reloader les fichiers d'images et de paramètres fsavard parents: 48 diff changeset	294
41 fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	295 for o, a in opts:
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	296 if o in ('-m', '--max-complexity'):
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	297 max_complexity = float(a)
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	298 assert max_complexity >= 0.0 and max_complexity <= 1.0
50 ff59670cd1f9 Ajouté l'enregistrement de la complexité, et un strict minimum pour reloader les fichiers d'images et de paramètres fsavard parents: 48 diff changeset	299 elif o in ('-r', '--reload'):
ff59670cd1f9 Ajouté l'enregistrement de la complexité, et un strict minimum pour reloader les fichiers d'images et de paramètres fsavard parents: 48 diff changeset	300 reload_mode = True
41 fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	301 elif o in ("-z", "--probability-zero"):
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	302 probability_zero = float(a)
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	303 assert probability_zero >= 0.0 and probability_zero <= 1.0
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	304 elif o in ("-o", "--output-file"):
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	305 output_file_path = a
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	306 elif o in ('-p', "--params-output-file"):
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	307 params_output_file_path = a
67 5e448ea129b3 Ajouté la source (optionnelle) de données OCR Autriche avec une probabilité passée en argument boulanni <nicolas_boulanger@hotmail.com> parents: 64 diff changeset	308 elif o in ('-x', "--labels-output-file"):
61 cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	309 labels_output_file_path = a
41 fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	310 elif o in ('-s', "--stop-after"):
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	311 stop_after = int(a)
61 cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	312 elif o in ('-f', "--data-file"):
cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	313 nist_path = a
cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	314 elif o in ('-l', "--label-file"):
cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	315 label_path = a
67 5e448ea129b3 Ajouté la source (optionnelle) de données OCR Autriche avec une probabilité passée en argument boulanni <nicolas_boulanger@hotmail.com> parents: 64 diff changeset	316 elif o in ('-c', "--ocr-file"):
5e448ea129b3 Ajouté la source (optionnelle) de données OCR Autriche avec une probabilité passée en argument boulanni <nicolas_boulanger@hotmail.com> parents: 64 diff changeset	317 ocr_path = a
5e448ea129b3 Ajouté la source (optionnelle) de données OCR Autriche avec une probabilité passée en argument boulanni <nicolas_boulanger@hotmail.com> parents: 64 diff changeset	318 elif o in ('-d', "--ocrlabel-file"):
5e448ea129b3 Ajouté la source (optionnelle) de données OCR Autriche avec une probabilité passée en argument boulanni <nicolas_boulanger@hotmail.com> parents: 64 diff changeset	319 ocrlabel_path = a
61 cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	320 elif o in ('-a', "--prob-font"):
cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	321 prob_font = float(a)
cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	322 elif o in ('-b', "--prob-captcha"):
cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	323 prob_captcha = float(a)
67 5e448ea129b3 Ajouté la source (optionnelle) de données OCR Autriche avec une probabilité passée en argument boulanni <nicolas_boulanger@hotmail.com> parents: 64 diff changeset	324 elif o in ('-e', "--prob-ocr"):
5e448ea129b3 Ajouté la source (optionnelle) de données OCR Autriche avec une probabilité passée en argument boulanni <nicolas_boulanger@hotmail.com> parents: 64 diff changeset	325 prob_ocr = float(a)
41 fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	326 else:
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	327 assert False, "unhandled option"
10 faacc76d21c2 Basic new pipeline script for the images tranforms Arnaud Bergeron <abergeron@gmail.com> parents: diff changeset	328
61 cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	329 if output_file_path == None or params_output_file_path == None or labels_output_file_path == None:
cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	330 print "Must specify the three output files."
41 fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	331 usage()
67 5e448ea129b3 Ajouté la source (optionnelle) de données OCR Autriche avec une probabilité passée en argument boulanni <nicolas_boulanger@hotmail.com> parents: 64 diff changeset	332 pdb.gimp_quit(0)
41 fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	333 sys.exit(2)
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	334
50 ff59670cd1f9 Ajouté l'enregistrement de la complexité, et un strict minimum pour reloader les fichiers d'images et de paramètres fsavard parents: 48 diff changeset	335 if reload_mode:
ff59670cd1f9 Ajouté l'enregistrement de la complexité, et un strict minimum pour reloader les fichiers d'images et de paramètres fsavard parents: 48 diff changeset	336 reload(output_file_path, params_output_file_path)
48 fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	337 else:
50 ff59670cd1f9 Ajouté l'enregistrement de la complexité, et un strict minimum pour reloader les fichiers d'images et de paramètres fsavard parents: 48 diff changeset	338 if DEBUG_IMAGES_PATH:
ff59670cd1f9 Ajouté l'enregistrement de la complexité, et un strict minimum pour reloader les fichiers d'images et de paramètres fsavard parents: 48 diff changeset	339 '''
ff59670cd1f9 Ajouté l'enregistrement de la complexité, et un strict minimum pour reloader les fichiers d'images et de paramètres fsavard parents: 48 diff changeset	340 # This code is yet untested
ff59670cd1f9 Ajouté l'enregistrement de la complexité, et un strict minimum pour reloader les fichiers d'images et de paramètres fsavard parents: 48 diff changeset	341 debug_images = DebugImages(DEBUG_IMAGES_PATH)
61 cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	342 num_img = len(debug_images.filelist)
cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	343 pl = Pipeline(modules=MODULE_INSTANCES, num_img=num_img, image_size=(32,32))
cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	344 img_it = debug_images_iterator(debug_images)
50 ff59670cd1f9 Ajouté l'enregistrement de la complexité, et un strict minimum pour reloader les fichiers d'images et de paramètres fsavard parents: 48 diff changeset	345 '''
ff59670cd1f9 Ajouté l'enregistrement de la complexité, et un strict minimum pour reloader les fichiers d'images et de paramètres fsavard parents: 48 diff changeset	346 else:
67 5e448ea129b3 Ajouté la source (optionnelle) de données OCR Autriche avec une probabilité passée en argument boulanni <nicolas_boulanger@hotmail.com> parents: 64 diff changeset	347 nist = NistData(nist_path, label_path, ocr_path, ocrlabel_path)
5e448ea129b3 Ajouté la source (optionnelle) de données OCR Autriche avec une probabilité passée en argument boulanni <nicolas_boulanger@hotmail.com> parents: 64 diff changeset	348 num_img = 819200 # 800 Mb file
50 ff59670cd1f9 Ajouté l'enregistrement de la complexité, et un strict minimum pour reloader les fichiers d'images et de paramètres fsavard parents: 48 diff changeset	349 if stop_after:
61 cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	350 num_img = stop_after
cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	351 pl = Pipeline(modules=MODULE_INSTANCES, num_img=num_img, image_size=(32,32))
67 5e448ea129b3 Ajouté la source (optionnelle) de données OCR Autriche avec une probabilité passée en argument boulanni <nicolas_boulanger@hotmail.com> parents: 64 diff changeset	352 img_it = nist_supp_iterator(nist, prob_font, prob_captcha, prob_ocr, num_img)
48 fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	353
50 ff59670cd1f9 Ajouté l'enregistrement de la complexité, et un strict minimum pour reloader les fichiers d'images et de paramètres fsavard parents: 48 diff changeset	354 cpx_it = range_complexity_iterator(probability_zero, max_complexity)
61 cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	355 pl.run(img_it, cpx_it)
cc4be6b25b8e Data iterator alternating between NIST/font/captcha, removed the use of batches, keep track of labels (Not fully done yet) boulanni <nicolas_boulanger@hotmail.com> parents: 52 diff changeset	356 pl.write_output(output_file_path, params_output_file_path, labels_output_file_path)
41 fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	357
48 fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	358 _main()
fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	359
fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	360 if DEBUG_X:
fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	361 pylab.ioff()
fabf910467b2 Ajouté des hooks pour visualisation à différentes étapes. On peut dumper la grille d'images pour chaque image transformée ou visualiser live avec pylab.imshow() (pas encore essayé cette façon... j'ai un problème avec GIMP+python sur mon laptop). fsavard parents: 41 diff changeset	362 pylab.show()
41 fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	363
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	364 pdb.gimp_quit(0)
fdb0e0870fb4 Beaucoup de modifications à pipeline.py pour généraliser et un début de visualisation, et créé un wrapper (run_pipeline.py) pour appeler avec GIMP. fsavard parents: 15 diff changeset	365

Mercurial > ift6266

annotate transformations/pipeline.py @ 296:089f236759d9