Use MC_RUNJOB at CCIN2P3

documentation of the official mc_runjob package is available here. A Quick start guide is also available. In this note, only the changes to adapt this package to the CCIN2P3 environment will be described.

Le fichier qui contient tous les scripts, templates, et modifications pour le ccin2p3 est archive dans :

• setup_mc_runjob.csh
• setup_mc_runjob.sh
• mc_runjob.changes to the original v03-01-01 version
• mc_runjob/templates parametres pour les generateurs et RCP
• /py_script tous les scripts Python
• /py_script/scripts : les fichiers d'initialisation *.cfg quelques macros *.macro

1. Se creer un espace de travail dans $GROUP_DIR Puis decompressee et de"tarrer" le fichier en question tar zxvf $THRONG_DIR/info_data/mcp05/mc_runjob.tar.gz
2. Definir qques variables d'environnement : source setup_mcrunjob.csh (si on travaille en csh/tcsh) . setup_mcrunjob.sh (si on travaille en sh/zsh )
3. se placer dans le repertoire mc_runjob/py_script/scripts et editer qques files cfg
   • --> samglobal.cfg :

     JobName

     prefix des jobs

     CurrentDir

     repertoire pour les differents jobs soumis

     DestinationDir

     repertoire des fichiers de donnees

                    Il faut donner un path absolu pour les repertoires; c'est
                    surtout imperatif pour DestinationDir quand on "chaine" des
                    jobs (d0gstar + d0sim par ex.)
     
                    DestinationDir accepte les variables d'environnement.
     
                    en interactif on peut donc utiliser
                        $GROUP_DIR/<labodir>/<mydir>/<myprod>
     
                    en batch, il faut imperativement utiliser $TMPBATCH
                    les fichiers produits seront copies sur bande (ou sur HPSS )
                    ou perdus a la fin du job
     

     Phase

     Ne pas toucher a la valeur de ce parametre, mcp05, it is used to tag in SAM the current MC production

   • --> isajet.cfg et pythia.cfg ( et pythia_efilter.cfg )

                definissent la file contenant le no de run (sur vore HOME directory)
                pour des productions officielles, ce fichier est sur
                THRONG_DIR/info_data en lecture/ecriture pour tout le groupe D0 
            
     

   • et vos "macros" ( extension macro non obligatoire )

                c'est ce fichier qui definit le type de tache  ( les Configurators necessaires pour le job)
     
                J'ai cree le configurator Pythia_EfilterConfigurator.py comme exemple d'utilisation pour une 
                production particuliere   generation + filtre des evenements 
                L'executable est ( n'exite pas pour p05 ):
     
     $GROUP_DIR/pmc03-dist/mcc-dist/releases/pmc03.00.01/bin/Linux2-KCC_3_3/MCpythia_filter.x
     
                 et les RCPs copies dans :
     
                 .../mc_runjob/templates/generator/v01/runMCgen_filter.rcp
                                                      /ElectronFilterPkg.rcp
     
     
     
     
                 RunOption  RunInBatch      pour soumettre en batch
                            RunInBackground                   interactif
     
                 BatchQueue class BQS
                 JobCPUTIME time limit
     
                 JobQsubOptions  override default qsub options
     
                 
                 CopyToHPSS 1    les fichiers de donnees seront copies dans HPSS
                                 (toutefois des protections sont mises pour ne pas
                                 ( ecrire des fichiers de taille trop petite 
                                 les fichiers de soortie seront copier
                                 dans $MCPROD_DIR/<phase>
     
                 HpssInputDir    subdirectory in HPSS containing the input file(s)
                                 (c.a.d dans quelle Phase ils ont ete produits
                 CopyFromHPSS 1  les fichiers d'input sont dans HPSS
     
     
     
                 TapeIN, SeqIN, SizeIN : fichier d'input sur bande a stager
                 TapeOUT, SeqOUT       : fichier(s) de sortie a stager
                                       : SeqOUT n  -> mode append
                                       : plusieurs bandes de sortie sont possible
                                       : l'ordre est celui des taches demandees
                                       : generator, d0gstar, d0sim
     
                 Si TapeIN ou TapeOUT n'est pas redefini ou n'est pas sur le modele
                            WVxxxx
                 les fichiers sont lus sur disques
     
     
     
                  repeat   ...... end est une boucle pour le Linker
                  a l'interieur de la boucle :
                      on definit le run number
     
     
                      Notamment pour la production officielle il faut mettre
                      cfg generator define int RunNumber 0
     
     
                      on cree le job a soumettre , on le soumet , et on incremente 
                      certains compteurs  : SkipEvents
                                            Sequence Number
                  
     
     
             Ex : Minbias-gen-d0g.macro est un exemple pour generer et simuler
                                        des evts MinBias (500 evts /job).
                  Pythia-Zee-gen.macro : job de generation
                  Zee-d0g-sim.macro    : job de simulation et digitisation
                  Zee-reco-ana.macro   : job de reconstruction et de production 
                                         du Ntuple
     
     !!!! attention tous ces examples peuvent ne pas etre a jour des dernieres
     !!!! modifications des scripts 
     
     
     
           

4. La commande de soumission des jobs se fait dans le repertoire py_script python Linker_ccin2p3.py script=Minbi-gen.macro [debuglevel=x] >& Minbi-gen.log ( x : niveau d'impression )