Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Status of LOFAR Pulsar Pipeline/Tools

Status of LOFAR Pulsar Pipeline/Tools

Anastasia Alexov
LOFAR TKP Meeting, Amsterdam, June 2011

Ab44292d7d6f032baf342a98230a6654?s=128

transientskp

June 17, 2012
Tweet

More Decks by transientskp

Other Decks in Science

Transcript

  1. June  27-­‐29,  2011   TKP  Mee1ng   1   Status

     of  LOFAR  Pulsar  Pipelines/Tools   LOFAR  Transients  KSP  Mee1ng   June  27-­‐29,  2011  (UvA)   Anastasia  Alexov     On  behalf  of  the  Pulsar  Working  Group  (PWG)  
  2. June  27-­‐29,  2011   TKP  Mee1ng   2   Management

     of  Measurements   (MoM)  
  3. June  27-­‐29,  2011   TKP  Mee1ng   3   LOFAR

     Observing  using  MoM   •  MoM  –  Astronomer’s  tool  to  create  LOFAR  Observa1ons  (GUI-­‐ based/user-­‐interac1ve)   •  Created  XML-­‐generator  script  for  mul1ple  observa1ons:  BF,  IM   and  piggybacking     •  Since  October  2010,  updated  script  func1onality  (BF  and  IM):   –  Both  clocks  available  (160MHz/200MHz)   –  Decimal  degrees  or  sexagesimal  coordinates  allowed  (or  PSR,  3C  name)     –  Full  selec1on  of  HBA  and  LBA  Filters  available   –  Mul1ple  Sta1on  Beams  (Sub-­‐Array  Poin1ngs)  possible   –  Mul1ple  Tied  Array  Beams  possible  [BF-­‐only]   –  Accepts  “survey”  poin1ngs  file  as  input     •  Aber  observa1ons,  XML-­‐export  to  BF  pipeline  kick-­‐off,  also   now  works  on  CEP-­‐2  
  4. June  27-­‐29,  2011   TKP  Mee1ng   4   Stats

     on  LOFAR  BF  Observa1ons   •  Total  2371  BF-­‐related  Observa1ons  (2420  hrs  of   data)   Observa(on     Type   Number  OBSIDs   July  2009  –  Apr  2011   (CEP-­‐1)   Number  OBSIDs   Apr  2011  -­‐  now   (CEP-­‐2)   Total   July  2009  –  now   CEP-­‐1  &  CEP-­‐2   Incoherent-­‐stokes   1527   370   1897   Coherent-­‐stokes   426   336   762   Fly’s  Eye   136   45   181   Imaging  +  BF   55   7   62   BF  Raw  Voltage   87   63   150   Total  RAW  OBSIDs:   1804   567   2371   Total  Processed   OBSIDs:   1269  (70%)   286  (50%)   1555  (66%)   Total  TB  RAW   62  TB   69  TB   131  TB   Total  TB  Processed   16  TB   35  TB   51  TB   100  TB  Archived  @   SARA  
  5. June  27-­‐29,  2011   TKP  Mee1ng   5   CEP-­‐1

     Auto-­‐generated  Stats   [Credit:  V.  Kondra1ev]  
  6. June  27-­‐29,  2011   TKP  Mee1ng   6   CEP-­‐2

     Auto-­‐generated  Stats   [Credit:        V.  Kondra1ev]
  7. June  27-­‐29,  2011   TKP  Mee1ng   7   Pipeline

     upgrades  &  transi1on  to  CEP-­‐2   •  Known  Pulsar  Pipeline  (pulp.sh)  updated  to  process  up  to  50  beams  (Fly’s  Eye   mode,  Sta1on  Beams),  and  mul1ple  (19)  Tied-­‐Array  beams   •  Debugged  CEP-­‐2  since  Apr.  2011   •  Daily  Build  of  LUS  (Pulsar  Tools)  is  available  (“use  LUS”)   •  Day-­‐of-­‐the-­‐week  build  of  LUS  (Pulsar  Tools)  is  also  available  (“use  LUS  Sun”)   •  Pulp.sh  updated  to  use  “cexec”  to  farm  out  pipeline  jobs  to  locus  cluster  nodes,   and  collect  results  on  2  “hoover”  nodes:   –  Incoherentstokes   –  Coherentstokes   –  Fly’s  Eye   –  Mul1-­‐Sta1on  Beam  (Sub-­‐Array  Poin1ng)  Observa1ons   –  Mul1-­‐Tied  Array  Beam  Observa1ons   •  Added  BF  Raw  Voltage  Pipeline  (doRaw.csh)  to  Daily  Build   •  Added  combined  CS+IS+FE  results  plots  and  FE  sta1on  maps   •  Pulp.sh  processing  1me  and  I/O  is  problema1c;    working  on  single  file  fix   •  Added  psrchive,  psrdada  and  dspsr  OTF  tools  +  data  converters  to  LUS  Pulsar  Tools   suite,  within  default  install  
  8. June  27-­‐29,  2011   TKP  Mee1ng   8   Known

     Pulsar  Shell-­‐Script  Pipeline:   (Offline)  Folding  &  De-­‐dispersion   ONLINE   OFFLINE   Expandable  
  9. June  27-­‐29,  2011   TKP  Mee1ng   9   Monitoring

     RFI  (CEP-­‐I)   HBA   LBA   [Credit:  V.  Kondra1ev]  
  10. June  27-­‐29,  2011   TKP  Mee1ng   10   CEP1

     &  CEP-­‐2     Auto-­‐generated  Web  Summaries   [Credit:  V.  Kondra1ev]  
  11. June  27-­‐29,  2011   TKP  Mee1ng   11   CEP1

     &  CEP-­‐2     Auto-­‐generated  Web  Summaries  
  12. June  27-­‐29,  2011   TKP  Mee1ng   12   Fly’s

     Eye  Mode  –  “All”  Sta1ons  
  13. June  27-­‐29,  2011   TKP  Mee1ng   13   CEP1

     &  CEP-­‐2     Auto-­‐generated  Web  Summaries  
  14. June  27-­‐29,  2011   TKP  Mee1ng   14   [Credit:

     V.  Kondra1ev]  
  15. June  27-­‐29,  2011   TKP  Mee1ng   15   [Credit:

     V.  Kondra1ev]  
  16. June  27-­‐29,  2011   TKP  Mee1ng   16   LOFAR

     Pulsar  Search  “Surveys”  &  Pipeline   l  LOFAR  Pilot  Pulsar  Survey  (LPPS)   –  255  poin1ngs  with  7  Sta1on  Beams,  57min  each  [Christmas   2010]   –  HBA,  Incoherentstokes,  26  Sta1ons   –  All  processed  with  Known  Pulsar  Pipeline  (on  CEP-­‐1);    folds   3  known  pulsars  w/in  FOV   –  All  processed  with  the  Search  Pipeline  (on  Hydra  cluster  in   Manchester)   –  Looked  at  9,000  candidates;    none  are  new  pulsars;    all   appear  to  be  RFI   –  To  do:  rework  the  sibing  of  candidates  and  re-­‐fold;  single   pulsar  search  
  17. June  27-­‐29,  2011   TKP  Mee1ng   17   LOFAR

     Pulsar  Search  Pipeline   [Credit:  T.  Coenen]  
  18. June  27-­‐29,  2011   TKP  Mee1ng   18   LOFAR

     Pulsar  Search  “Surveys”  &  Pipeline   l  LOFAR  Tied-­‐Array  Survey  (LOTAS)   –  206  poin1ngs  with  19  TA  Poin1ngs,  17min  each  [May  2011]   –  HBA,  Coherentstokes,  Superterp-­‐only  (12  sta1ons)   –  All  processed  with  Known  Pulsar  Pipeline  (on  CEP-­‐2)  ;    folds   3  known  pulsars  w/in  FOV  of  central  beam   –  Started  processing  with  the  Search  Pipeline  on  CEP-­‐2  &   Hydra  cluster   –  To  do:    update  pipelines  w/psrfits  format  and  re-­‐run  
  19. June  27-­‐29,  2011   TKP  Mee1ng   19  

  20. June  27-­‐29,  2011   TKP  Mee1ng   20   (Many)

     BF  Observing  Modes  
  21. June  27-­‐29,  2011   TKP  Mee1ng   21   40

     “Single”  BF  Observing  Modes    200+  Mul1ple  BF  Observing  Modes  
  22. June  27-­‐29,  2011   TKP  Mee1ng   22   What’s

     Next?  (6-­‐12  months)   •  TBD  near  term:   –  Convert  pipelines  to  use  psrfits  data  format  (“solves”  I/O  issues   and  data  drop-­‐outs)   –  Add  (BF)  requested  func1onality  to  MoM;    fix  nomenclature  for   BF  observa1ons/data   –  Integrate  BF  Raw  Voltage  pipeline  into  pulp.sh   –  Clean  up  CEP-­‐1  (sub4,  5,  6)   –  Create  RFI  monitoring  stats  based  on  CEP-­‐2  processed  data   –  Change  BF  writer  to  use  HDF5  file  format  (h5-­‐>psrfits  pipeline)   –  Search  Pipeline  improvements  &  data  processing   –  Backup  of  CEP-­‐2  pulsar  observa1ons   •  TBD  longer  term:   –  Re-­‐write  pulp.sh  in  Python;    wrap  in  Pipeline  Framework   –  Use  HDF5  format  directly  in  pipeline   –  Automated  BF  pipeline  kickoff  using  MoM/Scheduler