schain Commit - r164:219ed6faa79e · Jicamarca Repository

-Actualización del nombre de los objetos SystemHeader y RadarHeader....

Miguel Valdez -

r164:219ed6faa79e

parent child

Context file:

r164:219ed6faa79e

Collapse all files

schainpy/IO/JRODataIO.py +23 -23

             '''
             Created on 23/01/2012
             @author $Author$
             @version $Id$
             @version $Id$
             '''
             import os, sys
             import glob
             import time
             import numpy
             import fnmatch
             import time, datetime
             path = os.path.split(os.getcwd())[0]
             sys.path.append(path)
             from Model.JROHeader import *
             from Model.JROData import JROData
             def checkForRealPath(path, year, doy, set, ext):
                 """
                 Por ser Linux Case Sensitive entonces checkForRealPath encuentra el nombre correcto de un path,
                 Prueba por varias combinaciones de nombres entre mayusculas y minusculas para determinar
                 el path exacto de un determinado file.
                 Example    :
                     nombre correcto del file es  .../.../D2009307/P2009307367.ext
                     Entonces la funcion prueba con las siguientes combinaciones
                         .../.../x2009307/y2009307367.ext
                         .../.../x2009307/Y2009307367.ext
                         .../.../X2009307/y2009307367.ext
                         .../.../X2009307/Y2009307367.ext
                     siendo para este caso, la ultima combinacion de letras, identica al file buscado
                 Return:
                     Si encuentra la cobinacion adecuada devuelve el path completo y el nombre del file
                     caso contrario devuelve None como path y el la ultima combinacion de nombre en mayusculas
                     para el filename
                 """
                 filepath = None
                 find_flag = False
                 filename = None
                 if ext.lower() == ".r": #voltage
                     header1 = "dD"
                     header2 = "dD"
                 elif ext.lower() == ".pdata": #spectra
                     header1 = "dD"
                     header2 = "pP"
                 else:
                     return None, filename
                 for dir in header1: #barrido por las dos combinaciones posibles de "D"
                     for fil in header2: #barrido por las dos combinaciones posibles de "D"
                         doypath = "%s%04d%03d" % ( dir, year, doy ) #formo el nombre del directorio xYYYYDDD (x=d o x=D)
                         filename = "%s%04d%03d%03d%s" % ( fil, year, doy, set, ext ) #formo el nombre del file xYYYYDDDSSS.ext
                         filepath = os.path.join( path, doypath, filename ) #formo el path completo
                         if os.path.exists( filepath ): #verifico que exista
                             find_flag = True
                             break
                     if find_flag:
                         break
                 if not(find_flag):
                     return None, filename
                 return filepath, filename
             def isNumber(str):
                 """
                 Chequea si el conjunto de caracteres que componen un string puede ser convertidos a un numero.
                 Excepciones:
                     Si un determinado string no puede ser convertido a numero
                 Input:
                     str, string al cual se le analiza para determinar si convertible a un numero o no
                 Return:
                     True    :    si el string es uno numerico
                     False   :    no es un string numerico
                 """
                 try:
                     float( str )
                     return True
                 except:
                     return False
             def isThisFileinRange(filename, startUTSeconds, endUTSeconds):
                 """
                 Esta funcion determina si un archivo de datos se encuentra o no dentro del rango de fecha especificado.
                 Inputs:
                     filename            :    nombre completo del archivo de datos en formato Jicamarca (.r)
                     startUTSeconds      :    fecha inicial del rango seleccionado. La fecha esta dada en
                                              segundos contados desde 01/01/1970.
                     endUTSeconds        :    fecha final del rango seleccionado. La fecha esta dada en
                                              segundos contados desde 01/01/1970.
                 Return:
                     Boolean    :    Retorna True si el archivo de datos contiene datos en el rango de
                                     fecha especificado, de lo contrario retorna False.
                 Excepciones:
                     Si el archivo no existe o no puede ser abierto
                     Si la cabecera no puede ser leida.
                 """
                 m_BasicHeader = BasicHeader()
                 try:
                     fp = open(filename,'rb')
                 except:
                     raise IOError, "The file %s can't be opened" %(filename)
                 sts = m_BasicHeader.read(fp)
                 fp.close()
                 if not(sts):
                     print "Skipping the file %s because it has not a valid header" %(filename)
                     return 0
                 if not ((startUTSeconds <= m_BasicHeader.utc) and (endUTSeconds > m_BasicHeader.utc)):
                     return 0
                 return 1
             def getlastFileFromPath(path, ext):
                 """
                 Depura el fileList dejando solo los que cumplan el formato de "PYYYYDDDSSS.ext"
                 al final de la depuracion devuelve el ultimo file de la lista que quedo.
                 Input:
                     fileList    :    lista conteniendo todos los files (sin path) que componen una determinada carpeta
                     ext         :    extension de los files contenidos en una carpeta
                 Return:
                     El ultimo file de una determinada carpeta, no se considera el path.
                 """
                 validFilelist = []
                 fileList = os.listdir(path)
                 # 0 1234 567 89A BCDE
                 # H YYYY DDD SSS .ext
                 for file in fileList:
                     try:
                         year = int(file[1:5])
                         doy  = int(file[5:8])
                         if (os.path.splitext(file)[-1].upper() != ext.upper()) : continue
                     except:
                         continue
                     validFilelist.append(file)
                 if validFilelist:
                     validFilelist = sorted( validFilelist, key=str.lower )
                     return validFilelist[-1]
                 return None
             class JRODataIO:
                 #speed of light
                 c = 3E8
                 m_BasicHeader = BasicHeader()
-                m_SystemHeader = SystemHeader()
+                systemHeaderObj = SystemHeader()
-                m_RadarControllerHeader = RadarControllerHeader()
+                radarControllerHeaderObj = RadarControllerHeader()
                 m_ProcessingHeader = ProcessingHeader()
                 dataOutObj = None
                 online = 0
                 fp = None
                 dataType = None
                 fileSizeByHeader = None
                 filenameList = []
                 filename = None
                 fileSize = None
                 firstHeaderSize = 0
                 basicHeaderSize = 24
                 nTotalBlocks = 0
                 ippSeconds = 0
                 blocksize = 0
                 set = 0
                 ext = None
                 path = None
                 maxTimeStep = 30
                 delay  = 3   #seconds
                 nTries  = 3  #quantity tries
                 nFiles = 3   #number of files for searching
                 flagNoMoreFiles = 0
                 flagIsNewFile = 1
                 flagResetProcessing = 0
                 flagIsNewBlock = 0
                 def __init__(self):
                     pass
             class JRODataReader(JRODataIO):
                 """
                 Esta clase es usada como la clase padre de las clases VoltageReader y SpectraReader.
                 Contiene todos lo metodos necesarios para leer datos desde archivos en formato
                 jicamarca o pdata (.r o .pdata). La lectura de los datos siempre se realiza por bloques. Los datos
                 leidos son array de 3 dimensiones:
                                   Para Voltajes  -  perfiles * alturas * canales
                                   Para Spectra   -  paresCanalesIguales    * alturas * perfiles  (Self Spectra)
                                                     paresCanalesDiferentes * alturas * perfiles  (Cross Spectra)
                                                     canales * alturas                            (DC Channels)
                 y son almacenados en su buffer respectivo.
                 Esta clase contiene instancias (objetos) de las clases BasicHeader, SystemHeader,
                 RadarControllerHeader y DataObj. Los tres primeros se usan para almacenar informacion de la
                 cabecera de datos (metadata), y el cuarto (DataObj) para obtener y almacenar los datos desde
                 el buffer de datos cada vez que se ejecute el metodo "getData".
                 """
                 nReadBlocks = 0
                 def __init__(self, dataOutObj=None):
                     raise ValueError, "This class can't be instanced"
                 def hasNotDataInBuffer(self):
                     raise ValueError, "Not implemented"
                 def getBlockDimension(self):
                     raise ValueError, "No implemented"
                 def readBlock(self):
                     self.nTotalBlocks += 1
                     self.nReadBlocks += 1
                     raise ValueError, "This method has not been implemented"
                 def getData( self ):
                     raise ValueError, "This method has not been implemented"
                 def createObjByDefault(self):
                     """
                     Los objetos creados por defecto por cada clase (Voltaje o Espectro) difieren en el tipo
                     raise ValueError, "This method has not been implemented
                     """
                     raise ValueError, "This method has not been implemented"
             #    def setup(self, dataOutObj=None, path=None, startDateTime=None, endDateTime=None, set=0, expLabel = "", ext = None, online = 0):
                 def __searchFilesOnLine(self, path, expLabel = "", ext = None, startDate=None, endDate=None, startTime=None, endTime=None):
                     """
                     Busca el ultimo archivo de la ultima carpeta (determinada o no por startDateTime) y
                     devuelve el archivo encontrado ademas de otros datos.
                     Input:
                         path           :    carpeta donde estan contenidos los files que contiene data
                         startDate      :    Fecha inicial. Rechaza todos los directorios donde
                                             file end time < startDate (obejto datetime.date)
                         endDate        :    Fecha final. Rechaza todos los directorios donde
                                             file start time > endDate (obejto datetime.date)
                         startTime      :    Tiempo inicial. Rechaza todos los archivos donde
                                             file end time < startTime (obejto datetime.time)
                         endTime        :    Tiempo final. Rechaza todos los archivos donde
                                             file start time > endTime (obejto datetime.time)
                         ext              :    extension de los files
                     Return:
                         directory   :    eL directorio donde esta el file encontrado
                         filename    :    el ultimo file de una determinada carpeta
                         year        :    el anho
                         doy         :    el numero de dia del anho
                         set         :    el set del archivo
                     """
                     dirList = []
                     pathList = []
                     directory = None
                     #Filtra solo los directorios
                     for thisPath in os.listdir(path):
                         if os.path.isdir(os.path.join(path, thisPath)):
                             dirList.append(thisPath)
                     if not(dirList):
                         return None, None, None, None, None
                     dirList = sorted( dirList, key=str.lower )
                     if startDate:
                         startDateTime = datetime.datetime.combine(startDate, startTime)
                         thisDateTime = startDateTime
                         if endDate == None: endDateTime = startDateTime
                         else: endDateTime = datetime.datetime.combine(endDate, endTime)
                         while(thisDateTime <= endDateTime):
                             year = thisDateTime.timetuple().tm_year
                             doy = thisDateTime.timetuple().tm_yday
                             match = fnmatch.filter(dirList, '?' + '%4.4d%3.3d' % (year,doy))
                             if len(match) == 0:
                                 thisDateTime += datetime.timedelta(1)
                                 continue
                             pathList.append(os.path.join(path,match[0], expLabel))
                             thisDateTime += datetime.timedelta(1)
                         if not(pathList):
                             print "\tNo files in range: %s - %s" %(startDateTime.ctime(), endDateTime.ctime())
                             return None, None, None, None, None
                         directory = pathList[0]
                     else:
                         directory = dirList[-1]
                         directory = os.path.join(path,directory)
                     filename = getlastFileFromPath(directory, ext)
                     if not(filename):
                         return None, None, None, None, None
                     if not(self.__verifyFile(os.path.join(directory, filename))):
                         return None, None, None, None, None
                     year = int( filename[1:5] )
                     doy  = int( filename[5:8] )
                     set  = int( filename[8:11] )
                     return directory, filename, year, doy, set
                 def __searchFilesOffLine(self, path, startDate, endDate, startTime=datetime.time(0,0,0), endTime=datetime.time(23,59,59),set=None, expLabel = "", ext = ".r"):
                     """
                     Realiza una busqueda de los archivos que coincidan con los parametros
                     especificados y se encuentren ubicados en el path indicado. Para realizar una busqueda
                     correcta la estructura de directorios debe ser la siguiente:
                     ...path/D[yyyy][ddd]/expLabel/D[yyyy][ddd][sss].ext
                     [yyyy]: anio
                     [ddd] : dia del anio
                     [sss] : set del archivo
                     Inputs:
                         path           :    Directorio de datos donde se realizara la busqueda. Todos los
                                             ficheros que concidan con el criterio de busqueda seran
                                             almacenados en una lista y luego retornados.
                         startDate      :    Fecha inicial. Rechaza todos los directorios donde
                                             file end time < startDate (obejto datetime.date)
                         endDate        :    Fecha final. Rechaza todos los directorios donde
                                             file start time > endDate (obejto datetime.date)
                         startTime      :    Tiempo inicial. Rechaza todos los archivos donde
                                             file end time < startTime (obejto datetime.time)
                         endTime        :    Tiempo final. Rechaza todos los archivos donde
                                             file start time > endTime (obejto datetime.time)
                         set            :    Set del primer archivo a leer. Por defecto None
                         expLabel       :    Nombre del subdirectorio de datos.  Por defecto ""
                         ext            :    Extension de los archivos a leer. Por defecto .r
                     Return:
                         (pathList, filenameList)
                         pathList        :    Lista de directorios donde se encontraron archivos dentro
                                              de los parametros especificados
                         filenameList    :    Lista de archivos (ruta completa) que coincidieron con los
                                              parametros especificados.
                     Variables afectadas:
                         self.filenameList:    Lista de archivos (ruta completa) que la clase utiliza
                                               como fuente para leer los bloque de datos, si se termina
                                               de leer todos los bloques de datos de un determinado
                                               archivo se pasa al siguiente archivo de la lista.
                     Excepciones:
                     """
                     dirList = []
                     for thisPath in os.listdir(path):
                         if os.path.isdir(os.path.join(path,thisPath)):
                             dirList.append(thisPath)
                     if not(dirList):
                         return None, None
                     pathList = []
                     dateList = []
                     thisDate = startDate
                     while(thisDate <= endDate):
                         year = thisDate.timetuple().tm_year
                         doy = thisDate.timetuple().tm_yday
                         match = fnmatch.filter(dirList, '?' + '%4.4d%3.3d' % (year,doy))
                         if len(match) == 0:
                             thisDate += datetime.timedelta(1)
                             continue
                         pathList.append(os.path.join(path,match[0],expLabel))
                         dateList.append(thisDate)
                         thisDate += datetime.timedelta(1)
                     filenameList = []
                     for index in range(len(pathList)):
                         thisPath = pathList[index]
                         fileList = glob.glob1(thisPath, "*%s" %ext)
                         fileList.sort()
                         #Busqueda de datos en el rango de horas indicados
                         thisDate = dateList[index]
                         startDT = datetime.datetime.combine(thisDate, startTime)
                         endDT = datetime.datetime.combine(thisDate, endTime)
                         startUtSeconds = time.mktime(startDT.timetuple())
                         endUtSeconds = time.mktime(endDT.timetuple())
                         for file in fileList:
                             filename = os.path.join(thisPath,file)
                             if isThisFileinRange(filename, startUtSeconds, endUtSeconds):
                                 filenameList.append(filename)
                     if not(filenameList):
                         return None, None
                     self.filenameList = filenameList
                     return pathList, filenameList
                 def setup(self, dataOutObj=None, path=None, startDate=None, endDate=None, startTime=datetime.time(0,0,0), endTime=datetime.time(23,59,59), set=0, expLabel = "", ext = None, online = 0):
                     """
                     setup configura los parametros de lectura de la clase DataReader.
                     Si el modo de lectura es offline, primero se realiza una busqueda de todos los archivos
                     que coincidan con los parametros especificados; esta lista de archivos son almacenados en
                     self.filenameList.
                     Input:
                         path                :    Directorios donde se ubican los datos a leer. Dentro de este
                                                  directorio deberia de estar subdirectorios de la forma:
                                                  path/D[yyyy][ddd]/expLabel/P[yyyy][ddd][sss][ext]
                         startDate      :    Fecha inicial. Rechaza todos los directorios donde
                                             file end time < startDate (obejto datetime.date)
                         endDate        :    Fecha final. Rechaza todos los directorios donde
                                             file start time > endDate (obejto datetime.date)
                         startTime      :    Tiempo inicial. Rechaza todos los archivos donde
                                             file end time < startTime (obejto datetime.time)
                         endTime        :    Tiempo final. Rechaza todos los archivos donde
                                             file start time > endTime (obejto datetime.time)
                         set                 :    Set del primer archivo a leer. Por defecto None
                         expLabel            :    Nombre del subdirectorio de datos.  Por defecto ""
                         ext                 :    Extension de los archivos a leer. Por defecto .r
                         online              :    Si es == a 0 entonces busca files que cumplan con las condiciones dadas
                     Return:
 :    Si no encuentra files que cumplan con las condiciones dadas
 :    Si encuentra files que cumplan con las condiciones dadas
                     Affected:
                         self.startYear
                         self.endYear
                         self.startDoy
                         self.endDoy
                         self.pathList
                         self.filenameList
                         self.online
                     """
                     if path == None:
                         raise ValueError, "The path is not valid"
                     if ext == None:
                         ext = self.ext
                     if dataOutObj == None:
                         dataOutObj = self.createObjByDefault()
                     self.dataOutObj = dataOutObj
                     if online:
                         print "Searching files in online mode..."
                         doypath, file, year, doy, set = self.__searchFilesOnLine(path=path, expLabel=expLabel, ext=exp)
                         if not(doypath):
                             for nTries in range( self.nTries ):
                                 print '\tWaiting %0.2f sec for valid file in %s: try %02d ...' % (self.delay, path, nTries+1)
                                 time.sleep( self.delay )
                                 doypath, file, year, doy, set = self.__searchFilesOnLine(path=path, expLabel=expLabel, ext=exp)
                                 if doypath:
                                     break
                         if not(doypath):
                             print "There 'isn't valied files in %s" % path
                             return None
                         self.year = year
                         self.doy  = doy
                         self.set  = set - 1
                         self.path = path
                     else: # offline
                         print "Searching files in offline mode..."
                         pathList, filenameList = self.__searchFilesOffLine(path, startDate, endDate, startTime, endTime, set, expLabel, ext)
                         if not(pathList):
                             print "No files in range: %s - %s" %(datetime.datetime.combine(startDate,startTime).ctime(), datetime.datetime.combine(endDate,endTime).ctime())
                             return None
                         self.fileIndex = -1
                         self.pathList = pathList
                         self.filenameList = filenameList
                     self.online = online
                     self.ext = ext
                     ext = ext.lower()
                     if not( self.setNextFile() ):
                         if (startDate != None) and (endDate != None):
                             print "No files in range: %s - %s" %(datetime.datetime.combine(startDate,startTime).ctime(), datetime.datetime.combine(endDate,endTime).ctime())
                         elif startDate != None:
                             print "No files in : %s" % datetime.datetime.combine(startDate,startTime).ctime()
                         else:
                             print "No files"
                         return None
                     #call fillHeaderValues() - to Data Object
                     self.updateDataHeader()
                     return self.dataOutObj
                 def __rdSystemHeader(self, fp=None):
                     if fp == None:
                         fp = self.fp
-                    self.m_SystemHeader.read(fp)
+                    self.systemHeaderObj.read(fp)
                 def __rdRadarControllerHeader(self, fp=None):
                     if fp == None:
                         fp = self.fp
-                    self.m_RadarControllerHeader.read(fp)
+                    self.radarControllerHeaderObj.read(fp)
                 def __rdProcessingHeader(self, fp=None):
                     if fp == None:
                         fp = self.fp
                     self.m_ProcessingHeader.read(fp)
                 def __rdBasicHeader(self, fp=None):
                     if fp == None:
                         fp = self.fp
                     self.m_BasicHeader.read(fp)
                 def __readFirstHeader(self):
                     """
                     Lectura del First Header, es decir el Basic Header y el Long Header
                     Affected:
                         self.m_BasicHeader
-                        self.m_SystemHeader
+                        self.systemHeaderObj
-                        self.m_RadarControllerHeader
+                        self.radarControllerHeaderObj
                         self.m_ProcessingHeader
                         self.firstHeaderSize
                         self.dataType
                         self.fileSizeByHeader
                         self.ippSeconds
                     Return:
                         None
                     """
                     self.__rdBasicHeader()
                     self.__rdSystemHeader()
                     self.__rdRadarControllerHeader()
                     self.__rdProcessingHeader()
                     self.firstHeaderSize = self.m_BasicHeader.size
                     datatype = int(numpy.log2((self.m_ProcessingHeader.processFlags & PROCFLAG.DATATYPE_MASK))-numpy.log2(PROCFLAG.DATATYPE_CHAR))
                     if datatype == 0:
                         datatype_str = numpy.dtype([('real','<i1'),('imag','<i1')])
                     elif datatype == 1:
                         datatype_str = numpy.dtype([('real','<i2'),('imag','<i2')])
                     elif datatype == 2:
                         datatype_str = numpy.dtype([('real','<i4'),('imag','<i4')])
                     elif datatype == 3:
                         datatype_str = numpy.dtype([('real','<i8'),('imag','<i8')])
                     elif datatype == 4:
                         datatype_str = numpy.dtype([('real','<f4'),('imag','<f4')])
                     elif datatype == 5:
                         datatype_str = numpy.dtype([('real','<f8'),('imag','<f8')])
                     else:
                         raise ValueError, 'Data type was not defined'
                     self.dataType = datatype_str
-                    self.ippSeconds = 2 * 1000 * self.m_RadarControllerHeader.ipp / self.c
+                    self.ippSeconds = 2 * 1000 * self.radarControllerHeaderObj.ipp / self.c
                     self.fileSizeByHeader = self.m_ProcessingHeader.dataBlocksPerFile * self.m_ProcessingHeader.blockSize + self.firstHeaderSize + self.basicHeaderSize*(self.m_ProcessingHeader.dataBlocksPerFile - 1)
-                    self.dataOutObj.channelList = numpy.arange(self.m_SystemHeader.numChannels)
+                    self.dataOutObj.channelList = numpy.arange(self.systemHeaderObj.numChannels)
-                    self.dataOutObj.channelIndexList = numpy.arange(self.m_SystemHeader.numChannels)
+                    self.dataOutObj.channelIndexList = numpy.arange(self.systemHeaderObj.numChannels)
                     self.getBlockDimension()
                 def __setNewBlock(self):
                     """
                     Lee el Basic Header y posiciona le file pointer en la posicion inicial del bloque a leer
                     Affected:
                         self.m_BasicHeader
                         self.flagNoContinuousBlock
                         self.ns
                     Return:
 :    Si el file no tiene un Basic Header que pueda ser leido
 :    Si se pudo leer el Basic Header
                     """
                     if self.fp == None:
                         return 0
                     if self.flagIsNewFile:
                         return 1
                     self.lastUTTime = self.m_BasicHeader.utc
                     currentSize = self.fileSize - self.fp.tell()
                     neededSize = self.m_ProcessingHeader.blockSize + self.basicHeaderSize
                     #If there is enough data setting new data block
                     if ( currentSize >= neededSize ):
                         self.__rdBasicHeader()
                         return 1
                     #si es OnLine y ademas aun no se han leido un bloque completo entonces se espera por uno valido
                     if self.online and (self.nReadBlocks < self.m_ProcessingHeader.dataBlocksPerFile):
                         fpointer = self.fp.tell()
                         for nTries in range( self.nTries ):
                             #self.fp.close()
                             print "\tWaiting %0.2f seconds for the next block, try %03d ..." % (self.delay, nTries+1)
                             time.sleep( self.delay )
                             #self.fp = open( self.filename, 'rb' )
                             #self.fp.seek( fpointer )
                             self.fileSize = os.path.getsize( self.filename )
                             currentSize = self.fileSize - fpointer
                             if ( currentSize >= neededSize ):
                                 self.__rdBasicHeader()
                                 return 1
                     #Setting new file
                     if not( self.setNextFile() ):
                         return 0
                     deltaTime = self.m_BasicHeader.utc - self.lastUTTime # check this
                     self.flagResetProcessing = 0
                     if deltaTime > self.maxTimeStep:
                         self.flagResetProcessing = 1
                     return 1
                 def readNextBlock(self):
                     """
                     Establece un nuevo bloque de datos a leer y los lee, si es que no existiese
                     mas bloques disponibles en el archivo actual salta al siguiente.
                     Affected:
                         self.lastUTTime
                     Return: None
                     """
                     if not(self.__setNewBlock()):
                         return 0
                     if not(self.readBlock()):
                         return 0
                     return 1
                 def __setNextFileOnline(self):
                     """
                     Busca el siguiente file que tenga suficiente data para ser leida, dentro de un folder especifico, si
                     no encuentra un file valido espera un tiempo determinado y luego busca en los posibles n files
                     siguientes.
                     Affected:
                         self.flagIsNewFile
                         self.filename
                         self.fileSize
                         self.fp
                         self.set
                         self.flagNoMoreFiles
                     Return:
 : si luego de una busqueda del siguiente file valido este no pudo ser encontrado
 : si el file fue abierto con exito y esta listo a ser leido
                     Excepciones:
                         Si un determinado file no puede ser abierto
                     """
                     nFiles = 0
                     fileOk_flag = False
                     firstTime_flag = True
                     self.set += 1
                     #busca el 1er file disponible
                     file, filename = checkForRealPath( self.path, self.year, self.doy, self.set, self.ext )
                     if file:
                         if self.__verifyFile(file, False):
                             fileOk_flag = True
                     #si no encuentra un file entonces espera y vuelve a buscar
                     if not(fileOk_flag):
                         for nFiles in range(self.nFiles+1): #busco en los siguientes self.nFiles+1 files posibles
                             if firstTime_flag: #si es la 1era vez entonces hace el for self.nTries veces
                                 tries = self.nTries
                             else:
                                 tries = 1 #si no es la 1era vez entonces solo lo hace una vez
                             for nTries in range( tries ):
                                 if firstTime_flag:
                                     print "\tWaiting %0.2f sec for new \"%s\" file, try %03d ..." % ( self.delay, filename, nTries+1 )
                                     time.sleep( self.delay )
                                 else:
                                     print "\tSearching next \"%s%04d%03d%03d%s\" file ..." % (self.optchar, self.year, self.doy, self.set, self.ext)
                                 file, filename = checkForRealPath( self.path, self.year, self.doy, self.set, self.ext )
                                 if file:
                                     if self.__verifyFile(file):
                                         fileOk_flag = True
                                         break
                             if fileOk_flag:
                                 break
                             firstTime_flag = False
                             print "\tSkipping the file \"%s\" due to this file doesn't exist yet" % filename
                             self.set += 1
                             if nFiles == (self.nFiles-1): #si no encuentro el file buscado cambio de carpeta y busco en la siguiente carpeta
                                 self.set = 0
                                 self.doy += 1
                     if fileOk_flag:
                         self.fileSize = os.path.getsize( file )
                         self.filename = file
                         self.flagIsNewFile = 1
                         if self.fp != None: self.fp.close()
                         self.fp = open(file)
                         self.flagNoMoreFiles = 0
                         print 'Setting the file: %s' % file
                     else:
                         self.fileSize = 0
                         self.filename = None
                         self.flagIsNewFile = 0
                         self.fp = None
                         self.flagNoMoreFiles = 1
                         print 'No more Files'
                     return fileOk_flag
                 def __setNextFileOffline(self):
                     """
                     Busca el siguiente file dentro de un folder que tenga suficiente data para ser leida
                     Affected:
                         self.flagIsNewFile
                         self.fileIndex
                         self.filename
                         self.fileSize
                         self.fp
                     Return:
 : si un determinado file no puede ser abierto
 : si el file fue abierto con exito
                     Excepciones:
                         Si un determinado file no puede ser abierto
                     """
                     idFile = self.fileIndex
                     while(True):
                         idFile += 1
                         if not(idFile < len(self.filenameList)):
                             self.flagNoMoreFiles = 1
                             print 'No more Files'
                             return 0
                         filename = self.filenameList[idFile]
                         if not(self.__verifyFile(filename)):
                             continue
                         fileSize = os.path.getsize(filename)
                         fp = open(filename,'rb')
                         break
                     self.flagIsNewFile = 1
                     self.fileIndex = idFile
                     self.filename = filename
                     self.fileSize = fileSize
                     self.fp = fp
                     print 'Setting the file: %s'%self.filename
                     return 1
                 def setNextFile(self):
                     """
                     Determina el siguiente file a leer y si hay uno disponible lee el First Header
                     Affected:
                         self.m_BasicHeader
-                        self.m_SystemHeader
+                        self.systemHeaderObj
-                        self.m_RadarControllerHeader
+                        self.radarControllerHeaderObj
                         self.m_ProcessingHeader
                         self.firstHeaderSize
                     Return:
 :    Si no hay files disponibles
 :    Si hay mas files disponibles
                     """
                     if self.fp != None:
                         self.fp.close()
                     if self.online:
                         newFile = self.__setNextFileOnline()
                     else:
                         newFile = self.__setNextFileOffline()
                     if not(newFile):
                         return 0
                     self.__readFirstHeader()
                     self.nReadBlocks = 0
                     return 1
                 def __verifyFile(self, filename, msgFlag=True):
                     """
                     Verifica que el filename tenga data valida, para ello leo el FirstHeader del file
                     Return:
 :    file no valido para ser leido
 :    file valido para ser leido
                     """
                     msg = None
                     try:
                         fp = open( filename,'rb' ) #lectura binaria
                         currentPosition = fp.tell()
                     except:
                         if msgFlag:
                             print "The file %s can't be opened" % (filename)
                         return False
                     neededSize = self.m_ProcessingHeader.blockSize + self.firstHeaderSize
                     if neededSize == 0:
                         m_BasicHeader = BasicHeader()
-                        m_SystemHeader = SystemHeader()
+                        systemHeaderObj = SystemHeader()
-                        m_RadarControllerHeader = RadarControllerHeader()
+                        radarControllerHeaderObj = RadarControllerHeader()
                         m_ProcessingHeader = ProcessingHeader()
                         try:
                             if not( m_BasicHeader.read(fp) ): raise ValueError
-                            if not( m_SystemHeader.read(fp) ): raise ValueError
+                            if not( systemHeaderObj.read(fp) ): raise ValueError
-                            if not( m_RadarControllerHeader.read(fp) ): raise ValueError
+                            if not( radarControllerHeaderObj.read(fp) ): raise ValueError
                             if not( m_ProcessingHeader.read(fp) ): raise ValueError
                             data_type = int(numpy.log2((m_ProcessingHeader.processFlags & PROCFLAG.DATATYPE_MASK))-numpy.log2(PROCFLAG.DATATYPE_CHAR))
                             neededSize = m_ProcessingHeader.blockSize + m_BasicHeader.size
                         except:
                             if msgFlag:
                                 print "\tThe file %s is empty or it hasn't enough data" % filename
                             fp.close()
                             return False
                     else:
                         msg = "\tSkipping the file %s due to it hasn't enough data" %filename
                     fp.close()
                     fileSize = os.path.getsize(filename)
                     currentSize = fileSize - currentPosition
                     if currentSize < neededSize:
                         if msgFlag and (msg != None):
                             print msg #print"\tSkipping the file %s due to it hasn't enough data" %filename
                         return False
                     return True
                 def updateDataHeader(self):
                     self.dataOutObj.m_BasicHeader = self.m_BasicHeader.copy()
                     self.dataOutObj.m_ProcessingHeader = self.m_ProcessingHeader.copy()
-                    self.dataOutObj.m_RadarControllerHeader = self.m_RadarControllerHeader.copy()
+                    self.dataOutObj.radarControllerHeaderObj = self.radarControllerHeaderObj.copy()
-                    self.dataOutObj.m_SystemHeader = self.m_SystemHeader.copy()
+                    self.dataOutObj.systemHeaderObj = self.systemHeaderObj.copy()
                     self.dataOutObj.dataType = self.dataType
                     self.dataOutObj.updateObjFromHeader()
             class JRODataWriter(JRODataIO):
                 """
                 Esta clase permite escribir datos a archivos procesados (.r o ,pdata). La escritura
                 de los datos siempre se realiza por bloques.
                 """
                 nWriteBlocks = 0
                 setFile = None
                 def __init__(self, dataOutObj=None):
                     raise ValueError, "Not implemented"
                 def hasAllDataInBuffer(self):
                     raise ValueError, "Not implemented"
                 def setBlockDimension(self):
                     raise ValueError, "Not implemented"
                 def writeBlock(self):
                     raise ValueError, "No implemented"
                 def putData(self):
                     raise ValueError, "No implemented"
                 def __writeFirstHeader(self):
                     """
                     Escribe el primer header del file es decir el Basic header y el Long header (SystemHeader, RadarControllerHeader, ProcessingHeader)
                     Affected:
                         __dataType
                     Return:
                         None
                     """
                     self.__writeBasicHeader()
                     self.__wrSystemHeader()
                     self.__wrRadarControllerHeader()
                     self.__wrProcessingHeader()
                     self.dataType = self.dataOutObj.dataType
                 def __writeBasicHeader(self, fp=None):
                     """
                     Escribe solo el Basic header en el file creado
                     Return:
                         None
                     """
                     if fp == None:
                         fp = self.fp
                     self.dataOutObj.m_BasicHeader.write(fp)
                 def __wrSystemHeader(self, fp=None):
                     """
                     Escribe solo el System header en el file creado
                     Return:
                         None
                     """
                     if fp == None:
                         fp = self.fp
-                    self.dataOutObj.m_SystemHeader.write(fp)
+                    self.dataOutObj.systemHeaderObj.write(fp)
                 def __wrRadarControllerHeader(self, fp=None):
                     """
                     Escribe solo el RadarController header en el file creado
                     Return:
                         None
                     """
                     if fp == None:
                         fp = self.fp
-                    self.dataOutObj.m_RadarControllerHeader.write(fp)
+                    self.dataOutObj.radarControllerHeaderObj.write(fp)
                 def __wrProcessingHeader(self, fp=None):
                     """
                     Escribe solo el Processing header en el file creado
                     Return:
                         None
                     """
                     if fp == None:
                         fp = self.fp
                     self.dataOutObj.m_ProcessingHeader.write(fp)
                 def setNextFile(self):
                     """
                     Determina el siguiente file que sera escrito
                     Affected:
                         self.filename
                         self.subfolder
                         self.fp
                         self.setFile
                         self.flagIsNewFile
                     Return:
 :    Si el archivo no puede ser escrito
 :    Si el archivo esta listo para ser escrito
                     """
                     ext = self.ext
                     path = self.path
                     if self.fp != None:
                         self.fp.close()
                     timeTuple = time.localtime( self.dataOutObj.m_BasicHeader.utc )
                     subfolder = 'D%4.4d%3.3d' % (timeTuple.tm_year,timeTuple.tm_yday)
                     doypath = os.path.join( path, subfolder )
                     if not( os.path.exists(doypath) ):
                         os.mkdir(doypath)
                         self.setFile = -1 #inicializo mi contador de seteo
                     else:
                         filesList = os.listdir( doypath )
                         if len( filesList ) > 0:
                             filesList = sorted( filesList, key=str.lower )
                             filen = filesList[-1]
                             # el filename debera tener el siguiente formato
                             # 0 1234 567 89A BCDE (hex)
                             # x YYYY DDD SSS .ext
                             if isNumber( filen[8:11] ):
                                 self.setFile = int( filen[8:11] ) #inicializo mi contador de seteo al seteo del ultimo file
                             else:
                                 self.setFile = -1
                         else:
                             self.setFile = -1 #inicializo mi contador de seteo
                     setFile = self.setFile
                     setFile += 1
                     file = '%s%4.4d%3.3d%3.3d%s' % (self.optchar,
                                                     timeTuple.tm_year,
                                                     timeTuple.tm_yday,
                                                     setFile,
                                                     ext )
                     filename = os.path.join( path, subfolder, file )
                     fp = open( filename,'wb' )
                     self.nWriteBlocks = 0
                     #guardando atributos
                     self.filename = filename
                     self.subfolder = subfolder
                     self.fp = fp
                     self.setFile = setFile
                     self.flagIsNewFile = 1
                     print 'Writing the file: %s'%self.filename
                     self.__writeFirstHeader()
                     return 1
                 def __setNewBlock(self):
                     """
                     Si es un nuevo file escribe el First Header caso contrario escribe solo el Basic Header
                     Return:
 :    si no pudo escribir nada
 :    Si escribio el Basic el First Header
                     """
                     if self.fp == None:
                         self.setNextFile()
                     if self.flagIsNewFile:
                         return 1
                     if self.nWriteBlocks < self.m_ProcessingHeader.dataBlocksPerFile:
                         self.__writeBasicHeader()
                         return 1
                     if not( self.setNextFile() ):
                         return 0
                     return 1
                 def writeNextBlock(self):
                     """
                     Selecciona el bloque siguiente de datos y los escribe en un file
                     Return:
 :    Si no hizo pudo escribir el bloque de datos
 :    Si no pudo escribir el bloque de datos
                     """
                     if not( self.__setNewBlock() ):
                         return 0
                     self.writeBlock()
                     return 1
                 def getDataHeader(self):
                     """
                     Obtiene una copia del First Header
                     Affected:
                         self.m_BasicHeader
-                        self.m_SystemHeader
+                        self.systemHeaderObj
-                        self.m_RadarControllerHeader
+                        self.radarControllerHeaderObj
                         self.m_ProcessingHeader
                         self.dataType
                     Return:
                         None
                     """
                     self.dataOutObj.updateHeaderFromObj()
                     self.m_BasicHeader = self.dataOutObj.m_BasicHeader.copy()
-                    self.m_SystemHeader = self.dataOutObj.m_SystemHeader.copy()
+                    self.systemHeaderObj = self.dataOutObj.systemHeaderObj.copy()
-                    self.m_RadarControllerHeader = self.dataOutObj.m_RadarControllerHeader.copy()
+                    self.radarControllerHeaderObj = self.dataOutObj.radarControllerHeaderObj.copy()
                     self.m_ProcessingHeader = self.dataOutObj.m_ProcessingHeader.copy()
                     self.dataType = self.dataOutObj.dataType
                 def setup(self, path, set=0, ext=None):
                     """
                     Setea el tipo de formato en la cual sera guardada la data y escribe el First Header
                     Inputs:
                         path      :    el path destino en el cual se escribiran los files a crear
                         format    :    formato en el cual sera salvado un file
                         set       :    el setebo del file
                     Return:
 :    Si no realizo un buen seteo
 :    Si realizo un buen seteo
                     """
                     if ext == None:
                         ext = self.ext
                     ext = ext.lower()
                     self.path = path
                     self.setFile = set - 1
                     self.ext = ext
                     #self.format = format
                     self.getDataHeader()
                     self.setBlockDimension()
                     if not( self.setNextFile() ):
                         print "There isn't a next file"
                         return 0
                     return 1

schainpy/IO/SpectraIO.py +11 -11

             '''
             File: SpectraIO.py
             Created on 20/02/2012
             @author $Author$
             @version $Id$
             '''
             import os, sys
             import numpy
             import glob
             import fnmatch
             import time, datetime
             path = os.path.split(os.getcwd())[0]
             sys.path.append(path)
             from Model.JROHeader import *
             from Model.Spectra import Spectra
             from JRODataIO import JRODataReader
             from JRODataIO import JRODataWriter
             from JRODataIO import isNumber
             class SpectraReader(JRODataReader):
                 """
                 Esta clase permite leer datos de espectros desde archivos procesados (.pdata). La lectura
                 de los datos siempre se realiza por bloques. Los datos leidos (array de 3 dimensiones)
                 son almacenados en tres buffer's para el Self Spectra, el Cross Spectra y el DC Channel.
                                     paresCanalesIguales    * alturas * perfiles  (Self Spectra)
                                     paresCanalesDiferentes * alturas * perfiles  (Cross Spectra)
                                     canales * alturas                            (DC Channels)
                 Esta clase contiene instancias (objetos) de las clases BasicHeader, SystemHeader,
                 RadarControllerHeader y Spectra. Los tres primeros se usan para almacenar informacion de la
                 cabecera de datos (metadata), y el cuarto (Spectra) para obtener y almacenar un bloque de
                 datos desde el "buffer" cada vez que se ejecute el metodo "getData".
                 Example:
                     dpath = "/home/myuser/data"
                     startTime = datetime.datetime(2010,1,20,0,0,0,0,0,0)
                     endTime = datetime.datetime(2010,1,21,23,59,59,0,0,0)
                     readerObj = SpectraReader()
                     readerObj.setup(dpath, startTime, endTime)
                     while(True):
                         readerObj.getData()
                         print readerObj.dataOutObj.data
                         if readerObj.flagNoMoreFiles:
                             break
                 """
                 dataOutObj = None
                 data_spc = None
                 data_cspc = None
                 data_dc = None
                 pts2read_SelfSpectra = 0
                 pts2read_CrossSpectra = 0
                 pts2read_DCchannels = 0
                 nChannels = 0
                 nPairs = 0
                 flag_cspc = False
                 def __init__(self, dataOutObj=None):
                     """
                     Inicializador de la clase SpectraReader para la lectura de datos de espectros.
                     Inputs:
                         dataOutObj    :    Objeto de la clase Spectra. Este objeto sera utilizado para
                                           almacenar un perfil de datos cada vez que se haga un requerimiento
                                           (getData). El perfil sera obtenido a partir del buffer de datos,
                                           si el buffer esta vacio se hara un nuevo proceso de lectura de un
                                           bloque de datos.
                                           Si este parametro no es pasado se creara uno internamente.
                     Affected:
                         self.dataOutObj
                     Return      : None
                     """
                     self.data_spc = None
                     self.data_cspc = None
                     self.data_dc = None
                     self.pts2read_SelfSpectra = 0
                     self.pts2read_CrossSpectra = 0
                     self.pts2read_DCs = 0
                     self.nChannels = 0
                     self.nPairs = 0
                     self.ext = ".pdata"
                     self.optchar = "P"
                     ######################
                     self.m_BasicHeader = BasicHeader()
-                    self.m_SystemHeader = SystemHeader()
+                    self.systemHeaderObj = SystemHeader()
-                    self.m_RadarControllerHeader = RadarControllerHeader()
+                    self.radarControllerHeaderObj = RadarControllerHeader()
                     self.m_ProcessingHeader = ProcessingHeader()
                     self.online = 0
                     self.fp = None
                     self.fileSizeByHeader = None
                     self.filenameList = []
                     self.filename = None
                     self.fileSize = None
                     self.firstHeaderSize = 0
                     self.basicHeaderSize = 24
                     self.dataType = None
                     self.maxTimeStep = 30
                     self.flagNoMoreFiles = 0
                     self.set = 0
                     self.path = None
-                    self.delay  = 3  #seconds
+                    self.delay  = 60  #seconds
                     self.nTries = 3  #quantity tries
                     self.nFiles = 3  #number of files for searching
                     self.nReadBlocks = 0
                     self.flagIsNewFile = 1
                     self.ippSeconds = 0
                     self.flagResetProcessing = 0
                     self.flagIsNewBlock = 0
                     self.nTotalBlocks = 0
                     self.blocksize = 0
                 def createObjByDefault(self):
                     dataObj = Spectra()
                     return dataObj
                 def __hasNotDataInBuffer(self):
                     return 1
                 def getBlockDimension(self):
                     """
                     Obtiene la cantidad de puntos a leer por cada bloque de datos
                     Affected:
                         self.nChannels
                         self.nPairs
                         self.pts2read_SelfSpectra
                         self.pts2read_CrossSpectra
                         self.pts2read_DCchannels
                         self.blocksize
                         self.dataOutObj.nChannels
                         self.dataOutObj.nPairs
                     Return:
                         None
                     """
                     self.nChannels = 0
                     self.nPairs = 0
                     self.pairList = []
                     for i in range( 0, self.m_ProcessingHeader.totalSpectra*2, 2 ):
                         if self.m_ProcessingHeader.spectraComb[i] == self.m_ProcessingHeader.spectraComb[i+1]:
                             self.nChannels = self.nChannels + 1   #par de canales iguales
                         else:
                             self.nPairs = self.nPairs + 1 #par de canales diferentes
                             self.pairList.append( (self.m_ProcessingHeader.spectraComb[i], self.m_ProcessingHeader.spectraComb[i+1]) )
                     pts2read = self.m_ProcessingHeader.numHeights * self.m_ProcessingHeader.profilesPerBlock
                     self.pts2read_SelfSpectra = int(self.nChannels * pts2read)
                     self.blocksize = self.pts2read_SelfSpectra
                     if self.m_ProcessingHeader.flag_cspc:
                         self.pts2read_CrossSpectra = int(self.nPairs * pts2read)
                         self.blocksize += self.pts2read_CrossSpectra
                     if self.m_ProcessingHeader.flag_dc:
-                        self.pts2read_DCchannels = int(self.m_SystemHeader.numChannels * self.m_ProcessingHeader.numHeights)
+                        self.pts2read_DCchannels = int(self.systemHeaderObj.numChannels * self.m_ProcessingHeader.numHeights)
                         self.blocksize += self.pts2read_DCchannels
             #        self.blocksize = self.pts2read_SelfSpectra + self.pts2read_CrossSpectra + self.pts2read_DCchannels
                 def readBlock(self):
                     """
                     Lee el bloque de datos desde la posicion actual del puntero del archivo
                     (self.fp) y actualiza todos los parametros relacionados al bloque de datos
                     (metadata + data). La data leida es almacenada en el buffer y el contador del buffer
                     es seteado a 0
                     Return: None
                     Variables afectadas:
                         self.datablockIndex
                         self.flagIsNewFile
                         self.flagIsNewBlock
                         self.nTotalBlocks
                         self.data_spc
                         self.data_cspc
                         self.data_dc
                     Exceptions:
                         Si un bloque leido no es un bloque valido
                     """
                     blockOk_flag = False
                     fpointer = self.fp.tell()
                     spc = numpy.fromfile( self.fp, self.dataType[0], self.pts2read_SelfSpectra )
                     spc = spc.reshape( (self.nChannels, self.m_ProcessingHeader.numHeights, self.m_ProcessingHeader.profilesPerBlock) ) #transforma a un arreglo 3D
                     if self.flag_cspc:
                         cspc = numpy.fromfile( self.fp, self.dataType, self.pts2read_CrossSpectra )
                         cspc = cspc.reshape( (self.nPairs, self.m_ProcessingHeader.numHeights, self.m_ProcessingHeader.profilesPerBlock) ) #transforma a un arreglo 3D
                     if self.m_ProcessingHeader.flag_dc:
-                        dc = numpy.fromfile( self.fp, self.dataType, self.pts2read_DCchannels ) #int(self.m_ProcessingHeader.numHeights*self.m_SystemHeader.numChannels) )
+                        dc = numpy.fromfile( self.fp, self.dataType, self.pts2read_DCchannels ) #int(self.m_ProcessingHeader.numHeights*self.systemHeaderObj.numChannels) )
-                        dc = dc.reshape( (self.m_SystemHeader.numChannels, self.m_ProcessingHeader.numHeights) ) #transforma a un arreglo 2D
+                        dc = dc.reshape( (self.systemHeaderObj.numChannels, self.m_ProcessingHeader.numHeights) ) #transforma a un arreglo 2D
                     if not(self.m_ProcessingHeader.shif_fft):
                         spc = numpy.roll( spc, self.m_ProcessingHeader.profilesPerBlock/2, axis=2 ) #desplaza a la derecha en el eje 2 determinadas posiciones
                         if self.flag_cspc:
                             cspc = numpy.roll( cspc, self.m_ProcessingHeader.profilesPerBlock/2, axis=2 ) #desplaza a la derecha en el eje 2 determinadas posiciones
                     spc = numpy.transpose( spc, (0,2,1) )
                     self.data_spc = spc
                     if self.flag_cspc:
                         cspc = numpy.transpose( cspc, (0,2,1) )
                         self.data_cspc = cspc['real'] + cspc['imag']*1j
                     else:
                         self.data_cspc = None
                     if self.m_ProcessingHeader.flag_dc:
                         self.data_dc = dc['real'] + dc['imag']*1j
                     else:
                         self.data_dc = None
                     self.datablockIndex = 0
                     self.flagIsNewFile = 0
                     self.flagIsNewBlock = 1
                     self.nTotalBlocks += 1
                     self.nReadBlocks += 1
                     return 1
                 def getData(self):
                     """
                     Copia el buffer de lectura a la clase "Spectra",
                     con todos los parametros asociados a este (metadata). cuando no hay datos en el buffer de
                     lectura es necesario hacer una nueva lectura de los bloques de datos usando "readNextBlock"
                     Return:
 :    Si no hay mas archivos disponibles
 :    Si hizo una buena copia del buffer
                     Affected:
                         self.dataOutObj
                         self.datablockIndex
                         self.flagResetProcessing
                         self.flagIsNewBlock
                     """
                     if self.flagNoMoreFiles: return 0
                     self.flagResetProcessing = 0
                     self.flagIsNewBlock = 0
                     if self.__hasNotDataInBuffer():
                         if not( self.readNextBlock() ):
                             return 0
                         self.updateDataHeader()
                     if self.flagNoMoreFiles == 1:
                         print 'Process finished'
                         return 0
                     #data es un numpy array de 3 dmensiones (perfiles, alturas y canales)
                     if self.data_dc == None:
                         self.dataOutObj.flagNoData = True
                         return 0
                     self.dataOutObj.flagNoData = False
                     self.dataOutObj.flagResetProcessing = self.flagResetProcessing
                     self.dataOutObj.data_spc = self.data_spc
                     self.dataOutObj.data_cspc = self.data_cspc
                     self.dataOutObj.data_dc = self.data_dc
                     return 1
             class SpectraWriter(JRODataWriter):
                 """
                 Esta clase permite escribir datos de espectros a archivos procesados (.pdata). La escritura
                 de los datos siempre se realiza por bloques.
                 """
                 dataOutObj = None
                 shape_spc_Buffer = None
                 shape_cspc_Buffer = None
                 shape_dc_Buffer = None
                 data_spc = None
                 data_cspc = None
                 data_dc = None
                 def __init__(self, dataOutObj=None):
                     """
                     Inicializador de la clase SpectraWriter para la escritura de datos de espectros.
                     Affected:
                         self.dataOutObj
                         self.m_BasicHeader
-                        self.m_SystemHeader
+                        self.systemHeaderObj
-                        self.m_RadarControllerHeader
+                        self.radarControllerHeaderObj
                         self.m_ProcessingHeader
                     Return: None
                     """
                     if dataOutObj == None:
                         dataOutObj = Spectra()
                     if not( isinstance(dataOutObj, Spectra) ):
                         raise ValueError, "in SpectraReader, dataOutObj must be an Spectra class object"
                     self.dataOutObj = dataOutObj
                     self.ext = ".pdata"
                     self.optchar = "P"
                     self.shape_spc_Buffer = None
                     self.shape_cspc_Buffer = None
                     self.shape_dc_Buffer = None
                     self.data_spc = None
                     self.data_cspc = None
                     self.data_dc = None
                     ####################################
                     self.fp = None
                     self.nWriteBlocks = 0
                     self.flagIsNewFile = 1
                     self.nTotalBlocks = 0
                     self.flagIsNewBlock = 0
                     self.flagNoMoreFiles = 0
                     self.setFile = None
                     self.dataType = None
                     self.path = None
                     self.noMoreFiles = 0
                     self.filename = None
                     self.m_BasicHeader= BasicHeader()
-                    self.m_SystemHeader = SystemHeader()
+                    self.systemHeaderObj = SystemHeader()
-                    self.m_RadarControllerHeader = RadarControllerHeader()
+                    self.radarControllerHeaderObj = RadarControllerHeader()
                     self.m_ProcessingHeader = ProcessingHeader()
                 def hasAllDataInBuffer(self):
                     return 1
                 def setBlockDimension(self):
                     """
                     Obtiene las formas dimensionales del los subbloques de datos que componen un bloque
                     Affected:
                         self.shape_spc_Buffer
                         self.shape_cspc_Buffer
                         self.shape_dc_Buffer
                     Return: None
                     """
                     self.shape_spc_Buffer = (self.dataOutObj.nChannels,
                                              self.m_ProcessingHeader.numHeights,
                                              self.m_ProcessingHeader.profilesPerBlock)
                     self.shape_cspc_Buffer = (self.dataOutObj.nPairs,
                                               self.m_ProcessingHeader.numHeights,
                                               self.m_ProcessingHeader.profilesPerBlock)
-                    self.shape_dc_Buffer = (self.m_SystemHeader.numChannels,
+                    self.shape_dc_Buffer = (self.systemHeaderObj.numChannels,
                                             self.m_ProcessingHeader.numHeights)
                 def writeBlock(self):
                     """
                     Escribe el buffer en el file designado
                     Affected:
                         self.data_spc
                         self.data_cspc
                         self.data_dc
                         self.flagIsNewFile
                         self.flagIsNewBlock
                         self.nTotalBlocks
                         self.nWriteBlocks
                     Return: None
                     """
                     spc = numpy.transpose( self.data_spc, (0,2,1) )
                     if not( self.m_ProcessingHeader.shif_fft ):
                         spc = numpy.roll( spc, self.m_ProcessingHeader.profilesPerBlock/2, axis=2 ) #desplaza a la derecha en el eje 2 determinadas posiciones
                     data = spc.reshape((-1))
                     data.tofile(self.fp)
                     if self.data_cspc != None:
                         data = numpy.zeros( self.shape_cspc_Buffer, self.dataType )
                         cspc = numpy.transpose( self.data_cspc, (0,2,1) )
                         if not( self.m_ProcessingHeader.shif_fft ):
                             cspc = numpy.roll( cspc, self.m_ProcessingHeader.profilesPerBlock/2, axis=2 ) #desplaza a la derecha en el eje 2 determinadas posiciones
                         data['real'] = cspc.real
                         data['imag'] = cspc.imag
                         data = data.reshape((-1))
                         data.tofile(self.fp)
                     data = numpy.zeros( self.shape_dc_Buffer, self.dataType )
                     dc = self.data_dc
                     data['real'] = dc.real
                     data['imag'] = dc.imag
                     data = data.reshape((-1))
                     data.tofile(self.fp)
                     self.data_spc.fill(0)
                     self.data_dc.fill(0)
                     if self.data_cspc != None:
                         self.data_cspc.fill(0)
                     self.flagIsNewFile = 0
                     self.flagIsNewBlock = 1
                     self.nTotalBlocks += 1
                     self.nWriteBlocks += 1
                 def putData(self):
                     """
                     Setea un bloque de datos y luego los escribe en un file
                     Affected:
                         self.data_spc
                         self.data_cspc
                         self.data_dc
                     Return:
 :    Si no hay data o no hay mas files que puedan escribirse
 :    Si se escribio la data de un bloque en un file
                     """
                     self.flagIsNewBlock = 0
                     if self.dataOutObj.flagNoData:
                         return 0
                     if self.dataOutObj.flagResetProcessing:
                         self.data_spc.fill(0)
                         self.data_cspc.fill(0)
                         self.data_dc.fill(0)
                         self.setNextFile()
                     self.data_spc = self.dataOutObj.data_spc
                     self.data_cspc = self.dataOutObj.data_cspc
                     self.data_dc = self.dataOutObj.data_dc
                     # #self.m_ProcessingHeader.dataBlocksPerFile)
                     if self.hasAllDataInBuffer():
                         self.getDataHeader()
                         self.writeNextBlock()
                     if self.flagNoMoreFiles:
                         #print 'Process finished'
                         return 0
                     return 1

schainpy/IO/VoltageIO.py +7 -7

             '''
             Created on 23/01/2012
             @author $Author$
             @version $Id$
             '''
             import os, sys
             import numpy
             import glob
             import fnmatch
             import time, datetime
             path = os.path.split(os.getcwd())[0]
             sys.path.append(path)
             from Model.JROHeader import *
             from Model.Voltage import Voltage
             from IO.JRODataIO import JRODataReader
             from IO.JRODataIO import JRODataWriter
             class VoltageReader(JRODataReader):
                 """
                 Esta clase permite leer datos de voltage desde archivos en formato rawdata (.r). La lectura
                 de los datos siempre se realiza por bloques. Los datos leidos (array de 3 dimensiones:
                 perfiles*alturas*canales) son almacenados en la variable "buffer".
                                          perfiles * alturas * canales
                 Esta clase contiene instancias (objetos) de las clases BasicHeader, SystemHeader,
                 RadarControllerHeader y Voltage. Los tres primeros se usan para almacenar informacion de la
                 cabecera de datos (metadata), y el cuarto (Voltage) para obtener y almacenar un perfil de
                 datos desde el "buffer" cada vez que se ejecute el metodo "getData".
                 Example:
                     dpath = "/home/myuser/data"
                     startTime = datetime.datetime(2010,1,20,0,0,0,0,0,0)
                     endTime = datetime.datetime(2010,1,21,23,59,59,0,0,0)
                     readerObj = VoltageReader()
                     readerObj.setup(dpath, startTime, endTime)
                     while(True):
                         #to get one profile
                         profile =  readerObj.getData()
                         #print the profile
                         print profile
                         #If you want to see all datablock
                         print readerObj.datablock
                         if readerObj.flagNoMoreFiles:
                             break
                 """
                 dataOutObj = None
                 datablock = None
                 ext = ".r"
                 optchar = "D"
                 def __init__(self, dataOutObj=None):
                     """
                     Inicializador de la clase VoltageReader para la lectura de datos de voltage.
                     Input:
                         dataOutObj    :    Objeto de la clase Voltage. Este objeto sera utilizado para
                                           almacenar un perfil de datos cada vez que se haga un requerimiento
                                           (getData). El perfil sera obtenido a partir del buffer de datos,
                                           si el buffer esta vacio se hara un nuevo proceso de lectura de un
                                           bloque de datos.
                                           Si este parametro no es pasado se creara uno internamente.
                     Variables afectadas:
                         self.dataOutObj
                     Return:
                         None
                     """
                     self.datablock = None
                     self.utc = 0
                     self.ext = ".r"
                     self.optchar = "D"
                     self.m_BasicHeader = BasicHeader()
-                    self.m_SystemHeader = SystemHeader()
+                    self.systemHeaderObj = SystemHeader()
-                    self.m_RadarControllerHeader = RadarControllerHeader()
+                    self.radarControllerHeaderObj = RadarControllerHeader()
                     self.m_ProcessingHeader = ProcessingHeader()
                     self.online = 0
                     self.fp = None
                     self.idFile = None
                     self.startDateTime = None
                     self.endDateTime = None
                     self.dataType = None
                     self.fileSizeByHeader = None
                     self.filenameList = []
                     self.filename = None
                     self.fileSize = None
                     self.firstHeaderSize = 0
                     self.basicHeaderSize = 24
                     self.pathList = []
                     self.filenameList = []
                     self.lastUTTime = 0
                     self.maxTimeStep = 30
                     self.flagNoMoreFiles = 0
                     self.set = 0
                     self.path = None
                     self.profileIndex = 9999
-                    self.delay  = 3   #seconds
+                    self.delay  = 60   #seconds
                     self.nTries  = 3  #quantity tries
                     self.nFiles = 3   #number of files for searching
                     self.nReadBlocks = 0
                     self.flagIsNewFile = 1
                     self.ippSeconds = 0
                     self.flagResetProcessing = 0
                     self.flagIsNewBlock = 0
                     self.nTotalBlocks = 0
                     self.blocksize = 0
                 def createObjByDefault(self):
                     dataObj = Voltage()
                     return dataObj
                 def __hasNotDataInBuffer(self):
                     if self.profileIndex >= self.m_ProcessingHeader.profilesPerBlock:
                         return 1
                     return 0
                 def getBlockDimension(self):
                     """
                     Obtiene la cantidad de puntos a leer por cada bloque de datos
                     Affected:
                         self.blocksize
                     Return:
                         None
                     """
-                    pts2read = self.m_ProcessingHeader.profilesPerBlock * self.m_ProcessingHeader.numHeights * self.m_SystemHeader.numChannels
+                    pts2read = self.m_ProcessingHeader.profilesPerBlock * self.m_ProcessingHeader.numHeights * self.systemHeaderObj.numChannels
                     self.blocksize = pts2read
                 def readBlock(self):
                     """
                     readBlock lee el bloque de datos desde la posicion actual del puntero del archivo
                     (self.fp) y actualiza todos los parametros relacionados al bloque de datos
                     (metadata + data). La data leida es almacenada en el buffer y el contador del buffer
                     es seteado a 0
                     Inputs:
                         None
                     Return:
                         None
                     Affected:
                         self.profileIndex
                         self.datablock
                         self.flagIsNewFile
                         self.flagIsNewBlock
                         self.nTotalBlocks
                     Exceptions:
                         Si un bloque leido no es un bloque valido
                     """
                     junk = numpy.fromfile( self.fp, self.dataType, self.blocksize )
                     try:
-                        junk = junk.reshape( (self.m_ProcessingHeader.profilesPerBlock, self.m_ProcessingHeader.numHeights, self.m_SystemHeader.numChannels) )
+                        junk = junk.reshape( (self.m_ProcessingHeader.profilesPerBlock, self.m_ProcessingHeader.numHeights, self.systemHeaderObj.numChannels) )
                     except:
                         print "The read block (%3d) has not enough data" %self.nReadBlocks
                         return 0
                     junk = numpy.transpose(junk, (2,0,1))
                     self.datablock = junk['real'] + junk['imag']*1j
                     self.profileIndex = 0
                     self.flagIsNewFile = 0
                     self.flagIsNewBlock = 1
                     self.nTotalBlocks += 1
                     self.nReadBlocks += 1
                     return 1
                 def getData(self):
                     """
                     getData obtiene una unidad de datos del buffer de lectura y la copia a la clase "Voltage"
                     con todos los parametros asociados a este (metadata). cuando no hay datos en el buffer de
                     lectura es necesario hacer una nueva lectura de los bloques de datos usando "readNextBlock"
                     Ademas incrementa el contador del buffer en 1.
                     Return:
                         data    :    retorna un perfil de voltages (alturas * canales) copiados desde el
                                      buffer. Si no hay mas archivos a leer retorna None.
                     Variables afectadas:
                         self.dataOutObj
                         self.profileIndex
                     Affected:
                         self.dataOutObj
                         self.profileIndex
                         self.flagResetProcessing
                         self.flagIsNewBlock
                     """
                     if self.flagNoMoreFiles: return 0
                     self.flagResetProcessing = 0
                     self.flagIsNewBlock = 0
                     if self.__hasNotDataInBuffer():
                         if not( self.readNextBlock() ):
                             return 0
                         self.updateDataHeader()
                     if self.flagNoMoreFiles == 1:
                         print 'Process finished'
                         return 0
                     #data es un numpy array de 3 dmensiones (perfiles, alturas y canales)
                     if self.datablock == None:
                         self.dataOutObj.flagNoData = True
                         return 0
                     time = self.m_BasicHeader.utc + self.profileIndex * self.ippSeconds
                     self.dataOutObj.m_BasicHeader.utc = time
                     self.dataOutObj.flagNoData = False
                     self.dataOutObj.flagResetProcessing = self.flagResetProcessing
                     self.dataOutObj.data = self.datablock[:,self.profileIndex,:]
                     self.profileIndex += 1
                     #call setData - to Data Object
                     return 1 #self.dataOutObj.data
             class VoltageWriter(JRODataWriter):
                 """
                 Esta clase permite escribir datos de voltajes a archivos procesados (.r). La escritura
                 de los datos siempre se realiza por bloques.
                 """
                 __configHeaderFile = 'wrSetHeadet.txt'
                 dataOutObj = None
                 ext = ".r"
                 optchar = "D"
                 datablock = None
                 profileIndex = 0
                 shapeBuffer = None
                 def __init__(self, dataOutObj=None):
                     """
                     Inicializador de la clase VoltageWriter para la escritura de datos de espectros.
                     Affected:
                         self.dataOutObj
                     Return: None
                     """
                     if dataOutObj == None:
                         dataOutObj = Voltage()
                     if not( isinstance(dataOutObj, Voltage) ):
                         raise ValueError, "in VoltageReader, dataOutObj must be an Spectra class object"
                     self.dataOutObj = dataOutObj
                 def hasAllDataInBuffer(self):
                     if self.profileIndex >= self.m_ProcessingHeader.profilesPerBlock:
                         return 1
                     return 0
                 def setBlockDimension(self):
                     """
                     Obtiene las formas dimensionales del los subbloques de datos que componen un bloque
                     Affected:
                         self.shape_spc_Buffer
                         self.shape_cspc_Buffer
                         self.shape_dc_Buffer
                     Return: None
                     """
                     self.shapeBuffer = (self.m_ProcessingHeader.profilesPerBlock,
                                         self.m_ProcessingHeader.numHeights,
-                                        self.m_SystemHeader.numChannels )
+                                        self.systemHeaderObj.numChannels )
-                    self.datablock = numpy.zeros((self.m_SystemHeader.numChannels,
+                    self.datablock = numpy.zeros((self.systemHeaderObj.numChannels,
                                                  self.m_ProcessingHeader.profilesPerBlock,
                                                  self.m_ProcessingHeader.numHeights),
                                                  dtype=numpy.dtype('complex'))
                 def writeBlock(self):
                     """
                     Escribe el buffer en el file designado
                     Affected:
                         self.profileIndex
                         self.flagIsNewFile
                         self.flagIsNewBlock
                         self.nTotalBlocks
                         self.nWriteBlocks
                     Return: None
                     """
                     data = numpy.zeros( self.shapeBuffer, self.dataType )
                     junk = numpy.transpose(self.datablock, (1,2,0))
                     data['real'] = junk.real
                     data['imag'] = junk.imag
                     data = data.reshape( (-1) )
                     data.tofile( self.fp )
                     self.datablock.fill(0)
                     self.profileIndex = 0
                     self.flagIsNewFile = 0
                     self.flagIsNewBlock = 1
                     self.nTotalBlocks += 1
                     self.nWriteBlocks += 1
                 def putData(self):
                     """
                     Setea un bloque de datos y luego los escribe en un file
                     Affected:
                         self.flagIsNewBlock
                         self.profileIndex
                     Return:
 :    Si no hay data o no hay mas files que puedan escribirse
 :    Si se escribio la data de un bloque en un file
                     """
                     self.flagIsNewBlock = 0
                     if self.dataOutObj.flagNoData:
                         return 0
                     if self.dataOutObj.flagResetProcessing:
                         self.datablock.fill(0)
                         self.profileIndex = 0
                         self.setNextFile()
                     self.datablock[:,self.profileIndex,:] = self.dataOutObj.data
                     self.profileIndex += 1
                     if self.hasAllDataInBuffer():
                         #if self.flagIsNewFile:
                         self.getDataHeader()
                         self.writeNextBlock()
                     if self.flagNoMoreFiles:
                         #print 'Process finished'
                         return 0
                     return 1
   No newline at end of file

General Comments 0

Write
Preview

You need to be logged in to leave comments. Login now

No TODOs yet

	Site-wide shortcuts
/	Use quick search box
g h	Goto home page
g g	Goto my private gists page
g G	Goto my public gists page
g 0-9	Goto bookmarked items from 0-9
n r	New repository page
n g	New gist page

	Repositories
g s	Goto summary page
g c	Goto changelog page
g f	Goto files page
g F	Goto files page with file search activated
g p	Goto pull requests page
g o	Goto repository settings
g O	Goto repository access permissions settings
t s	Toggle sidebar on some pages