schain-jc Commit - r46:f6891cff9cbe · Jicamarca Repository

VOTAJEIO.py:...

Victor Sarmiento -

r46:f6891cff9cbe

parent child

Context file:

r46:f6891cff9cbe

Collapse all files

schainpy/IO/VoltageIO.py +199 -131

             from Model.Voltage import Voltage
+            def isFileOK(filename):
+                """
+                Determina si la cabecera de un archivo es valido o no, si lo es entonces seria un archivo que podria contener data,
+                si no seria un archivo invalido
+                Return:
+                    True    :    si es un archivo valido
+                    False   :    si no es un archivo valido
+                Exceptions:
+                    Si al leer la cabecera esta no coincide con el tipo de las variables que la contienen entonces se dispara
+                    una exception
+                """
+                m_BasicHeader = BasicHeader()
+                m_ProcessingHeader = ProcessingHeader()
+                m_RadarControllerHeader = RadarControllerHeader()
+                m_SystemHeader = SystemHeader()
+                fp = None
+                try:
+                    fp = open( filename,'rb' ) #lectura binaria
+                    m_BasicHeader.read(fp)
+                    m_SystemHeader.read(fp)
+                    m_RadarControllerHeader.read(fp)
+                    m_ProcessingHeader.read(fp)
+                    fp.close()
+                except:
+                    if fp != None: fp.close()
+                    return False
+                return True
             def getlastFileFromPath(pathList,ext):
                 """
                 Depura el pathList dejando solo los que cumplan el formato de "PYYYYDDDSSS.ext"
             def checkForRealPath(path,year,doy,set,ext):
                 """
-                Por ser Linux Case Sensitive entonces checkForRealPath encuentra el nombre correcto de un path,
+                Por ser Linux Case Sensitive la funcion checkForRealPath encuentra el nombre correcto de un path,
                 Prueba por varias combinaciones de nombres entre mayusculas y minusculas para determinar
                 el path exacto de un determinado file.
                     nombre correcto del file es  ../RAWDATA/D2009307/P2009307367
                     Entonces la funcion prueba con las siguientes combinaciones
-                        ../RAWDATA/d2009307/p2009307367
+                        ../.../d2009307/d2009307367
-                        ../RAWDATA/d2009307/P2009307367
+                        ../.../d2009307/D2009307367
-                        ../RAWDATA/D2009307/p2009307367
+                        ../.../D2009307/d2009307367
-                        ../RAWDATA/D2009307/P2009307367
+                        ../.../D2009307/D2009307367
                     siendo para este caso, la ultima combinacion de letras, identica al file buscado
                 Return:
-                    Si encuentra la cobinacion adecuada devuelve el path completo y el nombre del file
+                    Si encuentra la combinacion adecuada devuelve el path completo y el nombre del file
                     caso contrario devuelve None como path y el la ultima combinacion de nombre en mayusculas
                     para el filename
                 """
                 return 1
             class VoltageReader(DataReader):
                 """
                 Esta clase permite leer datos de voltage desde archivos en formato rawdata (.r). La lectura
                 #speed of light
                 __c = 3E8
                 def __init__(self,m_Voltage=None):
                     """
                     Inicializador de la clase VoltageReader para la lectura de datos de voltage.
                     self.__path = None
                     self.__pts2read = 0
                     self.__blocksize = 0
+                    self.__utc = 0
+                    self.nBlocks = 0
                 def __rdSystemHeader(self,fp=None):
                     if fp == None:
                     self.m_SystemHeader.read(fp)
                 def __rdRadarControllerHeader(self,fp=None):
                     if fp == None:
                         fp = self.__fp
                     self.m_RadarControllerHeader.read(fp)
                 def __rdProcessingHeader(self,fp=None):
                     if fp == None:
                         fp = self.__fp
                     self.m_ProcessingHeader.read(fp)
                 def __rdBasicHeader(self,fp=None):
                     if fp == None:
                     self.m_BasicHeader.read(fp)
                 def __readFirstHeader(self):
+                    """
+                    Lectura del First Header, es decir el Basic Header y el Long Header
+                    Affected:
+                        self.m_BasicHeader
+                        self.m_SystemHeader
+                        self.m_RadarControllerHeader
+                        self.m_ProcessingHeader
+                        self.firstHeaderSize
+                        self.__heights
+                        self.__dataType
+                        self.__fileSizeByHeader
+                        self.__ippSeconds
+                        self.__blocksize
+                        self.__pts2read
+                    Return: None
+                    """
                     self.__rdBasicHeader()
                     self.__rdSystemHeader()
                     self.__rdRadarControllerHeader()
                     countFiles = 0
                     countTries = 0
-                    fileStatus = 0
                     notFirstTime_flag = False
-                    bChangeDir = False
+                    fileOk_flag = False
+                    changeDir_flag = False
-                    fileSize = 0
-                    fp = None
                     self.__flagIsNewFile = 0
                         if countFiles > self.__nFiles: #si no encuentro el file buscado cambio de carpeta y busco en la siguiente carpeta
                             self.__set = 0
                             self.__doy += 1
-                            bChangeDir = True
+                            changeDir_flag = True
                         file = None
                         filename = None
+                        fileOk_flag = False
-                        countTries = 0
+                        #busca el 1er file disponible
+                        file, filename = checkForRealPath( self.__path, self.__year, self.__doy, self.__set, self.__ext )
-                        #espero hasta encontrar el 1er file disponible
-                        while( True ):
-                            countTries += 1
+                        if file == None:
-                            if( countTries >= self.__nTries ): #checkeo que no haya ido mas alla de la cantidad de intentos
+                            if notFirstTime_flag: #si no es la primera vez que busca el file entonces no espera y busca for el siguiente file
-                                break
+                                print "\tsearching next \"%s\" file ..." % ( filename )
+                                continue
+                            else: #si es la primera vez que busca el file entonces espera self.__nTries veces hasta encontrarlo o no
+                                for nTries in range( self.__nTries ):
+                                    print "\twaiting new \"%s\" file, try %03d ..." % ( filename, nTries+1 )
+                                    time.sleep( self.__delay )
                                     file, filename = checkForRealPath( self.__path, self.__year, self.__doy, self.__set, self.__ext )
                                     if file != None:
+                                        fileOk_flag = True
                                         break
-                            if notFirstTime_flag: #este flag me sirve solo para esperar por el 1er file, en lo siguientes no espera solo checkea si existe o no
+                                if not( fileOk_flag ): #no encontro ningun file valido a leer despues de haber esperado alguno
-                                countTries = self.__nTries
-                                print "\tsearching next \"%s\" file ..." % filename
-                                break
-                            print "\twaiting new \"%s\" file ..." % filename
-                            time.sleep( self.__delay )
-                        if countTries >= self.__nTries: #se realizaron n intentos y no hubo un file nuevo
                                     notFirstTime_flag = True
-                            continue #vuelvo al inico del while principal
+                                    continue
-                        countTries = 0
+                        #una vez que se obtuvo el 1er file valido se procede a checkear si si tamanho es suficiente para empezar a leerlo
+                        currentSize = os.path.getsize( file )
+                        neededSize = self.m_ProcessingHeader.blockSize + self.firstHeaderSize
-                        #una vez que se obtuvo el 1er file valido se procede a checkear su contenido, y se espera una cierta cantidad
+                        #si el tamanho es suficiente entonces deja de buscar
-                        #de tiempo por una cierta cantidad de veces hasta que el contenido del file sea un contenido valido
+                        if currentSize > neededSize:# and (neededSize != 0):
-                        while( True ):
+                            fileOk_flag = True
-                            countTries += 1
-                            if countTries > self.__nTries:
                             break
-                            try:
+                        fileOk_flag = False
-                                fp = open(file)
+                        #si el file no tiene el tamanho necesario se espera una cierta cantidad de tiempo
-                            except:
+                        #por una cierta cantidad de veces hasta que el contenido del file sea valido
-                                print "The file \"%s\" can't be opened" % file
+                        if changeDir_flag: #si al buscar un file cambie de directorio ya no espero y sigo con el siguiente file
-                                break
+                            print "\tsearching next \"%s\" file ..." % filename
+                            changeDir_flag = False
+                            continue
-                            fileSize = os.path.getsize( file )
+                        for nTries in range( self.__nTries ):
-                            currentSize = fileSize - fp.tell()
+                            print "\twaiting for the First Header block of \"%s\" file, try %03d ..." % ( filename, nTries+1 )
+                            time.sleep( self.__delay )
+                            currentSize = os.path.getsize( file )
                             neededSize = self.m_ProcessingHeader.blockSize + self.firstHeaderSize
                             if currentSize > neededSize:
-                                fileStatus = 1
+                                fileOk_flag = True
-                                break
-                            fp.close()
-                            if bChangeDir: #si al buscar un file cambie de directorio ya no espero y salgo del bucle while
-                                print "\tsearching next \"%s\" file ..." % filename
                                 break
-                            print "\twaiting for block of \"%s\" file ..." % filename
+                        if fileOk_flag: #si encontro un file valido sale del bucle y deja de buscar
-                            time.sleep( self.__delay )
-                        if fileStatus == 1:
                             break
                         print "Skipping the file \"%s\" due to this files is empty" % filename
                         countFiles = 0
+                    if fileOk_flag:
-                    if fileStatus == 1:
+                        self.fileSize = os.path.getsize( file ) #fileSize
-                        self.fileSize = fileSize
                         self.filename = file
                         self.__flagIsNewFile = 1
-                        self.__fp = fp
+                        if self.__fp != None: self.__fp.close()
+                        self.__fp = open(file)
                         self.noMoreFiles = 0
                         print 'Setting the file: %s' % file
                     else:
                         self.noMoreFiles = 1
                         print 'No more Files'
-                    return fileStatus
+                    return fileOk_flag
                 def __setNextFileOffline(self):
                         if not(idFile < len(self.filenameList)):
                             self.noMoreFiles = 1
+                            print 'No more Files'
                             return 0
                         filename = self.filenameList[idFile]
                     return 1
                 def __setNextFile(self):
                     """
                     Determina el siguiente file a leer y si hay uno disponible lee el First Header
                     else:
                         newFile = self.__setNextFileOffline()
+                    if self.noMoreFiles:
+                        sys.exit(0)
                     if not(newFile):
                         return 0
                     self.__readFirstHeader()
+                    self.nBlocks = 0
                     return 1
                     if ( currentSize >= neededSize ):
                         self.__rdBasicHeader()
                         return 1
-                    elif self.online:
-                        nTries = 0
+                    #si es OnLine y ademas aun no se han leido un bloque completo entonces se espera por uno valido
-                        while( nTries < self.__nTries ):
+                    elif (self.nBlocks != self.m_ProcessingHeader.dataBlocksPerFile) and self.online:
-                            nTries += 1
+                        for nTries in range( self.__nTries ):
-                            print "Waiting for the next block, try %03d ..." % nTries
+                            fpointer = self.__fp.tell()
+                            self.__fp.close()
+                            print "\tWaiting for the next block, try %03d ..." % (nTries+1)
                             time.sleep( self.__delay )
-                            fileSize = os.path.getsize(self.filename)
+                            self.__fp = open( self.filename, 'rb' )
-                            currentSize = fileSize - self.__fp.tell()
+                            self.__fp.seek( fpointer )
+                            self.fileSize = os.path.getsize( self.filename )
+                            currentSize = self.fileSize - self.__fp.tell()
                             neededSize = self.m_ProcessingHeader.blockSize + self.basicHeaderSize
                             if ( currentSize >= neededSize ):
                     if deltaTime > self.__maxTimeStep:
                         self.flagResetProcessing = 1
-                        self.nReadBlocks = 0
+                        #self.nReadBlocks = 0
                     return 1
                 def __readBlock(self):
                     """
                     __readBlock lee el bloque de datos desde la posicion actual del puntero del archivo
                     (metadata + data). La data leida es almacenada en el buffer y el contador del buffer
                     es seteado a 0
                     Inputs:
                         None
                     Return:
                         None
-                    Variables afectadas:
+                    Affected:
                         self.__datablockIndex
                         self.datablock
                         self.__flagIsNewFile
                         self.idProfile
                         self.flagIsNewBlock
                         self.nReadBlocks
+                    Exceptions:
+                        Si un bloque leido no es un bloque valido
                     """
+                    blockOk_flag = False
-                    #pts2read = self.m_ProcessingHeader.profilesPerBlock*self.m_ProcessingHeader.numHeights*self.m_SystemHeader.numChannels
                     fpointer = self.__fp.tell()
                     junk = numpy.fromfile( self.__fp, self.__dataType, self.__pts2read )
                     if self.online:
                         if junk.size != self.__blocksize:
-                            nTries = 0
+                            for nTries in range( self.__nTries ):
-                            while( nTries < self.__nTries ):
+                                print "\tWaiting for the next block, try %03d ..." % (nTries+1)
-                                nTries += 1
-                                print "Waiting for the next block, try %03d ..." % nTries
                                 time.sleep( self.__delay )
                                 self.__fp.seek( fpointer )
                                 fpointer = self.__fp.tell()
                                 junk = numpy.fromfile( self.__fp, self.__dataType, self.__pts2read )
                                 if junk.size == self.__blocksize:
-                                    nTries = 0
+                                    blockOk_flag = True
                                     break
-                            if nTries > 0:
-                                return
+                            if not( blockOk_flag ):
+                                return 0
+                    try:
                         junk = junk.reshape( (self.m_ProcessingHeader.profilesPerBlock, self.m_ProcessingHeader.numHeights, self.m_SystemHeader.numChannels) )
+                    except:
+                        print "Data file %s is invalid" % self.filename
+                        return 0
-                    data = junk['real'] + junk['imag']*1j
+                    #data = junk['real'] + junk['imag']*1j
+                    self.datablock = junk['real'] + junk['imag']*1j
                     self.__datablockIndex = 0
-                    self.datablock = data
                     self.__flagIsNewFile = 0
                     self.idProfile = 0
                     self.flagIsNewBlock = 1
                     self.nReadBlocks += 1
+                    self.nBlocks += 1
+                    return 1
                 def __hasNotDataInBuffer(self):
                     if self.__datablockIndex >= self.m_ProcessingHeader.profilesPerBlock:
                         return 1
                     return 0
                         filename    :    el ultimo file de una determinada carpeta
                         directory   :    eL directorio donde esta el file encontrado
                     """
                     print "Searching files ..."
                     dirList = []
                         dirList = sorted( dirList, key=str.lower ) #para que quede ordenado al margen de si el nombre esta en mayusculas o minusculas, utilizo la funcion sorted
                         if len(dirList) > 0 :
-                            directory = dirList[-1]
+                            directory = dirList[-1] #me quedo con el ultimo directorio de una carpeta
                     else:
                         year = startDateTime.timetuple().tm_year
                         doy = startDateTime.timetuple().tm_yday
                     Excepciones:
                     """
                     print "Searching files ..."
                     dirList = []
                     file = os.path.join( path, dirfilename, filename )
-                    nTries = 0
+                    for nTries in range( self.__nTries+1 ):
-                    while(True):
-                        nTries += 1
-                        if nTries > self.__nTries:
-                            break
                         try:
                             fp = open( file,'rb' ) #lectura binaria
                         except:
                             print "The file %s is empty" % filename
                         fp.close()
+                        fp = None
                         if m_BasicHeader.size > 24:
                             break
-                        print 'waiting for new block: try %02d' % ( nTries )
+                        if nTries >= self.__nTries: #si ya espero la cantidad de veces necesarias entonces ya no vuelve a esperar
+                            break
+                        print '\twaiting for new block: try %02d' % ( nTries )
                         time.sleep( self.__delay )
                     if m_BasicHeader.size <= 24:
                         self.online
                     """
                     if online:
-                        nTries = 0
+                        fileOK_flag = False
-                        while( nTries < self.__nTries ):
-                           nTries += 1
                         subfolder = "D%04d%03d" % ( startDateTime.timetuple().tm_year, startDateTime.timetuple().tm_yday )
-                           year, doy, set, filename, dirfilename = self.__searchFilesOnLine( path, startDateTime, ext )
-                           if filename == None:
                         file = os.path.join( path, subfolder )
-                               print "Searching first file in \"%s\", try %03d ..." % ( file, nTries )
-                               time.sleep( self.__delay )
+                        for nTries in range( self.__nTries+1 ): #espera por el 1er file
-                           else:
+                           year, doy, set, filename, dirfilename = self.__searchFilesOnLine( path, startDateTime, ext )
+                           if filename != None:
+                               if isFileOK( os.path.join( path,dirfilename,filename ) ):
+                                   fileOK_flag = True
                                    break
-                        if filename == None:
+                           if nTries >= self.__nTries: #si ya espero la cantidad de veces necesarias entonces ya no vuelve a esperar
-                            print "No files  On Line"
+                               break
+                           print "Searching first file in \"%s\", try %03d ..." % ( file, nTries+1 )
+                           time.sleep( self.__delay )
+                        if not( fileOK_flag ): #filename == None:
+                            print "No files on line or invalid first file"
                             return 0
                         if self.__initFilesOnline( path, dirfilename, filename ) == 0:
-                            print "The file %s hasn't enough data"
+                            print "The file %s hasn't enough data" % filename
                             return 0
                         self.__year = year
                     if not(self.__setNewBlock()):
                         return 0
-                    self.__readBlock()
+                    if not( self.__readBlock() ):
+                        return 0
                     self.__lastUTTime = self.m_BasicHeader.utc
                         self.flagIsNewBlock
                         self.idProfile
                     """
+                    if self.noMoreFiles: return 0
                     self.flagResetProcessing = 0
                     self.flagIsNewBlock = 0
                     if self.__hasNotDataInBuffer():
-                        self.readNextBlock()
+                        if not( self.readNextBlock() ):
+                            self.__setNextFile()
+                            return 0
                         self.m_Voltage.m_BasicHeader = self.m_BasicHeader.copy()
                         self.m_Voltage.m_ProcessingHeader = self.m_ProcessingHeader.copy()
                     if self.noMoreFiles == 1:
                         print 'Process finished'
-                        return None
+                        return 0
                     #data es un numpy array de 3 dmensiones (perfiles, alturas y canales)
+                    if self.datablock == None:
+                        self.m_Voltage.flagNoData = True
+                        return 0
                     time = self.m_BasicHeader.utc + self.__datablockIndex * self.__ippSeconds
-                    self.m_Voltage.m_BasicHeader.utc = time
+                    self.__utc = time
+                    #self.m_Voltage.m_BasicHeader.utc = time
                     self.m_Voltage.flagNoData = False
                     self.m_Voltage.flagResetProcessing = self.flagResetProcessing
                     #call setData - to Data Object
-                    return self.m_Voltage.data
+                    return 1 #self.m_Voltage.data
             class VoltageWriter(DataWriter):
                     self.m_ProcessingHeader.write(fp)
                 def __setNextFile(self):
                     """
                     Determina el siguiente file que sera escrito
                         os.mkdir(tmp)
                     """
                     ##################################
-                    if self.m_BasicHeader.size <= 24: return 0 #no existe la suficiente data para ser escrita
+                    """
+                    if self.m_BasicHeader.size <= 24:
+                        self.__fp.close()
+                        self.__fp = None
+                        return 0 #no existe la suficiente data para ser escrita
+                    """
                     timeTuple = time.localtime( self.m_Voltage.m_BasicHeader.utc ) # utc from m_Voltage
                     subfolder = 'D%4.4d%3.3d' % (timeTuple.tm_year,timeTuple.tm_yday)
                     return 1
                 def __writeBlock(self):
                     """
                     Escribe el buffer en el file designado
                     data.tofile( self.__fp )
                     self.datablock.fill(0)
                     self.__datablockIndex = 0
                     self.__flagIsNewFile = 0
                     self.flagIsNewBlock = 1
                     self.nWriteBlocks += 1
                     self.__blocksCounter += 1
                         return 0
                     self.__writeBlock()
                     return 1
                 def __hasAllDataInBuffer(self):
                     if self.__datablockIndex >= self.m_ProcessingHeader.profilesPerBlock:
                         return 1
                     return 0
                     if self.m_Voltage.flagResetProcessing:
                         self.datablock.fill(0)
                         self.__datablockIndex = 0
                         self.__setNextFile()
                     self.__datablockIndex += 1
                     if self.__hasAllDataInBuffer():
                         self.__getHeader()
                         self.writeNextBlock()
                     self.datablock = numpy.zeros(self.__shapeBuffer, numpy.dtype('complex'))
-            #        if not(self.__setNextFile()):
+                    if not( self.__setNextFile() ):
-            #            return 0
+                        return 0
                     return 1

General Comments 0

Write
Preview

You need to be logged in to leave comments. Login now

No TODOs yet

	Site-wide shortcuts
/	Use quick search box
g h	Goto home page
g g	Goto my private gists page
g G	Goto my public gists page
g 0-9	Goto bookmarked items from 0-9
n r	New repository page
n g	New gist page

	Repositories
g s	Goto summary page
g c	Goto changelog page
g f	Goto files page
g F	Goto files page with file search activated
g p	Goto pull requests page
g o	Goto repository settings
g O	Goto repository access permissions settings
t s	Toggle sidebar on some pages