schain Files · schainpy/scripts/amisr_eej_proc_offline_v3.py

joabAM - - Load All Authors

File last commit:

r1374:7243e1f8c2ee


                r1374:7243e1f8c2ee

Download file

             amisr_eej_proc_offline_v3.py
        
                    204 lines
            
             | 9.6 KiB
            
                | text/x-python
            
             |
                PythonLexer
            
             / schainpy / scripts / amisr_eej_proc_offline_v3.py
          
                    History
                
                 |
                  Source
                 | Raw
                 |Copy content
                 |Copy permalink

        joabAM
    
Separación de datos antes del 17 de Julio del 2021, donde se modificó los apuntes y la lectura de estos

              r1371
            
        joabAM
    
merged branches

              r1370
            
      import os, sys

      import time

      import datetime

      path = os.path.dirname(os.getcwd())

      path = os.path.dirname(path)

      sys.path.insert(0, path)

      from schainpy.controller import Project

      def main():

          desc = "AMISR EEJ Experiment"

          filename = "amisr_reader.xml"

          xmin = '07'

        joabAM
    
f_

              r1374
            
          xmax = '18'

          xrange = int(xmax)-int(xmin)

        joabAM
    
merged branches

              r1370
            
          ymin = '0'

          ymax = '300'

          dbmin = '45' #'60'#'55' #'40' #noise  esf  eej

          dbmax = '65' #'70' #'55'

        joabAM
    
f_

              r1374
            
          showSPC = '0' #view plot Spectra

          showRTI = '0' #view plot RTI

          showNOISE = '0' #view plot NOISE

        joabAM
    
Separación de datos antes del 17 de Julio del 2021, donde se modificó los apuntes y la lectura de estos

              r1371
            
          localtime='1' #para ajustar el horario en las gráficas '0' para dejar en utc

        joabAM
    
merged branches

              r1370
            
          code = '1,-1,-1,-1,1,1,1,1,-1,-1,-1,1,-1,-1,-1,1,-1,-1,-1,1,-1,-1,1,-1,1,1,-1,1'

          nCode = '1'

          nBaud = '28'

          nosamp = '1' # oversample for EEJ

          today = time.strftime("%Y/%m/%d")

        joabAM
    
f_

              r1374
            
          startDate=today

          endDate=today

          #startDate='2021/07/11'

          #endDate='2021/07/11'

        joabAM
    
merged branches

              r1370
            
          #inPath= '/home/soporte/dataAMISR_test/'

          inPath= '/home/soporte/dataAMISR/'

        joabAM
    
Separación de datos antes del 17 de Julio del 2021, donde se modificó los apuntes y la lectura de estos

              r1371
            
          inPath= '/media/soporte/UARS_4T_D02/AMISR_DATA/2021/'

        joabAM
    
Cambio en la lectura de archivos, se incluyó detección de cambio de experimento

              r1373
            
          #inPath = '/home/soporte/'

        joabAM
    
merged branches

              r1370
            
          outPath = '/home/soporte/Data/EEJ'

          ##.......................................................................................

          ##.......................................................................................

          #l = startDate.split('/')                        #adding day of the year to outPath

          l = startDate.split('/')

          datelist = datetime.date(int(l[0]),int(l[1]),int(l[2]))

          DOY = datelist.timetuple().tm_yday

          outPath= outPath+"/EEJ"+l[0]+str(DOY)

          if os.path.exists(outPath):

              print("outPath", outPath)

          else :

              os.mkdir(outPath)

              print("Creating...", outPath)

          ##.......................................................................................

          ##.......................................................................................

          controllerObj = Project()

          controllerObj.setup(id = '11', name='eej_proc', description=desc)

          ##.......................................................................................

          ##.......................................................................................

          readUnitConfObj = controllerObj.addReadUnit(datatype='AMISRReader',

                                                      path=inPath,

                                                      startDate=startDate,#startDate, #'2014/10/07',

                                                      endDate=endDate, #endDate '2014/10/07',

        joabAM
    
f_

              r1374
            
                                                      startTime='07:00:00',#'07:00:00',

                                                      endTime='18:00:00',#'15:00:00',

        joabAM
    
Separación de datos antes del 17 de Julio del 2021, donde se modificó los apuntes y la lectura de estos

              r1371
            
                                                      walk=1,

        joabAM
    
merged branches

              r1370
            
                                                      code = code,

                                                      nCode = nCode,

                                                      nBaud = nBaud,

        joabAM
    
Separación de datos antes del 17 de Julio del 2021, donde se modificó los apuntes y la lectura de estos

              r1371
            
                                                      timezone='lt',

        joabAM
    
merged branches

              r1370
            
                                                      online=0)

        joabAM
    
Separación de datos antes del 17 de Julio del 2021, donde se modificó los apuntes y la lectura de estos

              r1371
            
        joabAM
    
Cambio en la lectura de archivos, se incluyó detección de cambio de experimento

              r1373
            
          # #AMISR Processing Unit

          # ##.......................................................................................

          # ##.......................................................................................

        joabAM
    
merged branches

              r1370
            
          procUnitConfObj0 = controllerObj.addProcUnit(datatype='VoltageProc', inputId=readUnitConfObj.getId())

        joabAM
    
Separación de datos antes del 17 de Julio del 2021, donde se modificó los apuntes y la lectura de estos

              r1371
            
          opObj10 = procUnitConfObj0.addOperation(name='setAttribute')

          opObj10.addParameter(name='frequency', value='445.09e6')

          # opObj10 = procUnitConfObj0.addOperation(name='setRadarFrequency')

          # opObj10.addParameter(name='frequency', value='445e6', format='float')

        joabAM
    
merged branches

              r1370
            
          opObj01 = procUnitConfObj0.addOperation(name='Decoder', optype='other')

          opObj01.addParameter(name='code', value=code, format='floatlist')

          opObj01.addParameter(name='nCode', value=nCode, format='int')

          opObj01.addParameter(name='nBaud', value=nBaud, format='int')

          opObj01.addParameter(name='osamp', value=nosamp, format='int')

        joabAM
    
Separación de datos antes del 17 de Julio del 2021, donde se modificó los apuntes y la lectura de estos

              r1371
            
          # opObj02 = procUnitConfObj0.addOperation(name='CohInt', optype='other')

          # opObj02.addParameter(name='n', value='2', format='int')

        joabAM
    
merged branches

              r1370
            
        joabAM
    
Cambio en la lectura de archivos, se incluyó detección de cambio de experimento

              r1373
            
          #

          #

          # ##.......................................................................................

          # ##.......................................................................................

        joabAM
    
merged branches

              r1370
            
          procUnitConfObj1 = controllerObj.addProcUnit(datatype='SpectraProc', inputId=procUnitConfObj0.getId())

          procUnitConfObj1.addParameter(name='nFFTPoints', value='16', format='int')

          opObj11 = procUnitConfObj1.addOperation(name='IncohInt', optype='other')

          opObj11.addParameter(name='n', value='150', format='int') #300?

          ## Remove DC signal

          opObj11 = procUnitConfObj1.addOperation(name='removeDC')

          ##.......................................................................................

          ##.......................................................................................

        joabAM
    
Separación de datos antes del 17 de Julio del 2021, donde se modificó los apuntes y la lectura de estos

              r1371
            
          # opObj13 = procUnitConfObj1.addOperation(name='getNoise' , optype ='self')

          # opObj13.addParameter(name='minHei', value='100', format='float')

          # opObj13.addParameter(name='maxHei', value='280', format='float')

        joabAM
    
merged branches

              r1370
            
          #

          opObj12 = procUnitConfObj1.addOperation(name='SpectraPlot', optype='external')

          opObj12.addParameter(name='id', value='21', format='int')

          opObj12.addParameter(name= 'xaxis', value='velocity')

          opObj12.addParameter(name='ymax', value=ymax, format='int')

          opObj12.addParameter(name='showprofile', value='1', format='int')

          opObj12.addParameter(name='wintitle', value='AMISR Beam 0', format='str')

          opObj12.addParameter(name='zmin', value=dbmin, format='int')

          opObj12.addParameter(name='zmax', value=dbmax, format='int')

          opObj12.addParameter(name='save', value=outPath+'/plots', format='str')

          opObj12.addParameter(name='colormap', value='jet', format='str')

          opObj12.addParameter(name='localtime', value=localtime,format='int')

          opObj12.addParameter(name='show', value = showSPC, format='int')

          ##Generate *.pdata from AMISR data

          ##.......................................................................................

          ##.......................................................................................

          opObj13 = procUnitConfObj1.addOperation(name='SpectraWriter', optype='external')

          opObj13.addParameter(name='path', value=outPath)

          opObj13.addParameter(name='blocksPerFile', value='10', format='int')

          opObj14 = procUnitConfObj1.addOperation(name='NoisePlot', optype='external')

          opObj14.addParameter(name='id', value='3', format='int')

          opObj14.addParameter(name='wintitle', value='title0', format='str')

          opObj14.addParameter(name='showprofile', value='0', format='int')

        joabAM
    
Separación de datos antes del 17 de Julio del 2021, donde se modificó los apuntes y la lectura de estos

              r1371
            
          opObj14.addParameter(name='tmin', value=xmin, format='int')

        joabAM
    
f_

              r1374
            
          opObj14.addParameter(name='xrange', value=xrange, format='int')

        joabAM
    
merged branches

              r1370
            
          opObj14.addParameter(name='ymin', value=dbmin, format='int')

          opObj14.addParameter(name='ymax', value=dbmax, format='int')

        joabAM
    
f_

              r1374
            
          opObj14.addParameter(name='save', value=outPath+'/plots', format='str')

        joabAM
    
merged branches

              r1370
            
          opObj14.addParameter(name='localtime', value=localtime,format='int')

          opObj14.addParameter(name='show', value = showNOISE, format='int')

        joabAM
    
Cambio en la lectura de archivos, se incluyó detección de cambio de experimento

              r1373
            
          # #

        joabAM
    
merged branches

              r1370
            
          opObj15 = procUnitConfObj1.addOperation(name='RTIPlot', optype='external')

          opObj15.addParameter(name='id', value='2', format='int')

          opObj15.addParameter(name='localtime', value=localtime,format='int')

          opObj15.addParameter(name='wintitle', value='RTI', format='str')

        joabAM
    
Separación de datos antes del 17 de Julio del 2021, donde se modificó los apuntes y la lectura de estos

              r1371
            
          opObj15.addParameter(name='tmin', value=xmin, format='int')

        joabAM
    
f_

              r1374
            
          opObj15.addParameter(name='xrange', value=xrange, format='int')

        joabAM
    
merged branches

              r1370
            
          opObj15.addParameter(name='ymin', value=ymin, format='int')

          opObj15.addParameter(name='zmin', value=dbmin, format='int')

          opObj15.addParameter(name='zmax', value=dbmax, format='int')

          opObj15.addParameter(name='showprofile', value='0', format='int')

          opObj15.addParameter(name='save', value=outPath+'/plots', format='str')

          opObj15.addParameter(name='colormap', value='jet', format='str')

          opObj15.addParameter(name='show', value = showRTI, format='int')

          ##.......................................................................................

          ##.......................................................................................

        joabAM
    
f_

              r1374
            
          #

          # procUnitConfObj2 = controllerObj.addProcUnit(datatype='ParametersProc', inputId=procUnitConfObj1.getId())

          # opObj16 =  procUnitConfObj2.addOperation(name='SpectralMoments', optype='other')

        joabAM
    
merged branches

              r1370
            
        joabAM
    
Separación de datos antes del 17 de Julio del 2021, donde se modificó los apuntes y la lectura de estos

              r1371
            
          #Using HDFWriter::::

        joabAM
    
Cambio en la lectura de archivos, se incluyó detección de cambio de experimento

              r1373
            
          #.......................................................................................

          #.......................................................................................

        joabAM
    
f_

              r1374
            
          # opObj17 = procUnitConfObj2.addOperation(name='HDFWriter', optype='external')

          # opObj17.addParameter(name='path', value=outPath)

          # opObj17.addParameter(name='blocksPerFile', value='10', format='int')

          # opObj17.addParameter(name='metadataList',value='type,inputUnit,heightList',format='list')

          # opObj17.addParameter(name='dataList',value='moments,data_SNR,utctime',format='list')

        joabAM
    
amisr con version estable SChain3

              r1372
            
        joabAM
    
merged branches

              r1370
            
          ##.......................................................................................

          ##.......................................................................................

        joabAM
    
amisr con version estable SChain3

              r1372
            
          #print("Escribiendo el archivo XML",controllerObj.writeXml(outPath +'/'+filename))

        joabAM
    
merged branches

              r1370
            
          controllerObj.start()

        joabAM
    
amisr con version estable SChain3

              r1372
            
          #print("Leyendo el archivo XML",controllerObj.readXml(outPath +'/'+filename))

        joabAM
    
merged branches

              r1370
            
          ##.......................................................................................

          ##.......................................................................................

      if __name__ == '__main__':

          import time

          start_time = time.time()

          main()

          print("--- %s seconds ---" % (time.time() - start_time))

	Site-wide shortcuts
/	Use quick search box
g h	Goto home page
g g	Goto my private gists page
g G	Goto my public gists page
g 0-9	Goto bookmarked items from 0-9
n r	New repository page
n g	New gist page

	Repositories
g s	Goto summary page
g c	Goto changelog page
g f	Goto files page
g F	Goto files page with file search activated
g p	Goto pull requests page
g o	Goto repository settings
g O	Goto repository access permissions settings
t s	Toggle sidebar on some pages

joabAM Separación de datos antes del 17 de Julio del 2021, donde se modificó los apuntes y la lectura de estos	r1371
joabAM merged branches	r1370	import os, sys
		import time
		import datetime

		path = os.path.dirname(os.getcwd())
		path = os.path.dirname(path)
		sys.path.insert(0, path)

		from schainpy.controller import Project

		def main():


		desc = "AMISR EEJ Experiment"
		filename = "amisr_reader.xml"
		xmin = '07'
joabAM f_	r1374	xmax = '18'
		xrange = int(xmax)-int(xmin)
joabAM merged branches	r1370	ymin = '0'
		ymax = '300'
		dbmin = '45' #'60'#'55' #'40' #noise esf eej
		dbmax = '65' #'70' #'55'
joabAM f_	r1374	showSPC = '0' #view plot Spectra
		showRTI = '0' #view plot RTI
		showNOISE = '0' #view plot NOISE
joabAM Separación de datos antes del 17 de Julio del 2021, donde se modificó los apuntes y la lectura de estos	r1371	localtime='1' #para ajustar el horario en las gráficas '0' para dejar en utc
joabAM merged branches	r1370	code = '1,-1,-1,-1,1,1,1,1,-1,-1,-1,1,-1,-1,-1,1,-1,-1,-1,1,-1,-1,1,-1,1,1,-1,1'
		nCode = '1'
		nBaud = '28'
		nosamp = '1' # oversample for EEJ
		today = time.strftime("%Y/%m/%d")
joabAM f_	r1374	startDate=today
		endDate=today
		#startDate='2021/07/11'
		#endDate='2021/07/11'
joabAM merged branches	r1370	#inPath= '/home/soporte/dataAMISR_test/'
		inPath= '/home/soporte/dataAMISR/'
joabAM Separación de datos antes del 17 de Julio del 2021, donde se modificó los apuntes y la lectura de estos	r1371	inPath= '/media/soporte/UARS_4T_D02/AMISR_DATA/2021/'
joabAM Cambio en la lectura de archivos, se incluyó detección de cambio de experimento	r1373	#inPath = '/home/soporte/'
joabAM merged branches	r1370	outPath = '/home/soporte/Data/EEJ'

		##.......................................................................................
		##.......................................................................................

		#l = startDate.split('/') #adding day of the year to outPath
		l = startDate.split('/')
		datelist = datetime.date(int(l[0]),int(l[1]),int(l[2]))
		DOY = datelist.timetuple().tm_yday
		outPath= outPath+"/EEJ"+l[0]+str(DOY)
		if os.path.exists(outPath):
		print("outPath", outPath)
		else :
		os.mkdir(outPath)
		print("Creating...", outPath)

		##.......................................................................................
		##.......................................................................................
		controllerObj = Project()
		controllerObj.setup(id = '11', name='eej_proc', description=desc)
		##.......................................................................................
		##.......................................................................................
		readUnitConfObj = controllerObj.addReadUnit(datatype='AMISRReader',
		path=inPath,
		startDate=startDate,#startDate, #'2014/10/07',
		endDate=endDate, #endDate '2014/10/07',
joabAM f_	r1374	startTime='07:00:00',#'07:00:00',
		endTime='18:00:00',#'15:00:00',
joabAM Separación de datos antes del 17 de Julio del 2021, donde se modificó los apuntes y la lectura de estos	r1371	walk=1,
joabAM merged branches	r1370	code = code,
		nCode = nCode,
		nBaud = nBaud,
joabAM Separación de datos antes del 17 de Julio del 2021, donde se modificó los apuntes y la lectura de estos	r1371	timezone='lt',
joabAM merged branches	r1370	online=0)

joabAM Separación de datos antes del 17 de Julio del 2021, donde se modificó los apuntes y la lectura de estos	r1371
joabAM Cambio en la lectura de archivos, se incluyó detección de cambio de experimento	r1373	# #AMISR Processing Unit
		# ##.......................................................................................
		# ##.......................................................................................
joabAM merged branches	r1370	procUnitConfObj0 = controllerObj.addProcUnit(datatype='VoltageProc', inputId=readUnitConfObj.getId())
joabAM Separación de datos antes del 17 de Julio del 2021, donde se modificó los apuntes y la lectura de estos	r1371	opObj10 = procUnitConfObj0.addOperation(name='setAttribute')
		opObj10.addParameter(name='frequency', value='445.09e6')
		# opObj10 = procUnitConfObj0.addOperation(name='setRadarFrequency')
		# opObj10.addParameter(name='frequency', value='445e6', format='float')
joabAM merged branches	r1370

		opObj01 = procUnitConfObj0.addOperation(name='Decoder', optype='other')
		opObj01.addParameter(name='code', value=code, format='floatlist')
		opObj01.addParameter(name='nCode', value=nCode, format='int')
		opObj01.addParameter(name='nBaud', value=nBaud, format='int')
		opObj01.addParameter(name='osamp', value=nosamp, format='int')


joabAM Separación de datos antes del 17 de Julio del 2021, donde se modificó los apuntes y la lectura de estos	r1371	# opObj02 = procUnitConfObj0.addOperation(name='CohInt', optype='other')
		# opObj02.addParameter(name='n', value='2', format='int')
joabAM merged branches	r1370
joabAM Cambio en la lectura de archivos, se incluyó detección de cambio de experimento	r1373	#
		#
		# ##.......................................................................................
		# ##.......................................................................................
joabAM merged branches	r1370
		procUnitConfObj1 = controllerObj.addProcUnit(datatype='SpectraProc', inputId=procUnitConfObj0.getId())
		procUnitConfObj1.addParameter(name='nFFTPoints', value='16', format='int')


		opObj11 = procUnitConfObj1.addOperation(name='IncohInt', optype='other')
		opObj11.addParameter(name='n', value='150', format='int') #300?

		## Remove DC signal
		opObj11 = procUnitConfObj1.addOperation(name='removeDC')
		##.......................................................................................
		##.......................................................................................

joabAM Separación de datos antes del 17 de Julio del 2021, donde se modificó los apuntes y la lectura de estos	r1371	# opObj13 = procUnitConfObj1.addOperation(name='getNoise' , optype ='self')
		# opObj13.addParameter(name='minHei', value='100', format='float')
		# opObj13.addParameter(name='maxHei', value='280', format='float')
joabAM merged branches	r1370

		#
		opObj12 = procUnitConfObj1.addOperation(name='SpectraPlot', optype='external')
		opObj12.addParameter(name='id', value='21', format='int')
		opObj12.addParameter(name= 'xaxis', value='velocity')
		opObj12.addParameter(name='ymax', value=ymax, format='int')
		opObj12.addParameter(name='showprofile', value='1', format='int')
		opObj12.addParameter(name='wintitle', value='AMISR Beam 0', format='str')
		opObj12.addParameter(name='zmin', value=dbmin, format='int')
		opObj12.addParameter(name='zmax', value=dbmax, format='int')
		opObj12.addParameter(name='save', value=outPath+'/plots', format='str')
		opObj12.addParameter(name='colormap', value='jet', format='str')
		opObj12.addParameter(name='localtime', value=localtime,format='int')
		opObj12.addParameter(name='show', value = showSPC, format='int')


		##Generate *.pdata from AMISR data
		##.......................................................................................
		##.......................................................................................
		opObj13 = procUnitConfObj1.addOperation(name='SpectraWriter', optype='external')
		opObj13.addParameter(name='path', value=outPath)
		opObj13.addParameter(name='blocksPerFile', value='10', format='int')


		opObj14 = procUnitConfObj1.addOperation(name='NoisePlot', optype='external')
		opObj14.addParameter(name='id', value='3', format='int')
		opObj14.addParameter(name='wintitle', value='title0', format='str')
		opObj14.addParameter(name='showprofile', value='0', format='int')
joabAM Separación de datos antes del 17 de Julio del 2021, donde se modificó los apuntes y la lectura de estos	r1371	opObj14.addParameter(name='tmin', value=xmin, format='int')
joabAM f_	r1374	opObj14.addParameter(name='xrange', value=xrange, format='int')
joabAM merged branches	r1370	opObj14.addParameter(name='ymin', value=dbmin, format='int')
		opObj14.addParameter(name='ymax', value=dbmax, format='int')
joabAM f_	r1374	opObj14.addParameter(name='save', value=outPath+'/plots', format='str')
joabAM merged branches	r1370	opObj14.addParameter(name='localtime', value=localtime,format='int')
		opObj14.addParameter(name='show', value = showNOISE, format='int')

joabAM Cambio en la lectura de archivos, se incluyó detección de cambio de experimento	r1373	# #
joabAM merged branches	r1370	opObj15 = procUnitConfObj1.addOperation(name='RTIPlot', optype='external')
		opObj15.addParameter(name='id', value='2', format='int')
		opObj15.addParameter(name='localtime', value=localtime,format='int')
		opObj15.addParameter(name='wintitle', value='RTI', format='str')
joabAM Separación de datos antes del 17 de Julio del 2021, donde se modificó los apuntes y la lectura de estos	r1371	opObj15.addParameter(name='tmin', value=xmin, format='int')
joabAM f_	r1374	opObj15.addParameter(name='xrange', value=xrange, format='int')
joabAM merged branches	r1370	opObj15.addParameter(name='ymin', value=ymin, format='int')
		opObj15.addParameter(name='zmin', value=dbmin, format='int')
		opObj15.addParameter(name='zmax', value=dbmax, format='int')
		opObj15.addParameter(name='showprofile', value='0', format='int')
		opObj15.addParameter(name='save', value=outPath+'/plots', format='str')
		opObj15.addParameter(name='colormap', value='jet', format='str')
		opObj15.addParameter(name='show', value = showRTI, format='int')



		##.......................................................................................
		##.......................................................................................
joabAM f_	r1374	#
		# procUnitConfObj2 = controllerObj.addProcUnit(datatype='ParametersProc', inputId=procUnitConfObj1.getId())
		# opObj16 = procUnitConfObj2.addOperation(name='SpectralMoments', optype='other')
joabAM merged branches	r1370

joabAM Separación de datos antes del 17 de Julio del 2021, donde se modificó los apuntes y la lectura de estos	r1371	#Using HDFWriter::::
joabAM Cambio en la lectura de archivos, se incluyó detección de cambio de experimento	r1373	#.......................................................................................
		#.......................................................................................
joabAM f_	r1374	# opObj17 = procUnitConfObj2.addOperation(name='HDFWriter', optype='external')
		# opObj17.addParameter(name='path', value=outPath)
		# opObj17.addParameter(name='blocksPerFile', value='10', format='int')
		# opObj17.addParameter(name='metadataList',value='type,inputUnit,heightList',format='list')
		# opObj17.addParameter(name='dataList',value='moments,data_SNR,utctime',format='list')
joabAM amisr con version estable SChain3	r1372
joabAM merged branches	r1370

		##.......................................................................................
		##.......................................................................................
joabAM amisr con version estable SChain3	r1372	#print("Escribiendo el archivo XML",controllerObj.writeXml(outPath +'/'+filename))
joabAM merged branches	r1370
		controllerObj.start()

joabAM amisr con version estable SChain3	r1372	#print("Leyendo el archivo XML",controllerObj.readXml(outPath +'/'+filename))
joabAM merged branches	r1370
		##.......................................................................................
		##.......................................................................................

		if __name__ == '__main__':
		import time
		start_time = time.time()
		main()
		print("--- %s seconds ---" % (time.time() - start_time))