schain Files · schainpy/scripts/test1.py

Cambio en la lectura de archivos, se incluyó detección de cambio de experimento

joabAM - - Load All Authors

File last commit:

r1373:fa4c334951aa


                r1373:fa4c334951aa

Download file

             test1.py
        
                    205 lines
            
             | 9.2 KiB
            
                | text/x-python
            
             |
                PythonLexer
            
             / schainpy / scripts / test1.py
          
                    History
                
                 |
                  Source
                 | Raw
                 |Copy content
                 |Copy permalink

        joabAM
    
merged branches

              r1370
            
      import os, sys

      import time

      import datetime

      path = os.path.dirname(os.getcwd())

      path = os.path.dirname(path)

      sys.path.insert(0, path)

      from schainpy.controller import Project

      def main():

          desc = "AMISR Experiment"

          filename = "amisr_reader.xml"

          controllerObj = Project()

          controllerObj.setup(id = '10', name='eej_proc', description=desc)

          #path = os.path.join(os.environ['HOME'],'amisr')

          # path = '/media/signalchain/HD-PXU2/AMISR_JULIA_MODE'

          # path = '/media/soporte/E9F4-F053/AMISR/Data/NoiseTest/EEJ'

          # path = '/media/soporte/E9F4-F053/AMISR/Data/ESF'

          #path = '/mnt/data_amisr'

        joabAM
    
Cambio en la lectura de archivos, se incluyó detección de cambio de experimento

              r1373
            
          path = '/home/soporte/Data/EEJ/EEJ2021192'

        joabAM
    
merged branches

              r1370
            
          #figpath = os.path.join(os.environ['HOME'],'Pictures/amisr/test/proc/esf')

          #figpath = '/media/soporte/E9F4-F053/AMISR/Data/JULIA/ESF'

        joabAM
    
Cambio en la lectura de archivos, se incluyó detección de cambio de experimento

              r1373
            
          figpath = '/home/soporte/Data/OutTest/EEJ'

        joabAM
    
merged branches

              r1370
            
          xmin = '07'

        joabAM
    
Cambio en la lectura de archivos, se incluyó detección de cambio de experimento

              r1373
            
          xmax = '18' #-> el plot genera +1 en la hora, es decir aparece 18 como máximo

        joabAM
    
merged branches

              r1370
            
          ymin = '0'

          ymax = '300'

          dbmin = '45' #'60'#'55' #'40' #noise  esf  eej

          dbmax = '65' #'70' #'55'

          showSPC = '1' #view plot Spectra

          showRTI = '1' #view plot RTI

          showNOISE = '0' #view plot NOISE

          localtime='1' #para ajustar el horario en las gráficas '0' para dejar en utc

          code = '1,-1,-1,-1,1,1,1,1,-1,-1,-1,1,-1,-1,-1,1,-1,-1,-1,1,-1,-1,1,-1,1,1,-1,1'

          nCode = '1'

          nBaud = '28'

          nosamp = '1' # oversample for EEJ

          str0 = datetime.date.today()

          str1 = str0 + datetime.timedelta(days=1)

          str2 = str0 - datetime.timedelta(days=1)

          today = str0.strftime("%Y/%m/%d")

          tomorrow = str1.strftime("%Y/%m/%d")

          yesterday = str2.strftime("%Y/%m/%d")

          #print(today,yesterday,tomorrow)

          #path= '/home/soporte/dataAMISR_test/'

          #path= '/home/soporte/dataAMISR/'

          #path='/home/soporte/Documentos/' #

        joabAM
    
Cambio en la lectura de archivos, se incluyó detección de cambio de experimento

              r1373
            
          readUnitConfObj = controllerObj.addReadUnit(datatype='Spectra',

        joabAM
    
merged branches

              r1370
            
                                                      path=path,

        joabAM
    
Cambio en la lectura de archivos, se incluyó detección de cambio de experimento

              r1373
            
                                                      startDate='2021/07/11',

                                                      endDate='2021/07/11',

                                                      startTime='07:01:30',#'07:00:00',

                                                      endTime='18:00:00',#'15:00:00',

                                                      walk=1,

        joabAM
    
merged branches

              r1370
            
                                                      timezone='lt',

                                                      online=0)

          #AMISR Processing Unit

        joabAM
    
Cambio en la lectura de archivos, se incluyó detección de cambio de experimento

              r1373
            
          proc_spectra = controllerObj.addProcUnit(datatype='SpectraProc', inputId=readUnitConfObj.getId())

          proc_spectra.addParameter(name='nFFTPoints', value='16', format='int')

        joabAM
    
merged branches

              r1370
            
          #procUnitConfObj1.addParameter(name='frequency', value='445e6', format='float') #no lo acepta

        joabAM
    
Cambio en la lectura de archivos, se incluyó detección de cambio de experimento

              r1373
            
          # op1 = proc_spectra.addOperation(name='IncohInt', optype='other')

          # op1.addParameter(name='n', value='150', format='int') #300 normal value

        joabAM
    
merged branches

              r1370
            
        joabAM
    
Cambio en la lectura de archivos, se incluyó detección de cambio de experimento

              r1373
            
          #op2 = proc_spectra.addOperation(name='removeDC')

        joabAM
    
merged branches

              r1370
            
        joabAM
    
Cambio en la lectura de archivos, se incluyó detección de cambio de experimento

              r1373
            
          op2 = proc_spectra.addOperation(name='CrossSpectraPlot', optype='external')

          op2.addParameter(name='id', value='10', format='int')

          op2.addParameter(name='save', value=figpath, format='str')

          #op2.addParameter(name='zmin', value='10.0', format='float')

          #op2.addParameter(name='zmax', value='35.0', format='float')

        joabAM
    
merged branches

              r1370
            
          # #

        joabAM
    
Cambio en la lectura de archivos, se incluyó detección de cambio de experimento

              r1373
            
          op3 = proc_spectra.addOperation(name='SpectraPlot', optype='external')

          op3.addParameter(name='id', value='21', format='int')

          op3.addParameter(name='xaxis', value='velocity')

          op3.addParameter(name='ymax', value=ymax, format='int')

          op3.addParameter(name='showprofile', value='1', format='int')

          op3.addParameter(name='wintitle', value='AMISR Beam 0', format='str')

          op3.addParameter(name='zmin', value=dbmin, format='int')

          op3.addParameter(name='zmax', value=dbmax, format='int')

          op3.addParameter(name='save', value=figpath, format='str')

          op3.addParameter(name='colormap', value='jet', format='str')

          op3.addParameter(name='localtime', value=localtime,format='int')

          op3.addParameter(name='show', value = showSPC, format='int')

        joabAM
    
merged branches

              r1370
            
          #

        joabAM
    
Cambio en la lectura de archivos, se incluyó detección de cambio de experimento

              r1373
            
        joabAM
    
merged branches

              r1370
            
          # opObj31 = procUnitConfObj1.addOperation(name='selectChannels')

          # opObj31.addParameter(name='channelList', value='6,7,8,9', format='intlist')

          #

        joabAM
    
Cambio en la lectura de archivos, se incluyó detección de cambio de experimento

              r1373
            
          op4 = proc_spectra.addOperation(name='RTIPlot', optype='external')

          op4.addParameter(name='id', value='2', format='int')

          op4.addParameter(name='localtime', value=localtime,format='int')

          op4.addParameter(name='wintitle', value='RTI', format='str')

          #op4.addParameter(name='xmin', value=xmin, format='int')

          op4.addParameter(name='xmax', value=xmax, format='int') #max value =23

          op4.addParameter(name='ymin', value=ymin, format='int')

          #op4.addParameter(name='ymax', value=ymax, format='int')

          op4.addParameter(name='zmin', value=dbmin, format='int')

          op4.addParameter(name='zmax', value=dbmax, format='int')

          op4.addParameter(name='showprofile', value='1', format='int')

          op4.addParameter(name='show', value = showRTI, format='int') #

          #op4.addParameter(name='timerange', value=str(24*60*60), format='int')#conflicto datetime

          op4.addParameter(name='save', value=figpath+'/plots', format='str')

          #op4.addParameter(name='figpath', value = figpath+'/plots', format='str')#no es necesario

          op4.addParameter(name='colormap', value='jet', format='str')

          op4.addParameter(name='channels', value='2,4', format='intlist')

        joabAM
    
merged branches

              r1370
            
          # opObj14 = procUnitConfObj1.addOperation(name='NoisePlot', optype='external')

          # opObj14.addParameter(name='id', value='3', format='int')

          # opObj14.addParameter(name='wintitle', value='title0', format='str')

          # opObj14.addParameter(name='showprofile', value='0', format='int')

          # opObj14.addParameter(name='xmin', value=xmin, format='int')

          # opObj14.addParameter(name='xmax', value=xmax, format='int')

          # opObj14.addParameter(name='ymin', value=dbmin, format='int')

          # opObj14.addParameter(name='ymax', value=dbmax, format='int')

          # opObj14.addParameter(name='save', value=figpath+'/plots', format='str')

          # opObj14.addParameter(name='localtime', value=localtime,format='int')

          # opObj14.addParameter(name='show', value = showNOISE, format='int')

          # #

          # opObj18 = procUnitConfObj1.addOperation(name='PublishData', optype='other')

          # opObj18.addParameter(name='zeromq', value=1, format='int')

          # opObj18.addParameter(name='server', value='tcp://0.0.0.0:8020/', format='str')

          # opObj18.addParameter(name='delay', value=0, format='int')

          # #

          # patternX = 'local, remote, ext, period, exp_code, sub_exp_code'

          #

          # opObj18 = procUnitConfObj1.addOperation(name='SendToFTP', optype='external')

          # opObj18.addParameter(name='server', value='localhost', format='str')

          # opObj18.addParameter(name='username', value='soporte', format='str')

          # opObj18.addParameter(name='password', value='soporte', format='str')

          # opObj18.addParameter(name='timeout', value=5, format='int')

          #

          # #opObj18.addParameter(name='patternx', value=patternX, format='str')

          # opObj18.addParameter(name='patternlocalfolder', value=figpath, format='str')

          # opObj18.addParameter(name='patternremotefolder', value=remotefolder, format='str')

          # opObj18.addParameter(name='patternext', value='.png', format='str')

          # opObj18.addParameter(name='patternperiod', value=1, format='int')

          # opObj18.addParameter(name='patternprotocol', value='ftp', format='str')

          # opObj18.addParameter(name='patternsub_ext', value='amisr', format='str')

          # remotefolder = '/Data/myServer/'

          # opObj18 = controllerObj.addProcUnit(name='SendToServer', inputId=procUnitConfObj1.getId())

          # opObj18.addParameter(name='server', value='localhost', format='str')

          # opObj18.addParameter(name='username', value='soporte', format='str')

          # opObj18.addParameter(name='password', value='soporte', format='str')

          # opObj18.addParameter(name='localfolder', value=figpath, format='str')

          # opObj18.addParameter(name='remotefolder', value=remotefolder, format='str')

          # opObj18.addParameter(name='ext', value='.png', format='str')

          # opObj18.addParameter(name='period', value=5, format='int')

          # opObj18.addParameter(name='protocol', value='ftp', format='str')

          # #-----------------------------------------------------------------------------------------------

          #####################

          #

          # procUnitConfObj2 = controllerObj.addProcUnit(datatype='ParametersProc', inputId=procUnitConfObj1.getId())

          # opObj16 =  procUnitConfObj2.addOperation(name='SpectralMoments', optype='other')

          #

          #

          # #Using ParamWriter::::

          # opObj17 = procUnitConfObj2.addOperation(name='ParamWriter', optype='external')

          # opObj17.addParameter(name='path', value=figpath+'/param')

          # opObj17.addParameter(name='blocksPerFile', value='10', format='int')

          # opObj17.addParameter(name='metadataList',value='type,inputUnit,heightList',format='list')

          # opObj17.addParameter(name='dataList',value='moments,data_SNR,utctime',format='list')

          # opObj17.addParameter(name='mode',value='1',format='int') #'0' channels, '1' parameters, '3' table (for meteors)

          #

          #

          #print("Escribiendo el archivo XML",controllerObj.writeXml(path +'/'+filename))

          controllerObj.start()

          #print("Leyendo el archivo XML",controllerObj.readXml(path +'/'+filename))

      if __name__ == '__main__':

          import time

          start_time = time.time()

          main()

          print("--- %s seconds ---" % (time.time() - start_time))

	Site-wide shortcuts
/	Use quick search box
g h	Goto home page
g g	Goto my private gists page
g G	Goto my public gists page
g 0-9	Goto bookmarked items from 0-9
n r	New repository page
n g	New gist page

	Repositories
g s	Goto summary page
g c	Goto changelog page
g f	Goto files page
g F	Goto files page with file search activated
g p	Goto pull requests page
g o	Goto repository settings
g O	Goto repository access permissions settings
t s	Toggle sidebar on some pages

joabAM merged branches	r1370	import os, sys
		import time
		import datetime


		path = os.path.dirname(os.getcwd())
		path = os.path.dirname(path)
		sys.path.insert(0, path)

		from schainpy.controller import Project

		def main():
		desc = "AMISR Experiment"

		filename = "amisr_reader.xml"

		controllerObj = Project()

		controllerObj.setup(id = '10', name='eej_proc', description=desc)


		#path = os.path.join(os.environ['HOME'],'amisr')
		# path = '/media/signalchain/HD-PXU2/AMISR_JULIA_MODE'
		# path = '/media/soporte/E9F4-F053/AMISR/Data/NoiseTest/EEJ'
		# path = '/media/soporte/E9F4-F053/AMISR/Data/ESF'
		#path = '/mnt/data_amisr'

joabAM Cambio en la lectura de archivos, se incluyó detección de cambio de experimento	r1373	path = '/home/soporte/Data/EEJ/EEJ2021192'
joabAM merged branches	r1370	#figpath = os.path.join(os.environ['HOME'],'Pictures/amisr/test/proc/esf')
		#figpath = '/media/soporte/E9F4-F053/AMISR/Data/JULIA/ESF'
joabAM Cambio en la lectura de archivos, se incluyó detección de cambio de experimento	r1373	figpath = '/home/soporte/Data/OutTest/EEJ'
joabAM merged branches	r1370

		xmin = '07'
joabAM Cambio en la lectura de archivos, se incluyó detección de cambio de experimento	r1373	xmax = '18' #-> el plot genera +1 en la hora, es decir aparece 18 como máximo
joabAM merged branches	r1370	ymin = '0'
		ymax = '300'
		dbmin = '45' #'60'#'55' #'40' #noise esf eej
		dbmax = '65' #'70' #'55'
		showSPC = '1' #view plot Spectra
		showRTI = '1' #view plot RTI
		showNOISE = '0' #view plot NOISE
		localtime='1' #para ajustar el horario en las gráficas '0' para dejar en utc

		code = '1,-1,-1,-1,1,1,1,1,-1,-1,-1,1,-1,-1,-1,1,-1,-1,-1,1,-1,-1,1,-1,1,1,-1,1'
		nCode = '1'
		nBaud = '28'

		nosamp = '1' # oversample for EEJ

		str0 = datetime.date.today()
		str1 = str0 + datetime.timedelta(days=1)
		str2 = str0 - datetime.timedelta(days=1)
		today = str0.strftime("%Y/%m/%d")
		tomorrow = str1.strftime("%Y/%m/%d")
		yesterday = str2.strftime("%Y/%m/%d")

		#print(today,yesterday,tomorrow)
		#path= '/home/soporte/dataAMISR_test/'
		#path= '/home/soporte/dataAMISR/'
		#path='/home/soporte/Documentos/' #

joabAM Cambio en la lectura de archivos, se incluyó detección de cambio de experimento	r1373	readUnitConfObj = controllerObj.addReadUnit(datatype='Spectra',
joabAM merged branches	r1370	path=path,
joabAM Cambio en la lectura de archivos, se incluyó detección de cambio de experimento	r1373	startDate='2021/07/11',
		endDate='2021/07/11',
		startTime='07:01:30',#'07:00:00',
		endTime='18:00:00',#'15:00:00',
		walk=1,
joabAM merged branches	r1370	timezone='lt',
		online=0)

		#AMISR Processing Unit



joabAM Cambio en la lectura de archivos, se incluyó detección de cambio de experimento	r1373	proc_spectra = controllerObj.addProcUnit(datatype='SpectraProc', inputId=readUnitConfObj.getId())
		proc_spectra.addParameter(name='nFFTPoints', value='16', format='int')
joabAM merged branches	r1370	#procUnitConfObj1.addParameter(name='frequency', value='445e6', format='float') #no lo acepta


joabAM Cambio en la lectura de archivos, se incluyó detección de cambio de experimento	r1373	# op1 = proc_spectra.addOperation(name='IncohInt', optype='other')
		# op1.addParameter(name='n', value='150', format='int') #300 normal value
joabAM merged branches	r1370
joabAM Cambio en la lectura de archivos, se incluyó detección de cambio de experimento	r1373	#op2 = proc_spectra.addOperation(name='removeDC')
joabAM merged branches	r1370
joabAM Cambio en la lectura de archivos, se incluyó detección de cambio de experimento	r1373	op2 = proc_spectra.addOperation(name='CrossSpectraPlot', optype='external')
		op2.addParameter(name='id', value='10', format='int')
		op2.addParameter(name='save', value=figpath, format='str')
		#op2.addParameter(name='zmin', value='10.0', format='float')
		#op2.addParameter(name='zmax', value='35.0', format='float')
joabAM merged branches	r1370	# #
joabAM Cambio en la lectura de archivos, se incluyó detección de cambio de experimento	r1373
		op3 = proc_spectra.addOperation(name='SpectraPlot', optype='external')
		op3.addParameter(name='id', value='21', format='int')
		op3.addParameter(name='xaxis', value='velocity')
		op3.addParameter(name='ymax', value=ymax, format='int')
		op3.addParameter(name='showprofile', value='1', format='int')
		op3.addParameter(name='wintitle', value='AMISR Beam 0', format='str')
		op3.addParameter(name='zmin', value=dbmin, format='int')
		op3.addParameter(name='zmax', value=dbmax, format='int')
		op3.addParameter(name='save', value=figpath, format='str')
		op3.addParameter(name='colormap', value='jet', format='str')
		op3.addParameter(name='localtime', value=localtime,format='int')
		op3.addParameter(name='show', value = showSPC, format='int')
joabAM merged branches	r1370	#
joabAM Cambio en la lectura de archivos, se incluyó detección de cambio de experimento	r1373
joabAM merged branches	r1370
		# opObj31 = procUnitConfObj1.addOperation(name='selectChannels')
		# opObj31.addParameter(name='channelList', value='6,7,8,9', format='intlist')
		#
joabAM Cambio en la lectura de archivos, se incluyó detección de cambio de experimento	r1373	op4 = proc_spectra.addOperation(name='RTIPlot', optype='external')
		op4.addParameter(name='id', value='2', format='int')
		op4.addParameter(name='localtime', value=localtime,format='int')
		op4.addParameter(name='wintitle', value='RTI', format='str')
		#op4.addParameter(name='xmin', value=xmin, format='int')
		op4.addParameter(name='xmax', value=xmax, format='int') #max value =23
		op4.addParameter(name='ymin', value=ymin, format='int')
		#op4.addParameter(name='ymax', value=ymax, format='int')
		op4.addParameter(name='zmin', value=dbmin, format='int')
		op4.addParameter(name='zmax', value=dbmax, format='int')
		op4.addParameter(name='showprofile', value='1', format='int')
		op4.addParameter(name='show', value = showRTI, format='int') #
		#op4.addParameter(name='timerange', value=str(246060), format='int')#conflicto datetime
		op4.addParameter(name='save', value=figpath+'/plots', format='str')
		#op4.addParameter(name='figpath', value = figpath+'/plots', format='str')#no es necesario
		op4.addParameter(name='colormap', value='jet', format='str')
		op4.addParameter(name='channels', value='2,4', format='intlist')
joabAM merged branches	r1370
		# opObj14 = procUnitConfObj1.addOperation(name='NoisePlot', optype='external')
		# opObj14.addParameter(name='id', value='3', format='int')
		# opObj14.addParameter(name='wintitle', value='title0', format='str')
		# opObj14.addParameter(name='showprofile', value='0', format='int')
		# opObj14.addParameter(name='xmin', value=xmin, format='int')
		# opObj14.addParameter(name='xmax', value=xmax, format='int')
		# opObj14.addParameter(name='ymin', value=dbmin, format='int')
		# opObj14.addParameter(name='ymax', value=dbmax, format='int')
		# opObj14.addParameter(name='save', value=figpath+'/plots', format='str')
		# opObj14.addParameter(name='localtime', value=localtime,format='int')
		# opObj14.addParameter(name='show', value = showNOISE, format='int')
		# #

		# opObj18 = procUnitConfObj1.addOperation(name='PublishData', optype='other')
		# opObj18.addParameter(name='zeromq', value=1, format='int')
		# opObj18.addParameter(name='server', value='tcp://0.0.0.0:8020/', format='str')
		# opObj18.addParameter(name='delay', value=0, format='int')
		# #

		# patternX = 'local, remote, ext, period, exp_code, sub_exp_code'
		#
		# opObj18 = procUnitConfObj1.addOperation(name='SendToFTP', optype='external')
		# opObj18.addParameter(name='server', value='localhost', format='str')
		# opObj18.addParameter(name='username', value='soporte', format='str')
		# opObj18.addParameter(name='password', value='soporte', format='str')
		# opObj18.addParameter(name='timeout', value=5, format='int')
		#
		# #opObj18.addParameter(name='patternx', value=patternX, format='str')
		# opObj18.addParameter(name='patternlocalfolder', value=figpath, format='str')
		# opObj18.addParameter(name='patternremotefolder', value=remotefolder, format='str')
		# opObj18.addParameter(name='patternext', value='.png', format='str')
		# opObj18.addParameter(name='patternperiod', value=1, format='int')
		# opObj18.addParameter(name='patternprotocol', value='ftp', format='str')
		# opObj18.addParameter(name='patternsub_ext', value='amisr', format='str')

		# remotefolder = '/Data/myServer/'
		# opObj18 = controllerObj.addProcUnit(name='SendToServer', inputId=procUnitConfObj1.getId())
		# opObj18.addParameter(name='server', value='localhost', format='str')
		# opObj18.addParameter(name='username', value='soporte', format='str')
		# opObj18.addParameter(name='password', value='soporte', format='str')
		# opObj18.addParameter(name='localfolder', value=figpath, format='str')
		# opObj18.addParameter(name='remotefolder', value=remotefolder, format='str')
		# opObj18.addParameter(name='ext', value='.png', format='str')
		# opObj18.addParameter(name='period', value=5, format='int')
		# opObj18.addParameter(name='protocol', value='ftp', format='str')
		# #-----------------------------------------------------------------------------------------------
		#####################


		#
		# procUnitConfObj2 = controllerObj.addProcUnit(datatype='ParametersProc', inputId=procUnitConfObj1.getId())
		# opObj16 = procUnitConfObj2.addOperation(name='SpectralMoments', optype='other')
		#
		#
		# #Using ParamWriter::::
		# opObj17 = procUnitConfObj2.addOperation(name='ParamWriter', optype='external')
		# opObj17.addParameter(name='path', value=figpath+'/param')
		# opObj17.addParameter(name='blocksPerFile', value='10', format='int')
		# opObj17.addParameter(name='metadataList',value='type,inputUnit,heightList',format='list')
		# opObj17.addParameter(name='dataList',value='moments,data_SNR,utctime',format='list')
		# opObj17.addParameter(name='mode',value='1',format='int') #'0' channels, '1' parameters, '3' table (for meteors)
		#
		#


		#print("Escribiendo el archivo XML",controllerObj.writeXml(path +'/'+filename))

		controllerObj.start()

		#print("Leyendo el archivo XML",controllerObj.readXml(path +'/'+filename))

		if __name__ == '__main__':
		import time
		start_time = time.time()
		main()
		print("--- %s seconds ---" % (time.time() - start_time))