Experimentos_Python.py fixed

mgraffg · May 9, 2017 · 9e39c9b · 9e39c9b
1 parent 1d7326f
commit 9e39c9b
Show file tree

Hide file tree

Showing 8 changed files with 249 additions and 55 deletions.
diff --git a/#Ejecutar_Experimentos_Linux# b/#Ejecutar_Experimentos_Linux#
@@ -0,0 +1,183 @@
+#!/bin/bash
+fRes="../res/TB"
+fDatos="../data"
+
+clear
+echo "Instalando EvoDAG...."
+#cd /home/claudia/Documentos/DOCTORADO/CODIGO/EvoDAG
+cd /shared/cnsanchez/EvoDAG
+python setup.py build_ext --inplace
+python setup.py install
+nosetests EvoDAG
+
+test="_test_data_"
+train="_train_"
+
+archivo="banana"
+clear
+echo "banana.........................................................."
+for ((var=1;var<=1;var++))
+do  
+    echo EvoDAG-params -C -P $fRes/$archivo$test$var.params -u 32 $fDatos/$archivo$train$var.csv
+    EvoDAG-params -C -P $fRes/$archivo$test$var.params -u 32 $fDatos/$archivo$train$var.csv
+    echo EvoDAG-train -P $fRes/$archivo$test$var.params -m $fRes/$archivo$test$var.model -u 32 $fDatos/$archivo$train$var.csv
+    EvoDAG-train -P $fRes/$archivo$test$var.params -m $fRes/$archivo$test$var.model -u 32 $fDatos/$archivo$train$var.csv
+    echo EvoDAG-predict -m $fRes/$archivo$test$var.model -o $fRes/$archivo$test$var.predict -u 32 $fDatos/$archivo$test$var.csv
+    EvoDAG-predict -m $fRes/$archivo$test$var.model -o $fRes/$archivo$test$var.predict -u 32 $fDatos/$archivo$test$var.csv
+done
+
+archivo="breast-cancer"
+clear
+echo "breast-cancer..............................................."
+for ((var=1;var<=1;var++))
+do  
+    echo EvoDAG-params -C -P $fRes/$archivo$test$var.params -u 32 $fDatos/$archivo$train$var.csv
+    EvoDAG-params -C -P $fRes/$archivo$test$var.params -u 32 $fDatos/$archivo$train$var.csv
+    echo EvoDAG-train -P $fRes/$archivo$test$var.params -m $fRes/$archivo$test$var.model -u 32 $fDatos/$archivo$train$var.csv
+    EvoDAG-train -P $fRes/$archivo$test$var.params -m $fRes/$archivo$test$var.model -u 32 $fDatos/$archivo$train$var.csv
+    echo EvoDAG-predict -m $fRes/$archivo$test$var.model -o $fRes/$archivo$test$var.predict -u 32 $fDatos/$archivo$test$var.csv
+    EvoDAG-predict -m $fRes/$archivo$test$var.model -o $fRes/$archivo$test$var.predict -u 32 $fDatos/$archivo$test$var.csv
+done
+
+archivo="diabetis"
+clear
+echo "diabetis..............................................."
+for ((var=1;var<=1;var++))
+do  
+    echo EvoDAG-params -C -P $fRes/$archivo$test$var.params -u 32 $fDatos/$archivo$train$var.csv
+    EvoDAG-params -C -P $fRes/$archivo$test$var.params -u 32 $fDatos/$archivo$train$var.csv
+    echo EvoDAG-train -P $fRes/$archivo$test$var.params -m $fRes/$archivo$test$var.model -u 32 $fDatos/$archivo$train$var.csv
+    EvoDAG-train -P $fRes/$archivo$test$var.params -m $fRes/$archivo$test$var.model -u 32 $fDatos/$archivo$train$var.csv
+    echo EvoDAG-predict -m $fRes/$archivo$test$var.model -o $fRes/$archivo$test$var.predict -u 32 $fDatos/$archivo$test$var.csv
+    EvoDAG-predict -m $fRes/$archivo$test$var.model -o $fRes/$archivo$test$var.predict -u 32 $fDatos/$archivo$test$var.csv
+done
+
+archivo="flare-solar"
+clear
+echo "flare-solar..............................................."
+for ((var=1;var<=1;var++))
+do  
+    echo EvoDAG-params -C -P $fRes/$archivo$test$var.params -u 32 $fDatos/$archivo$train$var.csv
+    EvoDAG-params -C -P $fRes/$archivo$test$var.params -u 32 $fDatos/$archivo$train$var.csv
+    echo EvoDAG-train -P $fRes/$archivo$test$var.params -m $fRes/$archivo$test$var.model -u 32 $fDatos/$archivo$train$var.csv
+    EvoDAG-train -P $fRes/$archivo$test$var.params -m $fRes/$archivo$test$var.model -u 32 $fDatos/$archivo$train$var.csv
+    echo EvoDAG-predict -m $fRes/$archivo$test$var.model -o $fRes/$archivo$test$var.predict -u 32 $fDatos/$archivo$test$var.csv
+    EvoDAG-predict -m $fRes/$archivo$test$var.model -o $fRes/$archivo$test$var.predict -u 32 $fDatos/$archivo$test$var.csv
+done
+
+archivo="german"
+clear
+echo "german..............................................."
+for ((var=1;var<=100;var++))
+do  
+    echo EvoDAG-params -C -P $fRes/$archivo$test$var.params -u 32 $fDatos/$archivo$train$var.csv
+    EvoDAG-params -C -P $fRes/$archivo$test$var.params -u 32 $fDatos/$archivo$train$var.csv
+    echo EvoDAG-train -P $fRes/$archivo$test$var.params -m $fRes/$archivo$test$var.model -u 32 $fDatos/$archivo$train$var.csv
+    EvoDAG-train -P $fRes/$archivo$test$var.params -m $fRes/$archivo$test$var.model -u 32 $fDatos/$archivo$train$var.csv
+    echo EvoDAG-predict -m $fRes/$archivo$test$var.model -o $fRes/$archivo$test$var.predict -u 32 $fDatos/$archivo$test$var.csv
+    EvoDAG-predict -m $fRes/$archivo$test$var.model -o $fRes/$archivo$test$var.predict -u 32 $fDatos/$archivo$test$var.csv
+done
+
+archivo="heart"
+clear
+echo "heart..............................................."
+for ((var=1;var<=100;var++))
+do  
+    echo EvoDAG-params -C -P $fRes/$archivo$test$var.params -u 32 $fDatos/$archivo$train$var.csv
+    EvoDAG-params -C -P $fRes/$archivo$test$var.params -u 32 $fDatos/$archivo$train$var.csv
+    echo EvoDAG-train -P $fRes/$archivo$test$var.params -m $fRes/$archivo$test$var.model -u 32 $fDatos/$archivo$train$var.csv
+    EvoDAG-train -P $fRes/$archivo$test$var.params -m $fRes/$archivo$test$var.model -u 32 $fDatos/$archivo$train$var.csv
+    echo EvoDAG-predict -m $fRes/$archivo$test$var.model -o $fRes/$archivo$test$var.predict -u 32 $fDatos/$archivo$test$var.csv
+    EvoDAG-predict -m $fRes/$archivo$test$var.model -o $fRes/$archivo$test$var.predict -u 32 $fDatos/$archivo$test$var.csv
+done
+
+archivo="image"
+clear
+echo "image..............................................."
+for ((var=1;var<=20;var++))
+do  
+    echo EvoDAG-params -C -P $fRes/$archivo$test$var.params -u 32 $fDatos/$archivo$train$var.csv
+    EvoDAG-params -C -P $fRes/$archivo$test$var.params -u 32 $fDatos/$archivo$train$var.csv
+    echo EvoDAG-train -P $fRes/$archivo$test$var.params -m $fRes/$archivo$test$var.model -u 32 $fDatos/$archivo$train$var.csv
+    EvoDAG-train -P $fRes/$archivo$test$var.params -m $fRes/$archivo$test$var.model -u 32 $fDatos/$archivo$train$var.csv
+    echo EvoDAG-predict -m $fRes/$archivo$test$var.model -o $fRes/$archivo$test$var.predict -u 32 $fDatos/$archivo$test$var.csv
+    EvoDAG-predict -m $fRes/$archivo$test$var.model -o $fRes/$archivo$test$var.predict -u 32 $fDatos/$archivo$test$var.csv
+done
+
+archivo="ringnorm"
+clear
+echo "ringnorm..............................................."
+for ((var=1;var<=100;var++))
+do  
+    echo EvoDAG-params -C -P $fRes/$archivo$test$var.params -u 32 $fDatos/$archivo$train$var.csv
+    EvoDAG-params -C -P $fRes/$archivo$test$var.params -u 32 $fDatos/$archivo$train$var.csv
+    echo EvoDAG-train -P $fRes/$archivo$test$var.params -m $fRes/$archivo$test$var.model -u 32 $fDatos/$archivo$train$var.csv
+    EvoDAG-train -P $fRes/$archivo$test$var.params -m $fRes/$archivo$test$var.model -u 32 $fDatos/$archivo$train$var.csv
+    echo EvoDAG-predict -m $fRes/$archivo$test$var.model -o $fRes/$archivo$test$var.predict -u 32 $fDatos/$archivo$test$var.csv
+    EvoDAG-predict -m $fRes/$archivo$test$var.model -o $fRes/$archivo$test$var.predict -u 32 $fDatos/$archivo$test$var.csv
+done
+
+archivo="splice"
+clear
+echo "splice.............................................."
+for ((var=1;var<=20;var++))
+do  
+    echo EvoDAG-params -C -P $fRes/$archivo$test$var.params -u 32 $fDatos/$archivo$train$var.csv
+    EvoDAG-params -C -P $fRes/$archivo$test$var.params -u 32 $fDatos/$archivo$train$var.csv
+    echo EvoDAG-train -P $fRes/$archivo$test$var.params -m $fRes/$archivo$test$var.model -u 32 $fDatos/$archivo$train$var.csv
+    EvoDAG-train -P $fRes/$archivo$test$var.params -m $fRes/$archivo$test$var.model -u 32 $fDatos/$archivo$train$var.csv
+    echo EvoDAG-predict -m $fRes/$archivo$test$var.model -o $fRes/$archivo$test$var.predict -u 32 $fDatos/$archivo$test$var.csv
+    EvoDAG-predict -m $fRes/$archivo$test$var.model -o $fRes/$archivo$test$var.predict -u 32 $fDatos/$archivo$test$var.csv
+done
+
+archivo="thyroid"
+clear
+echo "thryroid.............................................."
+for ((var=1;var<=100;var++))
+do  
+    echo EvoDAG-params -C -P $fRes/$archivo$test$var.params -u 32 $fDatos/$archivo$train$var.csv
+    EvoDAG-params -C -P $fRes/$archivo$test$var.params -u 32 $fDatos/$archivo$train$var.csv
+    echo EvoDAG-train -P $fRes/$archivo$test$var.params -m $fRes/$archivo$test$var.model -u 32 $fDatos/$archivo$train$var.csv
+    EvoDAG-train -P $fRes/$archivo$test$var.params -m $fRes/$archivo$test$var.model -u 32 $fDatos/$archivo$train$var.csv
+    echo EvoDAG-predict -m $fRes/$archivo$test$var.model -o $fRes/$archivo$test$var.predict -u 32 $fDatos/$archivo$test$var.csv
+    EvoDAG-predict -m $fRes/$archivo$test$var.model -o $fRes/$archivo$test$var.predict -u 32 $fDatos/$archivo$test$var.csv
+done
+
+archivo="titanic"
+clear
+echo "titanic.............................................."
+for ((var=1;var<=100;var++))
+do  
+    echo EvoDAG-params -C -P $fRes/$archivo$test$var.params -u 32 $fDatos/$archivo$train$var.csv
+    EvoDAG-params -C -P $fRes/$archivo$test$var.params -u 32 $fDatos/$archivo$train$var.csv
+    echo EvoDAG-train -P $fRes/$archivo$test$var.params -m $fRes/$archivo$test$var.model -u 32 $fDatos/$archivo$train$var.csv
+    EvoDAG-train -P $fRes/$archivo$test$var.params -m $fRes/$archivo$test$var.model -u 32 $fDatos/$archivo$train$var.csv
+    echo EvoDAG-predict -m $fRes/$archivo$test$var.model -o $fRes/$archivo$test$var.predict -u 32 $fDatos/$archivo$test$var.csv
+    EvoDAG-predict -m $fRes/$archivo$test$var.model -o $fRes/$archivo$test$var.predict -u 32 $fDatos/$archivo$test$var.csv
+done
+
+archivo="twonorm"
+clear
+echo "twonorm.............................................."
+for ((var=1;var<=100;var++))
+do  
+    echo EvoDAG-params -C -P $fRes/$archivo$test$var.params -u 32 $fDatos/$archivo$train$var.csv
+    EvoDAG-params -C -P $fRes/$archivo$test$var.params -u 32 $fDatos/$archivo$train$var.csv
+    echo EvoDAG-train -P $fRes/$archivo$test$var.params -m $fRes/$archivo$test$var.model -u 32 $fDatos/$archivo$train$var.csv
+    EvoDAG-train -P $fRes/$archivo$test$var.params -m $fRes/$archivo$test$var.model -u 32 $fDatos/$archivo$train$var.csv
+    echo EvoDAG-predict -m $fRes/$archivo$test$var.model -o $fRes/$archivo$test$var.predict -u 32 $fDatos/$archivo$test$var.csv
+    EvoDAG-predict -m $fRes/$archivo$test$var.model -o $fRes/$archivo$test$var.predict -u 32 $fDatos/$archivo$test$var.csv
+done
+
+archivo="waveform"
+clear
+echo "waveform.............................................."
+for ((var=1;var<=100;var++))
+do  
+    echo EvoDAG-params -C -P $fRes/$archivo$test$var.params -u 32 $fDatos/$archivo$train$var.csv
+    EvoDAG-params -C -P $fRes/$archivo$test$var.params -u 32 $fDatos/$archivo$train$var.csv
+    echo EvoDAG-train -P $fRes/$archivo$test$var.params -m $fRes/$archivo$test$var.model -u 32 $fDatos/$archivo$train$var.csv
+    EvoDAG-train -P $fRes/$archivo$test$var.params -m $fRes/$archivo$test$var.model -u 32 $fDatos/$archivo$train$var.csv
+    echo EvoDAG-predict -m $fRes/$archivo$test$var.model -o $fRes/$archivo$test$var.predict -u 32 $fDatos/$archivo$test$var.csv
+    EvoDAG-predict -m $fRes/$archivo$test$var.model -o $fRes/$archivo$test$var.predict -u 32 $fDatos/$archivo$test$var.csv
+done
diff --git a/.#Ejecutar_Experimentos_Linux b/.#Ejecutar_Experimentos_Linux
@@ -0,0 +1 @@
+cnsanchez@master.27353:1468956880
diff --git a/Ejecutar_Evaluacion_Python.py b/Ejecutar_Evaluacion_Python.py
@@ -12,12 +12,13 @@ def BER(y, yh):
     return (b / float(u.shape[0])) * 100.
 datasets = ['banana','titanic','thyroid','diabetis','breast-cancer','flare-solar','heart','ringnorm','twonorm','german','waveform','splice','image']
 datasets_size = [100,100,100,100,100,100,100,100,100,100,100,20,20]
-#datasets_size = [1,1,1,1,1,1,1,1,1,1,1,1,1]
+datasets_size = [1,1,1,1,1,1,1,1,1,1,1,1,1]
 
+print('Evaluation')
 os.chdir('/shared/cnsanchez/EvoDAG')
 #os.chdir('/home/claudia/Documentos/DOCTORADO/CODIGO/EvoDAG')
-folderRes = '../res/TDesired/'
-folderRes = '../res/EvoDAG/'
+folderRes = '../res/TB/'
+#folderRes = '../res/EvoDAG/'
 folderData = '../data/'
 
 columns=['dataset','error','fitness','size']
@@ -47,5 +48,5 @@ def BER(y, yh):
     df['fitness'][i] = fitness
     df['size'][i] = size
     print(df)
-    df.to_csv(folderRes+'ares.csv',sep=',')
+    df.to_csv(folderRes+'ares_1.csv',sep=',')
 print(df)
diff --git a/Ejecutar_Experimentos_Linux b/Ejecutar_Experimentos_Linux
@@ -1,11 +1,11 @@
 #!/bin/bash
-fRes="../res/TDesired"
+fRes="../res/TB"
 fDatos="../data"
 
 clear
 echo "Instalando EvoDAG...."
-cd /home/claudia/Documentos/DOCTORADO/CODIGO/EvoDAG
-#cd /shared/cnsanchez/EvoDAG
+#cd /home/claudia/Documentos/DOCTORADO/CODIGO/EvoDAG
+cd /shared/cnsanchez/EvoDAG
 python setup.py build_ext --inplace
 python setup.py install
 nosetests EvoDAG

diff --git a/EvoDAG/base.py b/EvoDAG/base.py
@@ -419,8 +419,9 @@ def get_args(self, func):
             k = self.tournament_closer(func,2)
             args.append(k)
             return args
-        
+        '''
         #Searching n arguments based on orthogonality
+        '''
         if func.symbol == '+':
             k = self.population.tournament()
             args.append(k)
@@ -429,6 +430,7 @@ def get_args(self, func):
                 args.append(m)
             return args
         '''
+        '''
         #Searching n arguments based on desired unique vectors
         if func.symbol == '+' or func.symbol == '*':
             k = self.population.tournament()
@@ -446,7 +448,7 @@ def get_args(self, func):
                 m = self.tournament_desired(desired_unique,2,args)
                 args.append(m)
             return args
-
+        '''
         if func.unique_args:
             return self.get_unique_args(func)
         for j in range(func.nargs):

diff --git a/Experimentos_Python.py b/Experimentos_Python.py
@@ -11,38 +11,44 @@ def BER(y, yh):
         b += (~(y[m] == yh[m])).sum() / float(m.sum())
     return (b / float(u.shape[0])) * 100.
 
+folderRes = '../res/TB/'
+folderData = '../data/'
 datasets = ['banana','titanic','thyroid','diabetis','breast-cancer','flare-solar','heart','ringnorm','twonorm','german','waveform','splice','image']
 datasets_size = [100,100,100,100,100,100,100,100,100,100,100,20,20]
 datasets_size = [1,1,1,1,1,1,1,1,1,1,1,1,1]
 
 os.chdir('/shared/cnsanchez/EvoDAG')
 #os.chdir('/home/claudia/Documentos/DOCTORADO/CODIGO/EvoDAG')
-folderRes = '../res/TB/'
-folderData = '../data/'
+os.system('python setup.py build_ext --inplace')
+os.system('python setup.py install')
+os.system('nosetests EvoDAG')
 
 columns=['dataset','error','fitness','size']
 index=numpy.arange(len(datasets))
 df = pandas.DataFrame(columns=columns,index=index)
 for i in range(len(datasets)):
     archivo = datasets[i]
-    print('------------------------------------------------',archivo)
+    os.system('echo '+archivo)
     error = 0.0
     fitness = 0.0
     size = 0.0
     for j in range(1,datasets_size[i]+1):
-        fileData = folderData+archivo+'_train_'+str(j)+'.csv'
+        fileDataTrain = folderData+archivo+'_train_'+str(j)+'.csv'
+        fileDataTestData = folderData+archivo+'_test_data_'+str(j)+'.csv'
+        fileDataTestLabels = folderData+archivo+'_test_labels_'+str(j)+'.csv'
         fileParams = folderRes+archivo+'_test_data_'+str(j)+ '.params'
         fileModel = folderRes+archivo+'_test_data_'+str(j)+'.model'
         filePredict = folderRes+archivo+'_test_data_'+str(j)+ '.predict'
-        os.system('EvoDAG-params -C -P ' +fileParams+' -u 32 '+fileData)
-        os.system('EvoDAG-train -P '+fileParams+' -m '+fileModel+' -u 32 '+fileData)
-        os.system('EvoDAG-predict -m '+fileModel+' -o '+filePredict+' -u 32 '+fileData)
+        os.system('EvoDAG-params -C -P ' +fileParams+' -u 32 '+fileDataTrain)
+        os.system('EvoDAG-train -P '+fileParams+' -m '+fileModel+' -u 32 '+fileDataTrain)
+        os.system('EvoDAG-predict -m '+fileModel+' -o '+filePredict+' -u 32 '+fileDataTestData)
         p = subprocess.Popen(['EvoDAG-utils --size ' +fileModel],stdout=subprocess.PIPE,shell=True)
         size += float(p.stdout.read().decode("utf-8")[6:-1])
         p = subprocess.Popen(['EvoDAG-utils --fitness ' +fileModel],stdout=subprocess.PIPE,shell=True)
         fitness += float(p.stdout.read().decode("utf-8")[16:-1])
         D1 = pandas.read_csv(filePredict,sep=",")
-        D2 = pandas.read_csv(folderData+archivo+'_test_labels_'+str(j)+'.csv',sep=",")
+        D2 = pandas.read_csv(fileDataTestLabels,sep=",")
+        os.system('echo '+str(len(D1.values))+'-'+str(len(D2.values)))
         error += BER(D1.values,D2.values)
     error /= datasets_size[i]
     size /= datasets_size[i]
@@ -52,5 +58,5 @@ def BER(y, yh):
     df['fitness'][i] = fitness
     df['size'][i] = size
     print(df)
-    df.to_csv(folderRes+'ares'+str(datasets_size[i])+'.csv',sep=',')
+    df.to_csv(folderRes+'ares'+str(datasets_size[0])+'.csv',sep=',')
 print(df)