Time Series Multi-task learning

1. Without data representation

• 원본 시계열 데이터를 입력으로 활용하여 학습 (single 모델로 사전학습 → multi-task learning으로 미세조정)

  (1) regression: single regression 모델로 사전학습 후, multitask-Learning 모델로 미세조정 수행

  (2) classificaiton: single classification 단일 모델로 사전학습 후, (regression+classification) 모델로 미세조정 수행

  (3) multi-task learning: 동일한 backbone 구조에 classification head 및 regression head를 추가하여 2개의 task를 동시에 학습

• 입력 데이터 형태 : (num_of_instance, input_dims, time_steps) 차원의 시계열 데이터
  

[Hyperparmeter for single regression or classification (LSTM & GRU)]

• model : 모델명 (LSTM or GRU)
• best_model_path : 학습 완료된 모델을 저장할 경로
• input_size : 데이터의 변수 개수, int
• num_classes : 분류할 class 개수, int
• num_layers : recurrent layers의 수, int(default: 2, 범위: 1 이상)
• hidden_size : hidden state의 차원, int(default: 64, 범위: 1 이상)
• dropout : dropout 확률, float(default: 0.1, 범위: 0 이상 1 이하)
• bidirectional : 모델의 양방향성 여부, bool(default: True)
• num_epochs : 학습 epoch 횟수, int(default: 1000, 범위: 1 이상)
• batch_size : batch 크기, int(default: 16, 범위: 1 이상, 컴퓨터 사양에 적합하게 설정)
• lr : learning rate, float(default: 0.0001, 범위: 0.1 이하)
• device : 학습 환경, (default: 'cuda', ['cuda', 'cpu'] 중 선택)

[Hyperparmeter for single regression or classification (1D CNN)]

• model : 모델명 (1D CNN)
• best_model_path : 학습 완료된 모델을 저장할 경로
• input_size : 데이터의 변수 개수, int
• num_classes : 분류할 class 개수, int
• seq_len : 데이터의 시간 길이, int
• output_channels : convolution layer의 output channel, int(default: 64, 범위: 1 이상, 2의 지수로 설정 권장)
• kernel_size : convolutional layer의 filter 크기, int(default: 3, 범위: 3 이상, 홀수로 설정 권장)
• stride : convolution layer의 stride 크기, int(default: 1, 범위: 1 이상)
• padding : padding 크기, int(default: 0, 범위: 0 이상)
• dropout : dropout 확률, float(default: 0.1, 범위: 0 이상 1 이하)
• num_epochs : 학습 epoch 횟수, int(default: 1000, 범위: 1 이상)
• batch_size : batch 크기, int(default: 16, 범위: 1 이상, 컴퓨터 사양에 적합하게 설정)
• lr : learning rate, float(default: 0.0001, 범위: 0.1 이하)
• device : 학습 환경, (default: 'cuda', ['cuda', 'cpu'] 중 선택)

[Hyperparmeter for single regression or classification (LSTM_FCNs_reg & LSTM_FCNs_cls)]

• input_size : 데이터의 변수 개수, int
• num_classes : 분류할 class 개수 (regression이면 1로 지정), int
• num_layers : recurrent layers의 수, int(default: 2, 범위: 1 이상)
• lstm_drop_out : LSTM dropout 확률, float(default: 0.1, 범위: 0 이상 1 이하)
• fc_drop_out : FC dropout 확률, float(default: 0.1, 범위: 0 이상 1 이하)
• num_epochs : 학습 epoch 횟수, int(default: 1000, 범위: 1 이상)
• batch_size : batch 크기, int(default: 16, 범위: 1 이상, 컴퓨터 사양에 적합하게 설정)
• lr : learning rate, float(default: 0.0001, 범위: 0.1 이하)
• device : 학습 환경, (default: 'cuda', ['cuda', 'cpu'] 중 선택)
• freeze : fc layer 를 제외한 layer 의 학습 여부 (default: False)

[Hyperparmeter for multitask-learning (LSTM_FCNs_multi)]

• model : 모델명 (LSTM_FCNs_multi)
• best_model_path : 학습 완료된 모델을 저장할 경로
• input_size : 데이터의 변수 개수, int
• num_classes_1 : Task1의 class 개수, int
• num_classes_2 : Task2의 class 개수 (regression이면 1개), int
• num_layers : recurrent layers의 수, int(default: 1, 범위: 1 이상)
• lstm_drop_out : LSTM dropout 확률, float(default: 0.4, 범위: 0 이상 1 이하)
• fc_drop_out : FC dropout 확률, float(default: 0.1, 범위: 0 이상 1 이하)
• num_epochs : 학습 epoch 횟수, int(default: 150, 범위: 1 이상)
• batch_size : batch 크기, int(default: 64, 범위: 1 이상, 컴퓨터 사양에 적합하게 설정)
• lr : learning rate, float(default: 0.0001, 범위: 0.1 이하)
• device : 학습 환경, (default: 'cuda', ['cuda', 'cpu'] 중 선택)
• freeze : fc layer 를 제외한 layer 의 학습 여부 (default: False)
• alpha : Task1의 반영 비율 (default: 0.5 (범위: [0, 1]))

2. With data representation

• 원본 시계열 데이터를 representation vector로 변환한 데이터를 입력으로 활용하여 학습

• 동일한 Backbone 구조에 Classification 및 Regression Head를 추가하여 2개의 Task를 동시에 학습

• 입력 데이터 형태 : (num_of_instance, embedding_dim) 차원의 시계열 데이터
  

[Hyperparmeter for FC]

• model : 모델명 (FC)
• best_model_path : 학습 완료된 모델을 저장할 경로
• 시계열 모델 hyperparameter : 아래에 자세히 설명.
• input_size : 데이터의 변수 개수, int
• num_classes : 분류할 class 개수, int
• dropout : dropout 확률, float(default: 0.1, 범위: 0 이상 1 이하)
• bias : bias 사용 여부, bool(default: True)
• num_epochs : 학습 epoch 횟수, int(default: 1000, 범위: 1 이상)
• batch_size : batch 크기, int(default: 16, 범위: 1 이상, 컴퓨터 사양에 적합하게 설정)
• lr : learning rate, float(default: 0.0001, 범위: 0.1 이하)
• device : 학습 환경, (default: 'cuda', ['cuda', 'cpu'] 중 선택)