Feature Engineering : 추가완료한 변수들 & 추가하고 싶은 변수들 정리

[MoonJaeHoon]

Feature Engineering

추가한 변수들 (완료)

1. 문제의 식별번호 (범주형? 연속형?) - 9자리
2. 문제번호 (시험지 내에서) (범주형? 연속형?) - 3자리
3. 시험지의 식별번호 전체 (범주형? 연속형?) - 6자리
4. 유저의 총 정답 개수
5. 유저의 풀이한 문제 누적합 개수
6. 유저의 정답률 변수
7. 시험 난이도 변수 (연속형)
8. 시험 식별 아이디 뒷부분 (연속형? 범주형?)
9. 연도
10. 요일 (범주형)
11. 월 (범주형)
12. 몇번째 주인지 (범주형? 연속형?)
13. 계절 변수 (범주형)
14. 시간대 (범주형? 연속형?)
15. testId별로 정답률, 정답개수, 총 풀이 개수
16. KnowledgeTag별로 정답률, 정답개수, 총 풀이 개수
17. assessmentItemID별로 정답률, 정답개수, 총 풀이 개수
18. user 별 총 풀이한 문제 개수

아래는 피쳐 추가한 전처리코드

def feature_engineering(df):

    #유저별 시퀀스를 고려하기 위해 아래와 같이 정렬
    df.sort_values(by=['userID','Timestamp'], inplace=True)

    # assessmentItemID (문제 ID)
    ## 문제의 식별번호 (범주형? 연속형?) - 9자리
    print('make feature : problem_id_num')
    df['problem_total_id'] = df['assessmentItemID'].map(lambda x: x[1:])
    ## 문제번호 (시험지 내에서) (범주형? 연속형?) - 3자리
    print('make feature : problem_num')
    df['problem_num'] = df['assessmentItemID'].map(lambda x: x[-3:])
    ## 시험지의 식별번호 전체 (범주형? 연속형?) - 6자리
    print('make feature : test_total_id')
    df['test_total_id'] = df['assessmentItemID'].map(lambda x: x[1:7])

    ###############################################
    # # 해당 문제를 몇 초, 몇 분만에 풀었는가 (연속형)
    # print('make feature : time_solve_problem_in_test')
    # new_df = df.copy()
    # new_df['Timestamp'] = new_df['Timestamp'].apply(lambda x: datetime.strptime(x, "%Y-%m-%d %H:%M:%S" ))
    # df['time_solve_problem_in_test'] = new_df.groupby(['userID','testId']).apply(lambda x: x['Timestamp'].diff()).values
    # del new_df
    ###############################################

    # UserID와 answerCode
    #유저들의 문제 풀이수, 정답 수, 정답률을 시간순으로 누적해서 계산
    # 유저의 총 정답 개수
    print('make feature : user_correct_answer')
    df['user_correct_answer'] = df.groupby('userID')['answerCode'].transform(lambda x: x.cumsum().shift(1))
    # 유저의 풀이한 문제 누적합 개수
    print('make feature : user_total_answer')
    df['user_total_answer'] = df.groupby('userID')['answerCode'].cumcount()
    # 유저의 정답률 변수
    print('make feature : user_acc')
    df['user_acc'] = df['user_correct_answer']/df['user_total_answer']
    
    # testId (시험 ID)
    ## 시험 난이도 변수 (연속형)
    print('make feature : test_level')
    df['test_level'] = df['testId'].map(lambda x: int(x[2]))   # A030071005 이 있으면, 030을 뽑아내는게 아니라 3만 뽑아냈음
    ## 시험 식별 아이디 뒷부분 (연속형? 범주형?)
    print('make feature : test_part_id')
    df['test_part_id'] = df['testId'].map(lambda x: x[-3:])   # A030071005 이 있으면, 030을 뽑아내는게 아니라 3만 뽑아냈음

    ## Timestamp(시간) 변수 활용
    # 연도
    print('make feature : year')
    df['year'] = df['Timestamp'].map(lambda x: datetime.strptime(x, "%Y-%m-%d %H:%M:%S" ).year)
    # 요일 (범주형)
    print('make feature : day_of_week')
    df["day_of_week"] = df["Timestamp"].map(lambda x: datetime.strptime(x, "%Y-%m-%d %H:%M:%S" ).weekday())
    # 월 (범주형)
    print('make feature : month')
    df["month"] = df["Timestamp"].map(lambda x: datetime.strptime(x, "%Y-%m-%d %H:%M:%S" ).month)
    # 몇번째 주인지 (범주형? 연속형?)
    print('make feature : week_number')
    df["week_number"] = df["Timestamp"].map(lambda x: datetime.strptime(x, "%Y-%m-%d %H:%M:%S" ).strftime('%V'))
    # 계절 변수 (범주형)
    print('make feature : season')
    seasons = [0,0,1,1,1,2,2,2,3,3,3,0] 
    df["season"] = df["Timestamp"].map(lambda x: seasons[(datetime.strptime(x, "%Y-%m-%d %H:%M:%S" ).month-1)])
    # 시간대 (범주형? 연속형?)
    print('make feature : hour')
    df["hour"] = df["Timestamp"].map(lambda x: datetime.strptime(x, "%Y-%m-%d %H:%M:%S" ).hour)

    # testId와 KnowledgeTag와 assessmentItemID에 대한 전체 정답률은 한번에 계산
    # 아래 데이터는 제출용 데이터셋에 대해서도 재사용
    # 정답률, 정답개수, 총 풀이 개수
    # testId별로 정답률, 정답개수, 총 풀이 개수
    correct_t = df.groupby(['testId'])['answerCode'].agg(['mean', 'sum', 'count'])
    correct_t.columns = ["test_mean", 'test_sum', 'test_count']
    # KnowledgeTag별로 정답률, 정답개수, 총 풀이 개수
    correct_k = df.groupby(['KnowledgeTag'])['answerCode'].agg(['mean', 'sum', 'count'])
    correct_k.columns = ["tag_mean", 'tag_sum', 'tag_count']
    # assessmentItemID별로 정답률, 정답개수, 총 풀이 개수
    correct_ass = df.groupby(['assessmentItemID'])['answerCode'].agg(['mean', 'sum', 'count'])
    correct_ass.columns = ["problem_mean", 'problem_sum', 'problem_count']
    # user 별 총 풀이한 문제 개수
    correct_user = df.groupby(['userID'])['answerCode'].agg(['count'])
    correct_user.columns = ["user_total_problem"]

    df = pd.merge(df, correct_t, on=['testId'], how="left")
    df = pd.merge(df, correct_k, on=['KnowledgeTag'], how="left")
    df = pd.merge(df, correct_ass, on=['assessmentItemID'], how="left")
    df = pd.merge(df, correct_user, on=['userID'], how="left")
    
    return df

---

더 추가하고 싶은 변수들

1. 유저가 똑같은 시험지를 여러번 보게 되는 경우가 있는가? 민용
   • 이 경우, test 유저도 똑같은 시험지를 여러번 보는 경우가 있는가?
   • 만약 그렇다면 (해당 시험지를 현재 몇번째로 보는 것인가?)를 변수로 쓸 수 있을 것이다.
   • (추가로, 이전에 해당 시험지를 몇개 맞혔었는지 여부 or 정답률)도 변수로 쓸 수 있다.

1-2. 유저가 똑같은 문제를 여러번 보는가? 민용
> 사실 똑같은 테스트를 보면 무조건 똑같은 문제를 푼다는 것이 확실해서 1번과 같은 feature가 됩니다.
- 이 경우, test 유저도 똑같은 문제를 여러번 보는 경우가 있는가?
- 만약 그렇다면 (해당 문제를 현재 몇번째로 보는 것인가?)를 변수로 쓸 수 있을 것이다.
- (이전에 해당 문제를 맞혔었는지 여부)도 변수로 쓸 수 있다.

2. 시험지 별로 문제를 푸는데 소요된 평균(중앙값)시간보다 빠르게 or 느리게 풀었는지 재훈

3. 문제를 몇 초, 몇 분만에 풀었는가 (다음 두개의 코드 참고) 민용

   • df['db'] = df['b']-df['b'].shift(1)
   • df['db'] = df['b'].diff()

4. 현재 풀고 있는 문제와 같은 Knowledge Tag를 접한적이 있는가? 진현

   • 여태까지 한 시험 내에서 같은 Tag를 몇번 접했는가 --- 주의
   • 여태까지 전체에서 같은 Tag를 몇번 접했는가
   • 해당 user는 전체적으로 해당 Tag와 같은 Tag를 몇번 접했는가 (모든 시점을 고려)
   • 같은 Tag를 접한지 이전으로부터 시간이 얼마나 지났는가
     • 한 시험 내에서만 고려하는 방법 & 전체에서 고려하는 방법
   • 여태까지 해당 Knowledge Tag의 누적 정답 개수 (모든시험)
   • 하나의 시험 내에서 여태까지 해당 Knowledge Tag의 누적 정답 개수 --- 주의
   • 여태까지 해당 Knowledge Tag의 누적 정답률 (모든시험)
   • 하나의 시험 내에서 여태까지 해당 Knowledge Tag의 누적 정답률 --- 주의

5. 현재까지 user가 문제를 푸는데 소요된 평균 시간 아라

6. 한 시험지를 풂에 있어서 총 걸린 시간

7. 첫 문제를 풀기 시작한 시간으로부터 현재 문제를 풀기까지 경과시간

8. (현재 풀고있는) 해당 시험지를 푸는데 user들이 평균적으로 걸린 시간 유라

   • 해당 시험지를 푸는데 user들이 걸린 시간들의 최대값, 최소값, 4분위수, 중앙값, 표준편차

9. (현재 풀고있는) 해당 문제를 푸는데 user들이 평균적으로 걸린 시간

   • 해당 문제를 푸는데 user들이 걸린 시간들의 최대값, 최소값, 4분위수, 중앙값, 표준편차

10. 해당 KnowledgeTag를 푸는데 user들이 평균적으로 걸린 시간

    • 해당 KnowledgeTag를 푸는데 user들이 걸린 시간들의 최대값, 최소값, 4분위수, 중앙값, 표준편차

11. 해당 시험지가 가지고 있는 KnowledgeTag의 개수 정현

    • 같은 시험지면 등장한 KnowledgeTag의 개수가 같을까? (문제의 개수와 종류도 같을까?)
      • 만약 다르다면, 이것 역시 평균, 중앙값, 표준편차 등의 대표값들을 추출해내야 할듯

12. 이전까지 정답을 연속으로 몇번 맞혔는지 (누적카운팅) 아라 --- 주의

• 현재 보고 있는 시험에 한해서 카운팅하는 방법
• ➕ 현재 보고 있는 시험의 이전까지 누적 정답수

13. 이전까지 정답을 연속으로 몇번 틀렸는지 (누적카운팅) --- 주의

• 현재 보고 있는 시험에 한해서 카운팅하는 방법
• ➕ 현재 보고 있는 시험의 이전까지 누적 오답수

14. 직전에 정답을 맞혔는지 틀렸는지 여부 (binary 변수) -- 있음 // interaction

• 현재 보고 있는 시험에 한하여 변수 생성하기
  • 예를 들어서, 해당 시험의 첫번째 문제를 푸는 중이라면 직전에 푼 문제가 없기 때문에 이 value는 해당row에서 생성될 수 없다 ( NaN )

15. 직전 시험에서의 점수 (정답률) --- 주의 재훈
16. 학생의 시험지 별 정답률 아라 -- 수정
17. 특정 시간에 대한 문제 진현
18. 지금 시험에서 풀고있는게 앞문제 or 뒷문제인지 (앞에 있던 문항의 경우 정답률이 높았음) 재훈
19. 문항별 정답률에 따른 가중치 민용
20. 예전에 풀었던 같은 시험지를 풀었다면 이전에 푸는데 걸린 시간과 현재 걸린 시간의 차이 정현
21. 해당 문항을 맞은 학생의 평균 소요 시간과 틀린 학생의 평균 소요 시간의 continuous feature 아라

[arabae]

직전에 정답을 맞혔는지 틀렸는지 여부는 baseline 코드에 있는 interaction에 해당하는 것 같아!

[arabae]

내가 맡은 feature중 아래 두개의 차이점이 궁금해!

6. 한 시험지를 풂에 있어서 총 걸린 시간
7. 첫 문제를 풀기 시작한 시간으로부터 현재 문제를 풀기까지 경과시간

여기서 6은 user의 시험지별로 모두 같은 값을 가지고 있는건가? 7은 row별로 달라지고?

[arabae]

12. 이전까지 정답을 연속으로 몇번 맞혔는지 (누적카운팅)
13. 이전까지 정답을 연속으로 몇번 틀렸는지 (누적카운팅)

이것도 재시험을 고려해서 현재 내가 보고 있는 시험 중 각 시험지의 정답개수를 누적하면 되는걸까?

만약 같은 시험지더라도 다른 날에 본 시험(재시험)과 같은 시간에 본 다른 시험인 경우에 다르게 count를 해주는게 맞을까?
-> 즉, 같은 시간에 본 같은 시험지끼리 count한 결과를 저장하면될까?