시험지별로 특성을 추출해보자!

[MignonDeveloper]

사용자를 기준으로, 시험지별로 특성을 추출해볼게요~!

1. 먼저 각 test_id 별로 어떤 문항들이 있는지 {"test_id": set()} 형태의 dict로 뽑아줍니다.

test_prob_count = defaultdict(set)
for test_id, assessmentItemID in zip(df["testId"], df["assessmentItemID"]):
    test_prob_count[test_id].add(assessmentItemID[-3:])

# test_prob_count 예시,
# 'A070000092': {'003', '001', '002', '007', '008', '005', '004', '006'},
# 'A070000096': {'003', '001', '002', '007', '005', '004', '006'},
# ...

2. 각 test_id별로 가지고 있는 집합(set)의 원소 갯수를 파악하면, 해당 시험지가 가지고 있는 문항의 개수가 됩니다.

test_prob_count = {key: len(value) for key, value in test_prob_count.items()}

# test_prob_count
# 'A060000001': 6,
# 'A060000003': 7,
# ...

3. 이를 활용해서 해당 시험지가 사용자 기준으로 몇번째 나온 것인지 나타내는 categorical feature를 생성합니다.

# 해당 시험지를 몇번 반복하는 것인지 보여주는 feature를 주가
prev_user_id = df["userID"][0]
user_current_test = dict()
how_many_times = defaultdict(int)
new_feature = []

for cur_user_id, cur_test_id  in zip(df["userID"], df["testId"]):
    if prev_user_id != cur_user_id: # 만약 사용자가 바뀌는 타이밍이라면, dict를 새로 선언해줍니다. 왜냐하면 사용자별로 파악하고 있으니까요!
        prev_user_id = cur_user_id
        user_current_test = dict()
        how_many_times = defaultdict(int)

    if cur_test_id not in user_current_test: # 만약 사용자가 지금 풀고 있는 문제 목록에 없는 거라면,
        user_current_test[cur_test_id] = test_prob_count[cur_test_id] - 1 # 문제 목록에 추가해주면서, 남아있는 문항수도 추가합니다. (-1을 하는 이유는 현재 row를 확인했을 때 한문제를 푼거랑 동일하니까요!)
        new_feature.append(how_many_times[cur_test_id]) # 새로운 feature에 지금 푸는 시험지는 몇번째 푼것인지 기록해줍니다.
        
    else: # 만약 사용자가 지금 풀고 있는 문제라면,
        user_current_test[cur_test_id] -= 1 # 해당 시험지의 남아있는 문항수를 하나 빼줍니다.
        new_feature.append(how_many_times[cur_test_id]) # 새로운 feature에 지금 푸는 시험지는 몇번째 푼것인지 기록해줍니다.

        if user_current_test[cur_test_id] == 0: # 근데 확인해보니 이미 사용자가 다 풀어버려서 남아있는 문항수가 0이라면,
            how_many_times[cur_test_id] += 1 # 사용자가 해당 id에 대한 시험지 하나를 다 푼것이므로, test_id를 몇번 풀었는지 나타내는 value를 +1 해줍니다.
            del user_current_test[cur_test_id] # 현재 풀고 있는 문제에서 제거하기 위해 test_id에 해당하는 key값을 삭제합니다.

new_feature = pd.DataFrame(new_feature, columns=['nth_test'])
print(new_feature['nth_test'].value_counts())

           nth_testid
0             2220633
1               45119
2                 834

4. 추가한 feature를 기존 df에 concat 해줍니다.

df = pd.concat([df, new_feature], axis=1)

• 저는 근데 한바퀴 도는데 python file에서 대략 6분정도 걸려요,, tqdm으로 찍어보니까 ㅜㅜ 시간을 줄일 수 있는 방법을 코드에서 찾아주시면 너무 감사하겠습니다. 6분이면,,, 끄응

• 아라누나의 도움으로 30초대 4초!!로 끊었습니다@@ 대-박

• 우선 row_number를 작게 만들어서(10,000 정도) 어떤 구조인지 보셔도 좋을 것 같아요

• 이해 안되거나, 궁금한게 있으시면 언제든지 질문주세요!!

[arabae]

for test_id, assesment_id in zip(train_df["testId"], train_df["assessmentItemID"]):
    test_prob_count[test_id].add(assesment_id[-3:])

1번만 실험해봤는데 27초였던 코드가 1초로 줄었어😊 필요한column만 가지고오면 시간을 줄일 수 있는 것 같아!

[arabae]

와 모든 과정 수행하는데 35초걸립니다~ 👏👏

[MoonJaeHoon]

개멋있습니다..

[arabae]

row_number = df.shape[0]
new_feature = pd.Series(data=[0] * row_number, name="nth_test")
.
.
.
for i, (cur_user_id, cur_test_id)  in tqdm(enumerate(zip(df["userID"], df["testId"]))):
    .
    .
    .
    new_feature[i] = how_many_times[cur_test_id]

여기서 i를 쓰지않고, list로 만들어 append한 뒤에 dataFrame으로 변환해서 붙이면 어때?? row_number, i 등 변수를 사용하지 않고..! 너무 직관적이지 않아서 별로일까?

➕ if-else문에서 똑같이 new_feaure에 how_many_times[cur_test_id]를 넣어주는데 이 부분을 맨 뒤로 빼면 되지 않을까?

[arabae]

1. 음 일단 수정해본 코드는

new_feature = []

for i, (cur_user_id, cur_test_id)  in enumerate(zip(df["userID"], df["testId"])):
  new_feature.append(how_many_times[cur_test_id]) # 새로운 feature에 지금 푸는 시험지는 몇번째 푼것인지 기록해줍니다.

new_feature = pd.DataFrame(new_feature, columns=['nth_test'])
df = pd.concat([df, new_feature], axis=1)

이렇게 바꿔봤어! (수정된 부분만 올렸어ㅠ 헷갈리면 알려줘), 3초로 끝나더라구 잘 못된 부분이 있는지 확인해볼게
2. 혹시 맨 뒤로 가면안되는 이유 설명해줄 수 있을까?

[MignonDeveloper]

1. 아!! 1번 방식이!! 너무 좋은데? 한번 value_counts 찍어볼게 같게 나오는지!

[arabae]

코드 전부 올릴께~

# 해당 시험지를 몇번 반복하는 것인지
start_time = time.time()

test_prob_count = defaultdict(set)
for test_id, assessmentItemID in zip(df["testId"], df["assessmentItemID"]):
    test_prob_count[test_id].add(assessmentItemID[-3:])
test_prob_count = {key: len(value) for key, value in test_prob_count.items()}

prev_user_id = df["userID"][0]
user_current_test = dict()
how_many_times = defaultdict(int)

new_feature = []

for cur_user_id, cur_test_id  in zip(df["userID"], df["testId"]):
    if prev_user_id != cur_user_id: # 만약 사용자가 바뀌는 타이밍이라면, dict를 새로 선언해줍니다. 왜냐하면 사용자별로 파악하고 있으니까요!
        prev_user_id = cur_user_id
        user_current_test = dict()
        how_many_times = defaultdict(int)

    if cur_test_id not in user_current_test: # 만약 사용자가 지금 풀고 있는 문제 목록에 없는 거라면,
        user_current_test[cur_test_id] = test_prob_count[cur_test_id] - 1 # 문제 목록에 추가해주면서, 남아있는 문항수도 추가합니다. (-1을 하는 이유는 현재 row를 확인했을 때 한문제를 푼거랑 동일하니까요!)
        new_feature.append(how_many_times[cur_test_id]) # 새로운 feature에 지금 푸는 시험지는 몇번째 푼것인지 기록해줍니다.
        
    else: # 만약 사용자가 지금 풀고 있는 문제라면,
        user_current_test[cur_test_id] -= 1 # 해당 시험지의 남아있는 문항수를 하나 빼줍니다.
        new_feature.append(how_many_times[cur_test_id]) # 새로운 feature에 지금 푸는 시험지는 몇번째 푼것인지 기록해줍니다.

        if user_current_test[cur_test_id] == 0: # 근데 확인해보니 이미 사용자가 다 풀어버려서 남아있는 문항수가 0이라면,
            how_many_times[cur_test_id] += 1 # 사용자가 해당 id에 대한 시험지 하나를 다 푼것이므로, test_id를 몇번 풀었는지 나타내는 value를 +1 해줍니다.
            del user_current_test[cur_test_id] # 현재 풀고 있는 문제에서 제거하기 위해 test_id에 해당하는 key값을 삭제합니다.
    

new_feature = pd.DataFrame(new_feature, columns=['nth_test'])
df = pd.concat([df, new_feature], axis=1)
end_time = time.time() - start_time

나는 4초걸렸어!

[MignonDeveloper]

!! 나도 value_counts()로 찍어봤는데 정확하게 나와! 4초정도 나왔어!! 확실히 [i]로 접근하면 시간이 엄청 잡아먹는구나,, 너무 좋은 피드백 감사합니다@@

[MignonDeveloper]

기존글도 누나가 알려준 코드로 변경해놓을게요~!