๐ ๋ชจ๋ธ ํ์ต ์ฝ๋์ ๊ดํ ์ค๋ช ์ code ํด๋๋ฅผ ์ฐธ๊ณ ํด์ฃผ์ธ์!
- ์ต๊ทผ ์จ๋ผ์ธ ๊ฑฐ๋๋ฅผ ์ด์ฉํ๋ ๊ณ ๊ฐ๋ค์ด ๋ง์ด ๋์ด๋๊ณ ์์ผ๋ฉฐ, ๊ทธ์ ๋ํ ๋ก๊ทธ ๋ฐ์ดํฐ๋ ๋ง์ด ๋ค์ด๋๊ณ ์๋ค.
- ์ด ๋ก๊ทธ ๋ฐ์ดํฐ๋ฅผ ์ด์ฉํ์ฌ ๊ณ ๊ฐ๋ณ ๋ฏธ๋ ์๋น๋ฅผ ์์ธกํ์ฌ 12์ ๊ณ ๊ฐ ๋์์ผ๋ก ํ๋ก๋ชจ์ ์ ํตํด ์ฑ๊ณต์ ์ธ ๋ง์ผํ ์ ์ด๋๊ณ ์ ํ๋ค.
- ์ฆ, ์ด๋ ์ ๋ ์๋น๋ฅผ ํ ์ง ์์ธกํ๊ณ ํ๋ก๋ชจ์ ๋ฌผ๋, ์ธ๋ถ ๊ณํ์ ์ ํ๊ณ ์ ํ๋ค.
2009๋ 12์๋ถํฐ 2011๋ 11์๊น์ง์ ์จ๋ผ์ธ ์์ ์ ๊ฑฐ๋ฆฌ ๋ฐ์ดํฐ๋ฅผ ๊ฐ์ง๊ณ 2011๋ 12์ ๊ณ ๊ฐ ๊ตฌ๋งค์ก์ด 300์ ์ด๊ณผํ๋์ง ์์ธกํ๋ ๋ถ๋ฅ ๋ชจ๋ธ
- input : 2009๋
12์๋ถํฐ 2011๋
11์๊น์ง์ ๊ฑฐ๋ ๋ก๊ทธ ๋ฐ์ดํฐ
๊ณ ๊ฐ์ ๋ํ ์ ๋ณด
: ๊ณ ๊ฐ id, ๊ณ ๊ฐ ๊ฑฐ์ฃผ ๊ตญ๊ฐ์ํ ์ ๋ณด
: ์ํ id, ์ํ ์ค๋ช , ์ํ ๊ฐ๊ฒฉ๊ฑฐ๋ ์ ๋ณด
: ์ฃผ๋ฌธ id(๋์ผํ ์ฃผ๋ฌธ id๊ฐ ์กด์ฌ๊ฐ๋ฅ), ์ฃผ๋ฌธ ์ผ์, ์ํ ์๋์ด ๊ตฌ๋งค์ก
: ์ํ ๊ฐ๊ฒฉ๊ณผ ์ํ ์๋์ ๊ณฑํ ๊ฐ
- output : ๊ฐ ๊ณ ๊ฐ๋ณ 2011๋
12์ ์ด ๊ตฌ๋งค์ก์ด 300์ ๋๋์ง ์ฌ๋ถ
- 5914๋ช ์ ๊ณ ๊ฐ id
- ๋๋ ๊ฒฝ์ฐ (1), ๋์ง ์๋ ๊ฒฝ์ฐ (0)์ผ๋ก ํ๊ธฐ
ํ๊ฐ ์งํ: AUC
- ROC๋ TPR(๊ธ์ ์ด๋ผ ์์ธกํ์ ๋ ์ค์ ๊ธ์ ์ธ ๋น์จ)๊ณผ FPR(์ค์ ๋ก ๋ถ์ ์ธ๋ฐ ๊ธ์ ์ด๋ผ ์๋ชป ์์ธกํ ๋น์จ)์ผ๋ก ๋ํ๋ธ ์๊ณ๊ฐ์ ๋งํ๋ค.
- ROC์ ์๊ณ๊ฐ์ ์๋ ์์ญ์ AUC๋ผ๊ณ ํ๋ค.
- ๋ฑ์ 28๋ฑ, AUC 0.8587
- ์ ์ถ ํ์ 20ํ
์๊ฐํ ๋ณด๋ค๋ ๋ฐ์ดํฐ์ ๊ฐ(value)์ ์ง์คํ์ฌ ๊ฐ์ ๋ถํฌ ํน์ ์ข ๋ฅ๋ฅผ ์ดํด๋ณด์๋ค. ์๊ฐํ์ ๊ฒฝ์ฐ ๋ํ ๋์งธ ๋ ์ ๊ณต๋ ๋ฒ ์ด์ค์ฝ๋์ ๋ง์ด ์ฐธ๊ณ ํ๋ค. ๋ฐ์ดํฐ๋ฅผ ๋ณด๋ฉด์ ๋ค์๊ณผ ๊ฐ์ ์ง๋ฌธ๋ค์ด ์๊ฒผ๊ณ ๊ทธ์ ๋ํ ๋ต๋ณ์ ๋ค์๊ณผ ๊ฐ๋ค.
Q. product_id๋ ์ด๋ค ๊ท์น์ผ๋ก ๊ตฌ์ฑ๋์ด ์์๊น?
- ํฌ๊ฒ 3๊ฐ์ง๋ก ๋๋ ์ ์์๋ค. 5์๋ฆฌ ์ซ์๋ก ๋์ด ์๋ ๊ฒฝ์ฐ, 5์๋ฆฌ ์ซ์์ 1์๋ฆฌ ํน์ 2์๋ฆฌ์ ์ํ๋ฒณ์ด ๊ฒฐํฉ๋์ด ์๋ ๊ฒฝ์ฐ, ๋ฌธ์์ด๋ก ๋์ด์๋ ๊ฒฝ์ฐ๊ฐ ์์๋ค.
- ๋ฌธ์์ด๋ก ๋์ด ์๋ ๊ฒฝ์ฐ๋ก๋ 'POST', 'D', 'M', 'C2', 'PADS', 'DOT', 'CRUK', 'BANK CHARGES', 'TEST001', 'TEST002', 'ADJUST', 'ADJUST2', 'SP1002'๊ฐ ์์๋ค.
Q. ๋ฌธ์์ด๋ก ๋์ด์๋ ๊ฒฝ์ฐ์ ๋ฌธ์์ด๋ค์ ์ด๋ค ์๋ฏธ๋ฅผ ๊ฐ์ง๊น?
- POST์ ์ค๋ช ์ด POSTAGE์ธ ๊ฒ์ ๋ณด์ ํ๋ฐฐ ๊ธ์ก์ผ๋ก ์ถ์ธกํ๋ค. ๋๋ผ๋ณ๋ก ๊ฐ๊ฒฉ์ด ๋ค๋ฅผ ๊ฒ์ด๋ผ ์๊ฐ๋ ์ดํด๋ณธ ๊ฒฐ๊ณผ ์ ๋ฝ ๊ตญ๊ฐ ์ธ ๊ตญ๊ฐ์ ๊ฐ๊ฒฉ์ด ๋ค์ ๋์ ๊ฒ์ ๋ณผ ์ ์์๋ค. C2๋ CARRIAGE๋ก POST์ ๋น์ทํ์ง๋ง, ์๊ตญ๊ณผ ๊ฐ๊น์ด ๋๋ผ ์์ฃผ๋ก ์๋ ๊ฒ์ ๋ณด์ ์ผ์ผํน๊ธ๊ณผ ๊ฐ์ ๋น์ผ ์ด์ก ์๋น์ค๋ก ์๊ฐ๋๋ค. DOT๋ DOTCOM POSTAGE๋ก DOTCOM DISTRIBUTION์ด๋ผ๋ e-commerce ์ฌ์ดํธ์ ์ถ๊ฐ๋ก ์ง๊ธํ๋ ๊ธ์ก์ผ๋ก ๋ณด์ธ๋ค.
- D์ ์ค๋ช ์ด Discount์ธ ๊ฒ์ ๋ณด์ ํ ์ธ๊ณผ ๊ด๋ จ๋ ๊ธ์ก์ผ๋ก ์๊ฐํ๋ค. quantity๊ฐ ๋๋ถ๋ถ ์์์ธ ๊ฒ์ ๋ณด์ total๋ ๋๋ถ๋ถ ์์๋ผ๊ณ ์ถ์ธกํ๋ค. ๋ค๋ง quantity๊ฐ 1์ธ ์์์ ๋ฐ์ดํฐ๊ฐ ์กด์ฌํ๋ค. M์ Manual์ ์ฝ์๋ก ์ง์์ด ์ง์ ์ ๋ ฅํ ๊ธ์ก์ผ๋ก ์๊ฐํ๋ค. ๋ณดํต ๊ทธ๋ฐ ๊ฒฝ์ฐ๋ ๋๋์ฃผ๋ฌธ์ ํ๋ ์ผ์ด์ค๋ผ ์๊ฐ๋์ด quantity๋ฅผ ์ดํด๋ณด์๋๋ฐ, quantity๊ฐ ๋์ ๊ฒฝ์ฐ๊ฐ ์ผ๋ถ ์กด์ฌํ์๋ค.
- CRUK์ Cancer Research UK๋ก ์์ ๋จ์ฒด์ด๋ค. ๋ชจ๋ ์ฃผ๋ฌธ ๊ฑด์ด ํ๋ถ๋ก ์ฒ๋ฆฌ๋ ๊ฒ์ ๋ณด์ ๊ธฐ๋ถ ๋ด์ญ์ผ๋ก ์ถ์ธกํ๋ค. ๊ทธ ์ธ BANK CHARGES๋ ์ํ ์์๋ฃ๋ก, TEST001, TEST002๋ ๊ด๋ฆฌ์์ ์ํ ํ ์คํธ ๋ฐ์ดํฐ๋ก, ADJUST, ADJUST2๋ ๊ธ์ก ์กฐ์ ๋ฐ์ดํฐ๋ก ์ถ์ธกํ์๋ค. SP1002๋ ํน์ ์ํ์ ๋ํ ๋ฐ์ดํฐ์๋ค. PADS๋ ์ถ๊ฐ ์ต์ ๊ฐ์ ์ํ์ผ๋ก ์ถ์ธกํ์๋ค.
Q. customer_id๊ฐ 12346์ธ ๊ณ ๊ฐ์ ์ผํ๋ชฐ ๊ด๋ฆฌ์๋ก ๋ณด์ธ๋ค. ๊ทธ ์ธ์ ๋ค๋ฅธ ๊ด๋ฆฌ์ ๊ณ์ ์ด ์กด์ฌํ ๊น?
- 12346 ๊ณ ๊ฐ์ ๊ฒฝ์ฐ TEST001, TEST002, M๊ณผ ๊ฐ์ ์ฃผ๋ฌธ ๊ฑด์ด ๋ง์์ผ๋ฉฐ, ์ผ๋ฐ ์ํ์ ๋ํ ์ฃผ๋ฌธ๊ฑด์ ๊ฒฝ์ฐ์๋ ๋ค๋ฅธ ์ํ์์๋ ๊ฐ๊ฒฉ์ด ๋์ผํ ๊ฒ์ผ๋ก ๋ณด์ ๊ด๋ฆฌ์ ๊ณ์ ์์ ํ์ ํ์๋ค.
- ๊ทธ ์ธ์ ๊ด๋ฆฌ์ ๊ณ์ ์ผ๋ก ์ถ์ธก๋ 14103, 14827, 16454, 16446์ ์ฃผ๋ฌธ ๊ฑด์ ์ดํด๋ณด์๋๋ฐ 14103, 14807์ TEST๋ก๊ทธ๊ฐ ์๋ ๊ฒ์ ๋ณด์ ํ ์คํธ ๊ณ์ ์ผ๋ก ์์ฌํ์์ผ๋ฉฐ 16454, 16446์ ํ ์คํธ๋ฅผ ์ํ ์ผํ์ฉ ๊ณ์ ์ผ๋ก ์๊ฐํ์๋ค.
์ ๊ณต๋ ๋ฒ ์ด์ค๋ผ์ธ ์ฝ๋์ feature_engineering ํจ์๋ฅผ ์์ ํ์ฌ ๋๋ง์ ํผ์ฒ๋ฅผ ๋ง๋ค๊ฑฐ๋ ํ ์ ๊ฒ์ํ์ ์บ ํผ๋ค์ด ์ฌ๋ ค์ฃผ์ ์ฌ๋ฌ ํผ์ฒ๋ค์ ์ฐธ๊ณ ํ์๋ค. ์ต์ข ์ ์ผ๋ก ์ฌ์ฉํ ํผ์ฒ๋ โ ์ผ๋ก ํ์ํ์๋ค.
- 7๊ฐ์ ์ ๊ณต๋ time-series๊ด๋ จ ํผ์ฒ๋ฅผ ์ถ๊ฐํ๋ค. order_date๋ฅผ intํ์ผ๋ก ๋ฐ๊พธ์ด ๊ตฌ๋งค ์ฒซ๋ ๊ณผ ์ต๊ทผ ๊ตฌ๋งค์ผ์ ํผ์ฒ๋ก ์์ฑํ๋ค. ๊ทธ ์ธ ์ฃผ๋ฌธ ์๊ฐ ์ฐจ์ด, ์๋ ์ฐจ์ด, ์ด ๊ตฌ๋งค์ก ์ฐจ์ด์ ๊ดํ ํผ์ฒ๋ฅผ ์์ฑํ์ฌ aggregation function์ ์ ์ฉํ์๋ค.
- LightGBM ๋ชจ๋ธ์ feature importance๋ฅผ ๋ณด๋ฉด order_ts๊ฐ ๊ฐ์ฅ ๋์ ์ค์๋๋ฅผ ๊ฐ์ง๋ ๊ฒ์ ๋ณผ ์ ์์๋ค. ๊ทธ ์ธ์ ํผ์ฒ๋ ๊ฝค ๋์ ์ค์๋๋ฅผ ๋ณด์ฌ ์ต์ข ํผ์ฒ๋ก ์ฌ์ฉํ์๋ค.
- ํ๋ถ๊ณผ ๊ด๋ จ๋ ๋ฐ์ดํฐ์ ๊ฒฝ์ฐ order_id์ C๊ฐ ์๋ค๋ ์ ์ ํ์ฉํ์ฌ ํ๋ถ ๊ด๋ จ ํผ์ฒ๋ฅผ ์์ฑํ์๋ค. is_refund๋ ํ๋ถ ์ฌ๋ถ๋ฅผ, refund_total์ ์ด ํ๋ถ์ก์ด๋ค. is_refund์๋ sum์ ์ ์ฉํ์ฌ ๊ณ ๊ฐ๋ณ ํ๋ถ ๊ฑด์๋ฅผ ๊ณ์ฐํ์ผ๋ฉฐ, refund_total์๋ sum๊ณผ skew๋ฅผ ์ ์ฉํ์ฌ ๊ณ ๊ฐ๋ณ ์ด ํ๋ถ์ก๊ณผ ๊ทธ์ ๋ํ ์๋๋ฅผ ํผ์ฒ๋ก ์์ฑํ์๋ค.
- ๋ชจ๋ธ ํ์ต ์ ๋งค์ฐ ์์ ์ค์๋๋ฅผ ๊ฐ์ก์ผ๋ฉฐ, total๊ฐ์ ์ด๋ฏธ ํ๋ถ๊ด๋ จ ๋ด์ฉ์ด ๋ฐ์๋์ด์๋ค๋ ์๊ฐ์ด ๋ค์ด ์ต์ข ํผ์ฒ์์ ์ ์ธํ์๋ค.
- product_id์์ ๋ณด์ฌ์ค ๋ฌธ์์ด๋ก ๋ ์ํ์ ์ผ๋ง๋ ๊ตฌ๋งคํ๋์ง๋ฅผ ํผ์ฒ๋ก ๋ง๋ค์๋ค. ํ์ง๋ง ๊ด๋ จ ๋ฐ์ดํฐ๊ฐ ๋งค์ฐ ์ ์ด ๋ชจ๋ธ ์ฑ๋ฅ์ ํฐ ์ํฅ์ ๋ฏธ์น์ง ์์ ๊ฒ์ด๋ผ ์๊ฐ๋์ด ์ต์ข ํผ์ฒ์์ ์ ์ธํ์๋ค.
- order_date์์ ์, ์ฐ์์ ์ถ์ถํ์ฌ ๋ง๋ค์๋ค. aggregation function์ผ๋ก mode(์ต๋น๊ฐ)์ ์ ์ฉํ์๊ณ ๊ฝค ์ค์ํ ์ค์๋๋ฅผ ๋ณด์ฌ์ฃผ์๊ณ ์ต์ข ํผ์ฒ๋ก ์ฑํํ์๋ค.
- ๊ฐ๋ฏผ์ฉ ์บ ํผ๋์ด ํ ์ ๊ฒ์ํ์ ์ ๊ณตํด์ฃผ์ ์ฝ๋๋ฅผ ์ฌ์ฉํ์ฌ ์๋ณ, quarter ๋จ์์ ๊ตฌ๋งค์ก, ์๋, ๊ฐ๊ฒฉ๊ด๋ จ ํผ์ฒ๋ฅผ ์์ฑํ์๋ค. ๊ธฐ์ค ์์ ๊ฐ๋ฏผ์ฉ ์บ ํผ๋์ ๊ฐ์ ๊ทธ๋๋ก ์ฌ์ฉํ์๋ค.
- ์ ์ฉ ๊ฒฐ๊ณผ AUC๊ฐ 0.8560์์ 0.8579๋ก ์์นํ๋ ๋งค์ฐ ์ข์ ๊ฒฐ๊ณผ๋ฅผ ๋ณด์ฌ์ฃผ์๋ค. ๋ํ ์ค์๋๋ ๋๊ฒ ๋์ ์ต์ข ํผ์ฒ๋ก ์ฑํํ์๋ค.
์ฒซ ๋ฒ์งธ ๋ชจ๋ธ๋ก ๋ฒ ์ด์ค์ฝ๋์์ ์ ๊ณต๋ LightGBM ๋ชจ๋ธ์ ์ฌ์ฉํ์์ผ๋ฉฐ, ํ์ดํผํ๋ผ๋ฏธํฐ๋ ๊ทธ๋๋ก ์ฌ์ฉํ์๊ณ ๊ฒ์ฆ ๋ฐฉ๋ฒ์ Stratified K-Fold๊ธฐ๋ฒ์ ์ฌ์ฉํ์๊ณ ์์ธก์ Out of Fold Validation์ ์ฌ์ฉํ์๋ค. ์์ ํผ์ฒ๋ก ํ์ต์ ์งํํ๋ฉด Fold ๋ณ validation score๋ 0.81๊ณผ 0.82 ์ฌ์ด๋ฅผ ์๋ค๊ฐ๋ค ํ์ผ๋ฉฐ, ouf of fold validation์ AUC๋ 0.81 ์ ๋์ ๊ฐ์ด ๋์๋ค. ๋ฆฌ๋๋ณด๋์ ์ ์ถํ ๊ฒฐ๊ณผ AUC 0.8587๋ก ๊ฐ์ฅ ๋์ ์ฑ๋ฅ์ ๋ณด์ฌ์ฃผ์๋ค.
๋ ๋ฒ์งธ ๋ชจ๋ธ๋ก TabNet์ ์ฌ์ฉํ์๊ณ ์คํผ์ค ์์์ ์ ๊ณต๋ ๋ชจ๋ธ ์คํฉ์ ์ฌ์ฉํ์ผ๋ฉฐ learning rate๋ง 0.002๋ก ๋ณ๊ฒฝํ์๋ค. TabNet์ ๊ฒฝ์ฐ LightGBM์ ๋นํด AUC๊ฐ์ด 0.7 ์ด๋ฐ ๋๋ก ์ข์ง ์์ ์ฑ๋ฅ์ ๋ณด์ฌ์ฃผ์๋ค. ๋ํ ์์ธก ๊ฐ์ด LightGBM์ ์์ธก๊ฐ์ ๋นํด ๋๊ฒ ํ์ฑ๋์๋ค. ์์ธก ๋ฐฉ๋ฒ์ ๋ฌธ์ ๊ฐ ์๋ค ์๊ฐํด TabNet์ ๋ชจ๋ ํ์ต ํ์ ์์ธก์ ํ๋๋ก ๊ตฌํํ๊ณ ์์ธก๊ฐ์ด LightGBM๊ณผ ๋น์ทํ ๋ถํฌ๋ฅผ ๋ณด์ฌ์ฃผ์๋ค. ๊ทธ๋๋ ๊ฐ์ด ๋๊ฒ ๋ถํฌ๊ฐ ๋์ด์์๊ธฐ ๋๋ฌธ์ ๋ฆฌ๋๋ณด๋์ ์ ์ถ์ ํ์ง ์์๋ค.
๋ง์ง๋ง์ผ๋ก LightGBM๊ณผ TabNet์ Soft Voting์ ํ์๋ค. ์ด ๋ TabNet์ ์ฑ๋ฅ์ด ์ข์ง ์์ TabNet์ ํ ๋ฒ ํ์ต์ํค์ง ์๊ณ 3๋ฒ ๋ฐ๋ณตํ์ฌ ํ์ต์์ผฐ๋ค. ๊ทธ ๊ฒฐ๊ณผ๋ฅผ LightGBM ๊ฒฐ๊ณผ๊ฐ๊ณผ ์์๋ธ ์์ผฐ์ผ๋ ๋ฆฌ๋๋ณด๋์์ 0.8498๊ฐ์ ์ป์๋ค.
์ด๋ค ํผ์ฒ๋ ๊ฐ์ ๋ฒ์๊ฐ ํฌ๊ณ ์ด๋ค ํผ์ฒ๋ ์์์ Quantile Transform์ ์ ์ฉ์์ผ๋ณด์๋ค. ์ ์ฉ ๊ฒฐ๊ณผ ๊ฐ์ด ์ ์ฒด์ ์ผ๋ก ์์์ง๋ฉด์ ํ์ต ์๊ฐ์ด ๋งค์ฐ ๋นจ๋ผ์ก๋ค. ํ์ง๋ง ๊ฐ์ฅ ๋์ ์ฑ๋ฅ์ ๋ณด์ฌ์ค ๊ฒฝ์ฐ์์ Quantile Transform์ ์ ์ฉํ์ฌ ๋ฆฌ๋๋ณด๋์ ์ ์ถํ ๊ฒฐ๊ณผ AUC 0.8581๋ก ์ฑ๋ฅ์ด ์กฐ๊ธ ๋จ์ด์ก๋ค.
- EDA๋ ๋ฑ ๋์งธ ๋ ๊น์ง! ์ ๋ฒ ๋ํ์ ๋ง์ฐฌ๊ฐ์ง๋ก ์ด๋ฒ ๋ฐํ์์๋ ๋ฐ์ดํฐ์ ๋ํ ์ง์์ด ๋ถ์กฑํ๋ค๊ณ ์๊ฐํด ํ ์ฃผ๋ฅผ EDA๋ก ๋ณด๋์ง๋ง ๊ณต๊ฐ๋ ๋ฐ์ดํฐ์ ํน์ง ์ธ์ ๋ ํน๋ณํ ๊ฒ์ ์ฐพ์ ์ ์์๋ค. ๋ํ EDA๋ฅผ ํ๋๋ผ ์ฒซ ์ฃผ์ ์ ์ถํ์๋ฅผ ๋๋ถ๋ถ ๋ ๋ ค๋ฒ๋ ธ๋ค. ๊ทธ ์๊ฐ์ ๊ฒ์ฆ ์ ๋ต์ ์์ฐ๊ณ ์ด๋ค ํผ์ฒ๋ฅผ ๋ง๋ค์ง๋ถํฐ ๊ณ ๋ฏผํ๋ ๊ฒ์ด ๋ ์ค์ํ๋ค๋ ์๊ฐ์ด ๋ค์๋ค.
- ๊ฒ์ฆ ์ ๋ต์ ์ ์ธ์ฐ์! ์ธ ๋ฒ์งธ ํผ์ด์ธ์ ๋ ๊น๊ธฐ๋ฏผ ์บ ํผ๋์ด ์์ ์ด ์ด๋ป๊ฒ ๋ฆฌ๋๋ณด๋ ์ค์ฝ์ด๋ฅผ ์ฌ๋ ธ๋์ง์ ๋ํ ๋ง์ ์ด์ผ๊ธฐ๋ฅผ ๋ค๋ ค์ฃผ์ จ๋ค. ๊ทธ ์ค ๊ฐ์ฅ ๊ธฐ์ต์ ๋จ๋ ๊ฒ์ด ๊ฒ์ฆ ์ ๋ต์ด์๋๋ฐ, ์ฌ๋ฌ ํผ์ฒ๋ฅผ ์๊ฐํด์ ์ ์ฉํด๋ณด๊ณ ๋์จ ๊ฒฐ๊ณผ๋ฅผ ๊ฐ์ง๊ณ ๋ช ์๊ฐ ๋์ ๋ถ์์ ํ๋ค๊ณ ํ์ จ๋ค. ํนํ ์ด๋ฒ ๋ํ์ ์ ์ถํ์๊ฐ ๋ง์ด ๋ถ์กฑํ๋ค๊ณ ์๊ฐํด ๊ฒ์ฆ์ ํ๋๋ฐ ์๊ฐ์ ๊ฝค ๋ค์ด์ จ๋ค๊ณ ํ๋ค. ์ด๋ฒ ๋ํ๋ฅผ ๊ธํ๊ฒ ๋ง๋ฌด๋ฆฌํ๋๋ผ Mean AUC๋ OOF AUC๊ฐ ์ ๋์ค๋ฉด ์ ์ถ์ ํ๋๋ฐ, ๋ค์์๋ ์ ์ด๋ฐ ๊ฒฐ๊ณผ๊ฐ ๋์๋์ง ๋ถ์ํ๋ ์๊ฐ์ ๊ฐ์ง๋ ๊ฒ์ด ์ข์ ๊ฒ ๊ฐ๋ค.
- ์คํ ํ๊ฒฝ์ ๋ฏธ๋ฆฌ๋ฏธ๋ฆฌ! ์ด๋ฒ ๋ํ์์๋ ๋จ์ ์๊ธฐ๋ก ํ๊ฐ ์งํ๋ฅผ ๊ธฐ๋กํ์๋ค. ์ด๋ ๊ฒ ํ๋ ์ ํํ ์ด๋ค ๋ชจ๋ธ์ธ์ง ํท๊ฐ๋ ธ๊ณ ๋ง์ง๋ง์๋ ๊ธฐ์ต์ ์์กดํด์ผ๋ง ํ๋ค. ํ ์ ๊ฒ์ํ์ ์ ์ถ์๋์ด mlflow ์ฌ์ฉ๋ฒ์ ์ฌ๋ ค์ฃผ์ จ๋๋ฐ "๋์ค์ ์จ์ผ์ง"ํ๊ณ ๋ฐ๋ก ์ ์ฉ์ ์ํด์ ๊ฒฐ๊ตญ ๋ง์ง๋ง๊น์ง๋ ์ฌ์ฉ์ ํ์ง ๋ชปํ๋ค. ๋ค์์๋ ์คํ ํ๊ฒฝ๋ถํฐ ์ ์ฉ์ ํด์ผ๊ฒ ๋ค.
- ๊ณ ๋ฏผ๋ณด๋ค GO! ํนํ ์ด๋ฒ ๋ํ์์ ํผ์ฒ๋ฅผ ์์ฑํ๋๋ฐ ์ฃผ์ ํจ์ด ์์๋ค. "์ด ํผ์ฒ๋ ์ด๋ฐ ์ ๋๋ฌธ์ ์คํ๋ ค ๋ชจ๋ธ ์ฑ๋ฅ์ ๋จ์ด๋จ๋ฆฌ์ง ์์๊น" ์๊ฐ์ ๋ง์ด ํ์๊ณ ์ด๋ก ์ธํด ๋ง์ ํผ์ฒ๋ฅผ ์์ฑํด๋ด์ง ๋ชปํ๋ค. ๊ทธ๋ฌ๋ ์ค ๊น๊ธฐ๋ฏผ ์บ ํผ๋์ด "๊ทธ๋ ๊ฒ ๋ฐ๋ก๋ฅผ ์ฐพ๋ ๊ฒ๋ณด๋ค ๋ชจ๋ธ์ ๋ฃ์ด ๋๋ ค๋ณด๊ณ ๊ฒฐ๊ณผ๋ฅผ ํ์ธํด๋ณด๋ ๊ฒ์ด ๋ ๋ซ๋ค"๊ณ ์กฐ์ธ์ ํด์ฃผ์ จ๋ค. ์ด ํผ์ฒ๊ฐ ์ฑ๋ฅ์ ๋จ์ด๋จ๋ฆด์ง ์ฌ๋ฆด์ง ๋ชจ๋ฅด๋๋ฐ ์ง๋ ์ง์ ๊ฒ๋ถํฐ ๋จน์๋ค. ๋ค์ ๋ํ๋ถํฐ๋ ์ผ๋จ ๋ง๋ค์ด๋ณด๊ณ ๊ทธ ๊ฒฐ๊ณผ๋ฅผ ๋ฐํ์ผ๋ก ๊ฒฐ์ ์ ํด์ผ๊ฒ ๋ค.