분석모델 평가

[ezcyber]

1개 이상의 모델을 동시에 평가하는 기능이 있나요?

Evaluate를 사용하면 1개 모델 평가만 나와서요.
Evaluate에 1개 이상의 모델을 연결하여 동시 평가할 수 있는 방법이 있는지
알려주세요

[shovsj]

Evaluate 류의 함수는 input table을 하나만 받고 있습니다. 여러 모델에 대한 Evaluation은 group by의 형태로 제공하고 있습니다. 예를 들면
label | prediction | group
1.0 | 1.1 | a
1.2 | 1.0 | a
1.3 | 1.0 | a
1.1 | 1.1 | b
1.0 | 1.0 | b

와 같은 형태의 데이터에 대해 group 별로 evaluate를 해줍니다.

위와 같은 상황에 group by를 적용해 한 Evaluate 함수로 해결하고 싶다면,
python script를 이용해 갖고 계신 table들을 입력으로 받아 다음과 같은 코드를 입력하세요.

이 script를 수행하고나면, table별로 group이라는 컬럼이 생기고, 각각 0, 1, ... 의 값이 들어 있습니다.

다음과 같이 evaluate regression 함수에 group by parameter를 group으로 주면,

와 같은 결과를 얻을 수 있습니다.

---

python script를 전혀 사용하지 못하는 사용자를 위해,
함수가 테이블을 여러 개(가변으로)받는 방향을 통해 해결하면 좋을 듯 합니다.
내부적으로 논의해보겠습니다.

[ezcyber]

회신에 감사드립니다.
다중 모델에 대한 자동 평가 기능이 있으면 좋을 것 같네요.
대부분의 상용 제품에서는 지원하고 있는 기능이라서 없으면
많이 불편하네요.