OAMCS

Overall Assessment of MessengerBotR Coding Skills

개요

• 메신저봇R에서 다양한 기능을 정확하게 만들 수 있는지 판단하는 벤치마크
• 레거시 API 40%, API2 60% 비율로 구성
• 단순 지식 확인부터 버전별 지원 사항, 기존 코드의 수정 등 다양하게 분포
• 모든 문항은 객관식

카테고리

번호	내용
1–10	메봇R / 카톡봇 기본
11–20	버전별 Rhino JS / Graal JS 지원
21–30	레거시/API2 공통 객체 (FileStream, Log, …)
31–40	코드 목록 중 정상/비정상 찾기
41–50	제대로 수정한 코드 찾기 (문제 수정, 다른 언어 포팅)
51–60	API2 Message/Command 객체 프로퍼티
61–70	API2 객체 (Security, GlobalLog, …)
71–80	레거시 API response 파라미터
81–90	레거시 API 객체 (Api, Bridge, …) / 이벤트 리스너
91–100	코드 요구사항과 구현 코드 후보 → 제대로/잘못 구현된 코드 찾기

템플릿

모든 문제는 아래의 템플릿에 따라 질문해야 합니다.

다음은 카카오톡봇 개발 앱인 '메신저봇R'에 관한 질문이다. 문제를 읽은 후, 적절한 응답을 고르시오.
최종적으로는 `정답: XX(숫자)`의 형태로 응답하시오.

{문제 본문}

반드시 `정답: XX(숫자)`의 형태로 응답하시오.

OAMCS-Subsets

전체 100문항이 부담되는 경우를 위해, 난이도에 따라 분류한 부분 데이터셋입니다. 데이터셋 간 중복이 있을 수 있습니다.

데이터셋	문항 수
OAMCS-default	30
OAMCS-hard	30
OAMCS-expert	30

포함 문항 목록

OAMCS-default: 5, 8, 10, 11, 15, 19, 23, 24, 29, 34, 35, 40, 43, 44, 47, 53, 55, 58, 68, 69, 70, 72, 75, 80, 83, 84, 90, 93, 97, 98

OAMCS-hard: 2, 6, 10, 11, 13, 14, 24, 26, 27, 33, 34, 38, 44, 45, 46, 55, 56, 57, 64, 66, 69, 71, 73, 80, 81, 88, 90, 92, 98, 100

OAMCS-expert: 2, 5, 6, 13, 14, 15, 23, 26, 27, 33, 35, 38, 45, 46, 47, 53, 56, 57, 64, 66, 68, 71, 72, 73, 81, 84, 88, 92, 97, 100

대시보드

dashboard.html을 브라우저에서 열고 results.json(또는 서브셋 결과 파일)을 불러오면 모델별 정답률, 카테고리별 성적, 문항별 정오표 등을 확인할 수 있습니다.

테스트한 프롬프트

• GPTs - 메신저봇R 코드 생성기 by Hehee9
• 메신저봇 특화 프롬프트 by Hehee9
• 메신저봇 특화 프롬프트 by SHAPER
• 메신저봇 특화 프롬프트 by 붕어빵0425
• 헤히봇 Rhino JS 프롬프트
• 헤히봇 Graal JS 프롬프트

라이선스

MIT