[Fix] NLG Judge 평가 기준을 서비스 정책에 맞게 정렬

evaluation/evaluation_nlg_judge_policy_alignment.csv

@@ -0,0 +1,21 @@
+caseId,sourceResultFile,analysisCount,averageRelevance,averageProblemValidity,averageSentenceTypeConsistency,averageReasonCorrectness,averageContextAwareness,averageFaithfulness,averageTenseConsistency,averageUsability,averageNonMeta,averageMeaningPreservation,noAnalysisAppropriateness,strengthsPrecision,strengthsCoverage,missingKeywordsPrecision,missingKeywordsCoverage,overallUsefulness,errorCodes,shortRationale,judgeInputTokens,judgeOutputTokens,judgeLatencyMs,failureStage
+EV-01,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,1,4.0,3.0,4.0,4.0,3.0,4.0,5.0,4.0,4.0,4.0,4,5,5,5,5,4,"[""NONE""]","전반적으로 경험이 잘 드러나지만, 구체적인 절차와 결과 수치가 부족합니다.",6315,270,15590,
+EV-02,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,0,,,,,,,,,,,5,5,5,5,5,4,"[""NONE""]","전반적으로 경험과 강점이 잘 드러나 있으며, 분석이 없지만 주요 문제는 발견되지 않았습니다.",5753,117,9338,
+EV-03,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,2,3.5,3.5,3.5,4.0,3.5,4.0,4.0,4.0,4.0,4.0,4,5,5,5,5,4,"[""NONE""]","전반적으로 분석 역량과 경험이 잘 드러나 있으나, 구체적인 행동과 결과를 더 강조할 필요가 있습니다.",7349,441,19185,
+EV-04,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,0,,,,,,,,,,,1,5,5,5,5,2,"[""MISSED_ANALYSIS""]",명확한 문제 문장이 존재하나 분석이 없었습니다. 구체적인 행동 계획과 방법이 부족한 점이 주요 문제입니다.,7421,130,13282,
+EV-05,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,2,4.0,3.0,3.0,4.0,3.0,4.0,4.0,4.0,4.0,4.0,4,5,5,5,5,4,"[""NONE""]","지원 동기와 포부가 구체적이지 않아 개선 여지가 있으며, 전반적으로 유용한 분석이 제공되었습니다.",6222,420,11695,
+EV-06,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,1,5.0,5.0,5.0,5.0,5.0,5.0,5.0,5.0,5.0,5.0,5,5,5,5,5,5,"[""NONE""]","전반적으로 구체적인 성과와 실행 방법이 잘 드러나 있으며, 분석이 적절하게 이루어졌습니다.",8921,312,9913,
+EV-07,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,0,,,,,,,,,,,5,5,5,5,5,4,"[""NONE""]","전반적으로 강점과 누락 키워드가 적절하게 반영되어 있으며, 분석이 없지만 명확한 문제 문장이 없습니다.",5299,123,5722,
+EV-08,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,2,3.0,3.0,3.0,4.0,3.0,4.0,4.0,3.0,4.0,4.0,4,5,5,5,5,4,"[""NONE""]","전반적으로 자기소개서의 강점이 잘 드러나지만, 구체적인 실행 방안과 방법론이 부족하여 개선 여지가 있습니다.",7252,421,7677,
+EV-09,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,2,4.0,3.0,4.0,4.0,3.0,4.0,5.0,4.0,4.0,4.0,4,5,5,5,5,4,"[""NONE""]","전반적으로 구체적인 행동과 방법론이 부족하지만, 경험을 잘 설명하고 있어 유용한 분석입니다.",6245,408,7479,
+EV-10,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,0,,,,,,,,,,,4,5,5,5,5,3,"[""NONE""]",전반적으로 구체적인 경험과 성과가 부족하여 활용도가 낮습니다.,6458,109,2962,
+EV-11,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,0,,,,,,,,,,,1,3,3,2,2,2,"[""MISSED_ANALYSIS"",""MISSED_MISSING_KEYWORD""]","명확한 문제 문장이 존재하나 분석이 없으며, JD의 핵심 경험 요구사항이 누락되었습니다.",6512,135,4096,
+EV-12,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,2,4.0,4.0,4.0,4.0,4.0,4.0,5.0,4.0,4.0,4.0,4,5,5,5,5,4,"[""NONE""]","전반적으로 직무 적합성을 잘 드러내고 있으나, 구체적인 행동이나 방법을 추가하면 더욱 명확해질 것입니다.",6739,417,8190,
+EV-13,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,2,4.0,3.0,4.0,4.0,3.0,4.0,5.0,4.0,4.0,4.0,4,5,5,5,5,4,"[""NONE""]","전반적으로 경험과 방법론이 잘 서술되었으나, 구체성이 부족한 부분이 있어 개선 여지가 있습니다.",6369,430,7414,
+EV-14,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,0,,,,,,,,,,,4,5,5,5,5,4,"[""NONE""]","지원 동기와 포부에서 구체적인 행동과 방법이 부족하지만, 전반적으로 강점이 잘 드러나고 있습니다.",6422,121,5742,
+EV-15,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,0,,,,,,,,,,,1,3,3,2,2,2,"[""MISSED_ANALYSIS"",""MISSED_MISSING_KEYWORD""]","지원 동기와 직무 적합성에서 구체적인 사례가 부족하며, 채용 관련 경험이 누락되었습니다.",5344,136,3224,
+EV-16,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,0,,,,,,,,,,,1,5,5,5,5,2,"[""MISSED_ANALYSIS""]",명확한 문제 문장이 존재하지만 분석이 없었습니다. 구체적인 행동 계획과 방법론이 부족한 점이 주요 문제입니다.,6419,130,5137,
+EV-17,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,2,4.0,3.0,4.0,4.0,3.0,4.0,5.0,4.0,4.0,4.0,4,5,5,5,5,4,"[""NONE""]","전반적으로 경험의 구체성이 부족하지만, 분석이 유용하며 개선 방향이 명확합니다.",5751,394,7867,
+EV-18,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,0,,,,,,,,,,,4,3,3,2,2,3,"[""MISSED_MISSING_KEYWORD""]",답변에서 구체적인 경험이 부족하여 JD의 '사내 일반 행정 지원' 요구사항을 충족하지 못하고 있습니다.,5772,132,3890,
+EV-19,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,2,3.0,3.0,4.0,4.0,3.0,4.0,4.0,4.0,4.0,4.0,3,5,5,5,5,4,"[""NONE""]",지원 동기와 성격의 장단점에서 구체적인 경험이 부족하여 개선 여지가 있습니다. 그러나 전반적으로 유용한 분석이 이루어졌습니다.,5925,403,8503,
+EV-20,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,0,,,,,,,,,,,1,5,5,5,5,2,"[""MISSED_ANALYSIS""]",지원 동기와 포부에서 구체적인 행동이나 계획이 결여된 명확한 문제 문장이 존재하지만 분석이 없었습니다.,5767,130,2413,

evaluation/evaluation_nlg_judge_policy_alignment_comparison.csv

@@ -0,0 +1,3 @@
+sourceResultFile,caseCount,successCount,judgeFailedCount,averageRelevance,averageProblemValidity,averageSentenceTypeConsistency,averageReasonCorrectness,averageContextAwareness,averageFaithfulness,averageTenseConsistency,averageUsability,averageNonMeta,averageMeaningPreservation,noAnalysisAppropriateness,strengthsPrecision,strengthsCoverage,missingKeywordsPrecision,missingKeywordsCoverage,overallUsefulness,averageJudgeInputTokens,averageJudgeOutputTokens,averageJudgeLatencyMs,averageAnalysisCount,metaImprovementRate,unsupportedFactRate,falsePositiveAnalysisRate,fatalErrorRate,errorCodeCounts
+evaluation/evaluation_nlg_judge_two_pass_provenance_strength_fix.csv,20,20,0,3.45,2.95,3.35,3.45,2.55,4.1,4.4,3.55,3.65,4.2,2.35,4.55,4.55,4.55,4.55,3.05,4919.75,287.45,4769.35,0.9,0.0,0.0,0.0,0.0,"{""CONTEXT_IGNORED"":4,""MISSED_ANALYSIS"":17,""MISSED_MISSING_KEYWORD"":3,""NONE"":3}"
+evaluation/evaluation_nlg_judge_policy_alignment.csv,20,20,0,3.85,3.35,3.85,4.1,3.35,4.1,4.6,4.0,4.1,4.1,3.35,4.7,4.7,4.55,4.55,3.45,6412.75,258.95,7965.95,0.9,0.0,0.0,0.0,0.0,"{""MISSED_ANALYSIS"":5,""MISSED_MISSING_KEYWORD"":3,""NONE"":14}"

evaluation/evaluation_nlg_judge_two_pass_provenance_strength_fix.csv

@@ -0,0 +1,21 @@
+caseId,sourceResultFile,analysisCount,averageRelevance,averageProblemValidity,averageSentenceTypeConsistency,averageReasonCorrectness,averageContextAwareness,averageFaithfulness,averageTenseConsistency,averageUsability,averageNonMeta,averageMeaningPreservation,noAnalysisAppropriateness,strengthsPrecision,strengthsCoverage,missingKeywordsPrecision,missingKeywordsCoverage,overallUsefulness,errorCodes,shortRationale,judgeInputTokens,judgeOutputTokens,judgeLatencyMs,failureStage
+EV-01,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,1,3.0,2.0,3.0,3.0,2.0,3.0,4.0,3.0,3.0,4.0,2,5,5,5,5,3,"[""CONTEXT_IGNORED"",""MISSED_ANALYSIS""]","전반적으로 경험이 잘 드러나지만, 구체적인 절차와 결과 수치가 부족하여 개선이 필요합니다.",4822,296,9360,
+EV-02,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,0,,,,,,,,,,,2,5,5,5,5,3,"[""MISSED_ANALYSIS""]","분석이 전혀 없으며, 명백한 문제 문장이 존재하여 적절한 평가가 이루어지지 않았습니다.",4260,128,3008,
+EV-03,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,2,3.5,2.5,3.5,3.5,2.5,4.0,4.0,3.5,3.5,4.0,2,5,5,5,5,3,"[""MISSED_ANALYSIS""]",분석이 부족하여 구체적인 행동과 결과가 강조되지 않았습니다. 전반적으로 개선이 필요합니다.,5856,445,5936,
+EV-04,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,0,,,,,,,,,,,1,5,5,5,5,2,"[""MISSED_ANALYSIS""]","답변에 명백한 첨삭 대상이 없으나, 분석이 부재하여 중요한 문제를 놓쳤습니다.",5928,131,2865,
+EV-05,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,2,3.0,3.0,3.0,3.0,2.0,5.0,5.0,3.0,5.0,5.0,2,5,5,5,5,3,"[""CONTEXT_IGNORED"",""MISSED_ANALYSIS""]",지원 동기와 포부가 구체성이 부족하여 문맥을 무시한 평가가 발생했습니다. 전반적으로 개선이 필요합니다.,4729,452,6455,
+EV-06,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,1,5.0,5.0,5.0,5.0,5.0,5.0,5.0,5.0,5.0,5.0,5,5,5,5,5,5,"[""NONE""]","자기소개서에서 구체적인 성과와 실행 방법이 잘 드러나 있으며, 모든 평가 기준에서 높은 점수를 기록했습니다.",7428,314,7448,
+EV-07,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,0,,,,,,,,,,,2,5,5,5,5,3,"[""MISSED_ANALYSIS""]","분석이 전혀 없으며, 명백한 문제 문장이 존재하여 평가가 낮아졌습니다.",3806,123,3500,
+EV-08,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,2,3.0,2.0,2.0,3.0,2.0,4.0,5.0,4.0,4.0,4.0,2,5,5,5,5,3,"[""CONTEXT_IGNORED"",""MISSED_ANALYSIS""]",자기소개서에서 구체적인 실행 방안과 방법론이 부족하여 개선이 필요합니다. 전반적으로 유용성은 낮은 편입니다.,5759,326,5067,
+EV-09,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,2,3.0,3.0,3.0,3.0,2.0,4.0,4.0,3.0,3.0,4.0,2,5,5,5,5,3,"[""MISSED_ANALYSIS""]",지원자의 경험은 유용하지만 구체적인 행동과 방법론이 부족하여 개선이 필요합니다.,4752,413,6602,
+EV-10,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,0,,,,,,,,,,,2,5,5,5,5,3,"[""MISSED_ANALYSIS""]",분석이 부족하여 구체적인 경험과 성과를 연결하지 못한 점이 아쉬웠습니다. 전반적으로 개선이 필요합니다.,4965,610,7273,
+EV-11,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,0,,,,,,,,,,,2,2,2,2,2,2,"[""MISSED_ANALYSIS"",""MISSED_MISSING_KEYWORD""]",지원자의 경험과 비전이 구체적이지 않아 평가가 낮았습니다. 중요한 첨삭 대상을 놓쳤습니다.,5019,136,3160,
+EV-12,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,2,4.0,3.0,4.0,4.0,3.0,4.0,4.0,4.0,3.0,4.0,4,5,5,5,5,4,"[""NONE""]","지원자의 경험이 직무 적합성을 잘 드러내고 있으나, 구체적인 행동이나 방법이 부족하여 개선 여지가 있습니다.",5246,416,4925,
+EV-13,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,2,4.0,4.0,4.0,4.0,3.0,4.0,5.0,4.0,4.0,4.0,5,5,5,5,5,4,"[""NONE""]","전반적으로 경험과 방법론이 잘 서술되었으나, 구체성이 부족한 부분이 있어 개선 여지가 있습니다.",4876,430,5282,
+EV-14,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,0,,,,,,,,,,,2,5,5,5,5,3,"[""MISSED_ANALYSIS""]",지원 동기에서 구체적인 행동이나 방법이 부족하여 명확성이 떨어집니다. 중요한 첨삭 대상을 놓쳤습니다.,4929,130,2090,
+EV-15,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,0,,,,,,,,,,,2,3,3,2,2,3,"[""MISSED_ANALYSIS"",""MISSED_MISSING_KEYWORD""]","지원 동기와 직무 적합성에 대한 구체적인 사례가 부족하며, 중요한 첨삭 대상을 놓쳤습니다.",3851,138,3582,
+EV-16,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,0,,,,,,,,,,,2,5,5,5,5,3,"[""MISSED_ANALYSIS""]",답변에서 구체적인 행동 계획과 방법론이 부족하여 중요한 첨삭 대상을 놓쳤습니다. 분석이 없어서 평가가 어려웠습니다.,4926,134,3050,
+EV-17,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,2,3.0,2.0,3.0,3.0,2.0,4.0,4.0,3.0,3.0,4.0,2,5,5,5,5,3,"[""MISSED_ANALYSIS""]",경험의 구체성이 부족하여 간호사 역할을 명확히 드러내지 못하고 있습니다. 중요한 첨삭 대상을 놓쳤습니다.,4258,414,4997,
+EV-18,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,0,,,,,,,,,,,2,1,1,2,2,2,"[""MISSED_ANALYSIS"",""MISSED_MISSING_KEYWORD""]","자기소개서에서 구체적인 경험이 부족하고, 중요한 첨삭 대상을 놓쳤습니다. 누락된 키워드가 있으며, 분석이 전혀 이루어지지 않았습니다.",4279,152,2686,
+EV-19,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,2,3.0,3.0,3.0,3.0,2.0,4.0,4.0,3.0,3.0,4.0,2,5,5,5,5,3,"[""CONTEXT_IGNORED"",""MISSED_ANALYSIS""]",지원자의 경험이 구체적이지 않아 QA의 중요성을 강조하는 데 부족함이 있습니다. 문맥을 고려한 분석이 필요합니다.,4432,428,5713,
+EV-20,evaluation/evaluation_ai_results_two_pass_provenance_strength_fix.csv,0,,,,,,,,,,,2,5,5,5,5,3,"[""MISSED_ANALYSIS""]",지원 동기와 포부가 구체적이지 않아 분석이 부족하다고 판단됩니다. 명백한 문제 문장이 존재하지만 분석이 없었습니다.,4274,133,2388,

evaluation/evaluation_nlg_judge_two_pass_provenance_strength_fix_comparison.csv

@@ -0,0 +1,3 @@
+sourceResultFile,caseCount,successCount,judgeFailedCount,averageRelevance,averageProblemValidity,averageSentenceTypeConsistency,averageReasonCorrectness,averageContextAwareness,averageFaithfulness,averageTenseConsistency,averageUsability,averageNonMeta,averageMeaningPreservation,noAnalysisAppropriateness,strengthsPrecision,strengthsCoverage,missingKeywordsPrecision,missingKeywordsCoverage,overallUsefulness,averageJudgeInputTokens,averageJudgeOutputTokens,averageJudgeLatencyMs,averageAnalysisCount,metaImprovementRate,unsupportedFactRate,falsePositiveAnalysisRate,fatalErrorRate,errorCodeCounts
+evaluation/evaluation_nlg_judge_two_pass_candidate_prompt_fix_normalized.csv,20,20,0,3.17,2.83,3.17,3.22,2.17,4.22,4.22,3.22,3.44,4.22,2.0,4.5,4.5,4.55,4.55,3.0,4758.9,249.35,7640.45,0.75,0.0,0.0,0.0,0.0,"{""CONTEXT_IGNORED"":4,""MISSED_ANALYSIS"":19,""MISSED_MISSING_KEYWORD"":3}"
+evaluation/evaluation_nlg_judge_two_pass_provenance_strength_fix.csv,20,20,0,3.45,2.95,3.35,3.45,2.55,4.1,4.4,3.55,3.65,4.2,2.35,4.55,4.55,4.55,4.55,3.05,4919.75,287.45,4769.35,0.9,0.0,0.0,0.0,0.0,"{""CONTEXT_IGNORED"":4,""MISSED_ANALYSIS"":17,""MISSED_MISSING_KEYWORD"":3,""NONE"":3}"