BigData-Project

2024 빅데이터처리 프로젝트

🌾 쌀 생산량 분석 및 예측 시스템

프로젝트 소개

기후 변화가 쌀 생산량에 어떤 영향을 미치는지 분석하고, 미래의 쌀 생산량을 예측하는 프로젝트입니다. 전라남도, 충청남도, 전라북도, 경상북도의 2008-2023년 데이터를 기반으로 분석을 진행했습니다.

사용한 데이터

1. 쌀 생산량 데이터

• 지역별 재배면적(ha)
• 지역별 생산량(톤)
• 2008-2023년 연간 데이터

2. 기후 데이터

• 평균 기온(°C)
• 강수량(mm)
• 상대습도(%)
• 일조시간(hr)
• 월별 및 연간 데이터

데이터 전처리 과정

쌀 생산량과 연·월별 기후 데이터를 분석/예측에 활용하기 위해 다음과 같은 전처리 과정을 거쳤습니다.

---

1. 쌀 생산량 데이터 전처리

• 연도별 재배면적·생산량이 가로 형태여서 Long 형식(행 기반)으로 재구조화
• 최종 구조: 행정구역 / 일시 / 재배면적(ha) / 생산량(톤)
• 전체 지역 중 전남·전북·충남·경북만 필터링하고 연도 기준으로 정렬

---

2. 연간 기후 데이터 전처리

• 2008~2023 사이 누락된 연도를 자동 생성하고, 지역 평균값으로 보간 처리
• 연간/월간 데이터의 컬럼명이 서로 달라 평균기온(°C), 합계 강수량(mm) 등으로 컬럼명 표준화
• 42개 기상 관측지점을 전남·전북·충남·경북으로 매핑함
• 공백·문자열 등 비정상 값은 NaN으로 변환 후 지역 평균으로 채우기

---

3. 월별 기후 데이터 전처리

• YYYY-MM 기준으로 누락된 월 자동 생성 후 해당 지역의 월별 평균값으로 보간함(계절성 유지)
• 월별 기후 데이터를 평균기온_1월, 강수량_7월 형태로 피벗 테이블화
• 연간 데이터와 동일하게 컬럼명을 표준화하고 지역으로 매핑

---

4. 기후 + 생산량 데이터 통합

• 쌀 생산량 데이터와 연간 기후 데이터를 행정구역 + 연도 기준으로 병합
• 이어서 월별 기후 피벗 테이블도 동일 기준으로 병합해 최종 통합 분석 테이블을 구축
• 이 데이터셋에는 연간/월간 기후 변수 + 재배면적 + 생산량이 모두 포함

---

5. 모델 학습용 추가 전처리

• 생산량의 자기상관성을 반영하기 위해 이전년도 생산량·재배면적 피처 생성
• 행정구역은 One-Hot Encoding으로 변환해 모델 입력 형태로 맞춤
• 모든 수치형 데이터는 StandardScaler로 정규화해 학습 안정성을 확보

데이터 시각화

1. 지역별 쌀 생산량 추이 Trend Plot

• 목적: 지역별 쌀 생산량(단위 면적당)의 변화율 추적 및 지역간 생산량 변동 패턴 비교

2. 기후 변수와 생산량 간 상관관계 Heatmap

• 목적: 기후 요소(기온, 강수량, 일조량 등)와 생산량의 상관성을 한눈에 파악
• 분석 결과: 모든 지역에서 강수량의 변동성이 가장 높아 쌀 생산량의 주요 리스크 요인임을 알 수 있음

3. 지역별 주요 기후 요인 Boxplot

• 목적: 재배면적, 생산량, 단위 면적당 생산량의 지역별 분포 파악, 생산 효율성 비교, 지역별 생산 규모 차이 분석
• 분석 결과:
  • 재배면적이 큰 지역이 반드시 단위 면적당 생산성이 높은 것은 아님
  • 충청남도는 재배면적은 중간 수준이나 단위생산성이 가장 높아 효율적인 생산 체계를 가진 것으로 보임
  • 전라남도는 가장 넒은 재배면적을 보유했으나 단위 생산성이 낮음

4. 미래 예측

• 2024년, 2025년 생산량 예측
• 4가지 시나리오 기반 예측:

1. 추세 기반: 현재 추세 반영
2. 평균 기후: 최근 3년 평균 기후 조건
3. 최악 기후: 극단적 기후 조건
4. 최적 기후: 가장 좋은 기후 조건

참고자료

1. 기상청 기상자료개방포털 (기후데이터)
2. kosis 국가통계포털 (농작물 데이터)