배포 url : http://3.35.176.139:8501/
개발 기간 : 2024-04-30 ~ 2024-06-24
안녕하세요! 우리 프로젝트 깃에 오신것을 환영합니다.🎈
'여기요' [서울시 혼잡도 공유서비스] 는 2024년 Playdata final progect 로 진행되었으며
서울시 도시 데이터를 활용하여 장소별 유동인구와 혼잡도 예측서비스 제공합니다.
- 서울시는 2024년 기준, 인구 960만이 살고있는 거대한 도시입니다.
- 많은 인구가 장소와 시간, 이벤트에 따라 한곳에 밀집되어 혼란과 사고를 야기할 수 있습니다.
- 특히 서울을 처음 오는 외국인과 관광객의 경우 서울의 규모를 잘 모르면 혼잡함에 크게 당황하여 큰 스트레스가 될 수 있습니다.
- '여기요' 웹서비스는 한국어를 몰라 서울 실시간 도시 데이터 공공 서비스 사용에 한계를 가지는 외국인들을 위해 서울의 주요 115개 장소별 과거/현재 혼잡도(유동인구/교통상황) 및 분석 인사이트를 제공하고 미래 2주간의 예측정보를 제공하여 서울 생활과 관광에 편리함을 제공합니다.
- 또한 장소별 네이버 검색 키워드를 제공하여 장소가 가지는 특징과 트렌드 정보를 함께 제공합니다.
- 과거/현재 기반 데이터, 서울시 제공 실시간 도시 데이터 API 활용
- 예측 기반 추천 데이터, 머신러닝(랜던포레스트) 기반 혼잡도 예측 모델
| 조은별 | 김서윤 | 유승민 |
|---|---|---|
 @piaris |
 @kimppu |
 @YUSEONGMIN |
조은별(팀장) : 데이터분석 + 서비스 기획 화면구현, 머신러닝
김서윤 : 데이터엔지니어링 머신러닝 보조
유성민 : 데이터 분석 + 머신러닝 데이터엔지니어링 보조
서울시 실시간 도시데이터(주요 50 장소)(OPEN API)
- 프론트/백엔드 : Pandas, Streamlit, matplotlib
- 데이터분석 : Pandas, Randomforest, LSTM
- 데이터엔지니어링 : Mysql, Pandas, Selenium, Requests, Airflow
- 클라우드 : AWS(S3, EC2, RDS, Lambda)
- 형상관리 : Git, Github
- 커뮤니케이션: Slack
- batch성 데이터 스크래핑 및 실시간 데이터 적재(Airflow) 기술 확보
- 데이터파이프라인 구축 기술 확보
- 데이터 분석, 머신러닝, 서비스 활용
- 파이썬으로 반응형 웹서비스 배포 기술 활용
- 네이버 실시간 크롤링 기술 획득과 활용
- 서울시 생활과 관광을 위한 혼잡도 기반 웹(공공데이터 활용사례 출품 예정)
**프론트/백엔드** : Pandas, Streamlit, matplotlib
**데이터분석** : Pandas, Randomforest, LSTM
**데이터엔지니어링** : Mysql, Pandas, Selenium, Requests, Airflow
**클라우드** : AWS(S3, EC2, RDS, Lambda)
**형상관리** : Git, Github
**커뮤니케이션**: Slack
10년간 했던 팀프로젝트 중 가장 힘들었...ㅎㅎ
처음 배우는게 많아서 허덕이는 와중에도 팀원 이슈, 재기획도 힘들었지만 능력부족이 가장 컸기에 욕심은 컸으나 시간 내 못한 것이 많아 아쉬움이 많은 프로젝트였어요.
그래도 작지만 웹서비스를 기획하고 화면을 직접 구현하고 깃도 사용해보면서 성취감도 많이 남은 시간이었습니다.
데이터 엔지니어링을 독학하기엔 설치부터 막혔었는데 이 기회를 통해 설치부터 배포까지 간략하게 체험할 수 있었습니다.
조금 더 공부해서 자유자재로 다룰 수 있게 실력을 키워야겠습니다.
많은 일들이 있었지만 끝까지 해낼 수 있었던 기쁨이 컸던 프로젝트 였다.
팀원 수가 적었지만 그만큼 여러 시도와 작업을 해볼 수 있어서 많은 배움을 얻을 수 있었다.
Airflow, lamda는 처음이어서 힘들었고, data pipeline은 효율성을 고민하느라 힘들었고, git은 끝까지 우리를 괴롭게 만들며
매일 매일 어려움을 만났지만 끝까지 포기하지 않고 서로 도와준 팀원들에게 감사하다.
역시... 무엇이든 끝이 중요해...