Tech-scrap-backend

🛠 Tech stack

1. Serverless
2. nodeJS
3. cheerio
4. AWS lambda
5. DynamoDB
6. firebase/store (예정)

이렇게 구성한 것은 일단 공짜로 서비스를 해보고 싶었다. 다른 것도 12개월 무료가 있긴 하지만 한번 만들고 AWS lambda, DDB는 대규모 프로젝트가 아니라면 프리티어로 충분히 커버할 수 있을듯하다. 람다는 한달에 백만건, DDB는 읽기/쓰기 용량 25 스토리 25기가를 무료로 제공한다. 최종 목표는 유저 인증을 추가하여 유저 편의 기능을 제공하는 것이다. firebase 가 빠르게 이를 해결해줄 수 있을 것 같다.. 직접 구현하는 것도 물론 좋겠지만 실제로 배포하고 서비스하고 싶은 마음이 더 큰지라 이제 막 백엔드에 입문한 나보다는 구글에게 일임하는 것이 더 낫겠다는 생각이 들었다. 또 꿀기능들을 많이 제공할 수 있을듯하다. (혼자 만들다보니 관리도 어렵고...)

📌 개발 기록

1. lambda & cloudwatch event 로 10분에 한번씩 각 기술블로그 RSS 파싱해서 DDB에 저장
2. DDB 복합키 설계는 {파티션키 : site, 정렬키 : pubDate#siteId} 로 설정해서 서버나 프론트에서 다시 정렬할 필요없게 하였다.
3. 크롤링을 통해 새 글을 가져오기 때문에 새로운 글을 파악할 때도 DB를 읽어야하는데, 이때 파티션키는 읽기 용량을 줄이는 것에 많이 도움이 될 수 있을 것.
4. 검색 기능을 구현할 때 elasticsearch 를 사용할지 고민이다. 읽기 용량을 줄이는 것에 많이 도움된다고 하는데, 이 서비스 자체가 12개월만 무료라 망설여진다.
5. 새로운 것을 많이 시도해보는 프로젝트라 기능은 간단하게 기술 포스트을 읽거나, 키워드 알림, 검색기능 정도만 구현할 예정이다. (알림도 파이어베이스로...😅)