여러가지 기술을 찍먹하기 위한 데이터 수집 프로젝트

개발 및 개선 과정을 단계별로 Branch 구성했으며, 구현의도는 주석에, 피드백 내용은 FIXME 주석에 담았습니다.

목차

1. 초기 개발 (01_create-collector 브랜치)
2. 설계 수정 및 피드백 반영 (02_re-design-collector 브랜치)
3. 피드백 반영 (03_fix-feedback 브랜치)
4. 이벤트 Pub-Sub (04_event-pub-sub 브랜치)
5. 피드백 반영 (05_fix-feedback 브랜치)
6. ELK Stack 연동 (06_elk-stack 브랜치)
7. 피드백 반영 (07 fix-feedback 브랜치)
8. 피드백 반영 (08_fix-feedback 브랜치)
9. 인증인가 처리 (09_authentication 브랜치)

Swagger

http://127.0.0.1:8080/swagger-ui/index.html

구동 방법

1. docker 컨테이너를 띄웁니다.

docker compose up -d

3. http://127.0.0.1:5601 으로 접속해 Kibana가 정상적으로 구동되는지 확인합니다.
4. application.properties 에서 writer.file.root-path 속성을 적절한 경로로 변경합니다.
5. 애플리케이션을 구동합니다.
6. http://127.0.0.1:8080/data 로 수집할 데이터를 요청합니다.

설계

1. 초기 개발

2. 설계 수정 및 피드백 반영

3. 이벤트 pub sub

4. ELK Stack 연동

학습 내용 및 참고 사이트

1. 초기 개발

• AsynchronousFileChannel
• ByteBuffer

2. 설계 수정 및 피드백 반영

• 서블릿 컨테이너 관점에서 BIO vs NIO
• NIO Zero Copy
• Java NIO
• NIO vs IO
• Spring Scheduler Default Thread Pool Size
• Spring Scheduler 스레드 풀과 비동기

3. 피드백 반영

• Queue offer vs put
• BlockingQueue drainTo()

4. 이벤트 pub sub

• Spring ApplicationEventPublisher
• ApplicationEventPublisher는 비동기가 아니다

5. 피드백 반영

• AtomicInteger, 쓰레드 동기화(synchronization) , Atomic, CAS 알고리즘 이해하기
• 싱글 스레드 이벤트 루프 모델

6. ELK Stack 연동

• Install Elasticsearch with Docker
• Install Kibana with Docker
• Running Logstash on Docker
• Logstash File input plugin
• Logstash Elasticsearch output plugin
• Elastic 가이드북

7. 피드백 반영

• Logstash File input plugin - file_completed_log_path
• Logstash Date filter plugin
• Logstash Output filter plugin - Writing to different indicies
• Try-Catch-Finally 사용시 주의사항

8. 피드백 반영

• Logstash Geoip Filter

9. 인증인가 처리

• API 인증과 메시지 무결성 확인을 통한 API 보안