💡 Steel See 는 철강 이미지에서 불량 부분을 검출하는 서비스 입니다.
💡 자체적으로 개발한 불량 검출 인공지능 모델을 사용하여 앱 서비스 형태로 배포하였습니다.
➡️ AI 모델: 링크
➡️ Spring Boot: 링크
➡️ Camera App: 링크
➡️ Tablet App: 링크
➡️ IPad App: 링크
| 강준우 | 김태경 | 여지수 |
|---|---|---|
 |
 |
 |
| • 촬영용 어플리케이션 제작(Flutter) • 테블릿용 어플리케이션 제작(Flutter) • DBMS(mysql) 서버 구축 • DB 연동 Rest API(Spring JPA) 개발 |
• 데이터 분석 및 전처리 • 이미지 증강 모델(DCGAN, PGGAN, StyleGAN) 연구 • 이미지 세그멘테이션 모델(U-Net) 연구 • 모델 학습을 위한 쿠버네티스 도커 환경 연구 • DBMS(mysql) 서버 구축 • DB 연동 Rest API(Spring JPA) 개발 |
• 데이터 분석 및 전처리 • 이미지 분류 모델(CNN, ResNet, EfficientNet) 연구 • 이미지 세그멘테이션 모델(U-Net) 연구 • 이미지 증강 모델 (DCGAN) 연구 • 모델 서빙 Rest API(Flask) 개발 • figma를 활용하여 UI 및 UX 디자인 • 아이패드용 어플리케이션 제작(Flutter) |
| jangtai4@pusan.ac.kr | kimtg1997@pusan.ac.kr | duwltn1301@pusan.ac.kr |
🐥 먼저 사용자는 촬영용 app에서 철강 사진을 촬영하여 업로드합니다.
🐥 해당 사진은 웹 서버에 올라간 Flask 기반 REST API로 전달됩니다.
🐥 API는 학습 모델에 사용자의 사진을 넣어 예측을 한 후, 결함이 검출 및 분류된 데이터들을 DB에 저장합니다.
🐥 사용자는 태블릿용 어플리케이션에서 자신이 업로드했던 사진을 조회합니다.
🐥 이때 Spring 기반 REST API가 데이터베이스에 저장된 데이터들을 가져옵니다.
🐥 해당 데이터들은 태블릿용 어플리케이션 화면상에서 보여지게 됩니다.
🐥 사용자는 자신이 올린 철강 사진에 대한 결함 정보를 얻을 수 있게 됩니다.
App을 사용하는 User가 사용하기 편리한 App, 데이터를 관찰 및 관리하기 쉬운 App을 목표로 진행하였습니다.
- 촬영용
- 표면 이미지의 촬영
- 실시간 확인
- 데이터 베이스로 전송
- 태블릿용
- 데이터베이스로부터 load
- 그래프 모드
- 아이패드용
- GAN 모델 이미지 생성 결과 확인
- 전처리&분류 모델 보기
대쉬보드 모드
> 설정한 조건에 따른 이미지 데이터를 조회하고 관리하는 스크린
그래프 모드
> 설정한 날짜에 따른 이미지 데이터를 그래프 형식으로 조회하는 스크린
사용법
- 촬영용 App
- 사용자의 이름을 입력한다. (파일이름으로 저장됨 => 추후에 누가 관리하고 있는 시점이였는가를 확인)
- 입력 버튼을 누른다.
- 미리보기 화면으로 사진 위치를 잘 확인한 다음 촬영 버튼을 누른다.
- 편집을 한다.
- 다시 편집이 필요한 경우 편집 버튼을 누른다.
- 전송 버튼을 누른 뒤 기다린다.
- 태블릿 App
대쉬보드 모드
- 조회하고 싶은 날짜를 달력 모양 아이콘을 눌러 설정한다.
- 결함 유무 및 Label 2개의 조회 필터를 설정한다.
- 조회 버튼을 누른다.
- 원하는 이미지를 클릭한다.
- 오른쪽에서 확대하여 자세히 본다.
그래프 모드
- 대쉬보드 모드에서 우측 상단 그래프 모드 버튼을 눌러 화면을 전환한다.
- 조회하고 싶은 날짜를 달력 모양 아이콘을 눌러 설정한다.
- 막대를 눌러 날짜별 결함의 수만을 비교해 본다.
- 아이패드 App
tech week 시연 때 연구에 대한 이해를 돕기 위해 제작한 앱이다.
- 결함 이미지 생성 모델을 통해 생성된 진짜 이미지와 가짜 이미지를 확인한다.
- 데이터 전처리와 결함 분류 모델의 흐름을 확인한다.
- 스크롤하여 나오는 철강 이미지들을 촬영용 App으로 찍어서 결과를 태블릿 App으로 확인한다.
https://www.youtube.com/watch?v=neZY_eSCWkQ&t=45s
