- Azure Subscription
- 테스트를 위한 구독 필요.
- AOAI 접근 요청을 하려면 사전에 Azure 구독이 있어야 함.
- Azure OpenAI 접근 요청
- 현재는 AOAI를 사용하려면 접근 요청을 하고 승인을 받아야 함(약 2-3일 소요)
- PostMan) 설치
- Visual Studio Code 설치
| 시간 (PM) | 목표 | 설명 |
|---|---|---|
| 1:00-1:10 | 인사말 | |
| 1:10~2:00 | Microservices 아키텍처로 개발된 AI App을 AKS로 배포하기 | https://learn.microsoft.com/ko-kr/azure/aks/open-ai-quickstart?tabs=aoai |
| 2:00-2:20 | 쉬는 시간 | |
| 2:20~5:20 | AOAI와 APIM을 통합한 엔터프라이즈 용 로깅, 모니터링 솔루션 구축 | https://github.com/taeyo/BuildAIApp-Workshop/blob/main/Azure OpenAI 엔터프라이즈 Logging 방안.pdf |
AzureDiagnostics| take 100
ApiManagementGatewayLogs | where tolower(OperationId) in ('completions_create','chatcompletions_create') | where ResponseCode == '200' | extend model = tostring(parse_json(BackendResponseBody)['model']) | extend prompttokens = parse_json(parse_json(BackendResponseBody)['usage'])['prompt_tokens'] | extend prompttext = substring(parse_json(parse_json(BackendResponseBody)['choices'])[0], 0, 100)