개발 사양
mac silicon
Tool : Docker, InteliJ
사용 LLM model : ollama llama3.1:8b
설치 방법
- docker에 올라마 설치 명령어
docker pull ollama/ollama
docker run -d --name ollama-container -p 11434:11434 ollama/ollama
--- arm 으로 실행하기 ---
docker run -d --name ollama-container -p 11434:11434 --platform linux/amd64 ollama/ollama
docker ps -a
docker ps 로 실행중인거 확인
작동여부 curl 명령어로 확인
curl http://localhost:11434
모델 불러오기
curl -X POST http://localhost:11434/api/pull -d '{"name": "llama3"}' <- llama3로 하면 llama3:latest 로 해석되어 최신버전인 llama3.1:8b 불러옴
터미널에서 간단한 대화 방법
curl -X POST http://localhost:11434/api/generate -d '{ "model": "llama3.1:latest", "prompt": "오늘 날씨 어때?", "stream": false }' }'