build List

As an AI Engineer, must build these projects. Systems that prove you can ship production AI.

1.) Production RAG with Citations PDF Q&A bot that cites page numbers, implements hybrid search, reranking, and grounding. Stack: LangGraph + SQLite-vec + cross-encoder.

2.) Cost-Optimized Model Router System that routes queries by complexity to cheap/expensive models, tracks spend per request. Stack: LiteLLM + Prometheus + custom router.

3.) Multi-Agent Research System Supervisor coordinates researcher, writer, fact-checker with consensus logic and human approval gates. Stack: CrewAI + audit trail.

4.) Automated Eval Harness Runs 100+ golden test cases before every deploy, blocks regressions, tracks quality trends. Stack: DeepEval + RAGAS + LangSmith.

5.) Real-Time Observability Dashboard Distributed tracing, cost per request, latency percentiles, error rates, alerting on anomalies. Stack: OpenTelemetry + Grafana + Prometheus.

6.) Security Guardrail Middleware Detects prompt injection, redacts PII, filters outputs, enforces rate limits, sandboxed execution. Stack: Guardrails AI + custom rules.

7.) Local-First Development Environment Ollama + SQLite-vec + FastAPI, zero API costs, offline testing, mirrors production architecture. Stack: Ollama + LanceDB + Docker.

8.) Streaming Copilot UI Real-time token streaming, optimistic UI updates, graceful degradation on latency, error recovery. Stack: Next.js + Vercel AI SDK.

9.) Fine-Tuning Pipeline with LoRA Dataset preparation, instruction tuning, DPO alignment, evaluation before/after, catastrophic forgetting prevention. Stack: PEFT + Hugging Face.

10.) Multi-Tenant SaaS Agent User isolation, per-tenant rate limiting, usage-based billing, data partitioning, audit trails. Stack: Supabase + Stripe + LangGraph.

11.) CI/CD for AI Systems GitHub Actions, automated testing, canary deployments, automatic rollback on quality drop, feature flags. Stack: GitHub Actions + ArgoCD.

12.) Vector Database at Scale Hybrid search, metadata filtering, embedding caching, index optimization, backup/recovery procedures. Stack: Qdrant or Weaviate.

13.) Agent Memory System Short-term buffers, long-term recall, context compression, cross-session sync, memory eviction policies. Stack: Redis + vector DB.

14.) Production Inference Server vLLM or SGLang deployment, KV cache optimization, continuous batching, quantization, load balancing. Stack: vLLM + Kubernetes.

15.) Human-in-the-Loop Workflow Uncertainty detection, approval UI, pause/resume logic, validated context, full audit trail. Stack: LangGraph + custom UI.

16.) Agentic Automation Pipeline Webhooks, async execution, idempotency, dead-letter handling, retry logic with exponential backoff. Stack: FastAPI + Celery.

17.) Domain-Specific Benchmark Create eval suite for legal, medical, finance, or code. Public leaderboard, community adoption. Stack: Custom + pytest.

18.) Open Source Contribution Extend LangGraph, CrewAI, or LlamaIndex. Fix bug, add feature, write docs, publish benchmarks. Stack: Your choice.

---

1.) 인용이 포함된 프로덕션 RAG 페이지 번호를 인용하는 PDF Q&A 봇으로, 하이브리드 검색, 재순위, 그리고 그라운딩을 구현합니다. 스택: LangGraph + SQLite-vec + cross-encoder.

2.) 비용 최적화 모델 라우터 쿼리의 복잡성에 따라 저렴/비싼 모델로 라우팅하는 시스템으로, 요청당 지출을 추적합니다. 스택: LiteLLM + Prometheus + 커스텀 라우터.

3.) 다중 에이전트 연구 시스템 감독자가 연구원, 작가, 사실 확인자를 조정하며 합의 로직과 인간 승인 게이트를 포함합니다. 스택: CrewAI + 감사 추적.

4.) 자동화된 평가 하네스 배포 전에 100개 이상의 골든 테스트 케이스를 실행하며, 회귀를 차단하고 품질 추세를 추적합니다. 스택: DeepEval + RAGAS + LangSmith.

5.) 실시간 관찰 가능성 대시보드 분산 추적, 요청당 비용, 지연 백분위수, 오류 비율, 이상 징후에 대한 알림. 스택: OpenTelemetry + Grafana + Prometheus.

6.) 보안 가드레일 미들웨어 프롬프트 인젝션 감지, PII 삭제, 출력 필터링, 속도 제한 시행, 샌드박스 실행. 스택: Guardrails AI + 커스텀 규칙.

7.) 로컬 우선 개발 환경 Ollama + SQLite-vec + FastAPI, API 비용 제로, 오프라인 테스트, 프로덕션 아키텍처 미러링. 스택: Ollama + LanceDB + Docker.

8.) 스트리밍 코파일럿 UI 실시간 토큰 스트리밍, 낙관적 UI 업데이트, 지연 시 우아한 저하, 오류 복구. 스택: Next.js + Vercel AI SDK.

9.) LoRA를 사용한 파인튜닝 파이프라인 데이터셋 준비, 지시 튜닝, DPO 정렬, 전/후 평가, 재앙적 망각 방지. 스택: PEFT + Hugging Face.

10.) 다중 테넌트 SaaS 에이전트 사용자 격리, 테넌트당 속도 제한, 사용량 기반 청구, 데이터 분할, 감사 추적. 스택: Supabase + Stripe + LangGraph.

11.) AI 시스템을 위한 CI/CD GitHub Actions, 자동화된 테스트, 카나리 배포, 품질 저하 시 자동 롤백, 기능 플래그. 스택: GitHub Actions + ArgoCD.

12.) 대규모 벡터 데이터베이스 하이브리드 검색, 메타데이터 필터링, 임베딩 캐싱, 인덱스 최적화, 백업/복구 절차. 스택: Qdrant 또는 Weaviate.

13.) 에이전트 메모리 시스템 단기 버퍼, 장기 회상, 컨텍스트 압축, 세션 간 동기화, 메모리 제거 정책. 스택: Redis + 벡터 DB.

14.) 프로덕션 추론 서버 vLLM 또는 SGLang 배포, KV 캐시 최적화, 연속 배칭, 양자화, 로드 밸런싱. 스택: vLLM + Kubernetes.

15.) 인간-인-더-루프 워크플로 불확실성 감지, 승인 UI, 일시 중지/재개 로직, 검증된 컨텍스트, 전체 감사 추적. 스택: LangGraph + 커스텀 UI.

16.) 에이전틱 자동화 파이프라인 웹훅, 비동기 실행, 멱등성, 데드-레터 처리, 지수 백오프를 사용한 재시도 로직. 스택: FastAPI + Celery.

17.) 도메인 특정 벤치마크 법률, 의료, 금융, 또는 코드에 대한 평가 스위트 생성. 공개 리더보드, 커뮤니티 채택. 스택: 커스텀 + pytest.

18.) 오픈 소스 기여 LangGraph, CrewAI, 또는 LlamaIndex 확장. 버그 수정, 기능 추가, 문서 작성, 벤치마크 게시. 스택: 당신의 선택.