Skip to content

robertodantasdecastro/Local_RAG

Repository files navigation

Local_RAG

Workspace local para engenharia de LLM, RAG, avaliacao, treino local seguro e orquestracao de treino remoto.

Componentes

  • LM Studio para inferencia local
  • H2O LLM Studio para tuning
  • Phoenix para avaliacao
  • Langfuse para observabilidade
  • pipeline local seguro para SFT adapter-only
  • EC2 para treino remoto
  • Memoria viva e workflows compativeis com Antigravity IDE

Entrada rapida

cd ~/Desenvolvimento/Local_RAG
bash scripts/session.sh bootstrap
bash scripts/session.sh start
./scripts/ops_dashboard.sh

Treino local seguro

Fluxo principal:

cd ~/Desenvolvimento/Local_RAG
./scripts/local_train.sh preflight
./scripts/local_train.sh prepare --manifest training/local/manifests/sample_local_smoke.json
./scripts/local_train.sh run --manifest training/local/manifests/sample_local_smoke.json
./scripts/local_train.sh status

Pontos centrais:

  • treino local e adapter-only, com perfis safe-smoke e safe-adapter
  • artefatos pesados vao para o runtime externo em /Volumes/SSDExterno/Local_RAG_runtime
  • durante o treino, o painel principal e o Ops Dashboard
  • depois do treino, qualidade vai para Phoenix e traces/tokens para Langfuse
  • detalhes operacionais: docs/09-treino-local-seguro.md

RAG local com LangGraph

Fluxo principal:

cd ~/Desenvolvimento/Local_RAG
./scripts/rag_pipeline.sh bootstrap-demo
./scripts/rag_pipeline.sh query \
  --question "Qual comando devo usar para listar os arquivos do diretorio logs com detalhes?" \
  --session-id demo-shell \
  --collection knowledge_base \
  --task-type shell_command_generation \
  --expected-output "ls -lah logs" \
  --remember \
  --mock-llm
./scripts/rag_pipeline.sh export-training --session-id demo-shell

Capacidades:

  • ingestao local, CSV de seguranca e web crawl controlado
  • memoria de sessao + memoria episodica
  • vetorizacao local com Chroma
  • observabilidade em Phoenix e Langfuse quando disponiveis
  • exportacao para datasets/rag_exports/ pronta para o orquestrador enviar para a EC2
  • benchmark e comparacao modelo antigo vs modelo novo

Guia dedicado:

  • docs/10-rag-local-langgraph.md

Memoria e workflows

  • AGENTS.md
  • docs/07-workflow-codex.md
  • docs/08-guia-utilizacao-stack-e-treino.md
  • docs/09-treino-local-seguro.md
  • docs/10-rag-local-langgraph.md
  • docs/memory/
  • .agent/workflows/
  • .antigravity/

Credenciais e segredos

  • nao versionar .env real
  • usar .env.example como referencia
  • senha padrao operacional fica fora do repo, em armazenamento seguro local

About

mbiente local reproduzivel para engenharia de LLM, RAG, avaliacao, dashboards e orquestracao de treinos remotos em EC2.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

 
 
 

Contributors