LLM

LLM (Large Language Models)

Проекты вокруг LLM

Программы, позволяющие хостить LLM (производить инференс):

• Ollama (Github)
  • Установить на удаленном хосте следующие переменные:
    • OLLAMA_ORIGINS: * | chrome-extension://* | moz-extension://* (можно перечислить через запятую)
    • OLLAMA_MODELS: G:\AI\Ollama\models
    • OLLAMA_HOST: 0.0.0.0
• MLC LLM (Github)

Клиенты к моделям:

• ShellGPT: командная строка к ChatGPT (а также можно использовать Ollama-модели)
  • Устанавливать лучше через pipx: pipx install shell-gpt[litellm]
• Maid - Mobile Artificial Intelligence Distribution: мобильное приложение
• Lumos: браузерное расширение для того чтобы скормить локальной модели контент страницы
  • компиляция проекта выкачивает около 200Mb модулей, а сборка проекта делает папку размером 500-600 Мб!
  • ссылки на разные статьи о проекте доступны в конце его файла README.md
• OdinRunes: джава-клиент, позволяющий вести диалоги в обычном текстовом редакторе

Компании:

• Hugging Face
• ProxyAPI: беспроблемный посредник для доступа к OpenAI ChatGPT (очень дорого для GPT4!)

Тесты моделей и соревнования:

• https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboard

Руководства и статьи:

• https://www.promptingguide.ai (на русском: Руководство по промпт-инжинирингу)