lamm

Language Model Meter

Сервис для удобного сравнения результатов генерации двух моделей

• создание SBS по двум файлам с данными
  • через клиент
  • хранение данных в sqlite
  • обращение по хешу
• роутинг
  • sbs/run/{hash}
  • sbs/show/{hash}
  • sbs/list
• пользователь при первом использовании говорит имя
  • потом можно будет посмотреть сдвиги в сторону каких-то предпочтений (более короткие/более длинные ответы)
• страницы
  • SBS. Разметка
    • где какая модель — информация скрыта
    • варианты шаффлятся
    • горячие клавиши
      • варианты ответа
        • левая лучше
        • правая лучше
        • обе хорошо
        • обе плохо
        • где-то сработал цензор
          • определять автоматически?
          • при подсчете вариант без таких вариантов
  • SBS. Результаты
    • промежуточные результаты
    • диаграммы
  • SBS. Список
    • Краткие результаты всех SBS'ов
• backend
  • API
    • api/sbs/create
    • api/sbs/list
    • api/sbs/task/get
    • api/sbs/task/vote
    • api/sbs/get