Issue 6 timepad integration #94

rafaelldi · 2019-10-09T18:13:06Z

Issue #6

Сделал базовый прототип, чтобы дальше детальнее обсуждать (делал пока без тенантов). Подскажите, пожалуйста, по этим вопросам.

Вопросы о том, что откуда брать:

Таймпаду необходимо указать Id и Subdomain организации на таймпаде, откуда лучше мне их получать?
Starts_at и Ends_at - не нашёл временных рамок для всего митапа, есть только для отдельных сессий. Можно выбирать по ним максимальное и минимальное время;
Description_short - тоже не нашёл описаний;
City - у нас это enum, видимо, стоит простой маппер написать на названия городов;
Tickets_limit - тоже нет.

Какие-то из этих параметров можно получать не из объекта Meetup, а из дополнительных параметров метода, какие лучше?

Вопросы, связанные с api:

Правильно я понял, что id события на таймпаде мы хранить не будем, когда нужно будет обновлять, то надо смотреть по совпадению имени?
Секцию партнёры в api я не нашёл, при создании события на самом таймпаде, она там есть? Просто в api есть некое поле custom: Объект с дополнительными полями, специфичными для данной организации, который вроде можно использовать, хотя не понятно, как он вообще выглядит, плюс ещё надо фоточку партнера вставлять;
@AnatolyKulakov не помнишь случайно, как статус для публичного события назывался? Для черновика я по тому powershell репозиторию нашёл draft. Если что буду в сапорт обращаться.

Регистрацию в DI я через IServiceCollection сделал, потому что пока не разбирался, как Autofac добавить. У меня вопрос скорее из любопытства, а почему не стали использовать стандартный DI?

egorikas · 2019-10-10T13:47:14Z

@AnatolyKulakov тебе тоже интересно будет

egorikas · 2019-10-10T13:53:11Z

@AnatolyKulakov у каждого города свои же организация и суб-домен?
да, так и нужно
@AnatolyKulakov я думаю это из UI нужно проваливать
Да, придется так сделать, мы сильно завязаны на UI, а там тоже enum
@AnatolyKulakov я так понимаю это из UI тоже

egorikas · 2019-10-10T13:54:32Z

Регистрацию в DI я через IServiceCollection сделал, потому что пока не разбирался, как Autofac добавить. У меня вопрос скорее из любопытства, а почему не стали использовать стандартный DI?

Потому что Autofac надо выпилить, он остался от прототипа сервиса. C стандартным все ок

rafaelldi · 2019-10-10T17:09:40Z

Добавил работу с различными сообществами:

В папке Templates шаблоны событий в виде Spb-template.cshtml (это если один темплейт для каждого сообщества, или нужно будет ещё что-нибудь придумывать);
API токены ищутся в конфигурации в таком виде:

"TimePad": [
    {"Spb": "token"},
    {"Msk": "token"},
    ...
]

По этим токенам добавляются соответствующие HttpClient;
В методе создания события город беру уже из свойства Venue;
В методе ещё раз проверяю, что токен для этого города был добавлен (может, эта проверка уже избыточна)

ilabutin · 2019-10-10T20:00:21Z

А давай наоборот структуру конфигурации:

"Spb" : {
  "TimePad": "token"
}

Мы планируем для каждого сообщества свой файл конфигурации - так будет проще собирать конфигурацию

rafaelldi · 2019-10-11T05:21:54Z

Настройки тогда для сообщества Id и Subdomain на таймпаде можно тоже хранить в конфигурации?

kulakovt · 2019-10-11T21:36:58Z

Запроси по API информацию о существующих встречах, там должны быть намёки на то, что это и откуда
Так и надо, время начала митапа - это время начала первой сессии. Время окончания - конец последней
Этого нет в Аудите. Этот параметр нужно запрашивать с UI аргументом
Это должно быть новым полем в Venue, но пока не сделал ибо это ломающее изменение. Пока бери город из Сообщества.
Это должно быть поле в venue. Но пока не нужно было. Надо сделать. Пока принимай из UI

дополнительных параметров метода

Это сложный вопрос. По хорошему, все необходимые данные должны быть в моделе и никаких аргументов не нужно. Но так-как ты делаешь первую интеграцию, мы обнаруживаем новые поля, которых в моделе нет. Нам нужно изменять серверную модель. Но не сильно, ибо данная задача не про это совсем. Если как-то возможно сделать быстрый хак и не отвлекаться на модель, то нужно это сделать. @egorikas должен лучше знать как сейчас устроена модель и как можно её подхачить, чтобы не сломать контракт с UI.

Я вижу необходимость в следующих изменениях:

а. Добавить в Meetup обязательное текстовое поле ShortDescription
б. Добавить в Venue обязательное текстовое поле City
в. Добавить в Venue обязательное целочисленное поле Capacity

Сейчас (пока UI не осилили), для TimePad'а нужно сделать следующие defaults:

а. {Meetup.Day} {Meetup.Month} в гостях у компании {Friend.Name} состоится {Meetup.Number}-я встреча {Community.Name}. Например 17 октября в гостях у компании T-Systems состоится 53-я встреча SpbDotNet
б. Из Сообщества
в. 150

Потом редактору эти параметры, при желании, можно будет поменять в конструкторе самого TimePad.

Да, будем искать по названию, это надёжнее
Парьнёры есть. Запроси по API информацию о существующих встречах, там должны быть намёки на то, что это и откуда. custom - это не то, это по кастомные поля для анкеты регистрации (см. PowerShell скрипт)
Не помню. Запроси по API информацию о существующих встречах, там всё будет

у каждого города свои же организация и суб-домен

Да, в #93 это немного обсуждали.

мы сильно завязаны на UI, а там тоже enum

На UI должны уходить DTO для UI. Наши интеграции должны работать с бизнесс моделью. Она должна быть другой, не такой как для UI. Иначе мы никогда не сможем её менять без того чтобы всё не разрушить. Бизнес модель должна мапиться в UI DTO.

В методе создания события город беру уже из свойства Venue

Будь внимателен. Этого поля ещё нет в Аудите. Это проявление недержания UI'я. Поэтому не ясно откуда это поле берётся и как загружается для старых встреч.

А давай наоборот структуру конфигурации

Да, настройки должны храниться не по сервисам, а по сообществам (см. #93). В качестве идентификатора сообщества (для файлов и секций) надо использовать Community.Id. Ибо не понятно, что такое "Spb.cshtml" и как его сматчить с сообществом.

Id и Subdomain на таймпаде можно тоже хранить в конфигурации?

Не надо, это избыточно. Это всё есть в API. Смотри метод Get-TimePadOrganization()

@rafaelldi , не пытайся догадаться как работает API. Заведи тестовую организацию на TimePad и попробуй посоздавать митапы там. Или лучше спроси в поддержке, кажется что у них есть такая тестовая организация, специально для экспериментов с API.

rafaelldi · 2019-10-15T19:38:54Z

Работа с API TimePad

Пообщался с поддержкой TimePad:

По API нет возможности указывать партнёров;
Нельзя получит список черновиков (draft) событий. Теперь при создании черновика встречи я создаю вместо этого private событие, их получать по API возможность есть. На втором этапе перевожу в тип public;
У них swagger документация не очень соответствует реальности, поэтому пришлось править автосгенерированный клиент. Например, по документации поле помечено как Required.Always, но в ответе оно не приходит, из-за этого падает парсинг ответа.

Работа с тенантами

В конфигурации теперь ожидаю такую структуру:

"Community-1": {
  "TimePad": "token"
}

где 1 - это id сообщества.
5. Темплейт ищу в папке темплейтов в виде Template-community-1.cshtml

{Meetup.Day} {Meetup.Month} в гостях у компании {Friend.Name} состоится {Meetup.Number}-я встреча {Community.Name}. Например 17 октября в гостях у компании T-Systems состоится 53-я встреча SpbDotNet

У нас кстати нет номера встречи (Meetup.Number) в модели.

Остальное поправил. Потестировал, события создаются. Осталось доделать нормальный шаблон и можно смотреть.

kulakovt · 2019-10-15T20:38:38Z

По API нет возможности указывать партнёров;

Ясно. Ну пока руками будем добавлять.

я создаю вместо этого private

А можешь подробнее рассказать что такое private, public, зачем нужны и чем отличаются от draft?

"Community-1": {

Кажется что тебе не нужен префикс "Community". Идентификатор сообщества уникален.

Template-community-1.cshtml

А давай сделаем такой путь:

Templates\{Community.Id}\TimePad.cshtml

У нас кстати нет номера встречи (Meetup.Number) в модели.

Да. Наверное в Аудите его и не надо, ибо он почти всегда парсится. И ещё не все митапы обязаны иметь номер. Надо эту тему получше продумать, если мы начинаем на номер где-то полагаться.

rafaelldi · 2019-10-16T10:24:53Z

private и draft события видны только организаторам, public видны всем.

Черновики позволяют не указывать все обязательные настройки. Если событие опубликовано, все его обязательные параметры должны быть указаны.

Так как мы сразу заполняем все нужные параметры, для нас различий между private и draft не будет.

Я просто использовал префикс Community, чтобы с помощью регулярок искать все секции в конфигурации. Наверное, если других int ключей не будет, то можно убрать.

kulakovt · 2019-10-16T11:10:17Z

@rafaelldi А почему ты не использовал стандартный Options pattern?
https://docs.microsoft.com/en-us/aspnet/core/fundamentals/configuration/options?view=aspnetcore-3.0
Зачем регулярки и конфиги?

rafaelldi · 2019-10-16T11:36:43Z

Я в методе расширения для IServiceCollection сразу регистрирую все HttpClient для каждого сообщества с нужными authorization хедерами. Дальше уже в сервисе получаю по id сообщества его HttpClient и использую в методах.
Здесь, наверное, минус в том, что для новых сообществ придётся рестартовать сервис, чтобы зарегестрировать их клиентов. Но зато позволило настроить эти authorization хедеры в одном месте.
Можно переделать через IOptions.

kulakovt · 2019-10-16T11:45:48Z

@rafaelldi Рестарт ради нового сообщества это не большая проблема. Нужно только не забыть в документации отметить это требование.

Переделай лучше любую работу с настройками через Options. Это избавит от кучи проблем. В том числе и от регулярок. А мы потом в эти опции соберём правильные значения из файла, из Compose Env, из Azure и прочих разных мест.

ilabutin · 2019-10-16T15:49:02Z

Наверное, если других int ключей не будет, то можно убрать.

А почему 'int'? С моей точки зрения, "ID сообщества" это строка "SpbDotNet", "MskDotNet", и т.п.

rafaelldi · 2019-10-16T16:13:24Z

Ну по модельке Id - это int:

    public class Community
    {
        public int Id { get; set; }
        public string ExportId { get; set; }

        public string Name { get; set; }
        public string City { get; set; }
        public string TimeZone { get; set; }

        public List<Meetup> Meetups { get; set; }
    }

kulakovt · 2019-10-16T16:40:51Z

Не, не, не. Это UI модель. Она не подходит для бизнес-логики.
@egorikas , что делать?

rafaelldi · 2019-10-16T17:45:50Z

Я пока сделал темплейт похожим на SpbDotNet события и переписал через IOptionsSnapshot получение токена.
Ещё пара моментов:

Постер для события, видимо, нужно будет вручную устанавливать, потому что в модели нет;
Не придумал пока, как добавлять в темплейт аватарки спикеров, у них в существующих событиях внутренняя ссылка таймпада, т.е вроде как их сначала надо загрузить.

В остальном вроде всё готово, если не считать эти модели. Я их брал из DotNetRuServer.Meetups.BL.Entities (есть ещё DotNetRuServer.Meetups.BL.Models, там лежат модельки вида CommunityVm).

kulakovt · 2019-10-16T17:51:04Z

@rafaelldi 1. Постер было бы идеально копировать с предыдущего митапа.
2. Когда я смотрел, фотографии нужно было загружать их на специальный сторонний сервис (там кажется есть хороший API) для картинок и вставлять полученные ссылки в TimePad.

rafaelldi · 2019-10-20T18:36:05Z

Добавил постер из последнего public события, если такого нет, то будет дефолтный;
На картинки можно просто давать ссылку, я беру их из репозитория Аудита

egorikas · 2019-10-22T19:04:04Z

@AnatolyKulakov тебя все устраивает с точки зрения заказчика?

kulakovt · 2019-10-22T19:47:17Z

DotNetRuServer.Integration/DotNetRuServer.Integration.csproj

+    </ItemGroup>
+
+    <ItemGroup>
+      <Content Include="Templates\1\TimePad.cshtml">


Почему "1"? Кажется договаривались всё складывать в подпапку Community.Id. В данном случае можно всё делать для SpbDotNet, на нём будем обкатывать для остальных.

Id сейчас int у модели, можно брать ExportId, там как раз текстовые названия как SpbDotNet лежат

Да, когда я упоминал поля типа Community.Id я везде имелл ввиду схему Аудита. Не схему UI. То как это называется в UI здесь не важно.

kulakovt · 2019-10-22T19:53:22Z

DotNetRuServer.Integration/Templates/1/TimePad.cshtml

+    <br/>
+    Telegram: <a href="https://t.me/spbdotnet">https://t.me/SpbDotNet</a>
+    <br/>
+    Meetup.com: <a href="https://www.meetup.com/SpbDotNet/">https://www.meetup.com/SpbDotNet</a>


Ссылки желательно брать из Community

В этих моделях нет ссылок у сообществ

@egorikas , а мы можем обновить модель на актуальную схему Аудита?

kulakovt · 2019-10-22T19:57:40Z

DotNetRuServer.Integration/TimePad/TimePadIntegrationService.cs

+        {
+            _clientFactory = factory;
+            _optionsAccessor = options;
+            var rootDir = Path.GetDirectoryName(Assembly.GetExecutingAssembly().CodeBase);


Путь к рабочей директории лучше получать из AppDomain.BaseDirectory. Ибо текущая сборка может лежать где угодно (например в отдельной темповой папке с версией и изоляцией, как делает IIS). А все конфиги всегда будут в BaseDirectory.

Поправил

kulakovt · 2019-10-22T19:59:07Z

DotNetRuServer.Integration/TimePad/TimePadIntegrationService.cs

+            _clientFactory = factory;
+            _optionsAccessor = options;
+            var rootDir = Path.GetDirectoryName(Assembly.GetExecutingAssembly().CodeBase);
+            var appRoot = rootDir.Substring(5);


Не очень понятно что такое "5", откуда взялось, что обозначает и почему это должно работать?

Там путь всегда возвращался в виде: file:/..., эти пять символов я удалял. Но сейчас в нормальном виде путь возвращается, так что убрал это

kulakovt · 2019-10-22T20:03:30Z

DotNetRuServer.Integration/TimePad/TimePadIntegrationService.cs

+            var shortDescription = $"{dateDescription} {friendsDescription} состоится встреча {meetup.Community.Name}";
+
+            var templateModel = CreateTemplateModel(meetup);
+            var htmlDescription = await _razorEngine.CompileRenderAsync($"Templates/{meetup.CommunityId}/TimePad.cshtml", templateModel);


Лучше использовать абсолютные пути (Path.Combine(BaseDirectory)). Тогда такой код будет более переносим между различными системами и будет работать более предсказуемо и стабильно. Ибо предсказать где в данный момент находится Environment.CurrentDirectory (которая неявно используется в данном случае) абсолютно невозможно.

Не, там как базовый путь используется то, что указали в методе .UseFilesystemProject(), т.е. получается сейчас AppDomain.CurrentDomain.BaseDirectory

kulakovt · 2019-10-22T20:04:43Z

DotNetRuServer.Integration/TimePad/TimePadIntegrationService.cs

+            {
+                Name = "Входной билет",
+                Price = 0,
+                Send_personal_links = true


Почему true? На что это влияет?

Написано Категория билетов с отправкой персональных ссылок. У текущих событий стоит true, я с них брал

kulakovt · 2019-10-22T20:07:09Z

DotNetRuServer.Integration/TimePad/TimePadIntegrationService.cs

+                if (friends is null || friends.Count == 0)
+                    return string.Empty;
+
+                var description = "в гостях у " + (friends.Count == 1 ? "компании " : "компаний ") +


"В гостях" всегда только у первой компании (First()), остальные просто спонсоры, их тут указывать не надо.

Поправил

kulakovt · 2019-10-22T20:11:16Z

DotNetRuServer.Integration/TimePad/TimePadIntegrationService.cs

+            }
+        }
+
+        public async Task PublishEventAsync(Meetup meetup, CancellationToken ct)


Надеюсь сейчас этот метод ниоткуда не вызывается? Первое время, пока не отладимся, анонсы будут публиковаться только вручную с сайта TimePad. У нас пока слишком много необходимых ручных правок нужно сделать перед автоматической публикацией

Оба метода пока ниоткуда не вызываются

Ты же добавил контроллер. Там они используются. Вот я бы Publish от греха подальше убрал бы из контроллера, чтобы случайно его не вызвать

kulakovt · 2019-10-22T20:12:32Z

DotNetRuServer.Integration/TimePad/TimePadIntegrationService.cs

+
+            var communityOrganization = introspect.Organizations?.SingleOrDefault(o => o.Name.Contains(community.Name));
+            if (communityOrganization is null)
+                throw new Exception("Can't find community TimePad organization");


А у нас нормально исключения на UI отображаются? Я, как пользователь портала, увижу причину ошибки?

Стандартного отлова исключений через UseExceptionHandler я вроде не нашёл, а в остальном не знаю

@AnatolyKulakov сейчас универсально вроде не ловится нигде. Я по крайней мере не писал общего Filter для перехвата

«У нас не ловится и стандартный обработчик покажет вменяемое сообщение об ошибке» или «у нас не ловится и пользователь ничего полезного не увидит»? Ну т.е. нужно увидеть текст исключения (хотя бы пока). Иначе мы никогда не узнаем об этой ошибке и не поймём почему же всё не работает. Логов ведь тоже нет похоже.

У нас не ловится и ты все увидишь. Логи тоже надо добавить #101

kulakovt · 2019-10-22T20:15:12Z

DotNetRuServer.Integration/TimePad/TimePadIntegrationService.cs

+                SpeakersDescriptions = s.Talk.Speakers.Select(sp => new TemplateModel.TemplateSpeaker
+                {
+                    Description = sp.Speaker.Description,
+                    AvatarUrl = $"https://raw.githubusercontent.com/DotNetRu/Audit/master/db/speakers/{sp.Speaker.ExportId}/avatar.small.jpg"


Думаю надо всё-таки создать issue по загрузки фотографий на их стандартное хранилище. Очень не хочется привязывать структуру хранения в Аудите к TimePad'у. Поменяем место хранения фотографий и старые анонсы превратятся в тыкву. А для кого-то они могут быть важны.

Создал ишью #100

kulakovt · 2019-10-22T20:20:05Z

@egorikas , да отличная работа. А как это сейчас будет работать? Похоже что никак? Мы можем прикрутить какую-нибудь кнопочку чтобы можно было тестировать? Можно даже через свагер: чтобы вбить Meetup.Id и у тебя создался приватный анонс в TimePad.

rafaelldi · 2019-10-23T16:57:30Z

Ещё надо не забыть регистрировать конфигурацию с токеном, потому что сервис ожидает IOptionsSnapshot<TimePadConfiguration> options

egorikas · 2019-10-23T17:26:40Z

@AnatolyKulakov мы можем метод вывалить в сваггер и им можно будет пользоваться. нужный умел фронтендер, чтобы поддержать на UI

egorikas · 2019-10-23T17:34:31Z

@rafaelldi @AnatolyKulakov давайте реально сделаем контроллер, чтобы можно было кнопочку в сваггере потыкать. мне нравится идея, для тестов, то что нужно

rafaelldi · 2019-10-25T16:22:59Z

Добавил контроллер

egorikas · 2019-10-25T16:33:34Z

@AnatolyKulakov вродь как MVP все ок

kulakovt · 2019-10-25T17:02:24Z

@egorikas , да шикарно, давай вливать и дальше допиливать

Sergey-Buyanov · 2019-10-26T12:17:58Z

DotNetRuServer.Integration/TimePad/TimePadIntegrationService.cs

+            var events = await GetLastPrivateEvents(communityOrganization.Id, timePadClient, ct);
+            var meetupEvent = events.FirstOrDefault(e => e.Name == meetup.Name);
+            if (meetupEvent is null)
+                throw new Exception("Can't find meetup event");


По хорошему, надо завести специальные еxception, чтобы потом не было проблем с их определением.

rafaelldi added 7 commits October 13, 2019 19:02

Добавил проект интеграций

301897c

Добавил сгенерированный и сервис для интеграции

9edcb6f

Добавил создание события

da045b6

Добавил генерацию из razor шаблона

8e7d3fa

Добавил работу с разными сообществами

7c91174

Поправил использование API TimePad

34db315

Поправил интеграцию

3b1d9e9

rafaelldi added 2 commits October 16, 2019 19:53

Поправил темплейт события

a011655

Изменил работу с конфигурацией на IOptionsSnapshot

8a73120

rafaelldi added 3 commits October 20, 2019 17:40

Добавил получение картинки последнего события

c5d019b

Добавил получение картинки последнего события

c27d151

Добавил аватарки спикерам

8a6e46b

rafaelldi marked this pull request as ready for review October 20, 2019 18:36

kulakovt approved these changes Oct 22, 2019

View reviewed changes

Сделал правки по PR

1a43ddf

rafaelldi added 2 commits October 25, 2019 18:55

Добавил тестовый TimePadController

4e93b58

Переделал Id на ExportId

cc44461

Убрал Publish от греха подальше

1dba2a1

egorikas merged commit 2bb90e2 into DotNetRu:master Oct 26, 2019

rafaelldi deleted the Issue-6-TimepadIntegration branch October 26, 2019 09:29

Sergey-Buyanov reviewed Oct 26, 2019

View reviewed changes

rafaelldi mentioned this pull request Nov 10, 2019

Недостающие поля в моделях для интеграции с TimePad #111

Open

Issue 6 timepad integration #94

Issue 6 timepad integration #94

Uh oh!

Conversation

rafaelldi commented Oct 9, 2019

Uh oh!

egorikas commented Oct 10, 2019

Uh oh!

egorikas commented Oct 10, 2019

Uh oh!

egorikas commented Oct 10, 2019

Uh oh!

rafaelldi commented Oct 10, 2019

Uh oh!

ilabutin commented Oct 10, 2019

Uh oh!

rafaelldi commented Oct 11, 2019

Uh oh!

kulakovt commented Oct 11, 2019

Uh oh!

rafaelldi commented Oct 15, 2019

Работа с API TimePad

Работа с тенантами

Uh oh!

kulakovt commented Oct 15, 2019 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Uh oh!

rafaelldi commented Oct 16, 2019

Uh oh!

kulakovt commented Oct 16, 2019

Uh oh!

rafaelldi commented Oct 16, 2019

Uh oh!

kulakovt commented Oct 16, 2019

Uh oh!

ilabutin commented Oct 16, 2019

Uh oh!

rafaelldi commented Oct 16, 2019

Uh oh!

kulakovt commented Oct 16, 2019

Uh oh!

rafaelldi commented Oct 16, 2019 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Uh oh!

kulakovt commented Oct 16, 2019

Uh oh!

rafaelldi commented Oct 20, 2019

Uh oh!

egorikas commented Oct 22, 2019

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

kulakovt Oct 25, 2019 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

kulakovt commented Oct 15, 2019 •

edited

Loading

rafaelldi commented Oct 16, 2019 •

edited

Loading

kulakovt Oct 25, 2019 •

edited

Loading