terratensor
Replies: 4 comments 9 replies
Соборный интеллект это суть тандем, если очистить пока ядро до минимума. Тандем реализуется на физических носителях — пикселях по экрану, колебаниях воздуха и тому подобной сигнальной среде. В случае который мы рассматриваем, в целях эффективности изложения ограничимся пикселями. Ключевая задача фактически сводится к тому, чтобы был порождён осмысленный текст, который либо отвечает на комментарий, либо взывает к ответу. Вот прямо отсюда и нужно плясать. Задача — получить такой текст от произвольного элемента суперсистемы. |
|
Менеджеры yotube'а уволили бы меня за такую работу каждый месяц по 10 раз )))) Сравнительный отчет: Пользователи, опубликовавшие первый комментарий в соборной теме и вне ее1. Пользователи, опубликовавшие первый комментарий в соборной теме:
Итого: 22 пользователя. 2. Пользователи, опубликовавшие первый комментарий после 24.02.2022 не в соборной теме:
Итого: 539 пользователей. 3. Сравнительный анализ:
4. Распределение по годам:
5. Выводы:
6. Рекомендации:
Подпись: ваш «менеджер ютуб» |
|
Если приводить к целевому показателю «осмысленный текст», то результаты слегка изменятся. Можно начать просто с размеров — количество комментариев и объём написанного двумя этими группами по тем же временным периодам. |
**СВОДД (%) и ФКТ (%)** — процентное соотношение для каждой темы
Сравнительный отчет: Активность пользователей в соборной теме и вне ее1. Количество уникальных пользователей и комментариев:Соборная тема:SQL запрос
WITH UsersInCathedral AS (
SELECT
username,
date,
question_data_id
FROM
question_comments
WHERE
date > '2022-02-24' -- Фильтруем комментарии после 24.02.2022
AND question_data_id IN (SELECT DISTINCT question_id FROM svodd_chart_data) -- Только соборная тема
)
SELECT
EXTRACT(YEAR FROM date) AS year, -- Извлекаем год
COUNT(DISTINCT username) AS unique_users, -- Уникальные пользователи
COUNT(*) AS comments_count -- Количество комментариев
FROM
UsersInCathedral
GROUP BY
EXTRACT(YEAR FROM date)
ORDER BY
year;
Остальные комментарии (ФКТ):SQL запрос
WITH UsersNotInCathedral AS (
SELECT
username,
date,
question_data_id
FROM
question_comments
WHERE
date > '2022-02-24' -- Фильтруем комментарии после 24.02.2022
AND question_data_id NOT IN (SELECT DISTINCT question_id FROM svodd_chart_data) -- Вне соборной темы
)
SELECT
EXTRACT(YEAR FROM date) AS year, -- Извлекаем год
COUNT(DISTINCT username) AS unique_users, -- Уникальные пользователи
COUNT(*) AS comments_count -- Количество комментариев
FROM
UsersNotInCathedral
GROUP BY
EXTRACT(YEAR FROM date)
ORDER BY
year;
2. Сравнение по годам:Уникальные пользователи:
Количество комментариев:
3. Сравнение с первым отчетом (первые комментарии):Первые комментарии:
Общая активность (комментарии):
Вывод и рекомендации
4. Выводы:
5. Рекомендации:
Выводы и рекомендации не мог не оставить, но скрыл Сравнительный отчет: Соотношение количества комментариев на пользователя в соборной теме и вне ее1. Расчет комментариев на пользователя:Соборная тема:
Остальные комментарии (ФКТ):
2. Сравнение комментариев на пользователя:
Выводы, рекомендации
3. Выводы:
4. Рекомендации:
5. Итоговая таблица:
Осмысленного текста опубликовано больше в соборной теме, участников в соборной теме меньше, но эти показатели не считаются в обычных сценариях, их предлагается игнорировать. Вот такая математика. Никакого управления не проводится. Количество подписчиков и реакций — это главное достижение. На сегодня все с отчетами ) ПС: «Почему пользователи в соборной теме публикуют больше комментариев? Возможно, это связано с качеством контента, модерацией или тематикой.» |
|
Так приступим к дискусии. Идея в начале дискуссии посещала меня ранее в разных вариациях. Поддерживаю.
Хорошо. Словарь частотных терминов «текущий момент» — это мы собираем из корпуса соборной темы. Тут надо будет определить метод, как такие термины собрать. Ведь предполагается, что это не одно слово? Полагаю, что так. Есть мысль сделать разные словари, должно быть просто, в которых собрать биграмы, триграмы и n-грамы, помимо единичных слов. И посмотреть на них, что получиться, может что-то уже из-этого выйдет дельное и можно будет использовать, а может и нет. Далее — словарь концептуальных понятий «коб» как нам получить такой словарь? Фильтруем, создаем ссылки, помещаем в таблицу. Похоже это может быть таблица в мантикоре — Percolate table. Кажется, настало ее время. Таблица percolate — это специальная таблица, которая хранит запросы, а не документы. Она используется для перспективных поисков или «поиска в обратном направлении». Как это работает, я полагаю так, у нас эти понятия, термины и сочетания занесены в такую таблицу, и каждый новый документ, каждое сообщение мы отправляем в эту таблицу, как запрос, вовремя публикации, до/после. получаем что-то - совпадения. Надо это будет протестировать, чтобы понять, что можно будет с этим делать дальше, чтобы размечать текст ссылками.
Да, значит все, верно, делаем некие словари соборной темы и КОБ. и размечаем станицы.
Возможно, и так., надо узнать. Но это же странно, хотя какули откладывать в телеге не менее странно. Могут быть возражающие. Теоретически можно задействовать регистрацию, и пользователь в настройках отключает разметку своих комментариев. Как вариант. Но для начала да, можно выбрать наши комментарии и тех кто согласится присоединиться, а далее будет видно, как распространить этот опыт.
Вот этот момент пока не понял, пришел по ссылке на ФКТ? Откуда у нас вообще появляются новые пользователи? Например, нового пользователя из телеги, который придет на сайт и потом на ФКТ и присоединиться к соборному интеллекту? Т.е. сообщения в трансляции так же размечены, пользователи переходят на сайт СВОДД. И… а как с сайта svodd.ru пользователь попадет на ФКТ? Как вариант, посещала мысль ранее, чтобы не перегружать текст ссылками разметки, часть ссылок можно вынести, как теги или хэш теги под сообщением. На сайте СВОДД можно разместить под сообщением, и сделать кнопку показать скрыть теги. Типа сollapsible мenu https://getbootstrap.com/docs/5.3/components/collapse/#example или accordion https://getbootstrap.com/docs/5.3/components/accordion/ Совпало…, недавно наблюдал претензию на ФКТ в зеленых комментариях, товарищ обвинял, что в КОБ нет словаря понятий, и что совершенно невозможно в этом разобраться и это ж не спроста, поэтому ваше КОБ говно. Как-то так не цитата. |
Концептуально не вижу противоречий, кажется так и следует делать, или как минимум начать и «прицениться» к обстановке. Может будет даже лучше, чем пока придумано в уме. Пока логика такой и является — использовать словарь концептуальных терминов, использовать частотные словари корпуса текстов книг после фильтрации. Основной момент это именно фильтрация, ручная проверка, осмысление мясным вычислителем. Пока без нейромоделей, а там дальше будет видно. Судя по дискуссии в теме товарищ @terekon1 что-то затеял на этом поприще, LLM он уже приносил. |
Мясным вычислителем получайте. Это именно его работа. Пока не встречал генератора осмысленного бреда. Логика простая, можно смотреть как на упражнение в психологии «составление цепочки аналогов» — имея короткий ряд терминов, например три штуки, и имея контекст мясного вычислителя, выбирается цепочка синонимов или антонимов. Как в психологии — назови первое, что придёт в голову на услышанный термин, и подаётся «утка, квас, сегодня, спутник». Это некое извлекание мясного контекста. |
в очередной раз прочитывая эту фразу понял, что это очищенное от стоп слов и с применением стеминга некотрое абстрактное предложение. Наверное, нет точно! такие слова как то связаны друг с другом. Кажется должен быть метод через веткора найти связи, надо подумать, это же слова определнных тем, и возможно такие списки можно получать с помощью логистической регрессии, т.е. можно как бы попредсказывать слова следующие друг за другом, этакий простенькитй генратор чат-бот, трансформер. Надо подумать эту мысль. |
А это суть задачи. Она проистекает из установки, что телега это инструмент формирвания соборного интеллекта:
Пользователь телеги прочёл трансляцию и побудился написать текст в соборный интеллект. Это суть. Поскольку написать текст в соборный интеллект в настоящий момент означает зайти на сайт фкт и оставить комментарий в теме, это пока и является целью побуждения. Чтобы пока упростить логику, предлагается обмозговать альтернативную идею: пользователь по ссылке из телеги попадает в телеграм-бот, который получает от пользователя текст и отправляет его в сервис. На сайте сводд пользователь под комментарием видит ссылку, подобную той что в телеге, в духе «ответить этим негодяям немедленно», по нажатию которой открывается форма отправки сообщения в сервис. Сервисом здесь выступает бот-пользователь на сайте фкт (убрана капча), который отправляет обычное сообщение на сайт. Назовём этого бота «голосок внешнего управления» или «чукча не читатель» или так далее, и на сайте от этого коллективного имени будет накарябано анонимное. Присланное модерируется. Пока чисто мысленный эксперимент, без изготовления приблуд. |
Определение сущности верное. Правильного определения процесса или метода далее мне неизвестно, но логика такая — это некий мешок слов, добытый на основе связей поданных на вход начальных слов. Начальные слова — это тоже стеммированный абстракт, полученный из некоего контекста, например из комментария на который отвечаешь: были слова-слова-слова, оставил только наиболее релевантные 3-4. Их подаёшь в вычислитель синонимов-антонимов. Всё. |
|
Сюда также относится |
|
Фиксируем связь с темой |
Uh oh!
There was an error while loading. Please reload this page.
Uh oh!
There was an error while loading. Please reload this page.
Предварительное обобщение на основании планов библиотеки и геоматрицы
В обеих пока раздельных системах мы на уровне методологии используем разметку. В библиотеке мы размечаем текст, а в геоматрице добавляем разметку на ячейки-геохэши.
Сейчас отдельной частью обобщённой библиотеки, уже по факту, является информационный отпечаток соборного разума — то есть корпуса текста комментариев фкт, этот корпус в концепции называется «живая вода». Живая вода непосредственно одной ногой участвует в репрезентации соборного интеллекта в «большой мир» через трансляцию в телеграме и сайт.
Теперь мы размеченную живую воду формализуем далее — собираем словарь частотных терминов «текущий момент» и словарь концептуальных понятий «коб». Фильтруем мусор, отбираем полезное, формируем список из какого-то количества наиболее частотных элементов, например десять тысяч строк. Для всего этого набора генерируем короткие ссылки на поисковую выдачу. Всё это помещаем в таблицу.
Используем эту методологию для работы с ретранслятором живой воды наружу, из источника на сайт сводд или в телеграм — с помощью поисковых механизмов размечаем текст сообщений согласно имеющимся словарям и таблице ссылок.
При публикации текст сообщения пропускаем через «сито», устанавливаем присутствие в тексте терминов частотного словаря, проставляем имеющиеся готовые короткие ссылки в формате публикаций телеграма и html сайта сводд. Получаем слегка модифицированные тексты комментариев, теперь в них наиболее частотные термины снабжены ссылкой на поисковик: либо соборной темы, либо текстов коб, в полной аналогии с тем, что мы собираемся сделать с библиотекой и географическими терминами.
Таким образом в разметке будут участвовать отдельные слова или выражения — то, что мы обычно размечаем вручную для демонстрации поисковика, но здесь мы теперь делаем это в автоматическом режиме на основании отобранных вручную или релевантных понятий. Во избежание перегрузки текста ссылками, устанавливаем ограничение, например 1-2 ссылки на сотню слов или аналогичное. То есть технологически это может быть первоначальное разделение на чанки, проверки по словарю, отправка результата в вывод, а может быть и общая оценка всего сообщения, выбор ключевиков и отправка уже полного результата с кумулятивной разметкой по всему тексту; можно использовать и другие подобные стратегии.
Можно предположить, что не все пользователи хотели бы такого вмешательства в их сообщения, но например наши комментарии в теме думаю можно модифицировать. Имеет смысл также объявить об этом в теме и узнать, кто хотел бы подключиться к эксперименту.
В результате этого метода мы получаем пользователя поисковика сводд, который пришёл по ссылке. Далее будем разбирать, как формируется соборный интеллект на примере того, как мы будем трансформировать пользователя поисковика в комментатора. Аналогичные инструменты в дальнейшем мы используем для пополнения исследовательского ядра геоматрицы.
All reactions