coddie2d – Telegram
coddie2d
8.7K subscribers
203 photos
19 videos
7 files
130 links
Главный админ паблика @streaminside

Про события на Твиче, ведение соц. сетей, разработку, путешествия.
Download Telegram
Media is too big
VIEW IN TELEGRAM
Удивительно конечно, с чего бы это его вдруг забанили :DDD
и вот вы не поверите, выше клип не с СЕГОДНЯШНЕГО стрима, а со стрима от 16 июля - он в ту ночь 4 часа такого контента выдавал, после на 5 дней ушёл в оффлайн (его не банили) и сегодня ночью снова подрубил и только уже тут через 20 минут отлетел)))))
Поделюсь с вами радостной новостью: у меня наконец-то появился положительный сдвиг в работе над нашими ботами 🎉

Для тех, кто не знает, я ещё в 2019 написал несколько ботов для отслеживания разной статистики с Твича - сообщений в чате, сессий зрителей и прочей инфы вроде "кто на кого подписан/фолловнут". Из этой инфы планировал сделать раздел на сайте с более детальными данными, чем ща предоставляют разные сервисы статистики. Но, к сожалению, спустя несколько месяцев после запуска этих всех разделов на тест, я понял, что объём поступающей информации слишком велик, чтобы в реал-тайме записывать и обрабатывать поступающую на тот момент информацию хотя бы даже о нескольких десятках самых популярных стримерах.

Всё из-за карантина, который поднял онлайны до нескольких десятков тысяч, что сильно повысило требования к нагрузке разрабатываемой мною системы. И в итоге, мне пришлось отказаться от мгновенного отображения на сайте всей поступающей инфы. Я стал раз в несколько месяцев обновлять таблицы лидеров по "времени просмотра" стримов, но они по-прежнему требовали большой доработки - данные были не очень точные из-за регулярных падений ботов.

Но как же хорошо, что рост группы постепенно продолжался, и у меня периодически начали появляться свободные деньги, которые стали и текущий сервер покрывать, и позволили даже увеличить его мощность/память. А этим летом благодаря хорошему количеству интеграций (с тем же ТНТ и ещё парой проектов) я наконец-то смог позволить себе подойти к этому делу более серьёзно и выделить дополнительно отдельные сервера для всей этой деятельности. Вместе с этим я вложился и в разработку, вернувшись к переписыванию ядра всей этой аналитической системы с нуля.

И сегодня мой прототип, который уже вовсю тестирует вполне реальную нагрузку, показал обнадеживающие результаты. В ближайшие дни я подробнее расскажу и о технической части - что у меня было, что я решил поменять и какие цели ставлю перед всей системой.
👍1
Новая система прям очень амбициозная конечно, и я вообще удивлён, что даже первый этап реальной нагрузки я смог снизить до приемлемых цифр. Однозначно надо ещё ждать, пока база данных разрастётся до действительно серьёзного состояния, а не тестового, но я в этот раз постарался почитать про горизонтальное масштабирование и придумывал структуру уже с учётом возможности докупать новые сервера.

А пока держите несколько графиков прототипа:
— Первые два скриншота в момент первых тестов, когда сервер переставал справляться с анализом части данных одной "метрики" в период 20 до 22 по мск;
— Следующие два - текущее состояние после семи оптимизаций, сервер справляется с анализом в два раза большего количества данных этой же метрики на протяжении всего дня, не превышая нагрузку в 14% CPU и 3ГБ оперативки.

Новый этап нагрузки по моему плану повысит сложность сбора данных в несколько раз, подробнее расскажу уже завтра, когда начну получать первые результаты по этому этапу.
Планируем делать больше упора на статистику и архивирование материала. И в приоритете будут те данные, которые другие сервисы статистики не дают, то есть постараемся собирать/обрабатывать что-нибудь и выдавать в виде постов/разделов на сайте.

Это на самом деле просто небольшая проба, но подробно объясню. Здесь использовали собранные нами списки всех фолловнувшихся на этих стримеров, благодаря которым можно сказать не только сколько точно фолловнулось людей (и даже назвать конкретных пользователей), но и посчитать отписавшихся. Пока ещё делаем наброски дизайна и не знаю, стоит ли пихать счётчик отписок (в идеале надо отдельно ещё прописывать тех, кто перефолловнулся), но вот что есть:

- KareykaDasha: 253.9к -> 526к фолловеров, +299к подписок и 26.9к отписок;
- Buster: 1.890кк -> 1.972кк, +95.5к подписок и 13.4к отписок;
- Evelone: 1.445кк -> 1.506кк, +72.6к подписок и 11.4к отписок;
- Bratishkin: 1.415кк -> 1.461кк, +56.3к подписок и 10.5к отписок;
- JesusAVGN: 868к -> 910к, +60.4к подписок и 18.3к отписок.
👍2
twitch_follows_top202107.sql
30.3 MB
Экспортировал списки фолловнутых в этом месяце (sql-таблица), если кому интересно глянуть как это вообще хранится.

Но там ID твич-юзеров, не ники.
Сегодня ночью тестировали загрузку файлов через бота в тг и в итоге почти мгновенно получили бан на аккаунте 😢

Хорошо, что к нему только второстепенные каналы были привязаны. Но за наш 18+ тг обидно, там 3к подписок было. Ходят слухи, что если удалённый аккаунт являлся владельцем на каком-нибудь канале, то вне зависимости от активности канала, если овнер более полугода не появлялся в сети - канала тоже снесут. Пока не готов подтвердить, протестим.

Ну и назову конкретные ограничения, с которыми столкнулись: после 34 файлов по ~50мб, залитых в приватный канал через наш ключ API, аккаунт прям удалили, то есть никаких предупреждений или лимитов не ставили, сразу удаление. Если собираетесь тестить, либо делайте это с ненужного аккаунта, либо можно достать тг по 8-11 рублей/штуку.

Во всех гайдах советуют регать своё приложение, но после инцидента я посёрфил инет и оказывается в публичном доступе есть ключи официальных приложений тг, и используя их, можно "притвориться" будто бы через оф. приложение сидишь.
Я уже еду на Стримфест, через полчаса на Q&A сцене буду, надеюсь)) Она в середине зала под номером 24

я один и особо там никого не знаю лично, поэтому вряд ли на весь день

мб в иснту сторис покидаю:
instagram.com/coddie2d
Ну а чтобы чем-то себя занять, держите мой чеклист целей на ивент :D

- кринжануть/потупить на сцене стримфеста Done.
- похвастаться бицухой перед Братиками Done.
- взять автограф у Хейли Done.
- посмотреть ирл игру Финаргота в Бункер / Застал только шоу "Я СЕБЯ ЗНАЮ"
- найти менеджера Дискорда и узнать, когда уже нам там партнерку дадут
- стрельнуть инсту у трех косплеерш
- дождаться своего личного фаната :3 Done.
- купить какой-нибудь сувенир с ивента Done.
- послушать лекцию про статистику в стриминге Done.
- выслушать предъявы/критику за группу или комментарии
- встретить кого-нб, кого я уже знал ирл Done.

может поделюсь прогрессом)
upd: обновил, в итоге 7/11.
coddie2d
Ну а чтобы чем-то себя занять, держите мой чеклист целей на ивент :D - кринжануть/потупить на сцене стримфеста Done. - похвастаться бицухой перед Братиками Done. - взять автограф у Хейли Done. - посмотреть ирл игру Финаргота в Бункер / Застал только шоу "Я…
Обещал поделиться впечатлениями))) По чеклисту выше 7/11 и я там в комментах немного написал и фотки докинул.

По эмоциям очень доволен - столько стримеров увидел и, на удивление, очень многие узнавали сходу, хотя у меня там пара фоток вк загружено и на стримах я за год может два-три раза у кого-то появлялся. Но столько людей поздоровались и все только с юмором и положительными эмоциями, прям максимально приятно. А после стримфеста ещё у Стрим Альянса афтепати было, там уже и я сам подокапывался до стримеров :DDD но тоже исключительно с позитивом, хотя мб чуть-чуть навязчиво это уже было, настроение конечно располагало)))

Я ещё там случайно с другом пересёкся, у которого съёмки рядом были и он меня пофоткал, что-то я в инсту выкладывал, что-то ща только разобрал.
👍1
В общем не знаю, как обычным посетителям было на фесте, но со встреч я кайфанул. При том, что вообще не ожидал, когда ехал, ибо не особо с кем-то общаюсь же из стримеров. Но всё вышло круто. По стендам и внутренностям - нууу, двоякое чувство. Вроде и было что посмотреть/где посидеть, но это как-то не на той волне было, на которой у меня общение происходило.

Ощущение, что больше эмоций получил, стоя просто на улице и болтая там с разными челами, чем когда ходил внутри. Почему-то так спокойнее было, не знаю.

Определённо могу сказать одно - если вы плотно сидите в чатике и общаетесь внутри какого-то дискорд-сервака или комьюнити отдельного стримера/стримеров, обязательно договоритесь как-нибудь вот так выбраться на сходку в одном городе. Не обязательно в рамках именно такого феста - можно и концерта, и просто так, но здесь конечно повод самый удачный.

Если тоже были/видели кого-то - делитесь впечатлением. Если пересекались со мной, тоже расскажите, как я смотрелся и как вообще со стороны моё описание с реальностью контачится :DDD
Обновил топы зрителей большинства крупных стримеров на нашем сайте STREAMINSIDE.RU

До прошлой недели на страницах стримеров и личных страницах зрителей выводилась информация, собранная по итогам 2020 года, сегодня ночью я выкладываю перерасчитанную версию по состоянию на 5 августа 2021.

На странице Братишкина, например, уже полностью обновились все страницы в разделе зрителей. Топ зрителей у Эвелона сейчас обновлён на главной, а в разделе зрителей в районе 30% страниц обновлено. У остальных стримеров в основном главная страница с общей сводкой топа обновлена, а отдельные страницы топа пока ещё нет.

И добавляю ещё стримеров, у которых топа не было, уже есть:
https://streaminside.ru/streamers/buster
https://streaminside.ru/streamers/welovegames
https://streaminside.ru/streamers/dmitry_lixxx

В прикреплениях есть сравнения топа зрителей у Хесуса, Братишкина, Модестал, Генсухи в начале года и сейчас.