Недавно тут узнал, что @ffmemesbot весьма популярен у большой консалтинговой Тройки, у пиарщиков и рекрутеров 😳

Проект в текущем виде не планирует приносить деньги (аудитория тг ботов - всего несколько миллионов пользователей), но это именно something people want: частенько прилетают восторженные отзывы о боте. Приятненько.

В этом квартале готовим большой апдейт, рекомендации обещают быть ещё лучше 💪🤖

🤖 Статистика @ffmemesbot - бота с бесконечной персонализированной лентой мемов

Уже больше полугода я не притрагивался к боту и его комьюнити. Несмотря на это, бот продолжает жить:

🔻 1400 DAU
🔻 50к Просмотров мемов в день
🔻 18М просмотренных мемов
🔻 44% лайк рейт
🔻 20 мемов длина сессии

Рекомендательная система оставляет желать лучшего, но люди-то пользуются!
Наша команда уже почти готова зарелизить большой апдейт внутренностей бота, stay tuned!
➡️ @ffmemesbot ⬅️

💃 Испанский стыд mod on! 🕺

Я подавал своего телеграм бота с мемами @ffmemesbot три раза в Y Combinator. Каждый раз нужно было записать минутное видео, где я рассказываю про проект. Вот они:

📹 W2019:
https://youtu.be/ZuwuUA5levA
📽 S2020:
https://youtu.be/Jr3HnBrMyo8
🎥 W2021:
https://youtu.be/TSmzm-OlOdk (анкета)

📈 Если это не экспонента, то я не знаю что! 📈

Сегодня последний день жизни моего гуглдиска, и я решил перепроверить все файлы, которые там хранятся.

И нашел 7Gb архив photo.zip. Но там не мои фотки, там ~100к МЕМОВ ИЗ @FFMEMESBOT.

УСПЕЙ СКАЧАТЬ

🔗 https://drive.google.com/file/d/1RY4UkHJdwx-2I1bwe8q7F7n24q1acPiJ/view?usp=sharing

Угар, что ботом пользуются до сих пор. Каждый день по 30к+ просмотренных мемов!

Фиксанули Парсинг новых мемов. Чекайте: t.me/ffmemesbot

Привет 🍔
Прошлые несколько месяцев были насыщенными для нас, и мы рады поделиться с вами всеми улучшениями, над которыми мы работали!

Ускорение выдачи мемов и алгоритмы рекомендаций
Одной из крупнейших изменений, которое мы сделали, является ускорение процесса отправки мемов нашим пользователям. Мы смогли сократить время с 0,5-1 секунд до молниеносной одной десятой секунды! Более того, под капотом мы экспериментировали с различными методами рекомендаций, чтобы вы всегда видели лучшие мемы.

Улучшение базы кода и рефакторинг
Количество коммитов в проекте удвоилось за последние пару месяцев. Произошел the big refactor! Мы поменяли major версии нашей БД и двух наших ключевых фреймворков. И бот даже почти не лежал!!1!

Роль модератора
Мы начали создавать секретное элитное коммьюнити самых заядлых смотрителей мемов. Хочешь попасть туда? Смотри мемы в боте!

Группа ВК
Наконец, мы расширили наше присутствие за счет автопостинга в нашу группу ВК (подпишись - говорят, от этого мемы становятся смешнее).

Если вам интересно присоединиться к нашей команде, дайте нам знать (@okhlopkov или @Mikhail_Khromov). Мы были бы рады найти кого-то для анализа данных и разработки. И даже если вы просто любите мемы так же, как мы, мы были бы рады иметь вас на борту!

Делаешь, значит, рекомендательную систему.

Изобрел свой велосипед, зато на SQL и риалтайм.

Делаешь A/B тесты с нормальными рек сист, инвестируешь в доп серверы.

Никто не может побить твой SQL по session_length & like_prc & retention.

Спустя 4 года находишь багу, что делал не тот count distinct 🤪🤦‍♀️

Надеюсь, этот фикс не сделает хуже. Го тестить!

🔗 https://news.1rj.ru/str/ffmemesbot

A/B тестирование разных рекомендательных систем идет полным ходом!

🔜 @ffmemesbot

4 года @ffmemesbot

🔗 https://news.1rj.ru/str/danokhlopkov/1246

4х летняя Архитектура @ffmemesbot

После обновления поиска телеги бот начал вирально расти в разных странах и я задумался, что же с ним делать дальше. Но даже если ничего и не делать, текущая реализация нестабильна и полна ужасов.

В основе лежит django-telegram-bot с синхронной ORM и огромном оверхедом по RAM от джанги и селери. Руки чешутся переписать на фастапи, я как раз научился это делать нормально.

Я записываю все просмотры и реакции на мемы в одну большую таблицу Postgres, которая уже больше 50М. Понятно, что есть индексы, но диск пухнет, бот становится медленнее и уже не умещается на микро тачку на Digital Ocean. Покупать еще серверы не хочется, ведь бот не планирует приносить бабосики. С одной стороны, это полезные для анализа данные, с другой — звучит неправильно обрабатывать в риалтайме десятки миллионов строк, чтобы выдать мем. Или нет?

Да и рекомендательная система сейчас простенькая: для каждого мема, паблика (откуда я взял мем) и юзера я считаю попарные статистики в бекграунде, а потом по ним в риалтайме сортирую все непросмотренные юзером мемы. Работает быстро, без какого-либо ML, но хочется больше % лайков. Платить за гпу нет сил. Есть эксперты?

Еще хочется максимизировать виральность бота, но тг не дает стату о перессылке сообщений. Туда даже диплинк нормально не вставишь.
Еще отдельная боль с дублированием мемов. Алгоритм “достать весь текст с картинки и дедублицировать мемы по этому тексту” работал хорошо, но кредиты на GCP давно сказали чао-чао.

Что бы вы могли тут посоветовать? ChatGPT спам боты, к вам тоже этот вопрос.

Fast Food Memes — Your daily dose of humor

Fast Food Memes delivers a collection of nearly 19,000 beloved memes from around the globe directly to your screen. Starting your humor journey is as simple as pressing the /start button, and then the laughs keep rolling in.

This bot offers memes in multiple languages, including English, Portuguese, Russian, Ukrainian, and Hindi. To ensure your meme feed reflects your choice, restart the bot after selecting preferred languages.

Additionally, Fast Food Memes allows you to track your comedic journey with statistics that include the number of memes you've seen, the times you've liked or disliked them, and your overall like ratio.

Fast Food Memes is here to infuse your day with laughter, all within the convenience of your favorite messenger. And for those eager to expand their Telegram toolkit, the Apps Center awaits with more entertaining additions.

#utilities #text_bots

Планируемый стек нового бота с мемами:

▪ LightGbm - для ранжирования мемов для показа, но мб и другую модель
▪ MLFlow - трекать ML эксперименты и деплоить модели в прод
▪ MinIO - self-hosted s3 для ML моделей и логов
▪ python-telegram-bot - работа с Telegram Bot API, тупа ради хендлеров и моделек данных из тг
▪ FastAPI - монолит под это все, сори Django
▪ Prefect - для периодических тасок, сори Airflow
▪ Dokku + Github Actions - деплой всего
▪ Hetzner - там за $40/месяц можно такую жирную тачку снять, что сорян DigitalOcean

FFmemes - чисто некоммерческая история, поэтому делаю я с ним что хочу. Сейчас - это отличная возможность изучить опенсорс решения, а не пилить что-то с нуля свое опять.

На работу я выхожу 15 января, а один из двух парттаймов завершился. Это значит, освободилось полдня на то, чтобы заниматься оверинженирингом петпроджектов. А именно — новую версию @ffmemesbot — и решил я ее делать опенсорсно. Так что подписывайтесь, ставьте звезды ⭐️

🔗 github.com/ffmemes/ff-backend

На днях мне написало порядка 10 людей и общими усилиями мы набросали в Miro как-то архитектуру бота. Решили начать разработку с сервиса storage, который будет собирать, хранить и фильтровать мемы, чтобы потом к нему прикрутить реком систему и “фронтенд” в виде тг бота.

За пару дней завел FastAPI и прикрутил Prefect Cloud с воркерами, воруя древние сниппеты кода у своего же стартапа. Будем стараться делать монолит, только ML штучки, возможно, в отдельные микросервисы уйдут, если разберусь с MLFlow.

Кстати, если вы знаете хорошие OCR либы / сервисы с щедрым free tier - поделитесь в комментах, плиз. Мне нужно текст с мемов на произвольном языке доставать, но почти всегда есть догадки, какой язык стоит детектировать.

Что уже сделано:
1. Регулярный парсинг мемов из VK и Telegram.
2. OCR + загрузка контента
3. Фронтенд: лента мемов + реакции

Осталось прикрутить рек систему и запрогать генерацию фичей для него. И UX штуки по мелочи: ачивки, рассылки и секретную фичу 🤐

🔗 github.com/ffmemes/ff-backend

Все, кто хочет поучаствовать в бета-тесте новой версии бота с мемами, милости просим:

~ Fast Food Memes ~

🤡 1 апреля - праздник юмора

А у меня как раз есть бот с мемами)))

Сегодня мы перешагнули отметку в 1 миллион отправленных мемов, 500 DAU и 1300 WAU.

Также я сделал аналог spotify wrapped только вместо треков - мемы. Этот отчет:
▪ расскажет сколько часов ты потратил в боте
▪ объяснит твое чувство юмора по лайкнутым мемам
▪ порекомендует мем паблики специально для тебя
и многое другое.

Сгенерировать праздничный отчет можно по команде /wrapped.

чем больше юзеров в боте, тем быстрее они разгребают спаршенное и хорошие мемы поднимаются выше

📮 ВАШИ ЗАГРУЖЕННЫЕ МЕМЫ

Вы уже знаете, что если переслать в бота смешной мем, то он покажется людям в боте.

Но вы еще не знаете, что за последний месяц вы загрузили 584 норм мемов, которые были показаны 92594 раз и собрали 39518 лайков!

Хочу сказать, это весьма дофига! Отличная работа 😎

В боте теперь доступна команда /uploads с детальной статистикой ваших загруженных мемов.

Перешли свой мем и выиграй до 500 🍔
➡️ @ffmemesbot