достойный разбор промптов под конкретную задачу. ничего сложного, но как обычно детали...

немного коснулся про память и контекст, размеры токенов, символы и даже чуть задел эмбединги и зачем они нужны для такого рода задач

== ИИ играет в мафию
https://youtu.be/jAHsLJLGfyM

когда то давно смотрел курс по сетям от этого преподавателя. было все понятно. сейчас готовясь к докладу решил быстренько найти пару курсов, что бы напомнить себе все, что и так использую. вцелом он и эту нормально объясняет

все примеры простые и быстро воспроизводимые. на питоне

== Обработка естественного языка
https://youtube.com/playlist?list=PLtPJ9lKvJ4ohZpMV9Ml-DPtMSXPFNl6Sz
- Введение в обработку естественного языка
- Решаем задачи NLP с помощью Hugging Face
- Выбор модели в Hugging Face
- Что внутри пайплайна обработки текста?
- Почему обрабатывать текст сложно?
- Графематический анализ
- Как разбить русский текст на токены
- Морфологический анализ
- Библиотеки морфологического анализа
- Синтаксический анализ
- Синтаксический анализ на Python
- Предварительная обработка текста
- Готовим русский текст для обработки на Python
- Векторизация текста: простые методы
- Векторизация русского текста на Python
- Word embeddings для векторизации текста
- Предварительно обученные word embeddings
- Обучение модели Word2Vec
- Классификация текста
- Определение тональности текста c помощью мешка слов
- Плотные векторные представления слов для определение тональности
- Нейронные сети для обработки текста

неплохие курсы по МЛ и ДЛ

== Базовый поток Deep Learning School
https://youtube.com/playlist?list=PL0Ks75aof3Th84kETSlJq_ja-xqLtWov1
- Семинар. Введение в язык Python. Часть 1
- Семинар. Введение в язык Python. Часть 2
- Семинар. Введение в язык Python. Часть 3
- Линейная алгебра для Data Science. Часть 1. Векторы
- Линейная алгебра для Data Science. Часть 2. Матрицы
- Линейная алгебра для Data Science. Часть 3. Операции над матрицами
- Линейная алгебра для Data Science. Часть 4. Линейные операторы
- Семинар. Библиотека Numpy
- Семинар. Библиотека Pandas
- Лекция. Понятие производной
- Лекция. Вычисление производной. Градиент
- Лекция. Градиентная оптимизация
- Лекция 1. Введение в машинное обучение.
- Семинар 1. Введение в машинное обучение.
- Лекция 2.1: Линейная регрессия.
- Лекция 2.2: LogLoss.
- Лекция. Логистическая регрессия
- Лекция. Градиентный спуск в линейных алгоритмах
- Лекция. Регуляризация в линейной регрессии
- Лекция 2.6: Нормализация.
- Семинар. Линейная и логистическая регрессия
- Семинар. Регуляризация в линейной регрессии
- Метрики машинного обучения
- Лекция. Решающие деревья
- Лекция. Композиции алгоритмов
- Лекция. Градиентный бустинг
- Семинар. Model Selection
- Введение в нейронные сети. Часть 1. История развития Deep Learning
- Введение в нейронные сети. Часть 2. Механизм обратного распространения ошибки
- Лекция. Полносвязная нейронная сеть
- Введение в нейронные сети. Часть 3. Функции активации. Краткий обзор применений CNN и RNN
- Семинар. Введение в библиотеку Pytorch
- Семинар. Нейронная сеть на Pytorch
- Лекция. История развития сверточных нейронных сетей
- Лекция. Сверточные нейронные сети
- Лекция. Пулинг. Операция пулинга
- Лекция. Задачи компьютерного зрения
- Семинар. Модули в PyTorch
- Семинар. Свёртка. Пулинг
- Семинар. Свёрточные сети.
- Лекция. Градиентная оптимизация в Deep Learning
- Лекция. Регуляризация в Deep Learning
- Семинар. PyTorch. Batch Normalization и Dropout
- Семинар. PyTorch. Оптимизаторы
- Лекция. Архитектуры CNN
- Лекция. Transfer Learning
Семинар. Transfer Learning в компьютерном зрении
- Семантическая сегментация. Введение
- Семантическая сегментация. Трюки: Deconvolution, Dilated Convolution
- Семантическая сегментация. Архитектура UNet


== Вторая часть курса Deep Learning School
https://youtube.com/playlist?list=PL0Ks75aof3Thqc-u9CX5CLkMC77T2r322

- Лекция. Введение в NLP.
- Семинар. Обработка текста.
- Семинар. Решение задачи классификации текста
- Лекция. Embeddings.
- Семинар. Word2Vec.
- Лекция. Рекуррентные нейронные сети
- Семинар. Рекуррентные нейронные сети
- Лекция. Языковые модели. Введение. Частотный подход
- Семинар. Языковые модели
- Лекция. Seq2Seq, машинный перевод.
- Семинар. Seq2Seq
- Лекция. Трансформеры. Self-Attention
- Лекция. Трансформеры. Positional Encoding, Decoder side, Training
- Семинар. Трансформеры
- Лекция. Elmo, GPT, BERT
- Семинар. GPT
- Лекция. Summarization
- Семинар. Summarization

== Продвинутый поток Deep Learning School
https://youtube.com/playlist?list=PL0Ks75aof3Tiru-UvOvYmXzD1tU0NrR8V
- Линейная алгебра для Data Science. Часть 1. Векторы
- Линейная алгебра для Data Science. Часть 2. Матрицы
- Линейная алгебра для Data Science. Часть 3. Операции над матрицами
- Линейная алгебра для Data Science. Часть 4. Линейные операторы
Deep Learning School
- Семинар. Библиотека Numpy
Deep Learning School
- Семинар. Библиотека Pandas
Deep Learning School
- Лекция. Понятие производной
Deep Learning School
- Лекция. Вычисление производной. Градиент
- Лекция. Градиентная оптимизация
Deep Learning School
- 1. Введение в ИИ и нейронные сети: лекция (20.09.19)
Deep Learning School
- Вводный вебинар к началу курса Deep Learning
- Лекция 1. Введение в машинное обучение.
- Семинар 1. Введение в машинное обучение.
- Лекция 2.1: Линейная регрессия.
Deep Learning School
- Лекция 2.2: LogLoss.
- Лекция. Логистическая регрессия
- Лекция. Градиентный спуск в линейных алгоритмах
- Лекция. Регуляризация в линейной регрессии
- Лекция 2.6: Нормализация.
- Семинар. Линейная и логистическая регрессия
- Семинар. Регуляризация в линейной регрессии
- Метрики машинного обучения
- Лекция. Решающие деревья
- Лекция. Композиции алгоритмов
- Лекция. Градиентный бустинг
- Семинар. Model Selection
- Введение в нейронные сети. Часть 1. История развития Deep Learning
- Введение в нейронные сети. Часть 2. Механизм обратного распространения ошибки
- Лекция. Полносвязная нейронная сеть
- Введение в нейронные сети. Часть 3. Функции активации. Краткий обзор применений CNN и RNN
- Семинар. Введение в библиотеку Pytorch
- Семинар. Нейронная сеть на Pytorch
- Лекция. История развития сверточных нейронных сетей
- Лекция. Сверточные нейронные сети
- Лекция. Пулинг. Операция пулинга
- Лекция. Задачи компьютерного зрения
- Семинар. Модули в PyTorch
- Семинар. Свёртка. Пулинг
- Семинар. Свёрточные сети.
- Лекция. Градиентная оптимизация в Deep Learning
- Лекция. Регуляризация в Deep Learning
- Семинар. PyTorch. Batch Normalization и Dropout
- Семинар. PyTorch. Оптимизаторы
- Лекция. Архитектуры CNN
- Лекция. Transfer Learning
- Семинар. Transfer Learning в компьютерном зрении
- Семантическая сегментация. Введение
- Семантическая сегментация. Трюки: Deconvolution, Dilated Convolution
- Семантическая сегментация. Архитектура UNet
- Лекция. Нейронная детекция объектов. Классификация (повторение).
- Лекция. Нейронная детекция объектов. Основы.
- Лекция. Нейронная детекция объектов. Двухстадийные нейросети.
- Лекция. Нейронная детекция объектов. Одностадийные нейросети.
- Лекция. Нейронная детекция объектов. Современные подходы и задачи.
- Практика. Нейронная детекция объектов. Запуск SSD, TorchHub.
- Практика. Нейронная детекция объектов. Обучение SSD, mmdetection.
- Лекция. Генеративные модели, автоэнкодеры
- Семинар. Автоэнкодеры
- Семинар. VAE
- Лекция. Генеративные модели. Генеративно-состязательные сети
- Семинар. Генеративные модели. Генеративно-состязательные сети

== Как применять оконные функции в SQL и Pandas
https://youtu.be/yQ7qHZBY5xI

удивительная картина мне открылась. ребята делая аудит проекта не задают никаких вопросов. получив доступы к бд и куберу молчат. и даже арихтектурной документации не запросили

трогая в темноте то за хобот то за ногу разве можно собрать жирафа ?

лайфхак для поднятия английского прямо на рабочем месте, залезть в линкед ин и наставить себе митов с сэйлами разных услуг. задавать вопросы, вовлекаться, общаться и получать новую инфу. бесплатно. главное написать что ты CTO в линкеде. и они тебя сами найдут и будут мусолить и отбивать твои пороги сами. и проситься и говорить что очень интересные возможнсти мы придлогаем, только у нас.... и как обычно на выходе "летс кип и тач..."

сокращение дня

"безоп" специалист по безопасности 😭

Селф-хостед Pinecone. можно работать с OpenAI а можно подрубить другие эмбеддинги, свою развернутую лямбду или еще чтото. апишка питоновская. удобно. короч надо крутить и пробовать

спасибо Александру за наводку

== LangChain
https://python.langchain.com/docs/get_started/introduction.html

Создание временных файлов

В процессе написания скрипта может потребоваться создание временных файлов, которые будут удалены автоматически после завершения работы скрипта или обработки файла.
Это может быть полезно по разным причинам - при обработке больших данных (которые не вместятся в буфер) или при проведении сложных операций (например, можно создать временный файл и натравить на него ffmpeg).

Для решения этих проблем в Python есть модуль tempfile. Нас интересует 2 функции - это TemporaryFile и NamedTemporaryFile.

TemporaryFile позволяет создать безымянный временный файл. Вот так можно создать временный текстовой файл, открыть его на запись и чтение (за это отвечает первый аргумент "w+t", подробнее можно прочитать здесь):

from tempfile import TemporaryFile
with TemporaryFile("w+t") as t:
  t.write("Hello, boxwithpython!")
  t.seek(0)
  data = t.read()

NamedTemporaryFile используется для более продвинутых сценариев, так как он создает файл с именем, поэтому мы можем получить путь к нему и использовать его для дальнейших целей:

from tempfile import 

NamedTemporaryFile


with NamedTemporaryFile("w+t") as t:
  t.write("Hello, boxwithpython!")
  print(t.name) # /tmp/tmpljhsktjt

#std

просто гениальнейший сервис
если накипело - самое оно

== Angry email translator
https://angryemailtranslator.com/

== The ingenious micro-mechanisms inside your phone
https://youtu.be/9X4frIQo7x0

== Как работает МАГНЕТРОН
https://youtu.be/pmOKQCLqtsg

== Идеальный разметчик данных: как найти и обучить?
https://youtu.be/gHi6IFUs6_Q

приятно ☺️☺️☺️ когда обьяснив как себя вести на ассесменте человек и подтверждает свой уровень и повышает свой уровень ЗП

человек сделал все что бы заслужить повышение, прошел и сделал все что нужно было за период по плану развития, но представить и вести диалог человеку сложно по определению, скатывается в какой то неконструктив часто

стратегически надо действовать как в шахматах. каждая фраза и ответ на вопрос должна усиливать позицию или оставлять ее нейтральной

А по тактике вот это может помочь:
- благодарить за то что тут уже узнал и сделал и где получилось проработать
- не обвинять компанию или конкретных людей. вообще. это табу. запомните. это никому не интересно, только сменит отношение и переведет аппонента в защиту, а это не приведет к тому, что вам дадут повышение
- опираться только на подтверждаемые факты, отзывы и достижения
- не давать повода войти в режим грязного перекидывания говна. возвращать к фактам
- говорить только про себя, про свое развитие и возможности в конкретной компании
- важно знать, что в любой компании повышение на 30% это то что нужно реально заслужить и доказать не взирая на уровень, а на большее на самом не деле не расчитывать
- быть свободным к выбору и говорить не загоняя себя в угол терпил, если не сойдемся то так и быть, буду принимать другое решение, открыто.
- ставить ультиматум надо понимая, что ты сразу поставишь себя на долгосрочно слабую позицию. это же заставляет уйти если не готов оставаться на предложенных условиях, если уж бросил фразу про то, что есть офер, то уж если не получил желаемого то не стоит оставаться, это переведет тебя в группу нелояльных и тебе будут искать замену так или иначе.
- ставить условие, но быть готовым к компромисам, и понимать где именно то что будет минимальным за что готов
- нормально сказать "я подумаю" и оставить разговор до завтра. нет таких переговоров в обычной жизни где это сказать нельзя

Чет я орнул в голосину))