достойный разбор промптов под конкретную задачу. ничего сложного, но как обычно детали...

немного коснулся про память и контекст, размеры токенов, символы и даже чуть задел эмбединги и зачем они нужны для такого рода задач

== ИИ играет в мафию
https://youtu.be/jAHsLJLGfyM

когда то давно смотрел курс по сетям от этого преподавателя. было все понятно. сейчас готовясь к докладу решил быстренько найти пару курсов, что бы напомнить себе все, что и так использую. вцелом он и эту нормально объясняет

все примеры простые и быстро воспроизводимые. на питоне

== Обработка естественного языка
https://youtube.com/playlist?list=PLtPJ9lKvJ4ohZpMV9Ml-DPtMSXPFNl6Sz
- Введение в обработку естественного языка
- Решаем задачи NLP с помощью Hugging Face
- Выбор модели в Hugging Face
- Что внутри пайплайна обработки текста?
- Почему обрабатывать текст сложно?
- Графематический анализ
- Как разбить русский текст на токены
- Морфологический анализ
- Библиотеки морфологического анализа
- Синтаксический анализ
- Синтаксический анализ на Python
- Предварительная обработка текста
- Готовим русский текст для обработки на Python
- Векторизация текста: простые методы
- Векторизация русского текста на Python
- Word embeddings для векторизации текста
- Предварительно обученные word embeddings
- Обучение модели Word2Vec
- Классификация текста
- Определение тональности текста c помощью мешка слов
- Плотные векторные представления слов для определение тональности
- Нейронные сети для обработки текста

неплохие курсы по МЛ и ДЛ

== Базовый поток Deep Learning School
https://youtube.com/playlist?list=PL0Ks75aof3Th84kETSlJq_ja-xqLtWov1
- Семинар. Введение в язык Python. Часть 1
- Семинар. Введение в язык Python. Часть 2
- Семинар. Введение в язык Python. Часть 3
- Линейная алгебра для Data Science. Часть 1. Векторы
- Линейная алгебра для Data Science. Часть 2. Матрицы
- Линейная алгебра для Data Science. Часть 3. Операции над матрицами
- Линейная алгебра для Data Science. Часть 4. Линейные операторы
- Семинар. Библиотека Numpy
- Семинар. Библиотека Pandas
- Лекция. Понятие производной
- Лекция. Вычисление производной. Градиент
- Лекция. Градиентная оптимизация
- Лекция 1. Введение в машинное обучение.
- Семинар 1. Введение в машинное обучение.
- Лекция 2.1: Линейная регрессия.
- Лекция 2.2: LogLoss.
- Лекция. Логистическая регрессия
- Лекция. Градиентный спуск в линейных алгоритмах
- Лекция. Регуляризация в линейной регрессии
- Лекция 2.6: Нормализация.
- Семинар. Линейная и логистическая регрессия
- Семинар. Регуляризация в линейной регрессии
- Метрики машинного обучения
- Лекция. Решающие деревья
- Лекция. Композиции алгоритмов
- Лекция. Градиентный бустинг
- Семинар. Model Selection
- Введение в нейронные сети. Часть 1. История развития Deep Learning
- Введение в нейронные сети. Часть 2. Механизм обратного распространения ошибки
- Лекция. Полносвязная нейронная сеть
- Введение в нейронные сети. Часть 3. Функции активации. Краткий обзор применений CNN и RNN
- Семинар. Введение в библиотеку Pytorch
- Семинар. Нейронная сеть на Pytorch
- Лекция. История развития сверточных нейронных сетей
- Лекция. Сверточные нейронные сети
- Лекция. Пулинг. Операция пулинга
- Лекция. Задачи компьютерного зрения
- Семинар. Модули в PyTorch
- Семинар. Свёртка. Пулинг
- Семинар. Свёрточные сети.
- Лекция. Градиентная оптимизация в Deep Learning
- Лекция. Регуляризация в Deep Learning
- Семинар. PyTorch. Batch Normalization и Dropout
- Семинар. PyTorch. Оптимизаторы
- Лекция. Архитектуры CNN
- Лекция. Transfer Learning
Семинар. Transfer Learning в компьютерном зрении
- Семантическая сегментация. Введение
- Семантическая сегментация. Трюки: Deconvolution, Dilated Convolution
- Семантическая сегментация. Архитектура UNet


== Вторая часть курса Deep Learning School
https://youtube.com/playlist?list=PL0Ks75aof3Thqc-u9CX5CLkMC77T2r322

- Лекция. Введение в NLP.
- Семинар. Обработка текста.
- Семинар. Решение задачи классификации текста
- Лекция. Embeddings.
- Семинар. Word2Vec.
- Лекция. Рекуррентные нейронные сети
- Семинар. Рекуррентные нейронные сети
- Лекция. Языковые модели. Введение. Частотный подход
- Семинар. Языковые модели
- Лекция. Seq2Seq, машинный перевод.
- Семинар. Seq2Seq
- Лекция. Трансформеры. Self-Attention
- Лекция. Трансформеры. Positional Encoding, Decoder side, Training
- Семинар. Трансформеры
- Лекция. Elmo, GPT, BERT
- Семинар. GPT
- Лекция. Summarization
- Семинар. Summarization

== Продвинутый поток Deep Learning School
https://youtube.com/playlist?list=PL0Ks75aof3Tiru-UvOvYmXzD1tU0NrR8V
- Линейная алгебра для Data Science. Часть 1. Векторы
- Линейная алгебра для Data Science. Часть 2. Матрицы
- Линейная алгебра для Data Science. Часть 3. Операции над матрицами
- Линейная алгебра для Data Science. Часть 4. Линейные операторы
Deep Learning School
- Семинар. Библиотека Numpy
Deep Learning School
- Семинар. Библиотека Pandas
Deep Learning School
- Лекция. Понятие производной
Deep Learning School
- Лекция. Вычисление производной. Градиент
- Лекция. Градиентная оптимизация
Deep Learning School
- 1. Введение в ИИ и нейронные сети: лекция (20.09.19)
Deep Learning School
- Вводный вебинар к началу курса Deep Learning
- Лекция 1. Введение в машинное обучение.
- Семинар 1. Введение в машинное обучение.
- Лекция 2.1: Линейная регрессия.
Deep Learning School
- Лекция 2.2: LogLoss.
- Лекция. Логистическая регрессия
- Лекция. Градиентный спуск в линейных алгоритмах
- Лекция. Регуляризация в линейной регрессии
- Лекция 2.6: Нормализация.
- Семинар. Линейная и логистическая регрессия
- Семинар. Регуляризация в линейной регрессии
- Метрики машинного обучения
- Лекция. Решающие деревья
- Лекция. Композиции алгоритмов
- Лекция. Градиентный бустинг
- Семинар. Model Selection
- Введение в нейронные сети. Часть 1. История развития Deep Learning
- Введение в нейронные сети. Часть 2. Механизм обратного распространения ошибки
- Лекция. Полносвязная нейронная сеть
- Введение в нейронные сети. Часть 3. Функции активации. Краткий обзор применений CNN и RNN
- Семинар. Введение в библиотеку Pytorch
- Семинар. Нейронная сеть на Pytorch
- Лекция. История развития сверточных нейронных сетей
- Лекция. Сверточные нейронные сети
- Лекция. Пулинг. Операция пулинга
- Лекция. Задачи компьютерного зрения
- Семинар. Модули в PyTorch
- Семинар. Свёртка. Пулинг
- Семинар. Свёрточные сети.
- Лекция. Градиентная оптимизация в Deep Learning
- Лекция. Регуляризация в Deep Learning
- Семинар. PyTorch. Batch Normalization и Dropout
- Семинар. PyTorch. Оптимизаторы
- Лекция. Архитектуры CNN
- Лекция. Transfer Learning
- Семинар. Transfer Learning в компьютерном зрении
- Семантическая сегментация. Введение
- Семантическая сегментация. Трюки: Deconvolution, Dilated Convolution
- Семантическая сегментация. Архитектура UNet
- Лекция. Нейронная детекция объектов. Классификация (повторение).
- Лекция. Нейронная детекция объектов. Основы.
- Лекция. Нейронная детекция объектов. Двухстадийные нейросети.
- Лекция. Нейронная детекция объектов. Одностадийные нейросети.
- Лекция. Нейронная детекция объектов. Современные подходы и задачи.
- Практика. Нейронная детекция объектов. Запуск SSD, TorchHub.
- Практика. Нейронная детекция объектов. Обучение SSD, mmdetection.
- Лекция. Генеративные модели, автоэнкодеры
- Семинар. Автоэнкодеры
- Семинар. VAE
- Лекция. Генеративные модели. Генеративно-состязательные сети
- Семинар. Генеративные модели. Генеративно-состязательные сети

== Как применять оконные функции в SQL и Pandas
https://youtu.be/yQ7qHZBY5xI

удивительная картина мне открылась. ребята делая аудит проекта не задают никаких вопросов. получив доступы к бд и куберу молчат. и даже арихтектурной документации не запросили

трогая в темноте то за хобот то за ногу разве можно собрать жирафа ?

лайфхак для поднятия английского прямо на рабочем месте, залезть в линкед ин и наставить себе митов с сэйлами разных услуг. задавать вопросы, вовлекаться, общаться и получать новую инфу. бесплатно. главное написать что ты CTO в линкеде. и они тебя сами найдут и будут мусолить и отбивать твои пороги сами. и проситься и говорить что очень интересные возможнсти мы придлогаем, только у нас.... и как обычно на выходе "летс кип и тач..."

сокращение дня

"безоп" специалист по безопасности 😭

Селф-хостед Pinecone. можно работать с OpenAI а можно подрубить другие эмбеддинги, свою развернутую лямбду или еще чтото. апишка питоновская. удобно. короч надо крутить и пробовать

спасибо Александру за наводку

== LangChain
https://python.langchain.com/docs/get_started/introduction.html

Создание временных файлов

В процессе написания скрипта может потребоваться создание временных файлов, которые будут удалены автоматически после завершения работы скрипта или обработки файла.
Это может быть полезно по разным причинам - при обработке больших данных (которые не вместятся в буфер) или при проведении сложных операций (например, можно создать временный файл и натравить на него ffmpeg).

Для решения этих проблем в Python есть модуль tempfile. Нас интересует 2 функции - это TemporaryFile и NamedTemporaryFile.

TemporaryFile позволяет создать безымянный временный файл. Вот так можно создать временный текстовой файл, открыть его на запись и чтение (за это отвечает первый аргумент "w+t", подробнее можно прочитать здесь):

from tempfile import TemporaryFile
with TemporaryFile("w+t") as t:
  t.write("Hello, boxwithpython!")
  t.seek(0)
  data = t.read()

NamedTemporaryFile используется для более продвинутых сценариев, так как он создает файл с именем, поэтому мы можем получить путь к нему и использовать его для дальнейших целей:

from tempfile import 

NamedTemporaryFile


with NamedTemporaryFile("w+t") as t:
  t.write("Hello, boxwithpython!")
  print(t.name) # /tmp/tmpljhsktjt

#std

просто гениальнейший сервис
если накипело - самое оно

== Angry email translator
https://angryemailtranslator.com/

== The ingenious micro-mechanisms inside your phone
https://youtu.be/9X4frIQo7x0

== Как работает МАГНЕТРОН
https://youtu.be/pmOKQCLqtsg

== Идеальный разметчик данных: как найти и обучить?
https://youtu.be/gHi6IFUs6_Q