В машинном обучении периодически проявляются странные явления, которые стандартными математическими теориями не объяснить. Из последних, это Deep Double Descent
https://openai.com/blog/deep-double-descent/
Эффект, который обнаружили опытные специалисты-практики ML. Оказывается, чем крупнее модель, тем лучшие результаты она выдаёт, хотя по всем классическим схемам ожидается, что чем крупнее модель, тем просто больше она склонна к переобучению. Более того, этот процесс нелинейный -- был обнаружен т.н. порог интерполяции, до которого при увеличении модели лосс растёт, а после которого вдруг начинает понижаться.
Общая идея видимо в том, что чем крупнее модель, тем больше шансов, что удастся найти подходящие функции интерполяции под конкретную задачку. До этого порога у нас была одна модель, которая как-то (слабо) подходит под результат, и чем больше мы пытаемся из неё выжать, тем быстрее наступит оверфит. Однако после порога происходит внезапное зарождение в нейросетке множества хороших моделей, и даже небольшие корректировки SGD быстро дают правильные результаты.
Точные причины этого всего пока неизвестны :)
Возможно, так получается потому, что SGD хорошо находит неглубокие и неострые минимумы -- а именно эти минимумы чаще всего и бывают генерализованными моделями). Есть ещё и совсем примитивное объяснение -- при случайном создании нейросеть содержит много подсетей, и некоторые из них уже весьма близки к хорошим решениям (ну или что как минимум их можно неплохо дообучить), и вот SGD на первых порах находит лишь ближайшую к нему, а за порогом вынужден бродить уже по всему пространству нейросети.
Мне лично ближе парадигма, по которой нейронная сеть на самом деле реализует байесовские рассуждения (не исключено даже, что и математически эквивалентна им), отличная тренировка в которых -- паззлы из книг Смаллиана например.
Это просто присущее нейросеткам свойство "от природы", которое они пока умело от нас маскируют.
https://openai.com/blog/deep-double-descent/
Эффект, который обнаружили опытные специалисты-практики ML. Оказывается, чем крупнее модель, тем лучшие результаты она выдаёт, хотя по всем классическим схемам ожидается, что чем крупнее модель, тем просто больше она склонна к переобучению. Более того, этот процесс нелинейный -- был обнаружен т.н. порог интерполяции, до которого при увеличении модели лосс растёт, а после которого вдруг начинает понижаться.
Общая идея видимо в том, что чем крупнее модель, тем больше шансов, что удастся найти подходящие функции интерполяции под конкретную задачку. До этого порога у нас была одна модель, которая как-то (слабо) подходит под результат, и чем больше мы пытаемся из неё выжать, тем быстрее наступит оверфит. Однако после порога происходит внезапное зарождение в нейросетке множества хороших моделей, и даже небольшие корректировки SGD быстро дают правильные результаты.
Точные причины этого всего пока неизвестны :)
Возможно, так получается потому, что SGD хорошо находит неглубокие и неострые минимумы -- а именно эти минимумы чаще всего и бывают генерализованными моделями). Есть ещё и совсем примитивное объяснение -- при случайном создании нейросеть содержит много подсетей, и некоторые из них уже весьма близки к хорошим решениям (ну или что как минимум их можно неплохо дообучить), и вот SGD на первых порах находит лишь ближайшую к нему, а за порогом вынужден бродить уже по всему пространству нейросети.
Мне лично ближе парадигма, по которой нейронная сеть на самом деле реализует байесовские рассуждения (не исключено даже, что и математически эквивалентна им), отличная тренировка в которых -- паззлы из книг Смаллиана например.
Это просто присущее нейросеткам свойство "от природы", которое они пока умело от нас маскируют.
Десятилетиями одни люди ноют, что в ИТ-бизнесе давно все ниши заняты, а другие что-то начинают делать, и внезапно обнаруживают, что конкуренции вообще нету, если стараешься делать хоть немного качественно. "Нормально делай -- нормально будет" действительно прекрасно работает. Не надо начинать с "ниши" фейсбука или доты, сперва достаточно совсем крохотной, буквально микроскопической нишечки.
1) https://getcssscan.com
Объём продаж -- $1000/месяц.
Решает классическую проблемку, с которой мучаются фронтендеры: the fastest and easiest way to check, copy and edit CSS.
2) https://burnermail.io
Объём продаж -- $1400/месяц.
Решение проблемы с приватностью почты.
3) https://solidbook.io
How to write testable, flexible, and maintainable code with Node.js and TypeScript. Интересно, кстати, про serverless JAMStack.
Объём продаж -- $2000/месяц.
4) https://pqina.nl/doka/
Объём продаж -- $6000/месяц.
High-performance JavaScript Image Editing in the Browser.
===
Я всё время говорю на курсе в профессию, что занимайтесь специализацией, долгосрочно развивайте блог эксперта — но это совсем не про то, что надо становиться каким-то супер-пупер спецом-архитектором, а ровно наоборот -- выбираете узенькую сферу, конкретную маленькую проблему, которую именно вы решаете лучше всех. Например, крайне специфичный курс, как правильно использовать React с D3, ежемесячно продаётся на 1600 долларов (при том, что статей на эту тему можно нагуглить без проблем). Тут тысячи самых разных инженерных темок, на которых конечно не выстроить стартап, и никогда не будет конкуренции сверху -- но зато для самозанятого индивидуального предпринимательства безграничные возможности, особенно сегодня, когда количество новых сложных технологий стремительно растёт.
Деньги лежат у вас перед клавиатурой.
1) https://getcssscan.com
Объём продаж -- $1000/месяц.
Решает классическую проблемку, с которой мучаются фронтендеры: the fastest and easiest way to check, copy and edit CSS.
2) https://burnermail.io
Объём продаж -- $1400/месяц.
Решение проблемы с приватностью почты.
3) https://solidbook.io
How to write testable, flexible, and maintainable code with Node.js and TypeScript. Интересно, кстати, про serverless JAMStack.
Объём продаж -- $2000/месяц.
4) https://pqina.nl/doka/
Объём продаж -- $6000/месяц.
High-performance JavaScript Image Editing in the Browser.
===
Я всё время говорю на курсе в профессию, что занимайтесь специализацией, долгосрочно развивайте блог эксперта — но это совсем не про то, что надо становиться каким-то супер-пупер спецом-архитектором, а ровно наоборот -- выбираете узенькую сферу, конкретную маленькую проблему, которую именно вы решаете лучше всех. Например, крайне специфичный курс, как правильно использовать React с D3, ежемесячно продаётся на 1600 долларов (при том, что статей на эту тему можно нагуглить без проблем). Тут тысячи самых разных инженерных темок, на которых конечно не выстроить стартап, и никогда не будет конкуренции сверху -- но зато для самозанятого индивидуального предпринимательства безграничные возможности, особенно сегодня, когда количество новых сложных технологий стремительно растёт.
Деньги лежат у вас перед клавиатурой.
👍1
Специфическая особенность машинного обучения в том, что тренды задаются совсем небольшим количеством крупных корпораций, схантивших себе всех топовых специалистов в мире. Отрасль эта наукоёмкая, подразумевает большой объём научных исследований. Лидеры тут Amazon, Google, Facebook, IBM, Microsoft, и довольно неожиданно догнавшая их Uber. В этом январе Uber анонсировала мощный релиз своего стека машинного обучения Manifold для визуальной отладки, тюнинга и масштабирования моделек ML.
https://github.com/uber/manifold
В Manifold входят:
-- https://uber.github.io/ludwig/
удобный визуальный инструмент для TensorFlow;
-- http://pyro.ai/
язык дифференциального программирования для PyTorch
https://vk.com/wall-152484379_1085
-- https://github.com/uber-research/plato-research-dialogue-system
платформа для создания и обучения разговорных ботов;
-- https://github.com/horovod/horovod :)
интеграционный фреймворк для создания распределенных ML-систем на базе TensorFlow, Keras, PyTorch и Apache MXNet.
https://github.com/uber/manifold
В Manifold входят:
-- https://uber.github.io/ludwig/
удобный визуальный инструмент для TensorFlow;
-- http://pyro.ai/
язык дифференциального программирования для PyTorch
https://vk.com/wall-152484379_1085
-- https://github.com/uber-research/plato-research-dialogue-system
платформа для создания и обучения разговорных ботов;
-- https://github.com/horovod/horovod :)
интеграционный фреймворк для создания распределенных ML-систем на базе TensorFlow, Keras, PyTorch и Apache MXNet.
👍1
В декабре 2019-го выпущена спецификация свободной архитектуры набора RISC-команд RISC-V
https://riscv.org
Что это
https://habr.com/ru/post/454208/
Идея -- создать свободный аналог проприетарным моделям Intel и дорогущим лицензиям ARM. Официально RISC-V поддерживают Google, Samsung, Alibaba, Qualcomm, Nvidia, на подходе Western Digital.
Подробное описание инструкций
https://github.com/riscv/riscv-isa-manual
Критики давят на то, что нужен не просто instruction set, а развитая экосистема проектирования чипов, поддержка и т. д., и вряд ли в итоге получится сэкономить. Сторонники же RISC-V справедливо отмечают, что главное тут не бесплатное пиво, а сотрудничество лидеров и свобода в самом прямом смысле.
Стартапчик "Риск файв" уже проектирует чипы на заказ, "Design RISC-V CPUs in an hour" (!)
https://www.sifive.com/
https://riscv.org
Что это
https://habr.com/ru/post/454208/
Идея -- создать свободный аналог проприетарным моделям Intel и дорогущим лицензиям ARM. Официально RISC-V поддерживают Google, Samsung, Alibaba, Qualcomm, Nvidia, на подходе Western Digital.
Подробное описание инструкций
https://github.com/riscv/riscv-isa-manual
Критики давят на то, что нужен не просто instruction set, а развитая экосистема проектирования чипов, поддержка и т. д., и вряд ли в итоге получится сэкономить. Сторонники же RISC-V справедливо отмечают, что главное тут не бесплатное пиво, а сотрудничество лидеров и свобода в самом прямом смысле.
Стартапчик "Риск файв" уже проектирует чипы на заказ, "Design RISC-V CPUs in an hour" (!)
https://www.sifive.com/
RISC-V International
RISC-V is an open standard Instruction Set Architecture (ISA) enabling a new era of processor innovation through open collaboration.
Из нового в машинном обучении, это разрекламированное решение "сложных" математических выражений через символический вывод. Т.е. нейросетка пытается "рассуждать" рационально:
https://ai.facebook.com/blog/using-neural-networks-to-solve-advanced-mathematics-equations/
Такие решалки, только чисто формальные конечно, придумывались ещё 50 лет назад.
С массивом алгебраических задачек классические солверы справились в среднем даже похуже нейросетки. "model demonstrated 99.7 percent accuracy when solving integration problems". Но если солверы в итоге заявляли, что не смогли решить задачу, нейросеть ведь всё равно видимо всегда выдаёт какое-то решение, которое однако может быть неправильным :) 99.7% точность, ну и зачем это надо?
Вообще, очень субъективно конечно, но этот чёрный ящик глубокого обучения нейросетей напоминает какой-то гигантский фейк :) Он очень наукообразный, и чем дальше, тем больше смахивает на шаманство. Наука прежде всего объясняет, а сегодняшний AI/ML это мутный феноменологический подход, подразумевающий вдобавок огромный объём ручной работы по подготовке и очистке датасетов, огромные требования к вычислительным ресурсам (кому выгодно? производителям графический плат, миллиардные прибыли :), и эмпирическое гадание на коэффициентах, правильно в итоге ли обучится модель.
Но это наша жизнь, которую обязательно надо принимать во внимание. В целом, за 2019-й AI-стартапы заработали 18,5 млрд. долл., поэтому фейк не фейк, но в плане профессии очень хороший :)
PyTorch 1.4 вышел, распределённое обучение, биндинг с Java, а главное, расширена поддержка мобильных разработчиков -- вот ещё один тренд:) Встраивание моделей в мобильный и встраиваемый софт. Реально мощное направление: Apple например купила стартап xnor.ai за 200 млн. долл.! А занимается он как раз оптимизацией запуска моделей на всяческих гаджетах, камерах, IoT-устройствах, радиоуправляемых вертолётиках и машинках.
https://ai.facebook.com/blog/using-neural-networks-to-solve-advanced-mathematics-equations/
Такие решалки, только чисто формальные конечно, придумывались ещё 50 лет назад.
С массивом алгебраических задачек классические солверы справились в среднем даже похуже нейросетки. "model demonstrated 99.7 percent accuracy when solving integration problems". Но если солверы в итоге заявляли, что не смогли решить задачу, нейросеть ведь всё равно видимо всегда выдаёт какое-то решение, которое однако может быть неправильным :) 99.7% точность, ну и зачем это надо?
Вообще, очень субъективно конечно, но этот чёрный ящик глубокого обучения нейросетей напоминает какой-то гигантский фейк :) Он очень наукообразный, и чем дальше, тем больше смахивает на шаманство. Наука прежде всего объясняет, а сегодняшний AI/ML это мутный феноменологический подход, подразумевающий вдобавок огромный объём ручной работы по подготовке и очистке датасетов, огромные требования к вычислительным ресурсам (кому выгодно? производителям графический плат, миллиардные прибыли :), и эмпирическое гадание на коэффициентах, правильно в итоге ли обучится модель.
Но это наша жизнь, которую обязательно надо принимать во внимание. В целом, за 2019-й AI-стартапы заработали 18,5 млрд. долл., поэтому фейк не фейк, но в плане профессии очень хороший :)
PyTorch 1.4 вышел, распределённое обучение, биндинг с Java, а главное, расширена поддержка мобильных разработчиков -- вот ещё один тренд:) Встраивание моделей в мобильный и встраиваемый софт. Реально мощное направление: Apple например купила стартап xnor.ai за 200 млн. долл.! А занимается он как раз оптимизацией запуска моделей на всяческих гаджетах, камерах, IoT-устройствах, радиоуправляемых вертолётиках и машинках.
Немного странно, но факт -- айтишный скилл в блокчейнах остаётся самым востребованным в 2020-м в США, Англии, Австралии, Франции и Германии, сообщил LinkedIn. Он обошёл по популярности и искусственный интеллект, и облачные вычисления.
https://learning.linkedin.com/blog/top-skills/the-skills-companies-need-most-in-2020and-how-to-learn-them
Сегодня это уже давно не криптовалюта, а например стандартное бизнес-решение в финтехе и корпоративной разработке, и LinkedIn настоятельно рекомендует его освоить, чтобы оставаться в тренде.
Для примера, будет сложно попасть на хорошую программистскую позицию в IBM, Oracle, JPMorgan, Microsoft, Amazon или American Express без знания блокчейна. Попутно очень рекомендуется знать С++. Более того, несколько парадоксально, сами программисты значительно меньше стали упоминать этот навык в своих резюме, и меньше ищут непосредственно блокчейн-ориентированную работу, а вот сами работодатели наоборот заметно увеличили количество блокчейн-вакансий.
https://learning.linkedin.com/blog/top-skills/the-skills-companies-need-most-in-2020and-how-to-learn-them
Сегодня это уже давно не криптовалюта, а например стандартное бизнес-решение в финтехе и корпоративной разработке, и LinkedIn настоятельно рекомендует его освоить, чтобы оставаться в тренде.
Для примера, будет сложно попасть на хорошую программистскую позицию в IBM, Oracle, JPMorgan, Microsoft, Amazon или American Express без знания блокчейна. Попутно очень рекомендуется знать С++. Более того, несколько парадоксально, сами программисты значительно меньше стали упоминать этот навык в своих резюме, и меньше ищут непосредственно блокчейн-ориентированную работу, а вот сами работодатели наоборот заметно увеличили количество блокчейн-вакансий.
🤔1
Популярность виртуальных помощников Алисы или Олега велика, однако пока ботов такого уровня маловато, и они слабенько общаются "на любые темы". Гугл разработал крутую нейронку Meena
https://ai.googleblog.com/2020/01/towards-conversational-agent-that-can.html
которая была натренирована на минимизацию неопределённости в предсказании следующего слова на 341 гигабайте текстов, отфильтрованных из соцсетей -- это почти в 10 раз больше, чем объём, на котором обучалась OpenAI GPT-2. Meena по показателю Sensibleness and Specificity Average продемонстрировала 79% -- у людей 86%, а у ближайшего бота Mitsuku -- 56%, то есть уровень Meena уже совсем близок к человеческому.
Такие темпы развития AI в международных спрутах Google, Microsoft, Facebook, Amazon уже столь круты, что Евросоюз постановил создать единый маркетплейс для торговли данными, и намерен следить, чтобы цифровая информация не уплывала без официального разрешения за его физические границы )))
Кстати, во-первых, на эту тему обработки естественных текстов (предсказание следующих слов) на моём курсе по машинному обучению уже совсем скоро будет новый ноутбук, и во-вторых, OpenAI официально объявила, что стандартизует все свои технологии на основе PyTorch , и планирует дальше развивать многие свои AI-фреймворки и технологии именно на торче
https://openai.com/blog/openai-pytorch/
Так что я полгода назад совершенно правильно сделал на курсе ставку на PyTorch:)
В тему порекомендую мощный бесплатный курс Deep Learning in NLP от физтеха, уже с 11 февраля, он очный, но судя по всему на гитхабе и ютубе будет по нему много доступной инфы, в посте интересные ссылочки: https://habr.com/ru/company/ods/blog/487172/
https://ai.googleblog.com/2020/01/towards-conversational-agent-that-can.html
которая была натренирована на минимизацию неопределённости в предсказании следующего слова на 341 гигабайте текстов, отфильтрованных из соцсетей -- это почти в 10 раз больше, чем объём, на котором обучалась OpenAI GPT-2. Meena по показателю Sensibleness and Specificity Average продемонстрировала 79% -- у людей 86%, а у ближайшего бота Mitsuku -- 56%, то есть уровень Meena уже совсем близок к человеческому.
Такие темпы развития AI в международных спрутах Google, Microsoft, Facebook, Amazon уже столь круты, что Евросоюз постановил создать единый маркетплейс для торговли данными, и намерен следить, чтобы цифровая информация не уплывала без официального разрешения за его физические границы )))
Кстати, во-первых, на эту тему обработки естественных текстов (предсказание следующих слов) на моём курсе по машинному обучению уже совсем скоро будет новый ноутбук, и во-вторых, OpenAI официально объявила, что стандартизует все свои технологии на основе PyTorch , и планирует дальше развивать многие свои AI-фреймворки и технологии именно на торче
https://openai.com/blog/openai-pytorch/
Так что я полгода назад совершенно правильно сделал на курсе ставку на PyTorch:)
В тему порекомендую мощный бесплатный курс Deep Learning in NLP от физтеха, уже с 11 февраля, он очный, но судя по всему на гитхабе и ютубе будет по нему много доступной инфы, в посте интересные ссылочки: https://habr.com/ru/company/ods/blog/487172/
research.google
Towards a Conversational Agent that Can Chat About…Anything
Posted by Daniel Adiwardana, Senior Research Engineer, and Thang Luong, Senior Research Scientist, Google Research, Brain Team Modern conversatio...
В мире продолжается взрывной рост технологий, спецов для которых катастрофически не хватает. В США финансирование военному агентству передовых исследований DARPA по теме искусственного интеллекта на очередной финансовый год увеличено с 50 до 250 млн. долл., а AI в рамках Национального научного фонда NSF будет развиваться не на нынешние 500, а уже на 800 млн. долл. Кроме того, на гражданские проекты до 2022 г. будет удвоено финансирование по направлениям AI и квантовых вычислений ($25 млн. выделено на создание национального квантового интернета).
Но, где на это всё взять разработчиков? :) NSF выделил на подготовку AI-специалистов 50 млн. долл., и на фоне вот таких всплесков финансирования постоянно возникают новые тренды на рынке труда. Свежачок -- это рост в 2019-м в 14(!!!) раз спроса на программистов виртуальной и дополненной реальности, по данным Hired.com. Зарплаты скакнули с 135 до 150 тыс. долл./год. А я ведь всем рекомендую входить в IT через мобильную разработку, это всё идеологически близкие темы -- мобилки, гаджеты, AR/VR, IoT. Интересно, что несмотря на многолетние жалобы на кризис рынка игр, количество вакансий в геймдеве увеличилось в полтора раза. И на 90% вырос спрос на специалистов машинного обучения.
Но, где на это всё взять разработчиков? :) NSF выделил на подготовку AI-специалистов 50 млн. долл., и на фоне вот таких всплесков финансирования постоянно возникают новые тренды на рынке труда. Свежачок -- это рост в 2019-м в 14(!!!) раз спроса на программистов виртуальной и дополненной реальности, по данным Hired.com. Зарплаты скакнули с 135 до 150 тыс. долл./год. А я ведь всем рекомендую входить в IT через мобильную разработку, это всё идеологически близкие темы -- мобилки, гаджеты, AR/VR, IoT. Интересно, что несмотря на многолетние жалобы на кризис рынка игр, количество вакансий в геймдеве увеличилось в полтора раза. И на 90% вырос спрос на специалистов машинного обучения.
👍1
В группе по машинному обучению я выложил очередной ноутбук, по классификации текстов, тема в тренде: в феврале Microsoft шокировала AI-коммьюнити выпуском языковой модели Turing Natural Language Generation (T-NLG) с 17 миллиардами параметров. По качеству она превосходит и Google BERT, и OpenAI GPT-2, демонстрирует человеческий уровень и в генерации текстов, и в ответах на вопросы. Пока стоимость её эксплуатации высока, но пройдут считанные годы...
https://www.microsoft.com/en-us/research/blog/turing-nlg-a-17-billion-parameter-language-model-by-microsoft/
Интересные рассказываются в посте нюансы оптимизации нейросеток, в частности, выложены в опенсорс ZeRO optimizer и библиотечка DeepSpeed , совместимая с PyTorch
https://github.com/microsoft/DeepSpeed
Тренировали модельку на NVIDIA DGX-2.
Интересующимся этой темой порекомендую свежачок -- датасет TyDi QA , набор из 200 тысяч вопросов-ответов на 11 языках, включая русский
https://ai.google.com/research/tydiqa
https://www.microsoft.com/en-us/research/blog/turing-nlg-a-17-billion-parameter-language-model-by-microsoft/
Интересные рассказываются в посте нюансы оптимизации нейросеток, в частности, выложены в опенсорс ZeRO optimizer и библиотечка DeepSpeed , совместимая с PyTorch
https://github.com/microsoft/DeepSpeed
Тренировали модельку на NVIDIA DGX-2.
Интересующимся этой темой порекомендую свежачок -- датасет TyDi QA , набор из 200 тысяч вопросов-ответов на 11 языках, включая русский
https://ai.google.com/research/tydiqa
Пилотный курс по спортивному программированию!
https://codeforces.com/edu/courses
https://codeforces.com/edu/courses
Codeforces
Courses - Codeforces
Codeforces. Programming competitions and contests, programming community
Какая самая популярная айтишная работа сегодня? По данным Dice.com за 2019-й год, по количеству вакансий топчик это абстрактный Software developer в вакууме (ну, кто бы сомневался). Более конкретный Senior software developer, наша стратегическая цель, на четвёртом месте.
https://spectrum.ieee.org/view-from-the-valley/at-work/tech-careers/whats-the-hottest-job-in-tech
Самой быстрорастущей специальностью стал Data engineer (рост на 50%), на втором месте бэкендер +38%.
Наконец, в плане конкретных скиллов, чаще всего упоминается SQL , потом Java, JavaScript, управление проектами, Python, Linux, Oracle, C#, Scrum (аджайл) и QA. А самыми быстрорастущими скиллами стали Kubernetes +82% (это тоже понятно), Docker, Azure (немного неожиданно, Microsoft напирает), DevOps.
https://spectrum.ieee.org/view-from-the-valley/at-work/tech-careers/whats-the-hottest-job-in-tech
Самой быстрорастущей специальностью стал Data engineer (рост на 50%), на втором месте бэкендер +38%.
Наконец, в плане конкретных скиллов, чаще всего упоминается SQL , потом Java, JavaScript, управление проектами, Python, Linux, Oracle, C#, Scrum (аджайл) и QA. А самыми быстрорастущими скиллами стали Kubernetes +82% (это тоже понятно), Docker, Azure (немного неожиданно, Microsoft напирает), DevOps.
IEEE Spectrum
What’s the Hottest Job in Tech?
Software developer ranks as top tech job, while data engineer is fastest growing
👍1
Отрыв США и Китая от остального мира в области искусственного интеллекта продолжает расти, и это уже совершенно реальная угроза. Евросоюз выработал ряд стратегий, призванных поддержать европейский AI-бизнес, но уже несомненный факт, что конкурировать в сфере AI сегодня стало тяжело уже даже хорошо развитым странам, и дальше будет только сложнее, потому что все ведущие умы давно разобраны по корпорациям с космическими зарплатами.
https://techcrunch.com/2020/02/19/europe-sets-out-plan-to-boost-data-reuse-and-regulate-high-risk-ais/
Это ведь не программирование, где научить кодить можно почти любого, в AI/ML всё же математика нужна. Да и самих программистов, начиная с джунов, постепенно будут заменять боты: свежак от Microsoft (посмотрите на фамилии, ага), модель CodeBERT, обученная поиску и генерации "документации" не только для естественных языков, но и для языков программирования.
https://arxiv.org/pdf/2002.08155.pdf
https://techcrunch.com/2020/02/19/europe-sets-out-plan-to-boost-data-reuse-and-regulate-high-risk-ais/
Это ведь не программирование, где научить кодить можно почти любого, в AI/ML всё же математика нужна. Да и самих программистов, начиная с джунов, постепенно будут заменять боты: свежак от Microsoft (посмотрите на фамилии, ага), модель CodeBERT, обученная поиску и генерации "документации" не только для естественных языков, но и для языков программирования.
https://arxiv.org/pdf/2002.08155.pdf
Интересная заметка, в которой Бертран Мейер рассуждает о двух подходах к подготовке программистов: классическом академическом, и на всевозможных частных школах и курсах.
https://cacm.acm.org/blogs/blog-cacm/242741-there-is-more-than-one-way-to-become-a-good-programmer/fulltext
Альтернативные сервисы заполняют потребности, которые университеты никак не могут удовлетворить. Как оказалось например, невозможно разработать такую схему подготовки программистов в государственных университетах Швейцарии, чтобы ежегодно выпускать не тысячи, а десятки тысяч специалистов. И пусть далеко не у каждого будет возможность учиться computer science в Стэнфорде, однако это совсем не конец света, остаётся множество других отлично работающих альтернатив. Например, для довольно многих инженерных ИТ-проектов подготовка специалистов через computer science далеко не лучший путь.
there are excellent programmers out there who may not know the difference between PSPACE and EXPSPACE but still churn out efficient, well-structured and bug-free code day in and day out.
Более того, даже многолетнее обучение в университете имеет ряд недостатков (например, непосредственно программированием там занимаются не так уж и много, да и слишком энергичное следование ИТ-трендам не поощряется, что в общем-то и правильно). И кстати, на различные онлайн-курсы приходит довольно много ребят с университетскими дипломами, по сути как на курсы повышения квалификации, потому что одна из самых лучших схем подготовки -- это "intensive hands-on program with personal coaching".
Да, далеко не каждый может стать хорошим программистом, однако раньше многие способные люди даже и не мечтали об этом. Университеты работают на некоторых, но не на всех. И поэтому для многих других, ярких и амбициозных личностей, чей внутренний программист жаждет выхода на свет, всевозможные онлайн-школы и курсы по программированию вполне могут стать как раз тем самым катализатором, который им нужен.
https://cacm.acm.org/blogs/blog-cacm/242741-there-is-more-than-one-way-to-become-a-good-programmer/fulltext
Альтернативные сервисы заполняют потребности, которые университеты никак не могут удовлетворить. Как оказалось например, невозможно разработать такую схему подготовки программистов в государственных университетах Швейцарии, чтобы ежегодно выпускать не тысячи, а десятки тысяч специалистов. И пусть далеко не у каждого будет возможность учиться computer science в Стэнфорде, однако это совсем не конец света, остаётся множество других отлично работающих альтернатив. Например, для довольно многих инженерных ИТ-проектов подготовка специалистов через computer science далеко не лучший путь.
there are excellent programmers out there who may not know the difference between PSPACE and EXPSPACE but still churn out efficient, well-structured and bug-free code day in and day out.
Более того, даже многолетнее обучение в университете имеет ряд недостатков (например, непосредственно программированием там занимаются не так уж и много, да и слишком энергичное следование ИТ-трендам не поощряется, что в общем-то и правильно). И кстати, на различные онлайн-курсы приходит довольно много ребят с университетскими дипломами, по сути как на курсы повышения квалификации, потому что одна из самых лучших схем подготовки -- это "intensive hands-on program with personal coaching".
Да, далеко не каждый может стать хорошим программистом, однако раньше многие способные люди даже и не мечтали об этом. Университеты работают на некоторых, но не на всех. И поэтому для многих других, ярких и амбициозных личностей, чей внутренний программист жаждет выхода на свет, всевозможные онлайн-школы и курсы по программированию вполне могут стать как раз тем самым катализатором, который им нужен.
Вернёмся немного в прошлое (которого как оно было последнюю десятилетку, уже больше никогда не будет), всего на месяц назад, пока вот это вот всё ещё не началось: в начале 2020-го огромный и постоянно растущий спрос на айтишников оставался уникальным на фоне всего остального рынка труда, где работодатели обычно размещали в январе-феврале ощутимо меньше вакансий. А вот спрос на программистов продолжал бить рекорды удивительным образом: в начале каждого года количество вакансий ежегодно достигало пика, начиная с 2014-го года!
https://fortune.com/2020/01/22/new-year-january-job-hunt-how-to-succeed/
7 из 10 компаний планируют схантить разработчика в первое полугодие, акцент на облачных вычислениях, базах данных и кибербезопасности; при этом в 75% случаев предлагаются очень хорошие дополнительные бонусы.
http://rh-us.mediaroom.com/2020-01-14-Survey-75-Of-Tech-Leaders-Say-Their-Company-Offers-Extra-Perks-Or-Benefits-To-Sweeten-Pot-For-IT-Pros
Ну а типичная трудность поиска в том, что количество и скорость изменения хард-скиллов постоянно растут, поэтому попасть точно под свой набор навыков тоже становится сложнее.
Основная масса вакансий (11% от вообще всех вакансий, включая и нетехнические!) приходятся на программиста-миддла и программиста-сеньора. Список языков типичен: Java, Python, JavaScript, C#, Си/C++.
Tim Tully, CTO Splunk, отмечает, что самая важная черта, которой подчас не хватает многим кандидатам -- это сильное желание учиться.
Tully называет пять важных навыков для современных highload-проектов:
-- управление данными в реальном времени;
-- думать над проектом не просто как кодировщик, а как проектировщик;
-- мобильная разработка (все дружно захотели мобильные версии своих веб-систем);
-- AI / ML;
-- мета-навык (ага, я только вчера об этом говорил!) -- умение правильно комбинировать и развивать эти четыре навыка.
А что же будет дальше? Ну, с учётом того, что миллиарды людей по всему миру массово загоняются по домам, цифровой мир ждёт невиданный доселе мега-эпичнейший бум развития )))
https://fortune.com/2020/01/22/new-year-january-job-hunt-how-to-succeed/
7 из 10 компаний планируют схантить разработчика в первое полугодие, акцент на облачных вычислениях, базах данных и кибербезопасности; при этом в 75% случаев предлагаются очень хорошие дополнительные бонусы.
http://rh-us.mediaroom.com/2020-01-14-Survey-75-Of-Tech-Leaders-Say-Their-Company-Offers-Extra-Perks-Or-Benefits-To-Sweeten-Pot-For-IT-Pros
Ну а типичная трудность поиска в том, что количество и скорость изменения хард-скиллов постоянно растут, поэтому попасть точно под свой набор навыков тоже становится сложнее.
Основная масса вакансий (11% от вообще всех вакансий, включая и нетехнические!) приходятся на программиста-миддла и программиста-сеньора. Список языков типичен: Java, Python, JavaScript, C#, Си/C++.
Tim Tully, CTO Splunk, отмечает, что самая важная черта, которой подчас не хватает многим кандидатам -- это сильное желание учиться.
Tully называет пять важных навыков для современных highload-проектов:
-- управление данными в реальном времени;
-- думать над проектом не просто как кодировщик, а как проектировщик;
-- мобильная разработка (все дружно захотели мобильные версии своих веб-систем);
-- AI / ML;
-- мета-навык (ага, я только вчера об этом говорил!) -- умение правильно комбинировать и развивать эти четыре навыка.
А что же будет дальше? Ну, с учётом того, что миллиарды людей по всему миру массово загоняются по домам, цифровой мир ждёт невиданный доселе мега-эпичнейший бум развития )))
Рекомендации по выходу на апворк:
1) подробнейший гайд вообще по всем сопутствующим темам
http://odeskconf.github.io/guide/
Из литературы по развитию карьеры кстати рекомендуются три американские книги (на русский не переводились), именно на которых я сейчас и развиваю бесплатный курс карьеры для тех, кто "на сервере".
2) хороший блог о фрилансе, рекомендую всё изучить
https://zen.yandex.ru/id/5a8801bdc89010921435fddd
3) ещё отличное руководство для начинающих на апворке
https://jff.name/how-to-upwork/
а в целом сам jff.name это эталонный пример того, как долгосрочное развитие блога эксперта приводит в итоге к собственному успешному делу, к чему я всех регулярно призываю.
"c 2013 года работаю удаленно, в тоже время начал писать блог jff.name про фриланс и Upwork. С течением времени благодаря блогу появились и другие проекты связанные с фрилансом: книга, slack чат, подкаст, группы в социальных сетях"
1) подробнейший гайд вообще по всем сопутствующим темам
http://odeskconf.github.io/guide/
Из литературы по развитию карьеры кстати рекомендуются три американские книги (на русский не переводились), именно на которых я сейчас и развиваю бесплатный курс карьеры для тех, кто "на сервере".
2) хороший блог о фрилансе, рекомендую всё изучить
https://zen.yandex.ru/id/5a8801bdc89010921435fddd
3) ещё отличное руководство для начинающих на апворке
https://jff.name/how-to-upwork/
а в целом сам jff.name это эталонный пример того, как долгосрочное развитие блога эксперта приводит в итоге к собственному успешному делу, к чему я всех регулярно призываю.
"c 2013 года работаю удаленно, в тоже время начал писать блог jff.name про фриланс и Upwork. С течением времени благодаря блогу появились и другие проекты связанные с фрилансом: книга, slack чат, подкаст, группы в социальных сетях"
На фоне всей этой мутной шелухи ещё более незаметно подкрадывается очередная технологическая революция, которая судя по всему окажется ещё круче, нежели машинное обучение, которое и так даёт удивительные результаты. Вы наверняка периодически читаете новости про квантовые вычисления (quantum computing) с невероятным вычислительным потенциалом, и вот они следом за ML тоже весьма сильно пошатают самый фундамент computer science.
В частности, большие надежды на QC возлагаются конечно применительно в первую очередь к AI/ML, где процессорные ресурсы очень важны. Но для этого предстоит эпическая работа по перепроектированию нынешних алгоритмов и фреймворков под квантовые калкулусы. Кто тут в первых рядах, понятно: Google AI в марте анонсировала релиз TensorFlow Quantum для работы в квантовых архитектурах.
https://ai.googleblog.com/2020/03/announcing-tensorflow-quantum-open.html
"Nature isn’t classical, damnit, so if you want to make a simulation of nature, you’d better make it quantum mechanical” Richard Feynman
Для PyTorch квантовая надстройка вот тут: https://pennylane.ai/
Из других полезняшек, Google Cloud AI Platform -- очень классная вещь, когда надо быстро спроектировать ML-прототип, но возможностей обычных ноутбуков не хватает, нужно всё же что-то приближенное к реальной архитектуре. Жаль, что только TF поддерживается, ну это понятно, ведь торч это фаворит фейсбука, гугловского соперника.
Ну и при желании можно потренироваться в прогнозировании эпидемии коронавируса :)
https://www.kaggle.com/sudalairajkumar/novel-corona-virus-2019-dataset/tasks
P.S. Я выложил кстати вчера новый нотубук по free.ai, определение позиции лица на изображении с тренировкой по аугментации данных.
В частности, большие надежды на QC возлагаются конечно применительно в первую очередь к AI/ML, где процессорные ресурсы очень важны. Но для этого предстоит эпическая работа по перепроектированию нынешних алгоритмов и фреймворков под квантовые калкулусы. Кто тут в первых рядах, понятно: Google AI в марте анонсировала релиз TensorFlow Quantum для работы в квантовых архитектурах.
https://ai.googleblog.com/2020/03/announcing-tensorflow-quantum-open.html
"Nature isn’t classical, damnit, so if you want to make a simulation of nature, you’d better make it quantum mechanical” Richard Feynman
Для PyTorch квантовая надстройка вот тут: https://pennylane.ai/
Из других полезняшек, Google Cloud AI Platform -- очень классная вещь, когда надо быстро спроектировать ML-прототип, но возможностей обычных ноутбуков не хватает, нужно всё же что-то приближенное к реальной архитектуре. Жаль, что только TF поддерживается, ну это понятно, ведь торч это фаворит фейсбука, гугловского соперника.
Ну и при желании можно потренироваться в прогнозировании эпидемии коронавируса :)
https://www.kaggle.com/sudalairajkumar/novel-corona-virus-2019-dataset/tasks
P.S. Я выложил кстати вчера новый нотубук по free.ai, определение позиции лица на изображении с тренировкой по аугментации данных.
research.google
Announcing TensorFlow Quantum: An Open Source Library for Quantum Machine Learni
Posted by Alan Ho, Product Lead and Masoud Mohseni, Technical Lead, Google Research “Nature isn’t classical, damnit, so if you want to make a sim...
The Coronavirus Quarantine Developer Skill Handbook
рекомендации от Quincy Larson, создателя freeCodeCamp.org
Что сейчас делать? Скачать новый сериальчик? Установить новую игру? Выглянуть в окно на пустую улицу, допить всё что осталось и завалиться спать?
Или всё же стать чуточку взрослее?
Если вы хотите развивать успешную карьеру программиста в этом дивном новом мире, то вам потребуются три ключевые вещи:
-- развивать свои скиллы (онлайн-обучение)
-- строить свою репутацию (блог и гитхаб)
-- взращивать сеть полезных социальных контактов (нетворкинг)
Из хард-скиллов Quincy Larson в 2020-м рекомендует подналечь на фронтенд (JavaScript, ...), Computer Science, Python и его библиотечки применительно к data science, командную строку (линукс, git, bash).
A lot of people freak out about computer science because they "suck at math" or because they took some Java course 10 years ago and hated it. Well I've got good news for you all – computer science doesn't have to be a grind. It can be quite fun.
Много подробных рекомендаций и ссылочки на полезные ресурсы, включая сотни бесплатных университетских курсов:
https://www.freecodecamp.org/news/coronavirus-academy/
рекомендации от Quincy Larson, создателя freeCodeCamp.org
Что сейчас делать? Скачать новый сериальчик? Установить новую игру? Выглянуть в окно на пустую улицу, допить всё что осталось и завалиться спать?
Или всё же стать чуточку взрослее?
Если вы хотите развивать успешную карьеру программиста в этом дивном новом мире, то вам потребуются три ключевые вещи:
-- развивать свои скиллы (онлайн-обучение)
-- строить свою репутацию (блог и гитхаб)
-- взращивать сеть полезных социальных контактов (нетворкинг)
Из хард-скиллов Quincy Larson в 2020-м рекомендует подналечь на фронтенд (JavaScript, ...), Computer Science, Python и его библиотечки применительно к data science, командную строку (линукс, git, bash).
A lot of people freak out about computer science because they "suck at math" or because they took some Java course 10 years ago and hated it. Well I've got good news for you all – computer science doesn't have to be a grind. It can be quite fun.
Много подробных рекомендаций и ссылочки на полезные ресурсы, включая сотни бесплатных университетских курсов:
https://www.freecodecamp.org/news/coronavirus-academy/
Google TensorFlow, Facebook PyTorch -- и вот теперь Microsoft Windows ML.
TF -- это мощная экосистема, включая Keras, плюс поддержка Google.
При поддержке Facebook появился его реальный конкурент PyTorch (что всегда хорошо). Развивается он очень энергично, тоже быстро обрастает фреймворками, и очень показательно, что OpenAI выбрала его в качестве базовой платформы.
Однако к ним пытается хоть немного подтянуться Microsoft, выпустившая Windows ML: With Windows ML, developers can use trained ML models in Windows apps that are written in C#, C++, JavaScript, or Python, either locally on a Windows 10 device or on a Windows Server 2019 machine.
https://blogs.windows.com/windowsdeveloper/2020/03/18/extending-the-reach-of-windows-ml-and-directml/
В её основе DirectML -- своеобразный низкоуровневый аналог DirectX для задач машинного обучения (стиль разработки будет понятен всем, кто юзал DirectX 12).
Основана Windows ML на ONNX Runtime, в которую конвертируются модельки Tensorflow, Keras, PyTorch, scikit-learn, CoreML и др.
https://github.com/microsoft/onnxruntime
И вот формально с этого марта Windows ML стала встроенной в Windows 10; официальные Windows ML redistributable появятся в мае, но экспериментировать можно уже сейчас.
TF -- это мощная экосистема, включая Keras, плюс поддержка Google.
При поддержке Facebook появился его реальный конкурент PyTorch (что всегда хорошо). Развивается он очень энергично, тоже быстро обрастает фреймворками, и очень показательно, что OpenAI выбрала его в качестве базовой платформы.
Однако к ним пытается хоть немного подтянуться Microsoft, выпустившая Windows ML: With Windows ML, developers can use trained ML models in Windows apps that are written in C#, C++, JavaScript, or Python, either locally on a Windows 10 device or on a Windows Server 2019 machine.
https://blogs.windows.com/windowsdeveloper/2020/03/18/extending-the-reach-of-windows-ml-and-directml/
В её основе DirectML -- своеобразный низкоуровневый аналог DirectX для задач машинного обучения (стиль разработки будет понятен всем, кто юзал DirectX 12).
Основана Windows ML на ONNX Runtime, в которую конвертируются модельки Tensorflow, Keras, PyTorch, scikit-learn, CoreML и др.
https://github.com/microsoft/onnxruntime
И вот формально с этого марта Windows ML стала встроенной в Windows 10; официальные Windows ML redistributable появятся в мае, но экспериментировать можно уже сейчас.
Насколько перспективны в плане работы квантовые вычисления?
Они крайне перспективны потенциально, поэтому IBM, Microsoft, Google вкладывают очень большие средства в квантовые компьютеры, однако пока эти проекты, понятно, больше академические. Зарплаты там заоблачные, но и попасть с улицы в такие проекты сложно. И тем не менее довольно много крупных фирм уже сегодня ищут специалистов с хорошим STEM-образованием, а главное, что государственные структуры облизываются на пост-квантовую криптографию, которая уничтожит все нынешние криптотехнологии. Китайцы втихомолку развивают мощную квантовую систему, способную взломать public key encryption :)
Поэтому MIT и Колумбийский университеты начали готовить преподавателей по этим темам, ну и учитывая нынешний дефицит специалистов по компьютерной безопасности, можно предположить, что растущий кризис образования и талантов вкупе с всё больше наглеющими хакерами существенно ускорит внедрение квантовых технологий, которые невозможно взломать физически (кубиты при любом внешнем наблюдении случайно соскакивают в 1 или 0).
Гиганты уровня ИБМ готовы вкладывать буквально бесконечное количество денег в это всё, но проблема, что подходящих спецов нету. Ну и постепенно растёт число стартапов, которые нередко организуют лица, имеющие доступ к этим безумным бюджетам.
Прогнозы рекрутингового агентства StrategicQC по поиску квантовых инженеров такие что, что квантовые вычисления дадут серьёзный плюс в конкуренции в сферах финтеха, аэрокосмической промышленности, обороны, здравоохранения, телекоммуникаций, энергетики, транспорта, сельского хозяйства -- практически везде, как и AI/ML. Пока это экзотика, но через 2-3 года спрос вполне может стать взрывным.
Как минимум, рекомендую для начала освоить самые азы этой темы (чтобы уметь хоть немного поддержать такую тему на собеседовании, или невзначай вставить умные слова в разговоре), разобраться с четырьмя вещами: понятием кубита, бра и кет Дирака, суперпозицией и запутанностью; а в идеале, понять, при чём тут матричная алгебра.
Они крайне перспективны потенциально, поэтому IBM, Microsoft, Google вкладывают очень большие средства в квантовые компьютеры, однако пока эти проекты, понятно, больше академические. Зарплаты там заоблачные, но и попасть с улицы в такие проекты сложно. И тем не менее довольно много крупных фирм уже сегодня ищут специалистов с хорошим STEM-образованием, а главное, что государственные структуры облизываются на пост-квантовую криптографию, которая уничтожит все нынешние криптотехнологии. Китайцы втихомолку развивают мощную квантовую систему, способную взломать public key encryption :)
Поэтому MIT и Колумбийский университеты начали готовить преподавателей по этим темам, ну и учитывая нынешний дефицит специалистов по компьютерной безопасности, можно предположить, что растущий кризис образования и талантов вкупе с всё больше наглеющими хакерами существенно ускорит внедрение квантовых технологий, которые невозможно взломать физически (кубиты при любом внешнем наблюдении случайно соскакивают в 1 или 0).
Гиганты уровня ИБМ готовы вкладывать буквально бесконечное количество денег в это всё, но проблема, что подходящих спецов нету. Ну и постепенно растёт число стартапов, которые нередко организуют лица, имеющие доступ к этим безумным бюджетам.
Прогнозы рекрутингового агентства StrategicQC по поиску квантовых инженеров такие что, что квантовые вычисления дадут серьёзный плюс в конкуренции в сферах финтеха, аэрокосмической промышленности, обороны, здравоохранения, телекоммуникаций, энергетики, транспорта, сельского хозяйства -- практически везде, как и AI/ML. Пока это экзотика, но через 2-3 года спрос вполне может стать взрывным.
Как минимум, рекомендую для начала освоить самые азы этой темы (чтобы уметь хоть немного поддержать такую тему на собеседовании, или невзначай вставить умные слова в разговоре), разобраться с четырьмя вещами: понятием кубита, бра и кет Дирака, суперпозицией и запутанностью; а в идеале, понять, при чём тут матричная алгебра.
Бертран Мейер предлагает теорему о кратчайшем графике, которая уже 15 лет подтверждается эмпирически, но есть нюансы (это всё про "Мифический человеко-месяц" Брукса, но действительно ли 9 женщин не родят ребёнка за один месяц? или хотя бы за полгода?):
https://cacm.acm.org/magazines/2020/1/241718-in-search-of-the-shortest-possible-schedule/fulltext
Чем позже добавляются люди в проект, тем меньше эффект от них, и вот тут найдено некое фундаментальное ограничение, которое на практике пока не нарушалось: есть "nominal project" (когда мы выполнили временно-стоимостную оценку и нашли оптимальную точку по ресурсам), и с одной стороны, действительно, в такой ситуации вкладывая деньги в проект (в частности, нанимая людей), мы сокращаем сроки. Однако есть и эмпирическое ограничение, которое подтверждается во множестве крупных проектов: сколько бы дополнительных средств мы не вкладывали в проект, мы не сократим время его реализации более чем на 25% от оптимального.
С другой стороны, сокращение сроков на четверть это очень даже круто, и компаниям желательно накапливать свою внутреннюю статистику, чтобы понимать темпы, которыми такое сокращение на четверть достигается.
Можно к этому подойти и с другой стороны: у нас есть небольшой бюджет, но мы никуда не спешим, и надо понять, насколько меньше нам понадобится разработчиков, чтобы уложиться в неторопливые сроки. Тут правда возникают уже экзистенциальные риски :) чем дольше тянется проект, тем выше шансы, что он закроется из-за внешних форс-мажоров (например, сеньор уйдёт к конкурентам).
Сермяга в том, что если подойти к организации проекта по научному, то, приложив все усилия, можно весьма существенно сократить сроки его сдачи.
Дико уважаю Мейера, на его книгах во многом мои курсы по ООАП основаны.
https://cacm.acm.org/magazines/2020/1/241718-in-search-of-the-shortest-possible-schedule/fulltext
Чем позже добавляются люди в проект, тем меньше эффект от них, и вот тут найдено некое фундаментальное ограничение, которое на практике пока не нарушалось: есть "nominal project" (когда мы выполнили временно-стоимостную оценку и нашли оптимальную точку по ресурсам), и с одной стороны, действительно, в такой ситуации вкладывая деньги в проект (в частности, нанимая людей), мы сокращаем сроки. Однако есть и эмпирическое ограничение, которое подтверждается во множестве крупных проектов: сколько бы дополнительных средств мы не вкладывали в проект, мы не сократим время его реализации более чем на 25% от оптимального.
С другой стороны, сокращение сроков на четверть это очень даже круто, и компаниям желательно накапливать свою внутреннюю статистику, чтобы понимать темпы, которыми такое сокращение на четверть достигается.
Можно к этому подойти и с другой стороны: у нас есть небольшой бюджет, но мы никуда не спешим, и надо понять, насколько меньше нам понадобится разработчиков, чтобы уложиться в неторопливые сроки. Тут правда возникают уже экзистенциальные риски :) чем дольше тянется проект, тем выше шансы, что он закроется из-за внешних форс-мажоров (например, сеньор уйдёт к конкурентам).
Сермяга в том, что если подойти к организации проекта по научному, то, приложив все усилия, можно весьма существенно сократить сроки его сдачи.
Дико уважаю Мейера, на его книгах во многом мои курсы по ООАП основаны.
cacm.acm.org
In Search of the Shortest Possible Schedule
Bertrand Meyer considers how to speed up software engineering.