#AI
База публикаций по AI
Разрабатывает ИТМО
Открыть обещают летом 2024
Зачем отдельная база научных публикаций по одной теме нужна
Я не понял, но пусть будет, наверное...

Ссылка на новость: https://www.sberbank.com/ru/news-and-media/press-releases/article?newsID=4b48c8af-9776-4287-881d-089c41ad5f94&blockID=7&regionID=77&lang=ru&type=NEWS

А между тем, на неделе не только Ангара летала ...
https://tass.ru/armiya-i-opk/20531163

Как-то я пропустил эту новость
9 лет назад обсуждали что надо …
Как раз с разработчиками, глядя на макет…

# AI

15T токенов, но маленькое окно контекста: 8k
(для сравнения, LLAMA-2 тренировалась на 2T)

отсюда

Llama 3
llama.meta.com/llama3/

Немного странный анонс моделей с приговоркой "статья будет чуть позже", meta раньше так не делали, но всё равно модели очень крутые и уже доступны

Детали:
1. 16K GPU 🤯
1. 15T токенов 🤯🤯
1. Веса моделей на 8B и 70B параметров уже доступны 🎉
1. Тренируют модель на 405B параметров (без MoE) 🤯
1. 8K длина контекста

1. Архиткетурно самые большие отличия: Grouped Query Attention и 128K vocab size
1. Для тренировки оценивали scaling laws на разных доменах датасета (и на downstream задачах) после чего из них высчитывали оптимальное взвешивание
1. Никаких отклонений от scaling laws даже на 15T токенах для 8B модели

Бенчмарки:
1. На MMLU, Llama 3 8B работает на уровне PALM-540B и Chinchilla 70B
1. Там же Llama 70B обходит Claude 3 Sonnet и Mistral Large

Сначала Planet с планами покупки skybox
Теперь SpaceX “будет ДЗЗить»
А ты продолжай дальше верить что Маск это про колонизацию Марса и общественное благо…
Хотя Рейтерс веры нет конечно…

​​DARPA привлекло компанию Pioneer Phase Four для разработки и создания двигателя, использующего разреженный воздух в качестве топлива для спутников на сверхнизких орбитах (от 90 до 450 км).

Стоимость контракта составляет $14,9 млн на четырехлетний период.

В рамках контракта будет проведена "длительная демонстрация" системы на орбите.

В Phase Four работает 34 штатных сотрудника и сотрудника по контракту (см. фото ниже). К концу года планируется привлечь еще как минимум 16 человек.

Состав совета консультантов Phase Fou:
- генерал в отставке Уильям Шелтон, бывший командующий космическим командованием ВВС;
- Кевин О'Коннелл, бывший директор Управления космической торговли;
- Эд Перлмуттер, бывший представитель Демократической партии в Палате представителей штата Колорадо (ярый сторонник миссии с экипажем на Марс);
- Джефф Грант, президент Космического фонда и член попечительского совета Аэрокосмической корпорации.

Ранее Phase Four разработало, испытало и начало производить электроракетные двигатели, использующие в качестве топлива компоненты, производимые на территории США.

В США над созданием двигателей для сверхнизких орбит работает не только Phase Four. В частности, аналогичные работы ведет и #Redwire

#VLEO

Военные и технические результаты учений остались неизвестными

В американском управлении перспективных исследовательских проектов Министерства обороны США (DARPA) впервые испытали искусственный интеллект против настоящего лётчика в ближнем воздушном бою.

Интеллектом управлял глубоко модифицированным истребителем F-16D, который получил название X-62A VISTA, а сами лётчики управляли рядовыми F-16.

CoastSat

CoastSat (http://coastsat.wrl.unsw.edu.au) — это набор программных средств с открытым исходным кодом на языке Python (https://github.com/kvos/CoastSat), который позволяет пользователям получать временные ряды положения береговой линии на любом побережье по всему миру за 39 лет (и далее) на основе общедоступных спутниковых снимков.

#python

Даунскейлинг приповерхностной температуры воздуха в восточном Средиземноморье

📖 Blizer A, Glickman O, Lensky I.M. Comparing ML Methods for Downscaling Near-Surface Air Temperature over the Eastern Mediterranean. _Remote Sensing_. 2024; 16(8):1314. https://doi.org/10.3390/rs16081314

В работе занимались повышением пространственного разрешения (даунскейлингом) приповерхностной температуры воздуха (Ta) из данных ERA5 (9 км) и CMIP6 (27 км) до 1 км при помощи машинного обучения (XGBoost и нейронная сеть).

Модели машинного обучения использовали данные со спутников (MODIS: температура земной поверхности и нормализованный разностный вегетационный индекс NDVI), данные климатических моделей ERA5 и CMIP6 (солнечную и тепловую радиацию, скорость ветра и др.), а также цифровую модель рельефа.

Модели проверялись на данных 98 метеостанций, расположенных в Израиле. Авторы стремились избежать попадания наблюдений с одной и той же станции одновременно в обучающий и в тестовый наборы данных (хотя и в разные дни и/или время), применив для кросс-валидации метод “leaving-one-group-out”.

В итоге, лучшие результаты были показаны нейронной сети: среднеквадратичная ошибка равнялась 0,98 °C (ERA5) и 1,86 °C (CMIP6) для суточной Ta и 2,20 °C (ERA5) — для часовой Ta.

Код и данные находятся в общем доступе.

Дайнскейлинг — одна их тех вещей, на которые можно смотреть бесконечно. Все заранее сомневаются, но хотят, чтобы это сработало. Недостатки: нейросеть из четырех полносвязных слоёв названа глубокой, а выбор довольно очевидной кросс-валидации преподносится как один из результатов. Сомнения: исследована небольшая территория с большим перепадом высот (> 3 км). Большой плюс работы — доступность кода и данных, так что желающие могут попробовать. А вообще, гораздо интересней, на наш взгляд, было бы провести такие исследования для разных ландшафтов, чтобы понять, где мы можем рассчитывать на повышение разрешения, а где нет.

#погода

Нечто подобное (см. ниже) мы тоже делали. Правда у нас был диапазон поуже и разрешение получше https://cyberleninka.ru/article/n/algoritm-monitoringa-ekologicheskogo-sostoyaniya-pribrezhnyh-akvatoriy-v-rayone-ih-intensivnogo-hozyaystvennogo-ispolzovaniya/pdf 👩‍🚀
Не все мы прос..ли пока, не все…

NASA опубликовало первые данные научной миссии PACE [ссылка]

На прошлой неделе NASA опубликовало первые научные данные со спутника Plankton, Aerosol, Cloud, ocean Ecosystem (PACE), запущенного в начале февраля.

PACE оснащён гиперспектрометром Ocean Color Instrument (OCI), который позволит учёным изучать микроскопическую жизнь в океане и, в частности, дифференцировать различные сообщества фитопланктона, что раньше было невозможно. Кроме того, аппарат снабжён поляриметрами для измерения атмосферных аэрозолей. Таким образом, с помощью PACE можно будет исследовать взаимодействие океана и атмосферы.

📸 На первом снимке OCI, полученном 28 февраля 2024 года в океане у побережья Южной Африки, можно увидеть два сообщества фитопланктона. В центре розовым цветом показаны синехококки, а зеленым — пикоэукариоты. Слева показан океан в комбинации “естественные цвета”, а справа — концентрация хлорофилла-а, фотосинтетического пигмента, используемого для определения присутствия фитопланктона.

🛢 Данные PACE
🖥 Запись вебинара “Keeping PACE: Introduction to PACE Mission, Products, and Data Discovery”

#океан #вода #гиперспектр

#BSD
Раньше считалось, что тот кто может установить на свой ноутбук OpenBSD с первого раза (тогда у меня была 3.5) может укрываться своей бородой.
А я полысел 🤪

A LOOK AT THE SOVIET SPACE NUCLEAR POWER PROGRAM

https://nuke.fas.org/space/sovspace.pdf