🦅 Falcon 180B is here!

In terms of capabilities, Falcon 180B achieves state-of-the-art results across natural language tasks. It tops the leaderboard for (pre-trained) open-access models and rivals proprietary models like PaLM-2.

Falcon 180B устанавливает новый уровень для открытых моделей. Это самая большая открытая языковая модель со 180 миллиардами параметров, которая была обучена на огромном массиве данных TII RefinedWeb, насчитывающем 3,5 триллиона лексем. Это самый продолжительный период предварительного обучения открытой модели на одной эпохе.

🤗 HF: https://huggingface.co/blog/falcon-180b

🖥 Github: https://github.com/huggingface/blog/blob/main/falcon-180b.md

📕 Demo: https://huggingface.co/spaces/tiiuae/falcon-180b-demo

ai_machinelearning_big_data

💻PyGraft: Configurable Generation of Schemas and Knowledge Graphs at Your Fingertips

PyGraft - инструмент на базе Python, позволяющий генерировать специализированные схемы и графы знаний, не зависящие от конкретной области.

🖥 Github: https://github.com/nicolas-hbt/pygraft

📕 Paper: https://arxiv.org/abs/2309.03685

⭐️ Docs: https://pygraft.readthedocs.io/en/latest/

ai_machinelearning_big_data

⚡Intel® Neural Compressor

Intel® Neural Compressor , targeting to provide unified APIs for network compression technologies

Intel® Neural Compressor - фреймворк для сжатия моделей, который позволяет проводить квантование, обрезку (sparsity), дистилляцию и поиск архитектуры нейронной сети. СОвместим с TensorFlow, PyTorch, ONNX Runtime и MXNet.

pip install neural-compressor

🖥 Github: https://github.com/intel/neural-compressor

📂 Docs: https://intel.github.io/neural-compressor

📕 Paper: https://arxiv.org/abs/2309.05516v1

⭐️ Dataset: https://paperswithcode.com/dataset/lambada

ai_machinelearning_big_data

🔥 Introducing Würstchen: Fast Diffusion for Image Generation

Diffusion model, whose text-conditional component works in a highly compressed latent space of images

Würstchen - это диффузионная модель, которой работает в сильно сжатом латентном пространстве изображений.

Почему это важно? Сжатие данных позволяет на порядки снизить вычислительные затраты как на обучение, так и на вывод модели.

Обучение на 1024×1024 изображениях гораздо затратное, чем на 32×32. Обычно в других моделях используется сравнительно небольшое сжатие, в пределах 4x - 8x пространственного сжатия.

Благодаря новой архитектуре достигается 42-кратное пространственное сжатие!

🤗 HF: https://huggingface.co/blog/wuertschen

📝 Paper: https://arxiv.org/abs/2306.00637

📕 Docs: hhttps://huggingface.co/docs/diffusers/main/en/api/pipelines/wuerstchen

🚀 Demo: https://huggingface.co/spaces/warp-ai/Wuerstchen

ai_machinelearning_big_data