ERNIE-4.5-300B-A47B — языковая модель на основе Mixture-of-Experts (MoE) с 300 млрд параметров, разработанная компанией Baidu в рамках серии ERNIE 4.5. На каждом токене она активирует по 47 млрд параметров и поддерживает генерацию текста на английском и китайском языках. Модель оптимизирована для высокопроизводительного вывода и эффективного масштабирования, использует гетерогенную MoE-архитектуру с продвинутыми алгоритмами маршрутизации и квантования, включая форматы FP8 и 2-битную квантизацию. Эта версия дообучена исключительно для языковых задач и поддерживает логические рассуждения, работу с параметрами внешних инструментов и расширенный контекст до 131 000 токенов. Отлично подходит для универсальных LLM-приложений с высокими требованиями к рассуждению и пропускной способности.
