Skymizer представила ИИ-ускоритель HTX301
Главной особенностью стала возможность запуска крупных языковых моделей объемом до 700 миллиардов параметров на одной плате расширения при энергопотреблении всего 240 Вт. Для сравнения, флагманские PCIe-ускорители, такие как NVIDIA RTX PRO 6000 Blackwell или AMD Instinct MI350P, потребляют около 600 Вт.
HTX301 является первым ИИ-чипом для вывода, созданным на базе архитектуры HyperThought. Платформа использует процессоры LPU (Language Processing Unit) нового поколения, специально оптимизированные под работу с LLM, обеспечивая аппаратное ускорение декодирования и унифицированную обработку процессов.
Конструктивно плата расширения вмещает шесть чипов HTX301. Несмотря на использование относительно старого 28-нанометрового техпроцесса, по заявлению производителя, один такой чип способен обрабатывать 30 токенов в секунду при производительности всего 0,5 TOPS и пропускной способности памяти 100 ГБ/с.
Восьмиядерная конфигурация LPU в тестах модели Llama2 7B (на этапе предварительного заполнения) выдает 240 токенов в секунду. Благодаря высокой масштабируемости объединение нескольких чипов позволяет достичь скорости до 1200 токенов в секунду.
Для работы с памятью было решено отказаться от дорогостоящих стандартов вроде HBM, GDDR6/7 или LPDDR5X. На плате размещено до 384 ГБ обычной оперативной памяти LPDDR4 и LPDDR5. Это стало возможным благодаря внедрению эффективных алгоритмов сжатия данных:
- Сжатие весов превосходит показатели открытого решения llama.cpp на 9–17,8%
- Сжатие KV-кэша происходит с минимальной потерей качества (падение показателя перплексии составляет лишь от 0,06% до 3,52%)
Официальная демонстрация возможностей ускорителя HTX301 должна состояться на предстоящей выставке Computex.
Залогиньтесь, чтобы писать комментарии