Сервер AI Neural Matrix 4U Enterprise AI GPU – 6× NVIDIA RTX PRO 6000 Blackwell 96GB с настраиваемым полносистемным водяным охлаждением
64-ядерный ЦП • 128 потоков • 6× RTX PRO 6000 Blackwell • 576GB GPU VRAM • 512GB DDR5 ECC • 8TB Gen5 NVMe • Мощность БП 10 000 Вт • Настраиваемое водяное охлаждение ЦП + ГП
Экстремальные вычисления ИИ с несколькими ГП на платформе 4U высокой плотности
AI Neural Matrix 4U Enterprise AI GPU Server — это высокопроизводительная вычислительная платформа ГП высокой плотности, разработанная для требовательных задач в области искусственного интеллекта, машинного обучения, глубокого обучения, генеративного ИИ, больших языковых моделей, вывода ИИ, компьютерного зрения, высокопроизводительных вычислений, научных вычислений, инженерного моделирования, профессиональной визуализации и корпоративных нагрузок ГП.
Эта экстремальная конфигурация сочетает AMD Ryzen Threadripper PRO 9985WX с 64 ядрами ЦП и 128 потоками с 6× NVIDIA RTX PRO 6000 Blackwell GPU, каждый из которых оснащен 96GB GDDR7 профессиональной памятью ГП.
Вместе шесть ГП обеспечивают впечатляющие 576GB объединенной физической GPU VRAM, создавая исключительную многопроцессорную вычислительную платформу для разработки, обучения, тонкой настройки, вывода моделей ИИ, генеративного ИИ, рендеринга, симуляции, научных вычислений и других нагрузок, ускоряемых ГП.
Система комплектуется 512GB DDR5 ECC 5600MHz памяти, 8TB PCIe Gen5 NVMe накопителем, 5× блоками питания 2000W 80 PLUS Platinum и настраиваемым полносистемным решением для водяного охлаждения, разработанным для ЦП и шести высокопроизводительных ГП.
AI Neural Matrix – Создан для экстремальных многопроцессорных ИИ-вычислений
Конфигурация AI Neural Matrix 4U с 6 ГП разработана для организаций, предприятий, разработчиков, исследователей и профессиональных пользователей, которым требуется значительно большая вычислительная мощность ГП, чем могут предоставить обычные рабочие станции или системы с двумя и четырьмя ГП.
Благодаря шести профессиональным NVIDIA RTX PRO 6000 Blackwell GPU, платформа предоставляет значительные параллельные ресурсы ГП для обучения ИИ, разработки LLM, тонкой настройки, вывода, генеративного ИИ, компьютерного зрения, рендеринга, симуляции, научных вычислений и HPC.
Сочетание 64-ядерного / 128-потокового ЦП, 6× 96GB профессиональных ГП, 576GB объединенной физической GPU VRAM, 512GB ECC системной памяти, 8TB Gen5 NVMe накопителя и настраиваемого полносистемного жидкостного охлаждения создает экстремальную профессиональную платформу для требовательных нагрузок ИИ, HPC и ускоряемых ГП.
576GB Объединенной физической GPU VRAM
Система включает 6× NVIDIA RTX PRO 6000 Blackwell GPU, с 96GB GDDR7 памяти на каждый ГП.
Это обеспечивает 576GB объединенной физической GPU VRAM для всех шести ГП.
| ГП |
Память ГП |
Физическая VRAM |
| NVIDIA RTX PRO 6000 Blackwell #1 |
96GB GDDR7 |
96GB |
| NVIDIA RTX PRO 6000 Blackwell #2 |
96GB GDDR7 |
96GB |
| NVIDIA RTX PRO 6000 Blackwell #3 |
96GB GDDR7 |
96GB |
| NVIDIA RTX PRO 6000 Blackwell #4 |
96GB GDDR7 |
96GB |
| NVIDIA RTX PRO 6000 Blackwell #5 |
96GB GDDR7 |
96GB |
| NVIDIA RTX PRO 6000 Blackwell #6 |
96GB GDDR7 |
96GB |
| Всего |
576GB |
576GB Объединенной физической GPU VRAM |
Важно: Показатель 576GB представляет собой объединенную физическую VRAM, установленную на шести ГП. Она не представляется автоматически программному обеспечению как единый пул памяти объемом 576GB. Каждый ГП имеет свою собственную 96GB VRAM, и фактическое использование памяти несколькими ГП зависит от приложения, фреймворка и архитектуры рабочей нагрузки.
Настраиваемое полносистемное водяное охлаждение для ЦП и шести ГП
Одной из определяющих особенностей платформы AI Neural Matrix 4U является ее настраиваемая полносистемная архитектура водяного охлаждения.
Шесть высокопроизводительных профессиональных ГП, работающих вместе с 64-ядерным / 128-потоковым ЦП класса рабочей станции, могут генерировать значительные тепловые нагрузки во время длительных нагрузок по обучению ИИ, выводу, рендерингу, симуляции и HPC.
Настраиваемая система жидкостного охлаждения предназначена для прямой передачи тепла от ЦП и ГП через специальные охлаждающие блоки и специально разработанный жидкостный контур.
Это обеспечивает выделенный путь теплопередачи для основных тепловыделяющих компонентов и особенно ценно на платформе 4U с шестью ГП высокой плотности.
Почему водяное охлаждение важно для 6-GPU AI сервера
AI-сервер с шестью ГП предъявляет значительно более высокие требования к своей системе охлаждения, чем обычная настольная рабочая станция или сервер с одним ГП.
Когда шесть ГП и ЦП с большим количеством ядер работают одновременно при высокой загрузке, значительное тепло может выделяться непрерывно в течение длительных периодов. Эффективное управление этим теплом важно для поддержания стабильных рабочих условий во время длительных нагрузок.
- Прямая жидкостная теплопередача: Специальные охлаждающие блоки передают тепло от ЦП и ГП в жидкостный контур.
- Управление тепловыделением шести ГП: Архитектура охлаждения разработана с учетом объединенных тепловых требований шести высокопроизводительных ГП и ЦП.
- Длительные нагрузки ИИ: Разработан для требовательных нагрузок по обучению ИИ, выводу, рендерингу, симуляции и HPC.
- Реализация 4U высокой плотности: Жидкостное охлаждение обеспечивает дополнительный путь теплопередачи в компактной стоечной архитектуре.
- Постоянное управление тепловыделением: Помогает управлять температурами компонентов во время продолжительных нагрузок с высокой загрузкой.
- Профессиональная инфраструктура: Подходит для корпоративного ИИ, HPC, исследований и профессиональных вычислительных сред ГП с соответствующей инфраструктурой.
Настраиваемое водяное охлаждение против традиционного воздушного охлаждения
| Характеристика |
Традиционное воздушное охлаждение |
Настраиваемое водяное охлаждение |
| Передача тепла |
В основном полагается на радиаторы и большой объем воздушного потока |
Жидкость передает тепло через специальные охлаждающие блоки ЦП/ГП |
| Охлаждение 6 ГП |
Требует очень большого воздушного потока в корпусе и тщательного теплового проектирования |
Выделенная архитектура жидкостного охлаждения, разработанная для ЦП + шести ГП |
| Длительные нагрузки ИИ |
Сильно зависит от воздушного потока и условий окружающей среды |
Разработано для длительного управления тепловыделением |
| Высокая плотность ГП |
Воздушный поток становится все более сложным по мере увеличения плотности ГП |
Обеспечивает выделенный жидкостный путь теплопередачи для основных компонентов |
| Охлаждение ЦП + ГП |
Множественные воздушные кулеры и большой объем воздушного потока в корпусе |
Настраиваемая архитектура охлаждения, разработанная для всей платформы |
| Тепловая плотность |
Все больше зависит от конструкции воздушного потока |
Прямая жидкостная теплопередача от ЦП и ГП |
Примечание: Фактические температуры, акустические характеристики и устойчивая производительность зависят от рабочей нагрузки, температуры окружающей среды, воздушного потока, реализации жидкостного охлаждения, конструкции хладагента и среды установки.
Почему настраиваемое водяное охлаждение вместо стандартного AIO?
Стандартный AIO кулер, как правило, предназначен для охлаждения одного ЦП. Профессиональный AI-сервер с шестью ГП требует значительно иной тепловой архитектуры, поскольку ЦП и несколько ГП могут работать одновременно при высокой загрузке.
AI Neural Matrix использует настраиваемую полносистемную архитектуру водяного охлаждения, разработанную для полной конфигурации ЦП и шести ГП.
- Управление тепловыделением ЦП + шести ГП
- Настраиваемая архитектура контура охлаждения
- Специальные охлаждающие блоки для ГП
- Разработан для многопроцессорных ИИ-нагрузок высокой плотности
- Подходит для длительных нагрузок ИИ
- Профессиональная реализация в стоечном исполнении 4U
- Архитектура охлаждения, разработанная для всей платформы
64-ядерный / 128-потоковый AMD Ryzen Threadripper PRO 9985WX
AMD Ryzen Threadripper PRO 9985WX обеспечивает 64 ядра ЦП и 128 потоков, предоставляя существенную вычислительную мощность со стороны ЦП для требовательных профессиональных рабочих нагрузок.
Большое количество ядер ЦП особенно ценно для подготовки данных ИИ, предварительной обработки, вычислений на основе ЦП, научных вычислений, виртуализации, симуляции, рендеринга, компиляции и рабочих нагрузок, работающих параллельно с несколькими ускорителями ГП.
В сочетании с шестью RTX PRO 6000 Blackwell GPU платформа обеспечивает мощный баланс между вычислительной мощностью ЦП и экстремальным ускорением несколькими ГП.
512GB DDR5 ECC 5600MHz Память
Система включает 512GB DDR5 ECC 5600MHz системной памяти, предоставляя большой высокоскоростной пул памяти для профессиональных нагрузок ИИ, HPC и вычислений.
Память ECC особенно ценна в профессиональных средах, где целостность данных и стабильность системы важны во время длительных рабочих нагрузок.
Емкость 512GB обеспечивает значительный запас для больших наборов данных, предварительной обработки ИИ, виртуализации, научных приложений, рабочих процессов с крупномасштабными моделями и многопользовательских вычислительных сред.
8TB PCIe Gen5 NVMe Накопитель
AI Neural Matrix включает 8TB PCIe Gen5 NVMe накопителя, предоставляя высокоскоростную локальную емкость хранения для наборов данных ИИ, файлов моделей, контрольных точек, приложений, временных рабочих нагрузок, проектов рендеринга и профессиональных вычислительных данных.
В конфигурации используются 2× 4TB PCIe Gen5 NVMe SSD, обеспечивающие общую емкость хранения 8TB.
Накопитель Gen5 NVMe обеспечивает быстрый доступ к данным для рабочих нагрузок, которые непрерывно перемещают большие наборы данных между хранилищем и системной памятью.
Емкость 8TB особенно полезна для пользователей, работающих с большими наборами данных ИИ, несколькими моделями, контрольными точками обучения, проектами рендеринга и рабочими нагрузками научных вычислений.
5× 2000W 80 PLUS Platinum Блоки питания
Представленная система использует 5× 2000W 80 PLUS Platinum блоки питания, обеспечивая высокоемкую архитектуру питания для полной конфигурации сервера с шестью ГП.
Архитектура питания разработана для поддержки 64-ядерного ЦП, шести профессиональных ГП, памяти, накопителя, системы охлаждения и других компонентов сервера.
Важное требование к питанию
Пять блоков питания по 2000W обеспечивают до 10 000W номинальной мощности БП. Эта цифра представляет собой объединенную номинальную мощность БП и не должна интерпретироваться как фактическое энергопотребление сервера. Фактическое энергопотребление зависит от системной нагрузки, загрузки ГП, конфигурации БП, рабочей нагрузки и настроек управления питанием. Перед развертыванием необходимо подтвердить соответствующую электрическую инфраструктуру.
Разработан для крупномасштабного ИИ, глубокого обучения и HPC
| Рабочая нагрузка |
Возможности |
Приложения |
| Генеративный ИИ |
Крупномасштабное ускорение ИИ с несколькими ГП |
Генеративный ИИ, RAG и корпоративные ИИ-приложения |
| Большие языковые модели |
576GB объединенной физической GPU VRAM |
Разработка моделей, обучение, тонкая настройка и вывод |
| Глубокое обучение |
Параллельная обработка шестью ГП |
Нейронные сети, компьютерное зрение и NLP |
| Вывод ИИ |
Высокопроизводительный вывод ИИ с несколькими ГП |
Корпоративные ИИ-сервисы и производственный вывод |
| HPC |
Высокопроизводительные вычисления ЦП + ГП |
Научные вычисления и инженерное моделирование |
| Профессиональная визуализация |
Рендеринг и визуализация с несколькими ГП |
3D-рендеринг, VFX, CAD и визуализация |
| Научные исследования |
Высокопроизводительные параллельные вычисления |
Моделирование, исследования и численные нагрузки |
Серверная, офис, лаборатория ИИ или частный центр обработки данных
AI Neural Matrix 4U разработан как профессиональный стоечный сервер с шестью ГП высокой плотности и может быть развернут в различных профессиональных средах.
- Корпоративные серверные
- Корпоративные ИТ-комнаты
- Частные центры обработки данных
- Исследовательские лаборатории ИИ
- Научно-исследовательские учреждения университетов
- Инженерные объекты
- Профессиональные вычислительные среды
- Выделенные ИТ-зоны в офисе
Можно ли использовать в офисе?
Да. Сервер может быть развернут в офисной среде при наличии подходящей выделенной ИТ/серверной зоны с достаточной электрической мощностью, кондиционированием воздуха, вентиляцией и стоечной инфраструктурой.
Поскольку это платформа с шестью ГП высокой плотности, мы настоятельно рекомендуем использовать выделенную серверную или ИТ-комнату для непрерывных ИИ-нагрузок высокой интенсивности, а не размещать систему непосредственно рядом с сотрудниками в открытом офисном пространстве.
Водяное охлаждение улучшает архитектуру теплопередачи сервера, но оно не делает сервер безвыделяющим тепло. Тепло, выделяемое ЦП и ГП, в конечном итоге должно отводиться в окружающую среду. Поэтому по-прежнему требуются надлежащие системы ОВКВ, вентиляция и управление температурой на уровне помещения.
Почему стоит выбрать AI Neural Matrix с 6 ГП?
Конфигурация с 6 ГП обеспечивает исключительное сочетание вычислительной мощности ГП, памяти ГП, вычислительной мощности ЦП, системной памяти, емкости хранилища и архитектуры сервера высокой плотности.
| Конфигурация |
Объединенная физическая GPU VRAM |
Рекомендуемое размещение |
| 1× RTX PRO 6000 |
96GB |
Профессиональная разработка ИИ / Вывод |
| 2× RTX PRO 6000 |
192GB |
Профессиональный многопроцессорный ИИ |
| 4× RTX PRO 6000 |
384GB |
Высокопроизводительный ИИ / HPC |
| 6× RTX PRO 6000 |
576GB |
Экстремальный ИИ / HPC / Корпоративные вычисления |
| 8× RTX PRO 6000* |
768GB |
Корпоративный ИИ максимальной плотности |
*Конфигурации с большим количеством ГП зависят от выбранной материнской платы, корпуса, размеров ГП, топологии PCIe, подсистемы питания и архитектуры охлаждения. Доступность и совместимость должны быть подтверждены для каждой конфигурации.
Конфигурация с шестью ГП особенно привлекательна для организаций, которым требуется значительно большая емкость ГП, чем у платформы с двумя или четырьмя ГП, при сохранении компактной стоечной архитектуры 4U.
Идеальные применения
- Разработка больших языковых моделей
- Вывод больших языковых моделей
- Генеративный ИИ
- Обучение моделей ИИ
- Тонкая настройка моделей ИИ
- Генерация с дополненным поиском (RAG)
- Глубокое обучение
- Компьютерное зрение
- Обработка естественного языка
- Мультимодальный ИИ
- Корпоративный вывод ИИ
- Научные вычисления
- Высокопроизводительные вычисления
- Инженерное моделирование
- Численные вычисления
- VFX и анимация
- Профессиональная визуализация
- Исследования в области ИИ
- Университетские исследования
- Частная инфраструктура ИИ
- Виртуализация ГП
- Многопользовательские вычисления ГП
- Платформы для разработки ИИ
- Корпоративная инфраструктура ГП
- Крупномасштабный вывод ИИ
- Профессиональные вычисления ГП
- Обслуживание моделей ИИ
- Машинное обучение с несколькими ГП
- Корпоративная инфраструктура ИИ
Ключевые характеристики
| ЦП |
AMD Ryzen Threadripper PRO 9985WX – 64 ядра / 128 потоков |
| Архитектура ЦП |
AMD Zen 5 – платформа sTR5 |
| ГП |
6× NVIDIA RTX PRO 6000 Blackwell – 96GB GDDR7 каждый |
| Общая GPU VRAM |
576GB Объединенной физической GPU VRAM |
| Системная память |
512GB DDR5 ECC 5600MHz |
| Накопитель |
2× 4TB PCIe Gen5 NVMe SSD – Всего 8TB |
| Форм-фактор |
Сервер ГП 4U высокой плотности |
| Охлаждение |
Настраиваемое полносистемное водяное охлаждение для ЦП и шести ГП |
| Блок питания |
5× 2000W 80 PLUS Platinum БП |
| Общая мощность БП |
10 000W Номинальная мощность БП |
| Конфигурация ГП |
6× NVIDIA RTX PRO 6000 Blackwell 96GB |
| Масштабируемость ГП |
Архитектура платформы может быть настроена до 8 ГП, при условии совместимости |
| Операционные системы |
Linux / Windows Server |
Часто задаваемые вопросы
1. Сколько ГП включено?
Эта конфигурация включает 6× NVIDIA RTX PRO 6000 Blackwell GPU, с 96GB GDDR7 памяти на каждый ГП.
2. Какой объем памяти ГП у сервера?
Шесть ГП обеспечивают 576GB объединенной физической GPU VRAM. Каждый отдельный ГП имеет свою собственную 96GB VRAM.
3. Является ли 576GB памяти ГП единым пулом памяти?
Нет. 576GB представляет собой объединенную физическую VRAM, установленную на шести ГП. Каждый ГП имеет свою собственную 96GB VRAM. Приложения должны поддерживать соответствующую работу с несколькими ГП для распределения рабочих нагрузок между ГП.
4. Какой ЦП включен?
Система включает AMD Ryzen Threadripper PRO 9985WX, обеспечивающий 64 ядра ЦП и 128 потоков.
5. Почему этот сервер использует водяное охлаждение?
Шесть высокопроизводительных профессиональных ГП в сочетании с ЦП с большим количеством ядер могут генерировать значительное тепло во время длительных нагрузок ИИ. Настраиваемая архитектура водяного охлаждения обеспечивает выделенный путь теплопередачи для ЦП и ГП.
6. Водяное охлаждение лучше обычного воздушного?
Для высокопроизводительного сервера с шестью ГП настраиваемое водяное охлаждение может обеспечить преимущества в теплопередаче и длительном управлении тепловыделением по сравнению с полным использованием традиционного воздушного охлаждения. Фактические температуры и производительность зависят от рабочей нагрузки, условий окружающей среды, воздушного потока и реализации охлаждения.
7. Это просто стандартный кулер AIO для ЦП?
Нет. Платформа использует настраиваемую полносистемную архитектуру водяного охлаждения, разработанную для конфигурации ЦП и шести ГП, а не обычный однокомпонентный кулер AIO для ЦП.
8. Могу ли я использовать это в офисе?
Да. Он может быть установлен в офисе при наличии подходящей выделенной ИТ/серверной зоны с достаточной электрической мощностью, кондиционированием воздуха, вентиляцией и стоечной инфраструктурой.
9. Требуется ли для него центр обработки данных?
Нет. Система не требует специализированного центра обработки данных по умолчанию. Ее можно развернуть в подходящей серверной комнате, корпоративной ИТ-комнате, лаборатории ИИ, исследовательском центре или частном центре обработки данных. Установка должна обеспечивать адекватное питание, охлаждение и вентиляцию.
10. Может ли он выполнять непрерывные рабочие нагрузки ИИ?
Система предназначена для требовательных длительных нагрузок, включая обучение ИИ, вывод, HPC, научные вычисления и профессиональный рендеринг. Фактические условия эксплуатации зависят от рабочей нагрузки, температуры окружающей среды, электрической инфраструктуры и конфигурации охлаждения.
11. Почему выбраны шесть ГП вместо четырех?
Шесть ГП обеспечивают значительно большие параллельные ресурсы ГП, чем конфигурация с четырьмя ГП, и увеличивают доступный объединенный объем физической GPU памяти до 576GB. Это делает платформу особенно привлекательной для разработки, обучения, вывода, исследований, рендеринга и высокопроизводительных вычислительных нагрузок с несколькими ГП.
12. Подходит ли это для LLM?
Да. Сочетание шести 96GB профессиональных ГП обеспечивает 576GB объединенной физической GPU VRAM, что делает платформу хорошо подходящей для соответствующим образом разработанных нагрузок по разработке, обучению, тонкой настройке и выводу LLM с несколькими ГП.
13. Можно ли настроить систему?
Да. В зависимости от доступности платформы и компонентов, система может быть настроена с различными конфигурациями ГП, памятью, накопителем, сетевыми возможностями, подсистемой питания и опциями охлаждения.
14. Означает ли 576GB, что я могу загрузить модель размером 576GB непосредственно на один ГП?
Нет. Каждый RTX PRO 6000 Blackwell GPU имеет свою собственную 96GB VRAM. Показатель 576GB — это объединенная физическая VRAM на шести ГП. Большие модели могут использовать несколько ГП, если это поддерживается программным обеспечением, фреймворком и архитектурой модели.
15. Это мощнее обычной высокопроизводительной рабочей станции?
AI Neural Matrix разработан как профессиональный многопроцессорный сервер высокой плотности, а не как обычная настольная рабочая станция. Его архитектура с шестью ГП, 576GB объединенной физической GPU VRAM, 64-ядерный ЦП, 512GB ECC памяти, высокоемкая архитектура питания и настраиваемое жидкостное охлаждение делают его особенно подходящим для профессионального ИИ, HPC и корпоративной инфраструктуры вычислений ГП.
16. Может ли платформа поддерживать больше ГП в будущем?
Платформа может быть запланирована для будущего расширения ГП в зависимости от выбранной материнской платы, корпуса, топологии PCIe, размеров ГП, подсистемы питания и архитектуры охлаждения. Конфигурации с большим количеством ГП должны быть подтверждены на совместимость перед развертыванием.
AI Neural Matrix – Экстремальная инфраструктура ИИ с 6 ГП
AI Neural Matrix 4U сочетает 64-ядерный / 128-потоковый AMD Ryzen Threadripper PRO 9985WX, 6× NVIDIA RTX PRO 6000 Blackwell 96GB GPU, 576GB объединенной физической GPU VRAM, 512GB DDR5 ECC памяти, 8TB Gen5 NVMe накопителя, высокоемкую многоблочную систему питания и настраиваемое полносистемное водяное охлаждение.
Он разработан для организаций, которым нужна экстремальная профессиональная вычислительная платформа ИИ для разработки LLM, генеративного ИИ, глубокого обучения, обучения моделей, вывода, компьютерного зрения, научных вычислений, HPC, рендеринга и профессиональных нагрузок ГП.
Компактная архитектура 4U обеспечивает высокую плотность ГП, а настраиваемая архитектура жидкостного охлаждения предназначена для управления тепловыми требованиями ЦП и шести ГП во время требовательных длительных нагрузок.
Система может быть развернута в корпоративных серверных, корпоративных ИТ-средах, лабораториях ИИ, исследовательских учреждениях и частных центрах обработки данных, при условии наличия необходимых требований к электроснабжению, ОВКВ и инфраструктуре.
6 ГП. 576GB физической GPU VRAM. 64 ядра ЦП. Настраиваемое жидкостное охлаждение. Создано для экстремальных вычислений ИИ.
