AI Neural Matrix 4U Enterprise AI GPU Server – 2× NVIDIA RTX PRO 6000 Blackwell 96GB с индивидуальной полносистемной системой водяного охлаждения
64-ядерный CPU • 128 потоков • 2× RTX PRO 6000 Blackwell • 192GB GPU VRAM • 256GB DDR5 ECC • 4TB Gen5 NVMe • 10,000W Мощность БП • Индивидуальное водяное охлаждение CPU + GPU
Профессиональные AI-вычисления на высокоплотной 4U платформе
AI Neural Matrix 4U Enterprise AI GPU Server — это профессиональная высокопроизводительная платформа для GPU-вычислений, разработанная для требовательных задач в области искусственного интеллекта, машинного обучения, глубокого обучения, генеративного ИИ, больших языковых моделей, ИИ-инференса, компьютерного зрения, высокопроизводительных вычислений (HPC), научных вычислений, инженерного моделирования, профессиональной визуализации и корпоративных GPU-нагрузок.
Эта конфигурация сочетает AMD Ryzen Threadripper PRO 9985WX с 64 процессорными ядрами и 128 потоками с 2× NVIDIA RTX PRO 6000 Blackwell GPU, каждый из которых оснащен 96GB GDDR7 профессиональной GPU-памяти.
Вместе два GPU обеспечивают впечатляющие 192GB объединенной физической GPU VRAM, создавая мощную многопроцессорную вычислительную платформу для разработки моделей ИИ, инференса, тонкой настройки, рендеринга, моделирования, научных вычислений и других GPU-ускоренных нагрузок.
Система дополнена 256GB DDR5 ECC 5600MHz памяти, 4TB PCIe Gen5 NVMe хранилища, 5× 2000W 80 PLUS Platinum блоками питания и индивидуальным полносистемным решением для водяного охлаждения, разработанным для CPU и двух высокопроизводительных GPU.
AI Neural Matrix – Профессиональные 2-GPU AI-вычисления
Конфигурация AI Neural Matrix 4U с 2 GPU разработана для организаций, разработчиков, исследователей и профессиональных пользователей, которым требуется значительно большая вычислительная мощность GPU, чем у обычной рабочей станции, при сохранении компактной профессиональной стоечной архитектуры 4U.
С двумя профессиональными NVIDIA RTX PRO 6000 Blackwell GPU платформа предоставляет мощные параллельные GPU-ресурсы для обучения ИИ, разработки LLM, тонкой настройки, инференса, генеративного ИИ, компьютерного зрения, рендеринга, моделирования и научных вычислений.
Сочетание 64-ядерного / 128-потокового CPU, 2× 96GB профессиональных GPU, 192GB объединенной физической GPU VRAM, 256GB системной памяти ECC, 4TB Gen5 NVMe хранилища и индивидуального полносистемного жидкостного охлаждения создает сбалансированную профессиональную платформу для требовательных задач ИИ и GPU-ускоренных нагрузок.
192GB объединенной физической GPU VRAM
Система включает 2× NVIDIA RTX PRO 6000 Blackwell GPU, с 96GB GDDR7 памяти на каждый GPU.
Это обеспечивает 192GB объединенной физической GPU VRAM для двух GPU.
| GPU | Память GPU | Физическая VRAM |
|---|
| NVIDIA RTX PRO 6000 Blackwell #1 | 96GB GDDR7 | 96GB |
| NVIDIA RTX PRO 6000 Blackwell #2 | 96GB GDDR7 | 96GB |
| Итого | 192GB | 192GB объединенной физической GPU VRAM |
Важно: Показатель 192GB представляет собой объединенную физическую VRAM, установленную на двух GPU. Она не автоматически представляется программному обеспечению как единый пул памяти объемом 192GB. Фактическое использование памяти нескольких GPU зависит от приложения, фреймворка, межсоединения GPU и архитектуры рабочей нагрузки.
Индивидуальное полносистемное водяное охлаждение для CPU и двух GPU
Одной из определяющих особенностей платформы AI Neural Matrix является ее индивидуальная полносистемная архитектура водяного охлаждения.
Два высокопроизводительных профессиональных GPU, работающих совместно с 64-ядерным / 128-потоковым CPU класса рабочей станции, могут генерировать значительные тепловые нагрузки во время длительных рабочих нагрузок по обучению ИИ, инференсу, рендерингу, моделированию и HPC.
Индивидуальная система жидкостного охлаждения предназначена для прямого отвода тепла от CPU и GPU через выделенные охлаждающие блоки и специально разработанный жидкостный контур.
Это обеспечивает выделенный путь теплоотвода для основных тепловыделяющих компонентов и особенно ценно в высокопроизводительной 4U многопроцессорной платформе.
Почему водяное охлаждение важно для профессионального AI-сервера с 2 GPU
AI-сервер с двумя GPU может быть проще охладить, чем экстремальную платформу с четырьмя, шестью или семью GPU, но профессиональные рабочие нагрузки ИИ все равно могут создавать значительные постоянные тепловые нагрузки.
Когда оба GPU и 64-ядерный CPU работают одновременно с высокой загрузкой, значительное количество тепла может генерироваться непрерывно в течение длительных периодов. Эффективное управление этим теплом важно для поддержания стабильных рабочих условий.
- Прямая жидкостная теплопередача: Выделенные охлаждающие блоки передают тепло от CPU и GPU в жидкостный контур.
- Управление температурой нескольких GPU: Архитектура охлаждения разработана с учетом совокупных тепловых требований двух высокопроизводительных GPU и CPU.
- Длительные AI-нагрузки: Разработана для требовательных рабочих нагрузок по обучению ИИ, инференсу, рендерингу, моделированию и HPC.
- Высокоплотная 4U реализация: Жидкостное охлаждение обеспечивает дополнительный путь теплоотвода в компактной стоечной архитектуре.
- Последовательное управление температурой: Помогает управлять температурами компонентов во время продолжительных рабочих нагрузок с высокой загрузкой.
- Профессиональная инфраструктура: Подходит для корпоративного ИИ, HPC, исследований и профессиональных сред GPU-вычислений с соответствующей инфраструктурой.
Индивидуальное водяное охлаждение против обычного воздушного охлаждения
| Особенность | Обычное воздушное охлаждение | Индивидуальное водяное охлаждение |
|---|
| Теплопередача | В основном полагается на радиаторы и большой объем воздушного потока | Жидкость передает тепло через выделенные охлаждающие блоки CPU/GPU |
| Охлаждение 2-х GPU | Требует значительного воздушного потока в корпусе и тщательного теплового проектирования | Выделенная архитектура жидкостного охлаждения, разработанная для CPU + двух GPU |
| Длительные AI-нагрузки | Сильно зависит от воздушного потока и условий окружающей среды | Разработано для длительного управления температурой |
| Высокая плотность GPU | Воздушный поток становится все более важным по мере увеличения плотности GPU | Обеспечивает выделенный жидкостный путь теплоотвода для основных компонентов |
| Охлаждение CPU + GPU | Множество воздушных кулеров и большой объем воздушного потока в корпусе | Индивидуальная архитектура охлаждения, разработанная для всей платформы |
| Тепловая плотность | Все больше зависит от конструкции воздушного потока | Прямая жидкостная теплопередача от CPU и GPU |
Примечание: Фактические температуры, акустические характеристики и устойчивая производительность зависят от рабочей нагрузки, температуры окружающей среды, воздушного потока, реализации жидкостного охлаждения, конструкции хладагента и условий установки.
Почему индивидуальное водяное охлаждение вместо стандартного AIO?
Стандартный AIO кулер обычно предназначен для охлаждения одного CPU. Профессиональный многопроцессорный AI-сервер требует иной тепловой архитектуры, потому что CPU и несколько GPU могут работать с высокой загрузкой одновременно.
AI Neural Matrix использует индивидуальную полносистемную архитектуру водяного охлаждения, разработанную для полной конфигурации CPU и двух GPU.
- Управление температурой CPU + двух GPU
- Архитектура индивидуального контура охлаждения
- Выделенные охлаждающие блоки GPU
- Разработано для многопроцессорных AI-нагрузок
- Подходит для длительных AI-нагрузок
- Профессиональная 4U стоечная реализация
- Архитектура охлаждения, разработанная для всей платформы
64-ядерный / 128-потоковый AMD Ryzen Threadripper PRO 9985WX
AMD Ryzen Threadripper PRO 9985WX обеспечивает 64 процессорных ядра и 128 потоков, предоставляя исключительную вычислительную мощность на стороне CPU для профессиональных рабочих нагрузок.
Основанный на архитектуре AMD Zen 5, Threadripper PRO 9985WX разработан для требовательных профессиональных рабочих нагрузок, требующих значительной процессорной обработки, включая подготовку данных ИИ, предварительную обработку, научные вычисления, виртуализацию, моделирование, рендеринг, компиляцию и рабочие нагрузки, работающие параллельно с GPU-ускорением.
Процессор поддерживает подключение PCIe 5.0 и память DDR5 RDIMM с поддержкой ECC, что делает его хорошо подходящим для профессиональных рабочих станций и вычислительных сред.
В сочетании с двумя RTX PRO 6000 Blackwell GPU платформа обеспечивает мощный баланс между высокопроизводительной обработкой CPU и профессиональным GPU-ускорением.
256GB DDR5 ECC 5600MHz Память
Система включает 256GB системной памяти DDR5 ECC 5600MHz, предоставляя большой высокоскоростной пул памяти для профессиональных AI и вычислительных нагрузок.
Память ECC особенно ценна в профессиональных средах, где целостность данных и стабильность системы важны во время длительных рабочих нагрузок.
Емкость 256GB обеспечивает значительный запас для больших наборов данных, предварительной обработки ИИ, виртуализации, научных приложений и многопользовательских вычислительных сред.
4TB PCIe Gen5 NVMe Хранилище
AI Neural Matrix включает 4TB PCIe Gen5 NVMe хранилища, предоставляя высокоскоростное локальное хранилище для наборов данных ИИ, файлов моделей, контрольных точек, приложений, временных рабочих нагрузок, проектов рендеринга и профессиональных вычислительных данных.
Хранилище Gen5 NVMe обеспечивает высокоскоростной доступ к данным для рабочих нагрузок, которые непрерывно перемещают большие наборы данных между хранилищем и системной памятью.
Емкость 4TB особенно полезна для пользователей, работающих с большими наборами данных ИИ, несколькими моделями, контрольными точками обучения, проектами рендеринга и научными вычислительными нагрузками.
5× 2000W 80 PLUS Platinum Блоков питания
Представленная система использует 5× 2000W 80 PLUS Platinum блоков питания, обеспечивая значительную мощную архитектуру электропитания для полной конфигурации сервера.
Архитектура питания разработана для поддержки CPU, двух профессиональных GPU, памяти, хранилища, системы охлаждения и других компонентов сервера.
Важные требования к питанию
Пять блоков питания по 2000W обеспечивают до 10,000W мощности БП. Эта цифра представляет общую номинальную мощность БП и не должна интерпретироваться как фактическое энергопотребление сервера. Фактическое энергопотребление зависит от системной нагрузки, загрузки GPU, конфигурации БП, рабочей нагрузки и настроек управления питанием. Перед развертыванием необходимо подтвердить наличие соответствующей электрической инфраструктуры.
Профессиональный ИИ, глубокое обучение и GPU-вычисления
| Рабочая нагрузка | Возможность | Приложения |
|---|
| Генеративный ИИ | Профессиональное многопроцессорное ускорение ИИ | Генеративный ИИ, RAG и корпоративные ИИ-приложения |
| Большие языковые модели | 192GB объединенной физической GPU VRAM | Разработка моделей, обучение, тонкая настройка и инференс |
| Глубокое обучение | Двухпроцессорная параллельная обработка | Нейронные сети, компьютерное зрение и NLP |
| Инференс ИИ | Высокопроизводительный многопроцессорный инференс | Корпоративные сервисы ИИ и производственный инференс |
| HPC | Высокопроизводительные вычисления CPU + GPU | Научные вычисления и инженерное моделирование |
| Профессиональная визуализация | Многопроцессорный рендеринг и визуализация | 3D-рендеринг, VFX, CAD и визуализация |
| Научные исследования | Высокопроизводительные параллельные вычисления | Моделирование, исследования и численные рабочие нагрузки |
Серверная комната, офис, лаборатория ИИ или частный центр обработки данных
AI Neural Matrix 4U разработан как профессиональный высокоплотный стоечный GPU-сервер и может быть развернут в различных профессиональных средах.
- Корпоративные серверные комнаты
- Корпоративные ИТ-комнаты
- Частные центры обработки данных
- Научно-исследовательские лаборатории ИИ
- Университетские научно-исследовательские учреждения
- Инженерные сооружения
- Профессиональные вычислительные среды
- Выделенные ИТ-зоны в офисе
Можно ли использовать в офисе?
Да. Сервер может быть развернут в офисной среде при наличии подходящей выделенной ИТ/серверной зоны с достаточной электрической мощностью, кондиционированием воздуха, вентиляцией и стоечной инфраструктурой.
Для непрерывных высоконагруженных рабочих нагрузок ИИ мы настоятельно рекомендуем использовать выделенную серверную или ИТ-комнату, а не размещать систему непосредственно рядом с сотрудниками в открытом офисном пространстве.
Водяное охлаждение улучшает архитектуру теплоотвода сервера, но не делает сервер полностью безтепловым. Тепло, выделяемое CPU и GPU, в конечном итоге должно быть отведено в окружающую среду. Поэтому по-прежнему требуются соответствующие системы ОВКВ и вентиляции.
Почему стоит выбрать AI Neural Matrix с 2 GPU?
Конфигурация с 2 GPU обеспечивает отличный баланс профессиональной вычислительной мощности GPU, памяти GPU, производительности CPU, системной памяти, емкости хранилища и физической плотности сервера.
| Конфигурация | Объединенная физическая GPU VRAM | Рекомендуемое позиционирование |
|---|
| 2× RTX PRO 6000 | 192GB | Профессиональный ИИ / Многопроцессорные вычисления |
| 4× RTX PRO 6000* | 384GB | Высокопроизводительный ИИ / HPC |
| 6× RTX PRO 6000* | 576GB | Экстремальный ИИ / HPC / Исследования |
| 7× RTX PRO 6000* | 672GB | Экстремальный ИИ / Крупномасштабная GPU-инфраструктура |
| 8× RTX PRO 6000* | 768GB | Платформа ИИ / HPC максимальной плотности |
*Более высокие конфигурации GPU зависят от выбранной материнской платы, корпуса, размеров GPU, топологии PCIe, подсистемы питания и архитектуры охлаждения. Доступность и совместимость должны быть подтверждены для каждой конфигурации.
Конфигурация с двумя GPU особенно привлекательна для организаций, которым требуется значительно большая мощность GPU, чем у однопроцессорной рабочей станции, при сохранении профессиональной стоечной архитектуры 4U и предоставлении возможности для будущей настройки платформы, где это поддерживается.
Идеальные приложения
- Разработка больших языковых моделей
- Инференс больших языковых моделей
- Генеративный ИИ
- Обучение моделей ИИ
- Тонкая настройка моделей ИИ
- Генерация с дополнением извлеченных данных (RAG)
- Глубокое обучение
- Компьютерное зрение
- Обработка естественного языка
- Мультимодальный ИИ
- Корпоративный инференс ИИ
- Научные вычисления
- Высокопроизводительные вычисления
- Инженерное моделирование
- Численные вычисления
- VFX и анимация
- Профессиональная визуализация
- Исследования в области ИИ
- Университетские исследования
- Частная инфраструктура ИИ
- Виртуализация GPU
- Многопользовательские GPU-вычисления
- Платформы для разработки ИИ
- Корпоративная инфраструктура GPU
- Крупномасштабный инференс ИИ
- Профессиональные GPU-вычисления
Ключевые характеристики
| CPU | AMD Ryzen Threadripper PRO 9985WX – 64 ядра / 128 потоков |
| Архитектура CPU | AMD Zen 5 – платформа sTR5 |
| GPU | 2× NVIDIA RTX PRO 6000 Blackwell – по 96GB GDDR7 каждый |
| Общая GPU VRAM | 192GB объединенной физической GPU VRAM |
| Системная память | 256GB DDR5 ECC 5600MHz |
| Хранилище | 4TB PCIe Gen5 NVMe SSD |
| Форм-фактор | 4U высокоплотный GPU-сервер |
| Охлаждение | Индивидуальное полносистемное водяное охлаждение для CPU и двух GPU |
| Блок питания | 5× 2000W 80 PLUS Platinum БП |
| Общая мощность БП | 10,000W Мощность БП |
| Масштабируемость GPU | Конфигурируемая архитектура платформы, зависящая от материнской платы, топологии PCIe, корпуса, требований к питанию и охлаждению |
| Операционные системы | Linux / Windows Server |
Часто задаваемые вопросы
1. Сколько GPU включено?
Эта конфигурация включает 2× NVIDIA RTX PRO 6000 Blackwell GPU, с 96GB GDDR7 памяти на каждый GPU.
2. Сколько памяти GPU имеет сервер?
Два GPU обеспечивают 192GB объединенной физической GPU VRAM. Каждый отдельный GPU имеет свою собственную 96GB VRAM.
3. Является ли 192GB памяти GPU единым пулом памяти?
Нет. 192GB представляет собой объединенную физическую VRAM, установленную на двух GPU. Приложения должны поддерживать соответствующую многопроцессорную работу для распределения рабочих нагрузок между GPU.
4. Какой CPU включен?
Система включает AMD Ryzen Threadripper PRO 9985WX, обеспечивающий 64 процессорных ядра и 128 потоков.
5. Почему в этом сервере используется водяное охлаждение?
Два высокопроизводительных профессиональных GPU в сочетании с 64-ядерным CPU могут генерировать значительное количество тепла во время длительных рабочих нагрузок ИИ. Индивидуальная архитектура водяного охлаждения обеспечивает выделенный путь теплоотвода для CPU и GPU.
6. Водяное охлаждение лучше обычного воздушного охлаждения?
Для высокопроизводительного многопроцессорного сервера индивидуальное водяное охлаждение может предоставить преимущества в теплообмене и длительном управлении температурой по сравнению с полным использованием обычного воздушного охлаждения. Фактические температуры и производительность зависят от рабочей нагрузки, условий окружающей среды, воздушного потока и реализации охлаждения.
7. Это просто стандартный кулер AIO для CPU?
Нет. Платформа использует индивидуальную полносистемную архитектуру водяного охлаждения, разработанную для конфигурации CPU и двух GPU, а не обычный однокомпонентный кулер AIO для CPU.
8. Могу ли я использовать это в офисе?
Да. Его можно установить в офисе при наличии подходящей выделенной ИТ/серверной зоны с достаточной электрической мощностью, кондиционированием воздуха, вентиляцией и стоечной инфраструктурой.
9. Требуется ли центр обработки данных?
Нет. Система по своей сути не требует выделенного центра обработки данных. Она может быть развернута в подходящей серверной комнате, корпоративной ИТ-комнате, лаборатории ИИ, научно-исследовательском учреждении или частном центре обработки данных. Установка должна обеспечивать достаточное электропитание, охлаждение и вентиляцию.
10. Может ли он выполнять непрерывные AI-нагрузки?
Система разработана для требовательных длительных рабочих нагрузок, включая обучение ИИ, инференс, HPC, научные вычисления и профессиональный рендеринг. Фактические условия эксплуатации зависят от рабочей нагрузки, температуры окружающей среды, электрической инфраструктуры и конфигурации охлаждения.
11. Почему стоит выбрать два GPU вместо одного?
Два GPU обеспечивают значительно большие параллельные GPU-ресурсы, чем конфигурация с одним GPU, и увеличивают доступную объединенную физическую память GPU до 192GB. Это делает платформу особенно привлекательной для многопроцессорной разработки ИИ, инференса, исследований, рендеринга и высокопроизводительных вычислительных нагрузок.
12. Подходит ли это для LLM?
Да. Сочетание двух 96GB профессиональных GPU обеспечивает 192GB объединенной физической GPU VRAM, что делает платформу хорошо подходящей для соответствующим образом разработанных многопроцессорных рабочих нагрузок по разработке, обучению, тонкой настройке и инференсу LLM.
13. Можно ли настроить систему?
Да. В зависимости от платформы и наличия компонентов, система может быть настроена с различными конфигурациями GPU, памятью, хранилищем, сетевыми опциями, подсистемой питания и вариантами охлаждения.
14. Означает ли 192GB, что я могу загрузить модель объемом 192GB непосредственно на один GPU?
Нет. Каждый GPU RTX PRO 6000 Blackwell имеет свою собственную 96GB VRAM. Показатель 192GB — это объединенная физическая VRAM двух GPU. Большие модели могут использовать несколько GPU, если это поддерживается программным обеспечением, фреймворком и архитектурой модели.
15. Это мощнее, чем обычная высокопроизводительная рабочая станция?
AI Neural Matrix разработан как профессиональный высокоплотный GPU-сервер, а не как обычная настольная рабочая станция. Его двухпроцессорная архитектура, 192GB объединенной физической GPU VRAM, 64-ядерный CPU, память ECC, высокомощная архитектура питания и индивидуальное жидкостное охлаждение делают его особенно подходящим для профессиональной инфраструктуры ИИ и GPU-вычислений.
AI Neural Matrix – Профессиональная 2-GPU AI-инфраструктура
AI Neural Matrix 4U сочетает 64-ядерный / 128-потоковый AMD Ryzen Threadripper PRO 9985WX, 2× NVIDIA RTX PRO 6000 Blackwell 96GB GPU, 192GB объединенной физической GPU VRAM, 256GB DDR5 ECC памяти, 4TB Gen5 NVMe хранилища, мощную систему электропитания с несколькими БП и индивидуальное полносистемное водяное охлаждение.
Он разработан для организаций, которым нужна профессиональная платформа для ИИ-вычислений для разработки LLM, генеративного ИИ, глубокого обучения, обучения моделей, инференса, компьютерного зрения, научных вычислений, HPC, рендеринга и профессиональных GPU-нагрузок.
Компактная архитектура 4U обеспечивает высокую плотность GPU, а индивидуальная архитектура жидкостного охлаждения разработана для управления тепловыми требованиями CPU и двух GPU во время требовательных рабочих нагрузок.
Система может быть развернута в корпоративных серверных комнатах, корпоративных ИТ-средах, лабораториях ИИ, научно-исследовательских учреждениях и частных центрах обработки данных при наличии необходимых требований к электропитанию, ОВКВ и инфраструктуре.
2 GPU. 192GB физической GPU VRAM. 64 ядра CPU. Индивидуальное жидкостное охлаждение. Создан для профессиональных AI-вычислений.
