Железо для локального AI без маркетингового тумана

Фиксируем не только GPU и объём памяти, но и модель, размер контекста, режим inference, tok/s, стоимость, шум, энергопотребление и отзыв владельца. Планы, полевые замеры и воспроизведённые тесты показаны разными статусами.

Измерено автором сообщения Планируется Со слов участника По объявлению продавца

Измерено автором сообщения

4 × NVIDIA Tesla V100

домашний сервер

Конфигурация и нагрузка

GPU: 4 × Tesla V100; объём памяти в сообщении не указан
Модель: Qwen 3.8-27B — название сохранено ровно как в сообщении
Сценарий: работа по проекту с проработанным Memory‑Bank и чёткими инструкциями
Оптимизация: патч speculative decoding; автоматическое отключение спеки на длинном контексте

Замеры

116–125 tok/sкороткий контекст; accept 3.7

1.004 acceptконтекст 16K+; спека автоматически отключилась

~35 tok/sчистый decode на 46K после патча

11–16 tok/sисходный диапазон на длинном контексте до патча

Полевой отзыв. Автор пишет, что модель работает по реальному проекту и выполняет задачи; главная отмеченная проблема — деградация скорости с ростом контекста. Четыре карты используются с воздушным охлаждением в подвале; в обсуждении водяное охлаждение предложено как способ снизить шум.

Источники: конфигурация · рабочий сценарий · замеры после патча

По объявлению продавца

4 × NVIDIA Tesla V100 SXM2 с NVLink

готовый комплект · Москва

Заявленная комплектация

GPU: 4 × Tesla V100 SXM2; 16 или 32 ГБ на карту
Суммарный VRAM: 64 или 128 ГБ физической памяти GPU
Связь GPU: мостовая плата на 4 карты; продавец заявляет полную NVLink mesh‑топологию
Комплект: воздушное охлаждение, корпус, PLX‑адаптер, 4 кабеля и БП 1650 Вт 80+ Gold

Цена и границы данных

160 тыс. ₽комплект с 4 × V100 16 ГБ

340 тыс. ₽комплект с 4 × V100 32 ГБ

Продавец также публикует замеры vLLM для нескольких моделей и заявляет проверку NVLink, ECC и gpu-burn. Эти данные не воспроизводились командой SDLC‑BOX; не используем их для сравнения с другими карточками.

До закупки нужны: точная ревизия GPU и платы, фото стенда, условия гарантии, замер потребления из розетки, уровень шума и повторный тест на согласованном профиле.

Источник: объявление NextGen PC на Avito · состояние в карточке — новое

Планируется

8 × NVIDIA Tesla V100 32 ГБ

сервер из Китая

Что известно

GPU: 8 × Tesla V100 по 32 ГБ
Суммарный VRAM: 256 ГБ физической памяти GPU; способ распределения модели не описан
Оценка бюджета: около 550 тыс. ₽
Логистика: планируется поставка сервера из Китая

Статус доказательств

Это ещё не собранная и не протестированная конфигурация. В сообщении нет данных о CPU, RAM, interconnect, энергопотреблении, охлаждении, состоянии бывших в употреблении GPU и итоговой стоимости доставки.

Перед сравнением нужны: точный BOM, фото/серийные номера, стресс‑тест, потребление из розетки и одинаковый inference‑профиль с 4×V100.

Источник: сообщение о планируемой сборке

Со слов участника

NVIDIA H200 cluster

корпоративный контур

Что сообщалось

GPU: кластер на NVIDIA H200; количество узлов и GPU не раскрыто
Модель: GLM-5.2, развёрнутая локально
Пользователи: сотрудники крупной нефтяной компании
Оценка стоимости: более 20 млн ₽ по словам участника обсуждения

Чего не хватает

Нет точного состава кластера, версии и квантизации модели, размера контекста, concurrency, tok/s, суточного объёма генерации, мощности и стоимости эксплуатации.

Карточка остаётся ориентиром масштаба, а не сравнимым бенчмарком.

Источники: модель и оценка бюджета · H200 и корпоративное использование

Методика

Как читать цифры каталога

Контекст обязателен

Tok/s без модели, квантизации, prompt length, output length, concurrency и inference‑движка нельзя честно сравнивать.

Статус важнее уверенного тона

«Измерено» означает замер автора сообщения. «Планируется» — только намерение. «Со слов участника» — факт обсуждения без доступной конфигурации.

Повторный прогон SDLC‑BOX

Цифры выше не воспроизводились командой SDLC‑BOX. После получения доступа к железу будем публиковать отдельный одинаковый benchmark profile и дату проверки.

Что прислать для новой карточки

GPU и VRAM · CPU/RAM · модель и квантизация · inference engine · prompt/context/output · concurrency · prefill/decode tok/s · потребление · шум · цена · что получилось и что не получилось.

Предложить железо или замер