AMD Instict MI50 32G

AMD Radeon Instinct MI50은 HBM2 메모리를 탑재한 데이터센터용 고성능 가속기입니다.동작확인 완료. 주요 사양 및 특징 • 아키텍처 및 공정: Vega 20 (TSMC 7nm 공정, GFX906) • 메모리: 32GB HBM2 (4096-bit 인터페이스, 대역폭 최대 1 TB/s) • 스트림 프로세서: 3,840개 • 소비 전력(TGP): 최대 300W (패시브 쿨링 방식, 별도 쿨링 조립 필요) • 쿨링팬 내장 개조 완료 개조과정에서 천공 2개를 이용한 테스트 결과. Strata 벤치마크 — HP Z6 G4 · MI50 듀얼 Oct 18, 2026 · @Jin Lee HP Z6 G4(Xeon Gold 6144, 96 GB)에 Radeon Instinct MI50 32 GB 두 장으로 Strata를 돌려, Qwen3.8-Flash-Next(125B, IQ3_XXS)가 생성 54–67 tok/s·프롬프트 읽기 최대 492 tok/s를 내고 experts 24,576개가 전부 VRAM에 상주한다. 시스템 구성 구성요소 사양 워크스테이션 HP Z6 G4 (BIOS P60 v03.00) CPU Intel Xeon Gold 6144 — 8코어 / 16스레드, 최대 4.2 GHz 메모리 96 GB DDR4-2666 (16 GB × 6, 6채널) GPU AMD Radeon Instinct MI50 32 GB × 2 (gfx906, 각 PCIe x16) GPU 전력·클럭 각 225 W, 클럭 상한 해제(최대 1725 MHz) 저장장치 NVMe 512 GB (모델·엔진), SATA SSD 1 TB (OS) 화면 출력 NVIDIA GT 730 (연산 미사용) 소프트웨어 버전 OS Ubuntu 26.10, 커널 7.3.0-9-generic 추론 엔진 Strata 0.1.45 (gfx906 빌드, commit 477ac13c) ROCm HIP 7.14 — mixa3607/rocm-gfx906:7.14-complete 컨테이너 모델 orcarouter/Qwen3.8-Flash-Next-Uncensored-GGUF · IQ3_XXS (125B MoE, experts 24,576개) 벤치마크 결과 (듀얼 MI50) 컨텍스트 길이를 늘려가며 측정한 프리필(프롬프트 읽기)와 디코딩(답변 생성) 속도이다. 각 요청은 프롬프트 캐시 재사용 없이 새로 처리했다. 프롬프트(토큰) 첫 응답까지(TTFT) 프리필 읽기 생성 속도 148 1.7 s 87 tok/s 67.0 tok/s 598 2.5 s 240 tok/s 62.6 tok/s 2,128 5.4 s 393 tok/s 61.8 tok/s 4,178 9.4 s 446 tok/s 57.9 tok/s 8,278 17.3 s 477 tok/s 58.2 tok/s 16,468 33.5 s 492 tok/s 51.4 tok/s 32,088 89.6 s 358 tok/s 35.7 tok/s 생성 속도는 짧은 대화에서 60–67 tok/s, 32K 긴 컨텍스트에서 36 tok/s로 낮아진다. 프리필은 8–16K 구간에서 최고(약 490 tok/s)이고, 32K에서는 KV 커지면서 다소 낮아진다. 단일 vs 듀얼 GPU 두 번째 카드를 추가하면 experts가 전부 VRAM에 올라가 CPU 오프로드가 사라지고, 두 카드가 프롬프트를 나눠 읽는다. 항목 단일 MI50 듀얼 MI50 변화 프리필 (16K 읽기) 150 tok/s 492 tok/s 약 3.3배 16K 첫 응답 시간 약 104 s 33.5 s 1/3로 단축 생성 속도 (짧은 대화) 45–50 tok/s 60–67 tok/s 약 +25% expert VRAM 상주 53% (13,044개) 100% (24,576개) CPU 오프로드 제거 VRAM 합계 32 GB 64 GB — 레이어 분할: CUDA0가 0–26층, CUDA1이 27–47층과 출력 헤드를 맡는다. --gpu 0,1 --layer-split 27로 설정된다. 측정 조건 엔진 옵션: --kv int8 --prefill 512 --spec 4 --mtp mtp/rt --max-context 32768 --pcie-frac 0 (MTP 추측 디코딩 사용, 적중률 57–71%). 측정 방법: OpenAI 호환 스트리밍 API로 TTFT(첫 토큰까지)와 디코딩 tok/s를 측정. 프리필 tok/s = 프롬프트 토큰 ÷ TTFT. 온도: 100% 부하 시 각 카드 접합부 57–58°C (대기 40–43°C). 냉각 보강 후 값으로, 스로틀링 없음. 참고: 위 수치는 이 시스템 1대에서 측정한 값이다. gfx906은 Strata의 실험적(커뮤니티) 지원 경로이며, 빌드에 소스 패치 3건이 적용됐다. 8개 일괄시 600만원 이며 사진상의 컴퓨터는 판매하는게 아닙니다.