NVIDIA B200

AI를 위한 최고의 성능
SK텔레콤의 GPUaaS(GPU-as-a-Service)는 AI 개발·학습·추론에 최적화된 고성능 GPU 인프라를
구독형으로 제공하는 클라우드 서비스
입니다. 대규모 초기 투자 없이도 필요한 시점에 GPU 자원을 유연하게
사용할 수 있어, AI 도입을 원하는 기업과 연구 기관에 최적화된 환경을 제공합니다.

B200 서버 연산 성능

GPU 8장 기준​

  • FP32

    600

    TFLOPS
  • FP16/BF16 Tensor Core​

    36

    PFLOPS
  • FP8 ​Tensor Core​

    72

    PFLOPS
특징

SKT GPUaaS 특징
알아보세요.

  • quotes최고의 성능으로 빠르게quotes

    1:1 Non-Blocking 토폴로지 구성
    NVIDIA B200 단일 클러스터
    NVIDIA B200 기반 NVIDIA 표준 아키텍처
    준수로 국내 최고 수준의 GPU 인프라를
    제공합니다.
    chart
  • quotesAI 에만 집중할 수 있도록quotes

    Web UI · GUI 기반 개발 환경
    GPU · AIOps 솔루션​
    GPU 관리, 활용부터 개발, 학습, 배포까지
    AI 서비스 파이프라인 모든 단계를 쉽게 이용할 수
    있는 시스템을 함께 제공합니다.​
    chart
  • quotesGPU를 잘 아는 AI DCquotes

    SK브로드밴드 데이터센터
    국내 최고의 AI DC 기술력
    고집적 GPU 클러스터를 전력 및 냉각 문제없이
    언제나 최상의 환경으로 이용하실 수 있습니다.
     
    chart
사양

B200 vs H200/H100​

B200은 H200 대비 1.3배 GPU메모리 증가, NVLINK대역폭 2배 증가되어 FP8 Tensor Core기준 2.4배 성능 향상​되었습니다.
B200 H200 H100
System B200B200 8-GPU H200H200 8-GPU H200H100 8-GPU
GPU Node Spec B200 2× Intel Xeon 72C CPUs
3TB system memory
30TB local NVMe SSD
H200 2× Intel Xeon 56C CPUs
2TB system memory
30TB local NVMe SSD
H100 2× Intel Xeon 56C CPUs
2TB system memory
30TB local NVMe SSD
GPU Memory B200 180GB​
HBM3e @ 8TB/s​
H200 141GB​​
HBM3e @ 4.8TB/s​
H100 80GB​​
HBM3 @ 3.35TB/s​
Interconnect B200 SXM6 8x NVLINK 1.8TB/s​​​
PCIe Gen 5 128GB/s​
H200 SXM5 8x NVLINK 900GB/s​
PCIe Gen 5 128GB/s​
H100 SXM5 8x NVLINK 900GB/s​
PCIe Gen 5 128GB/s​
Networking B200 400G InfiniBand NDR * 8​​
200G Ethernet * 2​
H200 400G InfiniBand NDR * 8​
200G Ethernet * 2​
H100 400G InfiniBand NDR * 8​
200G Ethernet * 2​
FP8 Tensor Core B200 72 PFLOPS​ H200 32 PFLOPS​ H100 32 PFLOPS​
성능

NVIDIA B200 성능
비교해 보세요.

H100 대비 B200
업그레이드 성능

  • LLM 파인튜닝
    Llama 2 70B 2.2배 +​
  • LLM 프리트레이닝
    GPT-3 175B 2배 +​
  • GenAI 트레이닝
    Stable Diffusion v2 1.5배 +​
performance-chart

  • H100 대비 15배 +
    실시간 거대 언어 모델 추론 (Real Time Large Language Model Inference)​ performance-chart
  • H100 대비 3배 +
    강화된 AI 훈련 성능 (Supercharged AI Training Performance)​ performance-chart

출처 - NVIDIA Blackwell Doubles LLM Training Performance in MLPerf Training v4.1 l NVIDIA Technical Blog
- NVIDIA DGX B200 Performance | NVIDIA’s Official website (nvidia.com)

서비스

SK텔레콤은 다양한 서비스
제공합니다.

AI 데이터센터 (SK브로드밴드)

SK브로드밴드 - AI 데이터센터는 국내 최대 규모의 인공지능(AI) 전용 데이터센터입니다. 초고속 네트워크 기반의 고성능 인프라를 제공하여 AI 서비스에 최적화된 환경을 제공합니다. SK브로드밴드의 통신 기술력과 결합된 AI DC는 국내 AI 산업의 성장을 견인합니다.

AI Cloud Manager (AIOps 솔루션)

SK텔레콤 AI 클라우드 매니저는 AI 인프라와 워크로드 관리를 손쉽게 할 수 있게 해주는 통합 관리 플랫폼입니다. 사용자는 웹 기반 대시보드를 통해 GPU 서버의 할당, 모니터링, 자원 최적화까지 한 번에 처리할 수 있습니다. 다양한 AI 프레임워크와 개발 환경을 지원해, 복잡한 설정 없이 빠르게 AI 프로젝트를 시작할 수 있습니다.

Petasus AI Cloud (가상화 솔루션)

SK텔레콤 Petasus AI Cloud는 AI 연산에 최적화된 고성능·고효율 가상화 클라우드 플랫폼입니다. xPU (GPU, CPU, NPU) 등 다양한 AI 하드웨어를 유연하게 지원하며, NVLink 가상화와 DPU 오프로딩 기술을 도입해 GPU 클러스터 성능과 보안성을 동시에 향상시킵니다. MWC25 GLOMO 어워드 ‘최고의 클라우드 솔루션’ 수상으로 글로벌 경쟁력을 입증하였습니다.