미루웨어

NVIDIA DGX A100

With NVIDIA Ampere Architecture

8 x NVIDIA A100 Tensor
Dual AMD Rome 7742, 128 cores total, 2.25 GHz
8 x Single-Port Mellanox ConnectX-6 VPI 200Gb/s HDR InfiniBand
1 x Dual-Port Mellanox ConnectX-6 VPI 10/25/50/100/200Gb/s Ethernet
1 TB System Memory
320GB Total GPU Memory
5 petaFLOPS A / 10 petaOPS INT8
OS: 2x 1.92TB M.2 NVME drives Internal Storage: 15TB (4x 3.84TB) U.2 NVME drives

DGX A100은 AI 전략 추진의 가장 큰 걸림돌인 유연하고 역동적인 인프라 구축과 운영에 대한 오랜 고민을 해결합니다.
더 이상 용도 별로 클러스터를 구축해 운영할 이유가 없습니다.

DGX A100으로 구성한 인프라는 마치 거대한 데이터센터가 하나의 시스템처럼 유기적으로 동작합니다.
한 대의 DGX A100을 이용해도 이런 유기적이고 역동적인 AI 데이터센터의 이점을 고스란히 누릴 수 있습니다.

DGX A100의 성능은 슈퍼컴퓨터 급입니다. 단일 시스템으로 5 petaFLOPS 성능을 냅니다.

자세한 정보 (데이타시트)

모든 AI 워크로드를 자유롭게 운영하는 Universal System

DGX A100을 상징하는 개념은 'Universal System'입니다. 총 8개의 A100 GPU가 장착되는 이 시스템은 MIG(Multi-Instance GPU) 기능을 통해 총 56명의 사용자 각각에게 인스턴스를 할당할 수 있습니다.

트레이닝, 인퍼런싱, 분석 등 어떤 워크로드를 운영하건 사용자는 각자에게 할당된 인스턴스를 마치 전용 시스템에서 올린 것처럼 운영할 수 있습니다.

A100 SYSTEM SPECIFICATIONS

System Weight	271 lbs (123 kgs)
GPUs	8x NVIDIA A100 Tensor Core GPUs
GPU Memory	320 GB total
Performance	5 petaFLOPS AI 10 petaOPS INT8
NVIDIA NVSwitches	6
System Power Usage	6.5kW max
CPU	Dual AMD Rome 7742,128 cores total, 2.25 GHz(base), 3.4 GHz (max boost)
System Memory	1TB
Networking	8x Single-Port Mellanox ConnectX-6 VPI 200Gb/s HDR InfiniBand 1x Dual-Port Mellanox ConnectX-6 VPI 10/25/50/100/200Gb/s Ethernet
Storage	OS: 2x 1.92TB M.2 NVME drives Internal Storage: 15TB (4x 3.84TB) U.2 NVME drives
Software	Ubuntu Linux OS
System Weight	271 lbs (123 kgs)
Packaged System Weight	315 lbs (143kgs)
System Dimensions	Height: 10.4 in (264.0 mm) Width: 19.0 in (482.3 mm) MAX Length: 35.3 in (897.1 mm) MAX
Operating Temperature Range	5ºC to 30ºC (41ºF to 86ºF)

단독으로 사용하면 슈퍼컴퓨터, 클러스터로 구성하면 AI 데이터센터

DGX A100의 성능은 슈퍼컴퓨터 급입니다.
단일 시스템으로 5 petaFLOPS 성능을 냅니다. 이 시스템에는 총 8개의 A100 Tensor Core GPU와 320GB의 GPU 메모리가 장착됩니다.

GPU 간 연결은 6세대 NVSwitch 인터페이스가 적용되어 쌍방향 대역폭이 4.8TB에 이릅니다. 이는 426시간 분량의 HD 화질 비디오를 1초에 전송할 수 있는 대역폭입니다.

이전 세대인 V100 GPU와 비교할 때 쓰루풋이 20배가 더 높다 보니 GPU 성능도 비교 불가 수준입니다.

비즈니스 요구에 맞춰 확장

DGX A100의 성능 개선은 트레이닝, 인퍼런싱, 분석 등 모든 워크로드에서 두드러지게 나타납니다.

인프라가 갖추어야 할 보안 역시 DGX A100는 충실히 갖추고 있어 엔터프라이즈가 요구하는 보안성 요구 조건도 완벽하게 충족합니다.

DGX A100으로 클러스터를 구성하면 AI 데이터센터가 구축됩니다.

DGX A100은 클러스터 네트워킹을 위해 8개의 맬라녹스 싱글 포트 ConnectX-6 카드를 장착하고 있고,
스토리지 네트워킹을 위해 1개의 더블 포트 ConnectX-6 카드를 내장하고 있습니다.

강력한 네트워킹을 지원하므로 DGX A100을 랙 단위로 AI 슈퍼컴퓨터 인프라를 구성할 수 있습니다.

2개 랙으로 구성할 경우 최대 40 petaFLOPS 규모의 데이터센터가 구축됩니다.

NVLINK와 NVSWITCH가 함께 작동하는 방식

NVIDIA® NVLink®는 GPU 간 고속 직접 상호 연결입니다.
NVIDIA NVSwitch™는 여러 NVLink를 통합함으로써 NVIDIA HGX™ A100과 같은 단일 노드 내에서 올 투 올 GPU 통신을 최대 NVLink 속도로 제공하여 한 차원 높은 상호 연결성을 제공합니다.

NVIDIA는 NVLink와 NVSwitch를 조합하여 AI 성능을 효율적으로 여러 GPU로 확장하고 최초의 범산업 AI 벤치마크인 MLPerf 0.6을 획득할 수 있었습니다.

NVLink GPU 간 연결을 지원하는 NVIDIA A100

NVSwitch 토폴로지 다이어그램은 간단하게 이해할 수 있도록 두 GPU 간의 연결을 보여줍니다.
8장 또는 16장의 GPU는 모두 같은 방식으로 NVSwitch를 통해 올 투 올 연결됩니다.

Tesla A100 SPECIFICATIONS

	NVIDIA A100 for HGX	NVIDIA A100 for PCIe
Peak FP64	9.7 TF	9.7 TF
Peak FP64 Tensor Core	19.5 TF	19.5 TF
Peak FP32	19.5 TF	19.5 TF
Peak TF32 Tensor Core	156 TF \| 312 TF*	156 TF \| 312 TF*
Peak BFLOAT16 Tensor Core	312 TF \| 624 TF*	312 TF \| 624 TF*
Peak FP16 Tensor Core	312 TF \| 624 TF*	312 TF \| 624 TF*
Peak INT8 Tensor Core	624 TOPS \| 1,248 TOPS*	624 TOPS \| 1,248 TOPS*
Peak INT4 Tensor Core	1,248 TOPS \| 2,496 TOPS*	1,248 TOPS \| 2,496 TOPS*
GPU Memory	40 GB	40 GB
GPU Memory Bandwidth	1,555 GB/s	1,555 GB/s
Interconnect	NVIDIA NVLink 600 GB/s**	NVIDIA NVLink 600 GB/s**
Interconnect	PCIe Gen4 64 GB/s	PCIe Gen4 64 GB/s
Multi-instance GPUs	Various instance sizes with up to 7MIGs @5GB	Various instance sizes with up to 7MIGs @5GB
Form Factor	4/8 SXM on NVIDIA HGX™ A100	PCIe
Max TDP Power	400W	250W
Delivered Performance of Top Apps	100%	90%

* With sparsity
** SXM GPUs via HGX A100 server boards, PCIe GPUs via NVLink Bridge for up to 2-GPUs

NVIDIA A100 for HGX
Ultimate performance for all workloads.

NVIDIA A100 for PCIe
Highest versatility for all workloads.

사훈	생각은 창의 행동은 성실 위기는 긍정
고객에 대한 존중	고객에게 이익이 되는 것은 회사에도 이익이 된다는 신념으로 고객을 대한다.
	항상 고객의 입장에서 생각하고, 고객의 의견을 존중하며, 고객과의 약속은 반드시 지킨다.
	제품과 서비스에 대해서는 정확한 정보만을 제공하고, 최상의 제품과 서비스를 제공함으로써 고객만족의 실현을 위해 노력한다.
법규 준수 및 공정한 경쟁	사업 및 영업 활동 시 모든 국가와 지역사회의 제반 법규를 준수하며, 해당 국가나 지역의 관습, 문화 등과 같은 사회적 가치관을 존중한다.
법규 준수 및 공정한 경쟁	경쟁사를 존중하고, 경쟁사와의 공정하고 자유로운 경쟁을 통하여 건전한 시장 질서를 확립하는 데 앞장선다.
공정한 거래	모든 거래는 공정하고 평등한 참여의 기회가 보장되는 자유경쟁 원칙에 따라 행한다.
	우월적 지위를 이용하여 여하한 형태의 비윤리적이고 부적절한 강요행위 및 영향력을 행사하지 않는다.
	모든 거래 당사자들과는 상호 신뢰를 기반으로 하여 공동 발전을 도모한다.
주주에 대한 존중	건실한 경영활동을 통한 이익을 실현함으로써 주주의 투자 수익을 보호하도록 노력한다.
	임직원은 회사에서의 지위를 이용하여 취득한 내부 정보를 활용하여 개인적인 이익을 도모해서는 안 된다.
	주주와의 상호 신뢰관계 유지를 위해서 기업 정보를 정해진 법규에 따라 투명하게 공개하며, 회계자료 등의 처리 및 보고는 해당 국가의 기준과 법규에 철저히 따른다.
국가 및 사회에 대한 책임과 의무	국가와 사회의 구성원으로서 요구되는 역할과 의무를 성실히 수행한다.
	고용의 창출과 조세의 성실한 납부로 국가 발전에 기여하고, 사회봉사 활동과 문화의 발전에 적극적으로 기여한다.
	사업 및 영업 활동 시, 환경보호를 우선적으로 생각하며, 해당 국가와 지역의 환경 기준을 철저히 준수한다.
	근무장소의 청결 및 안전수칙의 준수를 생활화하고, 사업장 내 위험요소를 발견한 경우 즉시 적절한 조치를 취한다.
	고객의 안전을 위협할 수 있는 제품 결함이 발견된 경우 신속한 조치를 취한다.
임직원에 대한 책임	임직원 개개인의 인격과 생각을 존중하고, 능력을 향상시킬 수 있는 기회를 부여함에 있어 성별, 학력, 출신, 지역 등에 따라 차별을 두지 않는다.
	임직원의 능력과 업적에 따라 공정하게 평가하고, 정당하게 보상한다.
	임직원의 독창성과 능력이 최대한 발휘될 수 있는 근무여건 조성에 전력을 다하며, 창의적인 인재 육성을 적극적으로 지원한다.
임직원의 기본 윤리	임직원은 미루인으로서 긍지와 자부심을 가지며, 항상 정직하고 성실한 생활 자세를 유지한다.
	임직원 각자가 회사를 대표한다는 자세로 항상 예의 바른 행동과 품위 있는 언어로써 미루인의 명예를 지킨다.
	공·사를 명확히 구분하며, 자신의 지위를 이용하여 사적인 이익을 추구하지 않는다.
	회사와 개인의 이해가 상충되는 경우에는 회사를 우선적으로 생각한다.
	지적 재산에 관한 타인의 권리를 존중함과 동시에 자신의 권리도 보호한다.
	회사의 영업비밀에 대해서는 재직 시 및 퇴직 후에도 회사의 사전 승인 없이 외부에 유출하지 않는다.
윤리규범의 준수	임직원은 그 지위의 고하를 막론하고 본 윤리규범을 성실히 준수해야 하며, 이를 위반한 임직원은 그에 상응하는 징계를 받을 수 있다.
윤리규범의 준수	임직원은 본 윤리규범에 위반하는 행위를 강압 받거나 인지한 경우에는 감사 조직에 알리고 상담해야 하며, 감사 조직은 임직원의 신고 및 제보에 대하여 당사자를 보호하기 위한 모든 조치를 취하여야 한다.

NVIDIA DGX Systems

NVIDIA DGX A100

NVIDIA DGX A100

모든 AI 워크로드를 자유롭게 운영하는 Universal System

A100 SYSTEM SPECIFICATIONS

단독으로 사용하면 슈퍼컴퓨터, 클러스터로 구성하면 AI 데이터센터

비즈니스 요구에 맞춰 확장

NVLINK와 NVSWITCH가 함께 작동하는 방식

Tesla A100 SPECIFICATIONS