ESPICE의 기술 블로그

고성능 인프라를 위한 필수 선택: NFS over RDMA 성능 검증 결과

이스파이스 — Fri, 6 Feb 2026 14:41:56 +0900

최근 HPC(고성능 컴퓨팅)와 AI 인프라가 급격히 확산되면서 100GbE 이상의 초고속 네트워크 도입이 일반화되고 있습니다. 하지만 아무리 빠른 네트워크를 갖추더라도 기존의 TCP/IP 기반 NFS 환경에서는 커널 스택의 오버헤드로 인한 지연 시간(Latency) 이슈가 스토리지 성능의 발목을 잡곤 합니다.

최근의 서버 OS에서는 NFS over RDMA 기능을 지원하여, 초고속 저지연 네트워크에 대응하는 NFS 설정이 가능하게 되었습니다. 이에 저희 이스파이스 내부적으로 실제 성능(대역폭, IOPS, 지연 시간)이 얼마나 개선되는지 직접 테스트를 통해 확인해 보았습니다.

1. 테스트 환경

이번 NFS 테스트에는 다음과 같은 환경에서 수행되었습니다.

	NFS 서버	NFS 클라이언트
네트워크 어댑터	ConnectX-5	ConnectX-7
OS	Rocky Linux 9.7	Ubuntu 24.04.3

두 시스템은 100GbE 케이블로 직접 연결되었으며, 효율적인 전송을 위해 MTU는 9000으로 설정하였습니다.

2. NFS over RDMA 설정

NFS over RDMA는 RHEL 9 계열 이상에서 안정적인 지원을 제공합니다.
서버 설정: /etc/exports 설정 후 RDMA 활성화 시, lsmod 명령어를 통해 rpcrdma 관련 모듈이 로드된 것을 확인할 수 있습니다.

클라이언트 설정: 마운트 시 proto=rdma 옵션을 추가합니다. 마운트 완료 후 mount | grep nfs를 통해 port=20049와 proto=rdma가 정상 적용된 것을 확인했습니다.

3. 성능 비교 테스트 결과 (fio benchmark)

TCP 마운트와 RDMA 마운트의 성능 차이를 확인하기 위해 fio 툴을 이용해 대역폭과 IOPS를 측정했습니다.

분석

대역폭: 테스트 노드에 탑재된 NVMe 스토리지의 물리적 한계치에 도달하여 두 방식 모두 비슷한 결과를 보였습니다.
IOPS 및 Latency: RDMA 적용 시 응답 속도가 3.1배 빨라졌으며, 이는 곧바로 초당 입출력 횟수(IOPS)의 3.1배 증가로 이어졌습니다.
시스템 효율성: RDMA의 Zero-Copy 기술 덕분에 CPU는 불필요한 메모리 복사 작업에서 벗어나, 더 적은 리소스로 더 많은 I/O를 처리할 수 있었습니다.

4. 마무리

테스트 결과, RDMA는 NVMe SSD 스토리지와 고속 네트워크 환경에서 NFS의 성능 잠재력을 극대화하는 핵심 기술임을 확인할 수 있었습니다. 특히 데이터 읽기/쓰기가 빈번한 AI 및 HPC 환경에서는 전통적인 서버 기반의 NFS 서비스에 RDMA 도입만으로도 드라마틱한 성능 향상을 기대할 수 있습니다.

고속 네트워크 환경에서 전통적인 NFS를 사용하고 계신다면, (주)이스파이스가 최적의 구성을 제공해 드릴 수 있으니 언제든 상담 및 문의 주시기 바랍니다.

(주)이스파이스는 Dell Technologies의 Titanium 파트너로서, 최신 x86 서버와 다양한 스토리지 제품군 및 서비스를
제공하고 있습니다. 또한, HPC/AI 연산에 최적화된 스토리지 솔루션을 보유하여 전문적인 구축 및 서비스를 지원합니다.
전화: 02-573-1484~5
이메일: espice@espice.co.kr

BeeGFS v8 정식 출시 – 더욱 강력해진 기능과 업그레이드 내용 소개

이스파이스 — Mon, 12 May 2025 10:14:41 +0900

BeeGFS v8 – 더욱 강력하고 정교해진 병렬 파일 시스템

강력한 성능과 사용자 친화적인 인터페이스로 사랑받아온 BeeGFS가 v8로 새롭게 진화했습니다.
이번 업데이트에서는 단순한 성능 개선을 넘어서, 운영 관리, 보안, 데이터 이력 추적, S3 기반 하이브리드 스토리지 연동까지 대폭 강화되었습니다.

어떤 점들이 달라졌는지, 핵심 기능들을 함께 살펴보시죠.

설치 및 업그레이드가 더 쉬워졌습니다

기존 v7.4.5 이상에서 데이터 손실 없는 in-place 업그레이드 지원
설정 포맷이 TOML로 변경되어 가독성과 관리 편의성 향상
초기화된 관리 DB는 SQLite 기반, 설정 이관 도구 포함
라이선스 시스템 도입: 엔터프라이즈 기능의 사용과 계약 여부를 명확히 구분
라이선스 만료 시에도 운영은 지속되나, 구성 변경은 제한

️ 통합된 관리 CLI – beegfs

기존 beegfs-ctl, beegfs-net, beegfs-df 등 명령어를 beegfs 하나로 통합
CLI 구조가 모듈화, 자동완성, 테이블/JSON 출력, 병렬 작업을 지원
예시:

$ beegfs node list
$ beegfs copy ...
$ beegfs stats server --sum

병렬 파일 복사 기능 – beegfs copy (Hive-Enterprise)

여러 노드와 스레드를 활용해 최대 대역폭으로 파일 복사
POSIX 기반 스토리지 간의 대량 데이터 이동 작업에 최적
스크래치 파일 시스템과 중앙 저장소 간 빠른 스테이징/마이그레이션 가능
재해 복구(DR) 시나리오 구성에 활용 가능

☁️ S3 호환 원격 스토리지(RST) – 정식 지원

BeeGFS v8 GA milestone 1에서 S3 기반 원격 스토리지 정식 지원
BeeGFS 내부 스토리지 풀처럼 외부 S3 스토리지를 연동
수동 업로드/다운로드 외에 분산된 동기화 작업 노드(BeeSync) 구성 가능
개별 파일 동기화 상태 확인, 작업 취소 및 재시작 가능
하이브리드 워크플로우, 백업, DR, 장기 보존 등 다양한 시나리오 지원

S3 Remote Storage Target까지 반영된 전체 아키텍쳐

‍ 실시간 이벤트 모니터링 – bee-watch

누가, 언제, 어떤 파일을 생성/수정/삭제/이동했는지 추적
사용자 정의 구독 시스템 제공 → 워크플로우 자동화, 외부 시스템 연동 용이
기존 event-listener 대비 개선된 파일 시스템 가시성 제공

보안 및 통신 안정성 강화

SHA256 기반 인증, TLS 암호화 기본 제공
관리 서비스와 클라이언트 간 통신도 암호화된 RPC(gRPC) 사용
노드/타겟/풀 등의 ID에 대해 사용자 정의 alias 설정 가능

⚠️ 꼭 확인하세요

Enterprise 기능은 라이선스 기반으로 활성화되므로, 사용하려는 기능과 노드 수에 따라 사전 확인 필요
예: BeeOND 사용 시에도 별도 라이선스 필요
라이선스 만료 시에도 운영은 계속되지만, 설정 변경 등 일부 기능은 제한됩니다

BeeGFS v8은 단순한 성능 향상이 아니라,
운영의 편의성과 데이터 흐름의 가시성,
보안과 확장성,
하이브리드 환경 대응력까지
모두 한층 강화된 업그레이드입니다.

더 똑똑하고, 더 빠르고, 더 안전한 병렬 파일 시스템이 필요하다면,
BeeGFS v8을 지금 경험해 보세요!

(주)이스파이스는 Dell Technologies의 Titanium 파트너로서, HPC/AI에 특화된 서버 및 스토리지 솔루션을 제공합니다. 또한, HPC/AI 연산에 최적화된 병렬 파일 시스템인 BeeGFS의 국내 유일 공식 파트너로서, 구축과 기술 지원 서비스를 제공합니다.

제품 도입 및 컨설팅에 관심이 있으신 분들은 아래로 문의해 주세요.
☎ 02-573-1484~5 / ✉️ marketing@espice.co.kr

AI와 HPC를 위한 최적의 솔루션: PowerEdge XE9680와 InfiniBand 네트워크 구축 사례

이스파이스 — Tue, 10 Dec 2024 14:51:47 +0900

저희 이스파이스는 최근 고객사에 Dell Technologies의 최상위급 8-GPU 서버인 PowerEdge XE9680를 총 40대 공급하였습니다.

각 서버에는 현재 최첨단 고속 네트워크 기술인 InfiniBand NDR(400Gbps) HCA(Host Channel Adapter)가 8개씩 장착되었으며, 고객의 요구에 따라 40개의 노드를 32개와 8개의 두 그룹으로 나누어 각각 non-blocking 모드로 구성하였습니다.

이러한 구성은 각각의 그룹이 요구하는 성능과 용도에 최적화된 네트워크 환경을 제공하며, 프로젝트의 유연성과 효율성을 극대화하였습니다.

이번 프로젝트는 대규모 고성능 컴퓨팅(HPC) 환경에서 최첨단 기술과 설계의 집약체로, 업계 내 모범적인 사례가 될 것이기에 이 프로젝트의 주요 구성 요소와 기술적 특징을 정리하여 공유하고자 합니다.

다룰 주요 내용은 다음과 같습니다:

시스템 사양 및 특징
네트워크 구성 설계
GPU Direct 기술 소개
실제 구성

1. 시스템 사양 및 특징

1.1 PowerEdge XE9680
Dell PowerEdge XE9680은 최대 8개의 NVIDIA H100 GPU와 4세대 Intel Xeon 스케일러블 프로세서를 지원하는 고성능 AI 및 HPC 서버로, 데이터 집약적 워크로드에 최적화된 탁월한 성능과 확장성을 제공합니다.

[그림1] PowerEdge XE9680

[표1] PowerEdge의 제품 사양

이번 프로젝트에 선정된 구체적인 사양은 다음과 같습니다.

Dell PowerEdge XE9680
프로세서	(2) Intel Xeon Platinum 8480+ 2G, 56C/112T, 16GT/s, 105M Cache, Turbo, HT (350W) DDR5-4800
메모리	(32) 64GB RDIMM, 5600MT/s, Dual Rank, Total 2048GB (2TB)
저장장치 (OS)	BOSS-N1 controller card + with 2 M.2 480GB (RAID 1)
저장장치 (데이터)	3.84TB Data Center NVMe Read Intensive AG Drive U2 Gen4 with Carrie
네트워크 어댑터 (이더넷)	Mellanox ConnectX-6 DX Dual Port 100GbE QSFP56 Network Adapter, Full Height
네트워크 어댑터 (인피니밴드)	Nvidia ConnectX-7 Single Port NDR OSFP PCIe, No Crypto, Full Height
전원 공급 장치	(6) Hot-Plug PSU, 2800W MM HLAC (200-240Vac) Titanium, C22 Connector

PowerEdge XE9680 서버는 NVLink를 통해 완벽하게 상호 연결된 8개의 NVIDIA H100 또는 H200 SXM5 700W GPU 모듈을 탑재한 최상위 GPU 서버입니다.

[그림2] PowerEdge XE960의 시스템 아키텍처

각 PCIe 스위치에는 2개의 GPU와 2개 또는 3개의 PCIe 확장 슬롯이 연결되어 있습니다. 이러한 설계를 통해 각 PCIe 스위치에 2개의 InfiniBand NDR HCA를 장착하여 모든 GPU가 가장 가까운 위치에 있는 InfiniBand HCA에 직접 접근할 수 있도록 최적화하였습니다. 이로 인해 GPU와 InfiniBand HCA 간의 데이터 전송 경로가 단축되어 지연 시간을 최소화하고 대역폭 효율을 극대화할 수 있습니다.

또한, 2개의 PCIe 슬롯에는 100Gbps 이더넷 어댑터를 장착하여 기본 통신 및 스토리지 네트워크로 활용하였습니다. 이를 통해 고속 연산 네트워크와 기본 네트워크를 분리하여 시스템 성능과 안정성을 더욱 강화하였습니다.

1.2 NVIDIA Quantum-2 InfiniBand 스위치 (QM97xx)
NVIDIA Quantum-2 InfiniBand 스위치는 400Gb/s의 처리량, 인-네트워크 컴퓨팅, 스마트 가속화 엔진, 유연성, 견고한 아키텍처를 제공하여 고성능 컴퓨팅(HPC), AI, 하이퍼스케일 클라우드 인프라에서 비용과 복잡성이 적으면서도 가장 뛰어난 성능을 달성합니다.

항목	사양
포트 구성	64 x 400Gb/s NDR InfiniBand 포트 (32 OSFP 커넥터)
스위칭 용량	51.2Tb/s 양방향 처리량
패킷 처리 성능	665억 패킷/초 (BPPS) 이상
폼 팩터	1U 표준 섀시 디자인
전원 소비	- 패시브 케이블 사용 시: 747W (ATIS 기준)
전원 소비	- 액티브 케이블 사용 시 최대: 1,720W
주요 구성 요소	- CPU: Intel® Core™ i3 Coffee Lake (QM9700에만 해당)
주요 구성 요소	- 스위치: NVIDIA Quantum™-2 IC
크기 및 무게	- 크기: 43.6mm (H) x 438mm (W) x 660mm (D)
크기 및 무게	- 무게: 1 PSU: 13.6kg; 2 PSUs: 14.8kg
속도 지원	포트당 40, 56, 100, 200, 400 Gb/s 지원
환경 조건	- 작동 온도: 전면 공기 흐름: 0°~35°C; 후면 공기 흐름: 0°~40°C
환경 조건	- 비작동 온도: -40°~70°C
인증	- 안전: CB, cTUVus, CE, CU, S-Mark
	- EMC: CE, FCC, VCCI, ICES, RCM
	- RoHS 준수

1.3 Dell S5232F-ON 100Gbps Ethernet 스위치
Dell PowerSwitch S5232F-ON은 32개의 100GbE 포트를 제공하는 고성능 1U 스위치로, 3.2Tbps의 스위칭 용량과 VXLAN, ONIE 지원을 통해 데이터 센터와 클라우드 환경에서 유연성과 효율성을 제공합니다.

항목	사양
포트 구성	- 32 x 100GbE QSFP28 포트
포트 구성	- 2 x 10GbE SFP+ 포트
전송 용량	3.2Tbps (전이중 시 6.4Tbps)
전원 및 냉각	- 핫스왑 전원 공급 장치 (중복 가능)
	- 핫스왑 팬 (중복 가능)
	- 전면-후면 또는 후면-전면 공기 흐름 옵션
크기 및 무게	- 크기: 43.4cm(W) x 46.0cm(D) x 4.4cm(H)
크기 및 무게	- 무게: 9.8kg
지원 포트 속도	10/25/40/50/100GbE
스위칭 기능	- L2 및 L3 이더넷 스위칭
스위칭 기능	- VXLAN 게이트웨이 기능
운영 체제 지원	- Dell SmartFabric OS10
	- 오픈 네트워크 설치 환경(ONIE)
	- 타사 네트워크 운영 체제 지원
적용 환경	데이터 센터, 클라우드 서비스, 엔터프라이즈 환경

2. InfiniBand 네트워크 구성 설계

InfiniBand 네트워크에서 non-blocking 구성을 구현하려면 스위치의 업스트림 포트와 다운스트림 포트의 수가 동일해야 합니다. 즉, 스위치의 총 포트 수를 절반은 서버와 연결하는 다운스트림 포트로, 나머지 절반은 상위 스위치와 연결하는 업스트림 포트로 사용해야 합니다.

NVIDIA QM97xx 스위치는 64개의 400Gbps 포트를 제공합니다. 이를 기반으로, 각 스위치는:

32개의 포트를 서버 연결용(다운스트림)으로 사용
나머지 32개의 포트를 상위 스위치 연결용(업스트림)으로 사용해야 합니다.

즉, 현재 설치하고자 하는 32개의 8-GPU 서버를 연결하기 위한 InfiniBand 스위치의 수량은 다음과 같이 계산할 수 있습니다.

서버 연결 포트 계산: 각 서버에 8개의 InfiniBand NDR HCA가 장착되어 있으므로, 총 32대의 서버에서 필요한 포트는

32(서버) × 8(HCA) = 256포트

레벨-1 스위치 구성: 각 레벨-1 스위치는 32개의 포트를 서버와 연결하므로, 총 필요한 스위치 수는:

(256 (필요 포트)) ÷ (32(서버 연결 포트⁄스위치)) = 8스위치

상위(레벨-2) 스위치 구성: 레벨-1 스위치 8개는 각각 32개의 업스트림 포트를 통해 레벨-2 스위치와 연결됩니다. 따라서 레벨-2 스위치에 필요한 포트 수는

8(레벨-1 스위치) × 32(업스트림 포트) = 256 포트

이를 수용하기 위해 각 레벨-2 스위치는 64포트를 가지므로, 필요한 레벨-2 스위치 수는:

256(필요포트) ÷ 64(포트⁄스위치) = 4스위치

이 전체 네트워크를 non-blocking 구성으로 설계하려면 다음과 같은 수의 스위치가 필요합니다.

레벨-1 스위치: 8개 (각 스위치가 32개의 IB HCA와 연결)
레벨-2 스위치: 4개 (레벨-1 스위치의 업스트림 포트를 처리)

서버와 스위치 간 연결 설계
각 서버의 8개 HCA는 각각 레벨-1 스위치 8개에 균등하게 연결되며, 데이터 트래픽이 고르게 분산되도록 설계되었습니다. 이를 통해 HCA 간 균등한 트래픽 분배가 가능하며, 서버에서 발생하는 모든 데이터가 레벨-1 스위치로 고르게 분산됩니다.

레벨-1과 레벨-2 스위치 간 연결 설계
각 레벨-1 스위치는 8개의 포트를 사용하여 각각의 레벨-2 스위치와 연결해야 합니다. 즉, 레벨-1 스위치 8개와 레벨-2 스위치 4개가 상호 연결되어, 총 8 × 8 = 64개의 연결이 레벨-2 스위치에 형성됩니다. 이 설계를 통해 레벨-1과 레벨-2 스위치 간의 트래픽이 non-blocking으로 유지되고, 각 HCA에서 레벨-1 스위치를 거쳐 레벨-2 스위치로 이동하는 데이터 경로가 균등하게 분배됩니다.

[그림3] 256 노드에 대한 InfiniBand NDR non-blocking 연결

이런 설계를 통해 균형 잡힌 네트워크 트래픽 분배가 가능하고, 최소한의 지연시간을 확보할 수 있습니다. 또한, 연결에 장애가 생기더라도 전체 통신에 큰 지장을 피할 수 있습니다.

3. GPU Direct RDMA 기술 소개

[그림 4] NVIDIA의 GPU Direct RDMA 개

GPU Direct RDMA는 PCIe 장치가 GPU 메모리에 직접 접근할 수 있도록 설계된 기술로, CPU와 메모리를 경유하지 않아 데이터 전송 지연을 제거하고 최대 10배의 성능 향상을 제공합니다. 앞서 언급한 InfiniBand 네트워크 구성은 이 GPU Direct RDMA 기술에 최적화된 설계로, 고속 네트워크와 non-blocking 구조를 통해 GPU 간의 직접 통신을 지원합니다.

이를 통해:

시스템 CPU와 메모리를 경유하지 않는 효율적인 데이터 전송 경로를 제공
데이터 복사로 인한 지연 시간을 제거
GPUDirect RDMA의 성능을 최대화

특히, 각 서버에 장착된 8개의 InfiniBand HCA는 GPU 간 병렬 처리를 완벽히 지원하며, 레벨-1 및 레벨-2 스위치로 구성된 네트워크는 트래픽 병목현상을 방지하여 대규모 고성능 컴퓨팅 환경에서 최적의 성능을 보장합니다.

다음은 실제로 시스템에서 GPU와 InfiniBand간의 연결 토폴로지를 확인한 결과입니다.

[그림 6] NVIDIA GPU와 네트워크 어댑터 간의 토폴로지

GPU 간 연결:

NVIDIA NVLink를 통해 연결되어 있으며, 높은 대역폭과 낮은 지연 시간을 제공합니다.

GPU와 NIC 간 연결:

PIX로 표시된 조합은 동일한 PCIe 스위치에 연결된 상태를 나타내며, 이를 통해 GPU Direct RDMA를 지원하는 최적의 데이터 전송 경로를 형성합니다.

이와 같이, InfiniBand와 GPU Direct RDMA 기술이 결합된 구성은 고성능 컴퓨팅 환경에서 효율적이고 안정적인 데이터 전송을 구현합니다.

4. 실제 구성

잘 설계된 인피니밴드 네트워크를 구현하려면 적절한 케이블 선정과 효율적인 포트 배치가 필수적입니다. 복잡한 구성이지만, 깔끔한 연결과 최적의 비용 절감은 구축 업체의 경험과 노하우에 크게 좌우됩니다.

4.1 포트 배치
수백 개의 케이블을 체계적으로 라우팅하여 최적의 연결 경로를 선정하고, 필요한 케이블 길이를 정확히 계산해야 합니다.
명확한 레이블링과 체계적인 배치는 유지 관리와 장애 대응을 크게 단순화합니다.

4.2 케이블 선정
네트워크 요구 사항에 따라 패시브 동선, 액티브 동선, 또는 광섬유 케이블을 신중히 선택해야 합니다.
NVIDIA의 공식 자료를 기반으로, 이번 프로젝트에서는 멀티모드 트랜시버와 케이블을 사용해 구성했습니다.

[그림 7] InfiniBand NDR 인터커넥트 종류

트랜시버-케이블 일체형 구성이 더 저렴할 수 있었으나, 고객의 요청에 따라 트랜시버와 케이블을 개별적으로 구성했습니다. 잘못된 케이블 선택은 성능 저하와 추가 비용을 초래할 수 있습니다.

InfiniBand 케이블만 총 512개가 연결된 이번 프로젝트는, 사전에 철저한 설계와 계획 덕분에 스위치 간 연결과 스위치-노드 간 연결이 깔끔하게 정리되었습니다. 아래는 완성된 네트워크의 체계적이고 정돈된 모습입니다:

[그림 8] 최종적으로 구현된 256 GPU의 InfiniBand 연결

InfiniBand 네트워크의 효율적인 관리와 안정성을 위해, Spine 스위치 중 2대를 관리형 스위치(Managed Switch)로 구성하여 Subnet Manager를 해당 스위치에서 실행하도록 설정했습니다. 이를 통해 경로 설정 및 관리 작업이 최적화되었으며, 대규모 네트워크 환경에서도 안정적인 운영이 가능하도록 설계하었습니다.

케이블 포설까지 마친 후에 전체 노드에 대해 모든 네트워크가 400Gbps로 제대로 연결되었는지 확인하였습니다.

[그림 9] 각 노드의 InfiniBand 네트워크 상태 확인

이처럼 최적의 네트워크 구현은 구축 업체의 전문성과 세심한 설계가 필수적입니다. 복잡한 구성이라도 정확한 설계와 노하우가 적용되면, 안정성과 성능을 극대화할 수 있습니다. 이는 프로젝트 성공의 핵심 요소라고 할 수 있습니다.

저희 이스파이스는 20년 가까이 축적된 InfiniBand 구축 경험과 전문성을 바탕으로, 고객의 요구를 충족하는 최적의 네트워크 환경을 구현했습니다. 이번 프로젝트는 최신 기술과 설계 노하우를 결합한 성공적인 사례로, 고객의 비즈니스 가치를 한 단계 높였습니다.

(주)이스파이스는 Dell Technologies의 Titanium 파트너로, HPC/AI에 특화된 제품군과 서비스를 제공합니다. 또한, HPC/AI 연산에 최적화된 병렬 파일 시스템인 BeeGFS의 국내 유일 파트너로서 구축 및 서비스를 지원하고 있습니다.
제품 및 서비스에 대한 문의는 전화 02-573-1484~5 또는 이메일 espice@espice.co.kr로 연락 주시기 바랍니다.

제 64회 TOP500 슈퍼컴퓨터 랭킹 이야기

이스파이스 — Wed, 4 Dec 2024 13:45:47 +0900

안녕하세요, 이스파이스 기술연구소입니다.

지난달 중순, SC24 행사에서 2024년 11월 제64회 TOP500 슈퍼컴퓨터 순위가 발표되었습니다.

위 배경 사진은 이번 SC24가 있었던 애틀란타 행사장에 있던 장식(?)입니다. ㅎㅎ

이번 회차 역시 많은 변화와 새로운 동향이 반영된 흥미로운 순위였습니다. 이 글에서는 TOP500에서 제공한 공식 자료를 기반으로, 주요 변화와 기술 동향을 재구성하여 살펴보겠습니다.
함께 슈퍼컴퓨터 세계의 최신 트렌드를 훑어보시죠.

각 페이지의 그림은 클릭하면 조금 더 크게 볼 수 있으니 참고하십시오.

일단 20위까지의 순위입니다.

지난 4회차 동안 1위를 지켰던 Frontier를 능가한 El Capitan이 새로운 1위로 등극했습니다. El Capitan의 이론 성능은 2.75 Exa-flops, 실측 성능은 1.74 Exa-flops로, 그 규모는 실로 어마어마합니다. 단순히 H100 GPU의 이론 성능을 기준으로 계산해 보면, 약 40,990개의 H100 성능 합에 해당하는 수준입니다.

TOP500 전체 시스템의 성능 중 1위 시스템이 차지하는 비중은 무려 17.5%에 달합니다. 또한, Exa-flops 성능을 넘은 상위 1-3위 시스템의 합산 성능은 전체 500대 시스템 성능의 41%를 차지하며, 그 규모는 압도적입니다.

이번 회차에서 10위 내에 3대의 신규 시스템이 등재되었으며, 이 중 두 시스템은 미국 에너지부(Department of Energy, DOE) 산하 로렌스 리버모어 국립 연구소(LLNL)에 설치되었습니다. 또한, 이탈리아의 신규 대형 시스템이 5위에 이름을 올렸습니다.

20위까지의 순위를 보면, 일본의 소프트뱅크가 NVIDIA DGX 기반으로 구성된 두 대의 대형 시스템을 새롭게 등재했습니다. 독일과 미국 DOE 산하의 샌디아 국립 연구소(SNL)도 상위권에 새로운 시스템을 추가하며 경쟁에 가세했습니다. 그러나 상위 1-3위의 성능이 워낙 압도적이어서, 나머지 시스템과의 격차가 크게 느껴집니다.

특이한 점 중 하나는, 지난 회차에서 6위였던 스위스 슈퍼컴퓨팅 센터의 시스템이 성능 개선을 통해, 이전에 상위에 있던 핀란드 시스템을 넘어섰다는 것입니다. 한편, 현재 3위인 Aurora는 등장 당시 미완성 상태로 주목받았고, 완성 이후 성능 튜닝을 통해 더 높은 성능을 기록할 것으로 기대되었습니다. 그러나 예상과 달리 추가적인 순위 상승 없이 현 상태에 머물렀습니다.

20위 이내 시스템 중 HPE/Cray 기반 시스템이 10대를 차지하며 대형 HPC 시장에서 독보적인 위치를 재확인했습니다.

TOP500 측에서 공식적으로 발표한 뉴스 번역입니다. 그냥 읽어 보시면 됩니다.

TOP500의 시작부터 이번 회차까지의 성능 그래프입니다.
갈색 점이 1위의 성능, 파란 점이 500위의 성능, 녹색 점은 500대 전체 합계입니다.

1위 시스템은 대체로 4~5회차 동안 순위를 유지하다가 새로운 1위가 등장하는 주기를 보이고 있습니다. 이는 대략 2년에서 2년 반 간격으로 새로운 초대형 시스템이 등장하고 있다는 것을 의미합니다.

한편, 현재 500위 시스템의 성능은 과거 2011년경의 1위 성능에 해당할 정도로, 전체 시스템 성능이 비약적으로 향상되었습니다. 또한, 전체 합계 성능과 1위 시스템의 성능 간 격차가 점점 줄어들고 있어, 상위 시스템의 성능이 더욱 압도적으로 커지고 있음을 보여줍니다.

이와 같은 성능 향상은 프로세서와 가속기의 발전에도 기인하지만, 병렬 컴퓨팅의 특성상 더 많은 시스템 유닛의 집합으로 이루어진 대규모화가 주된 원인입니다. 이는 처리해야 할 연산량과 데이터의 증가가 이러한 변화를 이끌고 있음을 반영합니다.

국가별 통계입니다.

국가별 통계의 의미는 점차 약화되고 있는 듯합니다. 특히, 미국의 중국 무역 제재로 인해 중국은 수년째 새로운 시스템을 TOP500에 등재하지 않고 있습니다. 비공식적으로는 대형 시스템 구축이 진행 중이라는 이야기가 있지만, 공식 등재가 이루어지지 않아 현재 차트에서 중국 데이터의 의미는 크게 줄어든 상황입니다. 반면, 유럽 국가들은 과거에 비해 적극적으로 시스템을 등재하며 존재감을 강화하고 있습니다.

대륙별로 신규 시스템을 보면 다음과 같습니다.

북미, 아시아, 유럽에서 신규 등재된 시스템 수는 대체로 비슷한 수준을 보입니다. 다만, 1위 시스템을 보유한 미국은 성능 점유율에서 여전히 압도적인 우위를 유지하고 있습니다.

프로세서 세대별 통계입니다.

프로세서 세대별 통계를 살펴보면, TOP500 순위가 500위까지 포함되다 보니 여전히 오래된 프로세서도 다수 포함되어 있습니다.
특히, AMD 프로세서의 점유율이 상당히 높다는 점이 눈에 띕니다. 이번 SC24 기간 중 Dell 행사에서 AMD는 전체 서버 시장 점유율이 30%를 넘어섰다고 발표하며, 시장에서의 빠른 성장을 강조했습니다. 이는 AMD의 약진과 더불어 Intel의 상대적인 부진을 보여주는 지표로 해석할 수 있습니다.

신규 시스템에서 프로세서별 분류를 봐도 비슷한 양상입니다.

신규 시스템의 프로세서별 분류를 살펴보면, AMD의 점유율이 두드러집니다.
새롭게 등재된 시스템 중 약 34%가 AMD 프로세서를 채택했으며, 특히 대형 시스템에서 AMD의 채택률이 높게 나타납니다. SC24 기간 중 Dell 행사에서 AMD는 NVIDIA GPU를 사용하는 시스템에서도 AMD CPU가 Intel CPU보다 전반적인 성능이 우수하다고 발표했습니다. 이는 GPU 연산에서 필요한 전처리 작업과 같은 CPU 연산에서도 AMD가 더 우위를 점하고 있음을 보여줍니다.

가속기를 채택한 시스템의 비중은 꾸준히 증가하여, 현재 전체 시스템의 42%가 가속기를 활용하고 있습니다.

수량 면에서는 NVIDIA 가속기가 여전히 강세를 보이고 있지만, AMD 가속기는 HPE/Cray의 초대형 시스템에 채택되면서 성능 점유율에서 압도적인 존재감을 드러내고 있습니다.

신규 시스템 중에서는 NVIDIA의 H200이 새롭게 등장했습니다.

또한, SC24 직전 Dell이 세계 최초의 Blackwell(GB200) 시스템을 선적했다고 발표했으며, 이로 인해 다음 회차에서는 Blackwell 기반 시스템이 다수 등재될 가능성이 높아 보입니다.

병렬 연산에서 프로세스만큼 중요한 요소는 고속 네트워크입니다.

현재 200G InfiniBand가 가장 널리 사용되고 있으며, 100G Ethernet도 상당한 비중을 차지하고 있습니다. 성능 면에서는 대형 시스템에서 활용되는 HPE/Cray의 Slingshot-11이 가장 두드러집니다. Slingshot은 HPE/Cray가 기존 Ethernet을 개선하여 개발한 고성능 네트워킹 기술입니다.

신규 시스템을 살펴보면, 현재의 기술 추세를 확인할 수 있습니다.

새롭게 구축되는 시스템에서는 400G NDR InfiniBand가 가장 널리 사용되며, NDR200 기반의 200G InfiniBand도 높은 채택률을 보이고 있습니다. 이더넷 역시 지연 시간을 줄이는 기술과 대역폭 증가를 통해 사용 빈도가 점차 늘어나고 있습니다. 특히, 작년 SC23 행사장에서 첫 움직임을 보였던 Ultra Ethernet 컨소시엄이 올해에는 더욱 활발한 활동을 이어가고 있는 것으로 보입니다.

업체별 점유율을 살펴보면, 기존과 크게 달라지지 않았습니다.

Lenovo는 중소 규모 시스템에서 강세를 보이고 있으며, HPE/Cray는 대형 시스템에서 압도적인 점유율을 유지하고 있습니다. 유럽 시장에서 EVIDEN(구 Atos, Bull)은 꾸준히 영향력을 확대하고 있으며, Dell은 여전히 안정적인 위치를 유지하고 있습니다. 전체적으로는 Lenovo가 가장 많은 시스템을 보유하고 있지만, 100위 안에서는 4위에 그칩니다.

업체별 성능입니다.

현재 HPE/Cray가 압도적으로 지배적인 위치를 차지하고 있습니다. 10여 년 전, 제가 이 분석을 시작했을 당시에는 IBM이 주요 주도 업체였지만, 현재 IBM은 시스템 구축에 대한 관심이 크게 줄어든 것으로 보입니다.

업체별 새로 구축하여 등재시킨 시스템입니다.

이 시장의 전반적인 모습을 축약해 보여주는 사례라 할 수 있습니다.

다음은 현재 등록된 한국의 슈퍼컴퓨터 현황입니다.

광주 슈퍼컴퓨터 센터에 Dell이 설치한 대형 시스템이 새롭게 등재된 점이 눈에 띕니다. 또한, 카카오와 SKT는 기존 시스템의 성능을 업그레이드하여 향상된 성능 값을 등록함으로써 순위를 높이는 데 성공했습니다. 이전에는 이런 사례가 드물었던 만큼, 매우 고무적인 발전이라 할 수 있습니다.

향후 국내에 구축될 대형 시스템으로는 KISTI 6호기와 내년에 예정된 기상청 6호기가 있습니다. KISTI 6호기는 가속기 포함 시스템, 기상청 6호기는 CPU 기반 시스템으로 구축될 예정인데, 두 시스템이 각각 어떤 성능을 보여줄지 기대됩니다.

이렇게 이번 64회 TOP500 순위를 훑어보았습니다. 아래는 제 나름의 이번 순위 요약입니다.

실제 자료에서는 HPE로 표기되어 있지만, 이는 Cray를 인수한 HPE이며, HPC 분야에서는 여전히 Cray 멤버들이 활약하고 있기에 HPE/Cray로 표기했습니다. HPE/Cray는 글로벌 시장에서 독보적인 위치를 유지하고 있습니다.
현재 HPC 기술은 가속기와 InfiniBand를 보유한 NVIDIA가 선도하고 있지만, “AMD 프로세서 + AMD 가속기” 또는 “Intel 프로세서 + Intel 가속기” 조합의 초대형 시스템도 점차 증가하고 있습니다. 로렌스 리버모어 국립 연구소(LLNL), 영화 오펜하이머의 배경이 된 로스앨러모스 국립 연구소(LANL), 그리고 샌디아 국립 연구소(SNL) 등 미국 DOE 산하 연구소들은 이러한 시스템 도입에 적극적이며, 오픈소스 프로젝트의 발전에도 크게 기여하고 있습니다. 이로 인해 AMD와 Intel 가속기의 사용 환경도 점차 개선될 것입니다.

64회 TOP500 순위를 기반으로 한 이번 분석을 통해 HPC와 AI 기술이 어떻게 융합하고 발전하고 있는지를 살펴보았습니다.

가속기 기반 AI 연산의 활용도가 높아지면서 전통적인 HPC 성능 지표인 TOP500에도 변화의 바람이 불고 있습니다.
SC24에서 열린 Bird of a Feather 세션 중 하나에서도 전통적인 HPC 성능 지표가 AI 시대에 얼마나 적절한지에 대한 열띤 논의가 이어졌습니다.

TOP500이 AI 성능을 완벽히 반영한다고 보기는 어렵지만, 대규모 연산을 위한 HPC 기술 동향을 이해하는 데 있어 여전히 중요한 자료임은 분명합니다.

(주)이스파이스는 Dell Technologies의 Titanium 파트너로서, HPC/AI에 특화된 제품군과 서비스를 제공하고 있습니다.
또한, HPC/AI 연산에 최적화된 병렬 파일 시스템인 BeeGFS의 국내 유일의 파트너로 구축 및 서비스를 제공합니다.
관심있으신 분들은 전화 02-573-1484~5 혹은 이메일 espice@espice.co.kr로 연락주시기 바랍니다

더욱 강해진 AMD EPYC 5세대(Turin) 간단한 소개

이스파이스 — Tue, 22 Oct 2024 14:15:45 +0900

Dell의 16세대 서버에는 Intel Xeon SP 4세대와 AMD EPYC 4세대로 라인업이 되어 있지요.

같은 플랫폼에 Intel Xeon SP가 5세대를 먼저 발표하면서 약간의 성능 향상이 있었습니다.

그리고, AMD에서도 같은 플랫폼에 사용할 수 있는 5세대를 지난 주에 발표하였습니다.

그런데, AMD의 5세대는 완전 괴물이네요.

AMD 홈페이지에 있는 자료를 근거로 일단 전에 만들었던 표에 5세대를 포함시켜 보았습니다.

https://www.amd.com/en/products/processors/server/epyc/9005-series.html

The Leading CPU for AI

Purpose built to accelerate data center, cloud, and AI workloads, the AMD EPYC 9005 series of processors are driving new levels of enterprise computing performance.

www.amd.com

붉은색 프로세서가 현재 세대의 제품군들입니다.

	Intel Xeon Scalable Processor Gen.2	Intel Xeon Scalable Processor Gen.3	Intel Xeon Scalable Processor Gen.4	Intel Xeon Scalable Processor Gen.5	AMD EPYC 7002	AMD EPYC 7003	AMD EPYC 9004	AMD EPYC 9005
Codename	Skylake	Icelake	Sapphire Rapids	Emerals Rapids	Rome	Milan	Genoa	Turin
# of cores	4~28	8~40	8~52	8-64	8~64	8~64	16~96	8~192
Base Clock Speed	1.8 ~ 3.8GHz	2.0 ~ 3.6GHz	1.8 ~ 3.7GHz	1.9 ~ 3.9GHz	2.0 ~ 3.7GHz	2.0 ~ 3.7GHz	2.25~4.15GHz	2.1~4.2GHz
Memory Type	DDR4	DDR4	DDR5	DDR5	DDR4	DDR4	DDR5	DDR5
Max memory speed	2933	2666/2933/3200	4800	5600	3200	3200	4800	6000
Max # of memory channels	6	8	8	8	8	8	12	12
PCI Express revision	3	4	5	5	4	4	5	5
Max # of PCI Express lanes	48	64	80	80	128	128	128	128
TDP (W)	85~205	105~270	150~350	115~385	120~280	155~280	200~400	125~500

인텔이 5세대로 가면서 코어수가 늘어난 게 최대 64개입니다.

AMD는 4세대에서 이미 96코어였는데, 5세대에서 최대 무려 192코어입니다.

메모리 속도도 인텔이 5600MHz로 늘어났는데, AMD는 6000MHz입니다.

게다가 AMD는 메모리 채널이 CPU당 12개로 인텔의 8개에 비해 1.5배죠.

4세대에서 AMD의 메모리 대역폭이 인텔에 비해 1.5배였습니다.

5세대에서는 이 간격이 더 커져서 1.6배 정도 되네요.

2소켓 서버 한 대에서 가능한 물리 코어수가 384개입니다.

2소켓 3대면 1000코어 클러스터 나오겠네요.

그러면서 소비전력의 상승폭은 크지 않아 코어가 많이 필요한 곳에서는 굉장한 장점이 될 수 있겠습니다, 성능, 유지비 등등...

곧 저희도 해당 프로세서 탑재한 서버를 공급할 수 있을 것 같습니다.

(주)이스파이스는 Dell Technologies의 Titanium 파트너로서, AMD EPYC 프로세서를 탑재한 서버 제품군을 공급하고 있습니다.

관심있으신 분들은 전화 02-573-1484~5 혹은 이메일 marketing@espice.co.kr로 연락주시기 바랍니다.

Dell Technologies의 BeeGFS 레퍼런스 구성 자료

이스파이스 — Mon, 30 Sep 2024 15:07:54 +0900

안녕하세요, 이스파이스 기술연구소입니다.

저희 이스파이스는 HP/AI용 고성능 병렬 파일 시스템인 BeeGFS의 공인 파트너입니다. 또한 Dell Technologies는 BeeGFS의 대표적인 기술 파트너이기도 합니다.

이에 Dell Technologies에서 BeeGFS를 위한 대표적인 구성에 대해 기술 문서를 제공하고 있습니다.

우선 HDD기반의 대용량 스토리지 자료입니다.

https://www.dell.com/support/kbdoc/ko-kr/000132681/dell-emc-ready-solutions-for-hpc-beegfs-high-capacity-storage?lang=en

Dell EMC Ready Solutions for HPC BeeGFS High Capacity Storage | Dell 대한민국

증상 This article was written by Nirmala Sundararajan, HPC and AI Innovation Lab, April 2020 원인 Introduction Solution Reference Architecture Hardware and Software Configuration Solution Configuration Details Performance Evaluation Conclusion and Fut

www.dell.com

아래는 개략적인 구성도입니다.

[그림1] Dell EMC Ready Solution for HPC BeeGFS Storage

이 구성에 대해 Sequential Read/Write 성능은 아래와 같이 나옵니다.

[그림2] N-N Sequential 성능

Thread 수에 따라 선형적으로 성능이 향상됨을 알 수 있습니다. 성능 한계가 22GB/s 근처에서 포화된 것으로 나오는데, 이는 시스템의 규모가 더 커지면 더 큰 대역폭을 제공할 수 있게 됩니다.

자세한 내용은 위의 링크를 참고하시기 바랍니다.

다음 문서는 NVMe기반의 초고성능 자료입니다.

https://www.dell.com/support/kbdoc/ko-kr/000130963/dell-emc-ready-solutions-for-hpc-beegfs-high-performance-storage?lang=en

Dell EMC Ready Solutions for HPC BeeGFS High Performance Storage | Dell 대한민국

증상 Article written by Nirmala Sundararajan of the Dell EMC HPC and AI Innovation Lab in November 2019 원인 Dell EMC Ready Solutions for HPC BeeGFS High Performance Storage 해결 Table of Contents Introduction Solution Reference Architecture

www.dell.com

대표 구성 예는 다음과 같습니다.

[그림3] Dell EMC Reference Solutions for HPC BeeGFS Storage - Reference Architecture

위의 그림은 성능을 극대화하기 위한 구성으로 이의 성능 그래프는 다음과 같습니다.

[그림4] Sequential IOzone 8TB aggregate file size

이 그림 역시 참고 자료로 규모와 스토리지 노드 구성에 따라 더 높은 성능으로 설계가 가능합니다.

위의 문서들은 참고 문서 상의 구성이며, 최신 Dell Technologies의 서버와 최신 InfiniBand 또는 이더넷 네트워크 기술로 고객의 환경과 요구 사항에 맞게 최적 구성이 가능합니다.

(주)이스파이스는 Dell Technologies의 Titanium 파트너로서, HPC/AI에 특화된 제품군과 서비스를 제공하고 있습니다. 또한, HPC/AI 연산에 최적화된 병렬 파일 시스템인 BeeGFS의 국내 유일의 파트너로 구축 및 서비스를 제공합니다. 관심있으신 분들은 전화 02-573-1484~5 혹은 이메일 espice@espice.co.kr로 연락주시기 바랍니다.

GPU server : Dell PowerEdge XE9680

OldSpice — Wed, 25 Sep 2024 09:07:50 +0900

PowerEdge 16G 표준제안서 XE9680_v1.1.pdf

6.80MB

Dell Technologies의 최신 GPU 서버인 PowerEdge XE9680 을 소개합니다.
파일로 다운받기 원하시면 위 파일을 다운로드 받으세요.

Introducing BeeGFS

OldSpice — Mon, 26 Aug 2024 15:25:43 +0900

Introducing_BeeGFS_202408_KOR_ESPICE v01.pdf

1.66MB

병렬파일시스템 솔루션 BeeGFS를 소개해드립니다.
파일로 다운받기 원하시면 위 파일을 다운로드 받아주세요.

Gen AI를 위한 Ethernet 네트워킹

OldSpice — Wed, 21 Aug 2024 16:21:13 +0900

DELL AI Networking _ESPICE v01.pdf

1.59MB

고성능 이더넷 네트워킹 솔루션을 소개해 드립니다.
파일로 다운받기 원하시면 위 파일을 다운로드 받아주세요.

제 63회 TOP500 수퍼컴퓨터 랭킹 분석 (2024.06)

이스파이스 — Tue, 21 May 2024 15:08:05 +0900

안녕하세요, 이스파이스 기술연구소입니다.

매년 2회 발표하는 TOP500 슈퍼 컴퓨터 랭킹의 상반기 결과가 지난 주에 발표되었습니다.

매년 독일에서 6월에 열리는 ISC와 미국에서 11월에 열리는 SC 행사에 맞춰 발표되었는데, 올해는 ISC가 5월인 지난 주에 열렸습니다. 아마도 두 행사 간극을 6개월로 맞추기 위해 바뀐 것 같은데, 여전히 공식 사이트에선 2024-06으로 표기하고 있네요.

11월 행사가 더 규모가 큰 지라 새로운 시스템 등재도 보통 11월에 맞추긴 합니다만, 그렇다고 새로운 시스템 등재가 없는 것은 아니고 작년 11월 리뷰 이후 어떤 변화가 있는지 훑어보는 겸해서 정리를 해보았습니다. 정리하다 보니 흥미로운 점이 꽤 많습니다.

이 분야가 최강 컴퓨팅 기술의 집합체이다 보니, 최상위 기술의 흐름을 이해하는 데 도움이 됩니다.
언제나 그렇듯이 가볍게 읽어 보시면 됩니다. 시작합니다.

제63회 순위의 상위 TOP20입니다.
글씨가 작은 경우 이미지를 클릭하면 조금 더 크게 볼 수 있습니다. (데스크 탑에서 보시길 권장합니다)

제63회 TOP500의 상위 20위까지의 시스템

신규 시스템 3대, 유럽 시스템이 7대!
일단 5위까지는 변화가 없습니다. 20위 안에 3대의 신규 시스템이 들어왔는데, 2대가 유럽(스위스, 프랑스)입니다. 최근 몇 년간 유럽의 대형 시스템 구축 빈도가 엄청 높아졌습니다.
당장 20위 안에만 해도, 핀란드, 스위스, 이탈리아, 스페인, 프랑스, 네덜란드의 7대의 시스템이 등재되어 있습니다. 10년 넘게 조사를 하면서 가장 높은 점유율인 것 같습니다.
최초 등재 후에도 성능을 향상을 위한 지속적인 노력
성능 쪽 열을 보면, 지난 제62회에 비해 성능을 높인 시스템이 네 대나 있습니다.
2위인 Aurora의 경우, 지난 회에 구축이 절반 정도 되었다고 했는데 이번에 지난 회 대비 약 1.7배 향상을 시켰습니다.
이론 성능은 1위인 Frontier에 비해 높기에 구축이 완료되고 최적화를 이루면 1위를 달성할 수도 있겠습니다.
스페인에 있는 8위 시스템은 성능을 높여 지난 회에 한단계 위에 있던 Summit을 앞섰습니다.
새로운 CPU (Intel Xeon CPU Max, NVIDIA Grace) 등장!
Xeon 4세대 프로세서 라인업에 CPU Max라는 제품군이 있습니다. HBM(High Bandwidth Memory)가 포함되어 있는 등 CPU이면서도 HPC 및 AI 워크로드에 특화된 기능을 포함한 프로세서입니다. 2위 Aurora가 이 프로세서를 기본으로 하고 있습니다.

또한, NVIDIA가 2022년에 Hopper GPU 아키텍처를 발표할 때 함께 발표한 Grace 아키텍처가 드디어 세상에 시스템으로 나타났습니다. 정확하게는 GH200이라는 Grace 프로세서와 H100 GPU가 합쳐진 하이브리드 프로세서로 된 시스템인 거죠. 20위 안에 새롭게 등장한 3대의 시스템이 모두 GH200으로 만들어진 시스템입니다.
이는 CPU와 GPU가 NVLINK로 연결되는 것으로, 사실 수년 전에 IBM의 Power 프로세서로 비슷하게 구현된 바 있는데, 이후 IBM이 Power 프로세서 쪽에 집중하지 않으면서 세상에서 사라지는 듯했습니다. 하지만, NVIDIA가 ARM기반의 프로세서로 새롭게 만들어 내면서 다시 이 개념이 등장했습니다.
GH200은 하나의 프로세서로 CPU 및 GPU 워크로드를 모두 커버할 수 있기에, 고성능의 AI 연산이 필요한 edge 환경에서 힘을 보일 것 같습니다. 지금 세대(Hopper)에서는 CPU와 GPU가 1:1 비율로 구성된 하이브리드이지만, 다음 세대인 블랙웰(Blackwwell)에서는 GB200이 CPU 대 GPU 비율이 1:2가 될 예정이라 더욱 GPU 파워가 막강한 하이브리드 프로세서가 될 예정이라 지켜볼 필요가 있어 보입니다.
20위 안에 18대가 가속기 채택
프로세서 자체가 AI를 타겟으로 설계된 A64FX를 탑재한 4위의 일본의 Fugaku와 수년 전에 1위를 했던 중국의 자체 프로세서를 탑재한 Taihulight를 제외하고 연산을 위한 가속기를 채택한 시스템입니다.
HPC가 점차 대형화되면서 범용 프로세서보다는 연산을 위한 전용 가속기를 채택함으로 해서 성능은 높이고 소비 전력을 낮추기 위한 노력이 가속화되는 것 같습니다. 실제로 전체 시스템을 봐도 가속기의 채택 비율이 점차 높아지고 있습니다.

Top500측에서 요약한 10위 안에 있는 시스템 정보입니다.

TOP500에서 요약한 주요 뉴스

2위 Aurora가 두번째로 엑사스케일 시스템이 되었다는 것 외엔 특히 주목할 내용은 없습니다.
사실 Aurora는 수년 전에 지금은 12위인 Sierra, 9위의 Summit과 함께 미국에서 시작한 3대 엑사스케일 프로젝트 중 하나입니다. Xeon CPU Max에 GPU Max 가속기로 구성된 Aurora시스템은 인텔에게도 큰 도전이자 레퍼런스가 될 것 같습니다.

성능 발전 추이인데, 현재 1위인 Frontier가 5회째 1위를 유지하고 있습니다.
발전 추이 그래프를 보면 갈색 ▲가 1위 시스템의 성능을 나타내는데, 다음 회차 정도에 새로운 시스템이 등장하지 않을까 예상해 봅니다.
2014년에서 2019년 5년 간에 1위 시스템 성능이 4.4배 증가한 것에 비해, 최근 5년간에 성능은 8.1배 증가하였습니다. 10년 간 1위 시스템의 성능은 약 36배 증가하였고요. 앞으로 5년 후엔 얼마나 더 빨라질까요?

국가별 시스템 통계입니다.

국가별 통계는 미국, 중국이 계속 강세인데, 최근 몇 년간 중국이 새로운 시스템 등재를 안(못?) 하고 있어서 알 수는 없습니다. 대신, 앞서 언급한 대로 유럽의 국가들이 많아지고 있고, 한국에 설치된 시스템도 점점 많아지고 있습니다.

대륙별 ‘신규’ 시스템입니다.

보통 11월 미국 SC 행사에 미국 쪽 시스템이 대거 등장이 예상되지만, 유럽 시장의 성장세는 확실히 주목할 만합니다.

프로세서 세대별 통계입니다.

지난 회차에 비해 인텔의 Xeon 4세대(Sapphire Rapids)의 시스템 점유율 및 성능 점유율에서 성장 중이고, 앞서 언급한 Xeon CPU Max와 NVIDIA Grace의 신규 등장이 흥미롭습니다.

신규 시스템의 프로세서 정보입니다.

AMD와 인텔 모두 4세대 프로세서들이 다수를 차지합니다.
이제 AMD가 인텔에 구축 사례에서도 뒤지지 않는 것이 인상적인데요, 역시나 NVIDIA의 Grace가 대규모 시스템에 채택되는 것이 가장 눈에 띕니다. NVIDIA가 자기네들의 기본 시스템인 DGX를 Grace로 몰고 간다면, 이 비율 역시 다음 세대인 Blackwell 시대엔 더욱 증가할 수 있지 않을까요?

사용되는 가속기에 대한 정보입니다.

전체 500대의 시스템 중에 약 39%에 달하는 193대가 가속기를 사용하는 시스템입니다. 이 비율은 꾸준히 증가하고 있습니다.
NVIDIA의 강세 속에 AMD와 Intel 가속기의 성능 비율이 46% 가까이 되는 것이 주목할 만합니다.
가속기에 대한 폭발적으로 증가한 수요에 대해 NVIDIA의 부족한 공급을 AMD와 Intel가 메우고 있는 모양새처럼 보일 수도 있습니다. 대형 시스템의 AMD, Intel 가속기의 채택은 가속기의 활용이 하드웨어 자체보다는 그 가속기 하드웨어를 받쳐주는 소프트웨어 인프라의 발전에 기인한다고도 볼 수 있을 것 같습니다.
Dell의 PowerEdge XE9680의 경우 AMD의 최상위 가속기인 MI300X로도 구성할 수 있으며, PowerEdge R760XA에서는 NVIDIA, AMD, Intel의 가속기로 구성이 가능합니다.

신규로 등재된 시스템 중에 가속기를 채택한 시스템에 대한 정보입니다.

NVIDIA의 H100의 지배는 예상한 것인데, Grace 프로세서와 하이브리드로 구성된 GH200이 새롭게 등장한 것이 인상적입니다. 최신 대형 시스템에 GH200의 점유가 계속 늘어날지는 지켜 봐야겠습니다.

고속 네트워크를 나타내는 인터커넥트 부분입니다.

고속 네트워크는 인피니밴드가 대세인 가운데, 400G 속도인 NDR도 늘어나고 있네요. 아무래도 최신 대형 시스템엔 NDR이 채택되는 빈도가 높아지는 것 같습니다.
HPE/Cray의 독자적인 고속 네트워크인 Slinghot은 아무래도 대형 시스템 구축 사례가 많다 보니, 성능 면에서 점유율이 높네요.

신규 등재된 시스템에서 인터커넥트 부분입니다.

HPE/Cray(정확하게는 합병 전 Cray)가 10여년 전에 Aries를 Intel에 팔고 난 후에 새롭게 개발한 Slingshot이 안정화되는 것 같습니다. Aries 기술을 구입한 Intel은 그 기술을 참고한 Omni-Path를 내놨지만 별 재미를 못 봤죠. 새로 등재된 시스템들은 200G 이상이 많네요 (200G: Slingshot-11, IB NDR200, HDR / 400G: IB NDR)

업체별 시스템 점유율입니다.

HPE는 꾸준히 점유율을 높여가고 있고, Lenovo는 살짝 주춤하네요. Dell도 조금씩 높여가고 있습니다.
역시나 HPE가 100위 이내 대형 시스템에서도 점유는 압도적입니다.
제가 이 조사를 시작한 십수년 전엔 IBM이 50% 가까이 점유하였었는데, 이제 IBM은 사업 방향을 많이 틀어서 이제 보기 힘듭니다.

업체별 성능 점유율입니다.

전체 시스템 수 점유율이 33%에 달하는 Lenovo가 성능 점유율은 7%이고, 22% 시스템 점유율인 HPE가 36%의 성능 점유율을 보이는 것에서 규모의 차이를 알 수 있습니다.
성능 점유에서 Microsoft가 다섯 손가락 안에 든다는 것이 그들이 얼마나 이 시장에 집중하고 있는지 보여주는 것 같습니다. 요새 AI 분야에서 가장 적극적인 회사임을 다시 한번 알 수 있지요.

신규 등재된 시스템의 제조사 정보입니다.

작은 규모 위주의 Lenovo, 대형 시스템의 HPE가 압도적인 가운데, 미국의 Dell, 일본의 Fujitsu와 NEC도 꾸준하네요.

한국의 시스템입니다.

이전 순위에 있던 두 대가 순위권 밖으로 밀려나고, ‘카카오’에서 구축한 2대가 새롭게 등재되어 전체 시스템 수는 13대로 동일합니다. 국내에서도 ChatGPT와 AI/DL 붐으로 기업에서 대형 HPC 구축이 많아지고 있는 것이 확실히 보입니다.

이번에 발표된 TOP500 순위를 훑어본 후의 요약입니다.

2대의 엑사-시스템이 순위에 등재되었습니다. 바야흐로 엑사플롭스 시대에 돌입했다 할 수 있겠습니다. 꿈의 성능 같았는데, 벌써 …
프로세서 측면에서 AMD가 인텔에 대등한 시합을 하고 있고, 그 와중에 NVIDIA Grace의 등장이 앞으로 어떻게 될지 궁금해지네요.
마이크로소프트의 확장은 계속될 것 같습니다. 다만, 분명 구글도 초대형 시스템을 구축했을 텐데 물밖으로 보이지 않는 것이 궁금하군요.
AI붐으로 국내에도 시스템 수가 증가하고 있고, 카카오의 2대 등재는 인상적이네요.

이렇게 이번에 발표한 제63회 TOP500 순위를 훑어봤습니다.
전통적인 HPC의 개념도 AI 붐에 그 모양새가 많이 달라지고 있습니다. 블랙웰이 나와봐야 알겠지만, 얼마 전까진 HPC가 AI를 품는 형태였는데, 앞으론 그 반대가 될 수도 있을 것 같습니다.
그럴 조짐도 이미 보이고 있고요.

일반 서버를 다루다 보면 새로운 하드웨어의 쓰임새가 와닿지가 않을 때가 있는데, 이렇게 대형 시스템을 보면 좀 감이 잡히는 것 같습니다.

※ 모든 자료는 Top500.org 홈페이지에 공개된 500위까지의 순위 데이터를 이스파이스 연구소 자체적으로 분석 정리한 것입니다.

올해는 무슨 색 어떤 동물의 해?

OldSpice — Tue, 23 Jan 2024 09:42:22 +0900

IT 기술 블로그에 IT의 범주를 벗어난 이야기들을 spice처럼 곁들여 보려고 합니다.

그 첫번째 이야기는... 2024년 새해가 시작되기도 했고,
언제부턴가 "올해는 ㅇㅇ(색) ㅁㅁ(동물)의 해"라는 기사와 이야기들이 미디어에 많이 등장하기 시작했는데요.
띠(12간지,동물)는 알겠지만 색깔은 무슨 근거로 붙이는 건지 정리를 해볼까 합니다.

오행 (五行)

오행은 동양에서 우주만물을 5가지의 성질로 설명한 것인데요. (여기에 음양의 개념까지 넣어서 음양오행이라고 합니다. )
뻗어올라가는 기운을 나무에 빗대어서 木으로 표현하는 식으로, 사물과 현상을 목/화/토/금/수 5가지로 분류했습니다.

목 →화 →토 →금 →수 →목 →화... 와 같은 방향으로 북돋아주고, (+)
목 →토 →수 →화 →금 →목 →토... 와 같은 방향으로 눌러주는데, (-)
이를 상생/상극의 원리라고 하며, 너무 깊이 들어갈 수 없으니 넘어가겠습니다.

이 오행에 각각 방위, 색깔, 상징 들을 대입할 수 있는데, 그것을 정리하면 아래 그림처럼 됩니다.

오방색, 그리고, 사신들

동서남북 그리고 중앙에 다섯가지 색깔을 대입한 것을 오방색이라고 합니다.

각 방위에 해당하는 오행과 색깔이 있고, 각각에 해당하는 계절도 있고, 이를 상징하는 4신도 있습니다.
(날아오르라 주작이여~!)
"좌청룡 우백호"란 말도, 우리가 중앙에 서서 아랫쪽을/남쪽을 바라봤을 때, 좌측에 청룡, 우측에 백호가 지켜준다면 든든하지 않겠는가 하는 의미겠지요.

여담으로...
돌궐을 먼 조상이라고 얘기하는 튀르키예에서
북쪽에 있는 바다를 왜 검은 바다(흑해)라고 부르는 지,
남쪽에 있는 바다를 왜 붉은 바다(홍해)라고 부르는 지도 동양의 오방색과 관련지어 생각할 수도 있겠습니다.
실제로 바다가 검지도, 붉지도 않은데 말이지요.
지중해는 튀르키예어로 하얀 바다 (Akdeniz) 라고 부른다 합니다.
(오방색 외의 다른 근거를 드는 경우도 있어서, 어떤 것이 정설인 지는 차치하고, 일단은 재미로 보면 좋겠습니다.)

(출처 : 구글지도) 가 보고 싶다...

간지 (干支)

십간 (十干) : 甲(갑), 乙(을), 丙(병), 丁(정), 戊(무), 己(기), 庚(경), 辛(신), 壬(임), 癸(계)
십이지 (十二支) : 子(자), 丑(축), 寅(인), 卯(묘), 辰(진), 巳(사), 午(오), 未(미), 申(신), 酉(유), 戌(술), 亥(해)

천간(天干) 10개, 지지(地支) 12개를 조합하면, 60개의 조합이 나오는데, (짝수로 매칭돼서 120개가 아닌 60개)
이 간지(干支)의 조합으로 연도를 부릅니다. 2024년은 甲辰의 조합이라, 갑진(甲辰)년입니다.
갑자, 을축 부터 시작해서 마지막 계해까지 한바퀴 돌아서 다시 갑자로 시작하면, 이 때를 환갑/회갑이라고 부르며,
이 모든 조합을 육십갑자, 혹은 더 줄여서 육갑이라고 부릅니다.

(손가락 마디마디에 간지를 배열하고 이를 짚으면서 갑자,을축... 하며 암산을 하는데, 손가락 결손이 있는 사람이 이를 짚어봐야 제대로 계산이 안되기에, 우리가 흔히 아는 비속어가 여기서 비롯됐다는 이야기도 있네요.)

십이지는 각각 12종의 동물과 매치를 시켰는데, 익숙하지 않은 사람들은 자기가 무슨 띠인지 정도만 기억하고 잘 모르죠. 하지만, 1990년대 중반에 어린 시절(?)을 보내신 분들은 십이지를 이렇게 외워서 알고 있다고 합니다.

똘기 떵이 호치 새초미 자축인묘
드라고 요롱이 마초 미미 진사오미
뭉치 키키 강다리 찡찡이 신유술해

그래서, 올해는 무슨 해?

2024년은 갑진년입니다.
甲은 오행 중 木에 해당하며, 木은 푸른색을 상징합니다.
辰은 용(龍)을 상징하므로, 2024년은 "청룡의 해" 라고 부르게 되겠지요.

개인적으로 2033년이 기대가 되는데,
과연 "흑우(黑牛)의 해" 라고 할 것인가가 자못 궁금해집니다. 그 때쯤이면 흑우라는 유행어도 더 이상 안 쓰게 될 것인지...

황금돼지띠라고 해서 아기들이 많이 태어나고, 백말띠라 기가 드세다고 여아 출산율이 떨어지는 어이없는 상황도 벌어진 적도 있지만, 모쪼록 마케팅은 마케팅으로 봐주고 재미로 보고 즐기면 좋은 이벤트로 생각하는 게 낫지 않을까 합니다.
저출산/저출생이 문제인 오늘날에는 무슨 이유를 갖다 붙이든 간에, 기분 좋은 아기들 울음 소리가 여기저기서 많이 들리면 좋겠습니다.

회사 연혁

이스파이스 — Tue, 9 Jan 2024 09:13:45 +0900

회사 연혁

이스파이스는 하드웨어 인프라 구축 및 솔루션 전문업체로서, 2009년 설립 이후 고객과 함께 꾸준히 성장하고 있습니다.

회사 소개

이스파이스 — Tue, 9 Jan 2024 09:13:34 +0900

이스파이스 개요

이스파이스는 디지털 혁신과 성장을 선도하는 기업으로서, 최적의 솔루션을 제공하여 고객의 비즈니스 성공을 돕고 있습니다.

오시는 길

이스파이스 — Thu, 4 Jan 2024 17:51:44 +0900

주소 및 연락처

(13840) 경기도 과천시 과천대로7길 33, 디테크타워 A동 1307호~1308호

제 62회 TOP500 수퍼컴퓨터 랭킹 분석 (2023.11)

이스파이스 — Tue, 5 Dec 2023 10:56:56 +0900

안녕하세요, 이스파이스 기술 연구소입니다.

매년 2회 발표하는 TOP500 수퍼컴퓨터 랭킹이 올해 11월에도 어김없이 발표되었습니다.

6월에는 독일 함부르크에 열리는 ISC 행사에 맞춰 발표되고, 11월에는 미국에서 열리는 SC 행사에 맞춰 발표됩니다.

아무래도 미국 행사가 규모가 더 크다 보니, 11월 랭킹에 큼직한 변화가 더 많은 편입니다.

수퍼컴이라는 것이 컴퓨터 산업의 최고 성능이 필요한 부문이다 보니, 기술 동향을 엿보기에 가장 좋은 지표 중 하나입니다.

올해도 순위를 정리하면서 기술 동향을 훑어 보겠습니다.

올해 SC23은 콜로라도 주의 덴버 시에서 열렸습니다.

이번 회차의 상위 20위까지의 시스템 순위입니다.

보통 한 회차에 20위 안이라면 4-5개 정도의 새로운 시스템이 등재되곤 하는데, 이번 회차엔 무려 7개입니다. 6월에 새롭게 등재된 15위의 시스템까지 포함하면 올해에만 8대의 시스템이 새롭게 등재되었습니다.

TOP500측에서 언급한 주요 뉴스는 다음과 같습니다.

TOP10 하일라이트는 다음과 같이 요약했군요.

여기에 제 의견을 좀 보태면 다음과 같습니다.

- 유럽의 약진입니다. 전에는 독일, 영국 정도가 가끔 상위권에 등재되었지만, 이제 20위 안에 유럽 시스템만 해도 7개의 시스템이 있습니다. 핀란드, 이탈리아, 스페인, 네덜란드, 프랑스, 독일 등 여러 나가가 등재시켰습니다. 이제 전 세계가 수퍼컴이 필요하고, 사용하는 시기라는 것이겠지요.

- 마이크로소프트가 초대형 시스템 구축을 하고 있습니다. 굉장히 적극적으로 AI 서비스를 제공하고 있는 마이크로소프트여서인지 시스템 구축도 굉장히 공격적입니다.

- 2위인 HPE/Cray의 오로라 시스템은 꽤나 오래전부터 시작한 프로젝트인데요, 한때 1위까지 했던 Summit과 거의 시작은 같았던 걸로 기억하는데 이제서야 시스템이 등재되었네요. 설명에 따르면 현재 시험 가동 중이고 절반만 시험을 돌린 것이라는데, 2위에 오른 걸 보면 완성되어서 최적화까지 되면 1위를 노릴 것 같습니다. 게다가 작정하고 인텔이 달려든 프로젝트라는 것이 보입니다. 가속기가 인텔의 GPUMax입니다. NVIDIA 독주 속에 AMD의 Instinct 가속기가 종종 쓰이는데 그 와중에 인텔의 가속기로 시스템을 구축했습니다.

시스템의 성능 추이입니다.

추이는 딱히 크게 눈에 띄는 건 없습니다. 현재 1위 Frontier가 4회 동안 1위를 했으니, 다음 회차 쯤에 새로운 1위가 등장할 수도 있겠다는 예측을 해볼 수 있겠네요. (그래프에서 갈색 세모 점)

국가별 통계입니다.

최근 몇 회간 중국의 시스템 등재가 눈에 뜨게 줄었습니다. 아예 등재를 안 하는 것 같기도 합니다. 그러면서, 미국의 점유율이 늘어났지요. TOP500 순위를 취합하고 정리하는 단체가 미국 쪽이다 보니 자기네가 잘 해서 그렇다고 하겠지만, 중국이 보이지 않을 뿐이라 생각합니다.

대신 위에도 언급했지만, 네덜란드, 스웨덴 같은 유럽 국가들이 눈에 띕니다. 예전에도 프랑스, 영국, 이탈리아는 눈에 가끔 띄었는데 다른 나라들도 큰 시스템들을 많이 구축하고 있음이 보입니다.

시스템 수도 수지만, 성능 지분을 보면 미국이 절대적으로 큰 시스템이 많습니다.

대륙별 점유율은 올해 신규 등재 시스템으로만 보겠습니다.

미국에 새로운 시스템이 많이 등재되고 있고, 유럽도 엄청납니다. 아시아는 올해 일본(6), 한국(5)가 크네요. 중국은 올해 등재된 시스템이 1대입니다. 우리나라도 TOP500에 등재될 정도의 대형 시스템이 확실히 증가하고 있습니다.

프로세서 세대별 통계입니다.

아무래도 Xeon 2세대 제품이 아직까지 전체 순위에는 많습니다만, 성능 쪽을 보면 AMD EPYC 3세대 Milan이 대형 시스템에 많이 쓰이고 있음을 알 수 있습니다. 거기에 작년 말에 공개된 Xeon 4세대 Sapphire Rapids가 대형 시스템에 많이 적용되기 시작했습니다. 인텔이 한참동안 최신 PCI 규격 적용이 늦었는데, 이게 이제 AMD와 같아지니 최신 기술의 반영이 필수적인 대형 HPC에 인텔 프로세서들이 채택되기 시작했습니다. 그래도, 현재로는 AMD의 프로세서가 사양 면에서 좀 더 나아 보이긴 합니다.

신규 등재된 시스템으로 프로세서들을 훑어 봅니다.

지난 회차(61회)까지는 AMD EPYC 3세대가 많았지만, 이번 회차에서 확실이 인텔 4세대 Xeon이 많습니다. 정말 오래간만에 인텔의 강세를 보네요.

다음은 가속기를 채택한 시스템에 대한 통계입니다.

가속기를 채택하는 시스템 수는 꾸준히 늘어나고 있습니다. 숫적으로 절대적으로 많은 건 아니지만, 성능 만으로 보면 71%가 넘는 부분이 가속기를 채택한 시스템의 성능입니다. 가속기도 시스템 수로는 이전에 구축한 NVIDIA Ampere와 Volta 시스템이 많지만, 대형 시스템에 AMD Instict가 많이 채택한 것을 알 수 있습니다. 또한, NVIDIA의 최신 H100이 급격히 증가하고 있음이 보입니다. 전세계적인 품귀인데, 그럴 만해 보이죠. 이렇게 초대형 시스템에 구축하고 있는데, 자잘한 시스템들에 배정할 수량이 절대적으로 부족한 거겠죠.

신규 등재된 시스템의 가속기들을 들여다 보겠습니다.

아직까지는 수급이 양호한 A100이 수량이 많지만, 확실히 대형 시스템엔 H100이 장착되고 있습니다. 그리고, 수량은 몇 안 되지만, 인텔의 GPU Max 탑재한 시스템이 성능 부분도 상당해서 좀 들여다 볼 필요가 있겠습니다. NVIDIA의 독주로 가속기의 선택에 여유가 없다고들 하는데, 인텔의 GPU Max가 대안이 될 수도 있어 보이네요.

수퍼컴의 인터커넥트는 굉장히 중요한 요소 중 하나이죠.

전통적인 이더넷도 속도가 많이 빨라져서 Ethernet 100G로 구축하는 시스템도 많아졌습니다. 하지만, 지연 속도가 절대적으로 낮은 인피니밴드가 여전히 성능쪽에선 많은 부분을 차지합니다. 특히나 200G 이상인 HDR (200G), NDR (400G)가 점차 많아지고 있는 추세입니다. AMD는 이미 빨랐지만, 인텔의 PCI Express 속도가 빨라짐에 따라 조금 더 인피니밴드의 속도 가속화도 빨라지는 것 같습니다. HPE/Cray의 자체 고속 네트워크 인터페이스인 Slingshot은 원체 대형 시스템에 많이 채택되다 보니 성능 점유가 높습니다.

새로운 시스템의 인터커넥트를 봅니다.

역시나 인피니밴드를 많이들 씁니다. 이더넷 100G 도 많지만, 규모가 작은 시스템에 많이 쓰고 있음이 확인되고요. 규모가 적당한 곳에는 이더넷 100G를 써도 괜찮겠어요. 특이한 것은 세상에서 사라진 것으로 보였던 前인텔의 옴니패스 인터커넥트가 새롭게 등장하기 시작한 것입니다. 이번 SC 행사에 가서 알게 된 것인데, 옴니패스 부문이 인텔에서 떨어져 나와서 Cornelis란 회사에서 새롭게 부활했더군요. 예전에 100G 수준이었지만 200G까지 속도도 올렸습니다. 좀 공격적으로 마케팅을 하는 것 같은데, 지켜봐야겠습니다.

업체별 점유율입니다.

전체를 보면 Lenovo가 점유율이 높지만, TOP100 이내의 대형 시스템엔 HPE/Cray가 절대 강자입니다. 거기에 유럽을 중심으로 활동하는 Eviden이 대형 시스템 구축이 많네요. Bull이란 회사가 Atos에 합병되고, 또 합병되어 현재의 Eviden이란 이름이 된 것인데, 많이 컸습니다.

성능쪽으로 업체별 점유유입니다.

시스템 댓수에서는 Lenovo가 절대적으로 많았지만, 성능으로 보면 HPE/Cray가 지배적입니다. 최초의 수퍼컴을 만든 Cray가 여러번 주인이 바뀌어서 지금은 HPE 산하에 있긴 하지만, 여전히 세상의 최고의 수퍼컴을 만들고 있습니다. 일본 회사가 여전히 여기에 이름을 올릴 수 있다는 게 대단하긴 합니다.

신규로 등재된 시스템들을 대상으로 업체별 통계입니다.

역시나 Lenovo가 많습니다. Lenovo가 주인은 중국이지만, IBM의 x86 서버 부문에서 떨어져 나온 것이다 보니 전세계적으로 구축을 많이 하고 있습니다. 일반 서버와 클라이언트 부문에선 최강 회사 중 하나인 Dell Technologies도 꽤나 설치하고 있긴 합니다. 인텔이 성능 점유가 이번 회차에 높은데, 2위인 HPE/Cray의 Aurora가 인텔 이름으로 올려서 그런 겁니다.

한국의 수퍼컴퓨터입니다.

제가 이 순위를 10년 넘게 분석, 정리하고 있는데, 이렇게 한국의 시스템이 상위권에 많이 등재된 적은 처음입니다. 혹자는 22위 밖에 안 된다고 지적하는 글도 봤습니다만, 국가 전체의 산업 규모로 봤을 때 미국이랑 비할 바가 아닌 겁니다. 예전에도 분명히 사용은 하고 있었겠지만, TOP500에 등재는 안 되고 있던 것 같은데, 이제는 시스템 등재도 좀 더 활발해진 것 같습니다. 기상청이나 KISTI 시스템 정도가 등재되었지만, 이젠 기업 연구소의 시스템도 등재되고 있습니다. 굉장히 고무적인 일이라 하겠습니다.

이번 62회차 TOP500을 나름대로 요약하겠습니다.

1위는 여전히 Frontier가 유지하고 있지만, 곧 새로운 1위가 등장할 것 같습니다.

초대형 시스템의 구축이 많아지고 있습니다. 세상에 데이터가 급격히 증가하고 있고, 그 데이터를 분석, 활용하기 위한 수퍼컴의 수요가 그만큼 증가했다는 것이겠지요. 이로 인해 유럽과 한국도 시스템 구축이 증가도 눈에 띄는 것일 겁니다.

기술적으로는 아주 새로운 것은 없습니다. 다만, 인텔 Xeon 4세대가 등장하면서, AMD에 빼앗긴 점유율을 조금 회복하고 있는 모습입니다. 가속기 부문은 NVIDIA 독주 속에 AMD와 인텔의 가속기가 초대형 시스템 구축에 적용되면서 상당한 성능을 과시하고 있습니다.

네트워크 부문에서는 400G의 인피니밴드 NDR이 증가하고 있는 것이 역시나, 고속 네트워크가 중요하다는 것 또한 보여지네요.

이 정도가 2023년 11월에 공개된 TOP500 수퍼컴퓨터 랭킹으로 알아본 내용입니다. 데이터가 증가하고, 그 데이터의 처리에 더 많은 컴퓨팅 자원이 필요하기에 수퍼컴의 활용은 계속 증가할 것입니다. (주)이스파이스와 함께 지켜 보시죠.

※ 모든 자료는 Top500.org 홈페이지에 공개된 500위까지의 순위 데이터를 이스파이스 연구소 자체적으로 분석 정리한 것입니다.

(주)이스파이스는 Dell Technologies의 Titanium 파트너로서, HPC/AI에 특화된 제품군과 서비스를 제공하고 있습니다.

관심있으신 분들은 전화 02-573-1484~5 혹은 이메일 marketing@espice.co.kr로 연락주시기 바랍니다

UEFI boot sequence remove

이스파이스 — Fri, 3 Mar 2023 17:47:16 +0900

UEFI boot sequence remove

1. 부팅 시 F11 선택

2. One-shot UEFI Boot Menu

3. Delete Boot Option

4. 삭제할 곳 선택 후 Commit Change and Exit 하면 삭제 완료됨

인텔 Xeon Scalable Processor 4세대 출시

이스파이스 — Wed, 11 Jan 2023 15:30:06 +0900

안녕하세요, 이스파이스 기술연구소입니다.

간밤(미국 시간 2023-1-10)에 Intel에서 4세대 Xeon Scalable Processor (코드명: 사파이어 래피드, Sapphire Rapids)를 발표하였습니다.

이미 대부분의 정보는 알고 있었으나, 좀 더 정확한 정보 확인을 할 수 있었습니다.

바뀐 점을 정리, 요약해 보았으니, 새로운 제품 이해에 도움이 되길 바랍니다.

우리가 일반적으로 보는 스펙을 요약하자면

	Intel Xeon Scalable Processor G2	Intel Xeon Scalable Processor G3	Intel Xeon Scalable Processor G4
출시	2019년 4월	2021년 4월	2023년 1월
코드명	Cascade Lake	Ice Lake	Sapphire Rapids
코어수	04월 28일	8~40	8~60
클럭 속도	1.8~3.8GHz	2.0~3.9GHz	1.7~3.7GHz
메모리 타입	DDR4 RDIMM	DDR4 RDIMM	DDR5 RDIMM
메모리 채널 수	6	8	8
메모리 클럭 속도	2933MHz	3200MHz	4800MHz
PCI-Express 세대	PCIe 3.0	PCIe 4.0	PCIe 5.0
PCI-Express 레인 수	48	64	80
TDP	85-205	105~270W	150~350W

메모리가 DDR5로 바뀌었고, PCIe가 5세대로 업그레이드되었습니다.

A100으로 대표되는 NVIDIA의 암페어 GPGPU가 PCIe 4세대인데, H100으로 대표되는 하퍼(Hopper)는 PCIe 5세대입니다. 따라서, 이제 H100을 제대로 쓸 수 있는 인텔 제품이 준비된 셈입니다.

추가적으로는 AMX라는 ML/AI용 명령어 셋을 지원하여 ML/AI 성능 향상을 꾀했다는 점이 눈에 띕니다.

그리고, 동시에 Xeon Max라는 새로운 라인업을 발표하였습니다.

이는 HPC 및 ML/AI에 특화된 제품군으로 2소켓 전용이며, 위의 4세대 Xeon SP 제품군과는 소켓 호환되지 않는 것으로 보입니다.

특이한 점이라면, CPU면서 GPU에 주로 사용하는 HBM (High Bandwidth Memory)가 64GB가 내장되어 있어 고속 대량 연산에 최적화되었다 하겠습니다. 기타 특성은 Xeon SP 4세대와 크게 다르지 않습니다.

Xeon Max 제품은 현재 5종이 공개되었습니다.

Xeon CPU Max Series 라인업

요약

1. 새로운 Xeon SP 4세대 출시

2. DDR5 채택, 메모리 속도 4800MHz >> 3세대 대비메모리 대역폭 1.5배!

3. PCIe 5세대 채택 à Xeon SP G3 대비 2배의 PCI 대역폭 >> NVIDIA H100에 최적화된 PCI 구성

4. 코어수 대폭 증가 (최대 60개/소켓) >> Xeon SP G3는 최대 40개/소켓

5. AMX란 명령어 셋 지원으로 ML/AI에 성능 향상

6. Xeon Max란 HPC, ML/AI 전용 프로세서 출시

참고 링크

Xeon SP 4세대: https://www.intel.co.kr/content/www/kr/ko/products/docs/processors/xeon-accelerated/4th-gen-xeon-scalable-processors.html

Xeon Max: https://www.intel.com/content/www/us/en/products/details/processors/xeon/max-series.html

Dell 역시 새로운 인텔 서버 프로세서 시스템 출시를 앞두고 있습니다.

(주)이스파이스는 Dell Technologies의 Titanium 파트너로서, 인텔 Xeon SP 4세대을 탑재한 서버 제품군도 공급을 준비하고 있습니다.

관심있으신 분들은 전화 02-573-1484~5 혹은 이메일 marketing@espice.co.kr로 연락주시기 바랍니다.

AMD의 4세대 서버 프로세서 EPYC (코드명 Genoa) 소개

이스파이스 — Tue, 6 Dec 2022 11:44:27 +0900

안녕하세요, 이스파이스 기술연구소입니다.

지난 달에 발표된 TOP500 수퍼컴퓨터 랭킹 분석을 하면서 AMD의 서버 프로세서 EPYC 3세대 (코드명 Milan)이 급부상 중이란 얘기를 했는데요, AMD에서 4세대 (코드명 Genoa)도 발표하였습니다. 이전 대비 새로워진 점이 많고, 장점이 많은 것에 비해 국내에서의 인기가 적은 것 같기도 해서 소개해 보고자 합니다.

일단 AMD EPYC Genoa는 2022년 11월 10일에 발표되었습니다. 인텔의 Xeon Scalable Processor (이하 Xeon SP)4세대의 출시가 늦춰지고 있는 가운데, AMD는 큰 딜레이 없이 출시되었다 할 수 있겠습니다.

인텔 Xeon SP와 AMD EPYC의 근래 출시 제품들의 스펙을 간단히 비교해보겠습니다.

	Intel Xeon Scalable Processor G2	Inte Xeon Scalable Processor G3	AMD EPYC 7002	AMD EPYC 7003
출시	2019년 4월	2021년 4월	2019년 8월	2021년 3월
코드명	Cascade Lake	Ice Lake	Rome	Milan
코어수	4-28	8~40	8-64	8~64
클럭 속도	1.8~3.8GHz	2.0~3.9GHz	2.0~3.7GHz	2.0~3.7GHz
메모리 타입	DDR4 RDIMM	DDR4 RDIMM	DDR4 RDIMM	DDR4 RDIMM
메모리 채널 수	6	8	8	8
메모리 클럭 속도	2933MHz	3200MHz	3200MHz	3200MHz
PCI-Express 세대	PCIe 3.0	PCIe 4.0	PCIe 4.0	PCIe 4.0
PCI-Express 레인 수	48	64	128	128
TDP	85-205	105~270W	120~280W	155~280W
기타	AVX-512 지원	AVX-512 지원		EPYC 7002과 플랫폼 공유

2019년 4월에 인텔에서 Xeon SP 2세대를 발표한지 몇 달 후에 AMD에서 EPYC 2세대(Rome)을 발표하였습니다. AMD Rome은 시장에서 필요했고, 인텔에서는 탑재가 늦어진 PCI-Express 4.0을 탑재하면서, 이미 기술적인 사양에서 앞서 나가기 시작했습니다. PCI-Express 레인 수가 많이 필요한 GPU 서버 및 NVMe 전용 스토리지에서 강점을 가질 수 있게 되었습니다. 또한, 메모리 채널 수도 인텔의 6개보다 많은 8개로 메모리 대역폭도 33%나 더 확보할 수 있게 되었고요. 또한 코어수도 인텔보다 많아서 요모조모로 장점이 많습니다.

그러나, 생각보다 시장에서 많이 확산되지는 않았으나, NVIDIA의 A100 GPGPU를 탑재하는 표준이되는 NVIDIA의 DGX 서버가 AMD 프로세서를 베이스 시스템에 채택하면서 급물살을 타게 됩니다. 인텔이 2021년에 Xeon SP 3세대에 PCI-Express 4.0을 탑재했지만, 이미 대부분의 서버 제조사에서 AMD 기반으로 NVIDIA의 A100 GPGPU용 서버를 생산한 상태여서 대세를 뒤집지는 못 했습니다.

아래는 AMD 홈페이지에 있는 EPYC 세대별 비교입니다.

https://www.amd.com/en/campaigns/epyc-9004-architecture

새로 나온 4세대 EPYC은 PCI-Express가 5.0으로 업그레이드 되었고, 메모리도 DDR5를 채택했습니다. 코어수가 최대 96개나 되는 프로세서도 나옵니다.

다음은 새로 나올 EPYC 4세대 프로세서 라인업 표입니다.

MODEL	# OF CPU CORES	MAX. BOOST CLOCK	ALL CORE BOOST SPEED	BASE CLOCK	L3 CACHE	TDP
AMD EPYC™ 9654P	96	Up to 3.7GHz	3.55GHz	2.4GHz	384MB	360W
AMD EPYC™ 9654	96	Up to 3.7GHz	3.55GHz	2.4GHz	384MB	360W
AMD EPYC™ 9634	84	Up to 3.7GHz	3.1GHz	2.25GHz	384MB	290W
AMD EPYC™ 9554P	64	Up to 3.75GHz	3.75GHz	3.1GHz	256MB	360W
AMD EPYC™ 9554	64	Up to 3.75GHz	3.75GHz	3.1GHz	256MB	360W
AMD EPYC™ 9534	64	Up to 3.7GHz	3.55GHz	2.45GHz	256MB	280W
AMD EPYC™ 9474F	48	Up to 4.1GHz	3.95GHz	3.6GHz	256MB	360W
AMD EPYC™ 9454P	48	Up to 3.8GHz	3.65GHz	2.75GHz	256MB	290W
AMD EPYC™ 9454	48	Up to 3.8GHz	3.65GHz	2.75GHz	256MB	290W
AMD EPYC™ 9374F	32	Up to 4.3GHz	4.1GHz	3.85GHz	256MB	320W
AMD EPYC™ 9354P	32	Up to 3.8GHz	3.75GHz	3.25GHz	256MB	280W
AMD EPYC™ 9354	32	Up to 3.8GHz	3.75GHz	3.25GHz	256MB	280W
AMD EPYC™ 9334	32	Up to 3.9GHz	3.85GHz	2.7GHz	128MB	210W
AMD EPYC™ 9274F	24	Up to 4.3GHz	4.1GHz	4.05GHz	256MB	320W
AMD EPYC™ 9254	24	Up to 4.15GHz	3.9GHz	2.9GHz	128MB	200W
AMD EPYC™ 9224	24	Up to 3.7GHz	3.65GHz	2.5GHz	64MB	200W
AMD EPYC™ 9174F	16	Up to 4.4GHz	4.15GHz	4.1GHz	256MB	320W
AMD EPYC™ 9124	16	Up to 3.7GHz	3.6GHz	3.0GHz	64MB	200W

3세대와 4세대의 최상 스펙의 EPYC을 비교해 보면 다음과 같습니다.

	AMD EPYC 7003	AMD EPYC 9004
출시	2021년 3월	2022년 11월
코드명	Milan	Genoa
코어수	8~64	16~96
클럭 속도	2.0~3.7GHz	2.4~4.1GHz
메모리 타입	DDR4 RDIMM	DDR5 RDIMM
메모리 채널 수	8	12
메모리 클럭 속도 (최대)	3200MHz	4800MHz
PCI-Express 세대	4.0	5.0
PCI-Express 레인 수	128	128
TDP	155~280W	200~360W
기타		AVX-512 지원

4세대 EPYC에서 주목할 점은 붉은 색 글자로 으로 표시했습니다.

최대 코어수가 64에서 96으로 늘어난 것도 주목할 만한데, 메모리 채널이 8개에서 12개로 늘어나고, 메모리 클럭 속도가 3200MHz에서 4800MHz로 늘어난 것도 중요한 변화 중 하나입니다. 메모리 채널에서 대역폭이 1.5배, 메모리 클럭 속도에서 1.5배가 늘어나면서, 메모리 대역폭에서 2.25배 증가라고 할 수 있습니다.

또한, PCI-Express도 5.0이 탑재되면서 인피니밴드 혹은 이더넷 400G 어댑터, NVIDIA의 최신 GPGPU인 H100 및 기타 PCI-Express 5.0용 장치들의 제성능을 낼 수 있게 됩니다.

추가적으로 EPYC 3세대까지는 지원하지 않던 AVX-512 명령어 셋을 지원해서, 이를 지원하는 애플리케이션의 경우 연산 능력이 최대 2배까지 향상된다는 점도 매우 매력적이라 하겠습니다.

현재 인텔의 Xeon SP 3세대의 최상위 모델과의 비교입니다.

	AMD EPYC 9654	Intel Xeon SP Platinum 8380
코어수	96	40
클럭속도	2.4	2.3
메모리 채널 수	12	8
TDP (W)	360	270
권장 소비자가 ($)	11,805	8,099

물론 소비자가는 더 비싸지만, 코어수가 2.4배면서, 소비전력은 1.3배 밖에 더 높지 않습니다. 소비전력 대비 코어수에서 압도적입니다. 거기에 메모리 대역폭도 더 크지요. 그렇다면 가장 쉽게 떠오르는 분야가 바로 가상화 부문입니다. 주어진 소비 전력 공급 내에서 더 많은 CPU 및 메모리 자원을 가진 서버를 설치할 수 있다는 얘기입니다.

이미 AWS, Google Cloud, Microsoft Azure 등 글로벌 클라우드 서비스 업체에서 AMD EPYC으로 인스턴스를 적극적으로 홍보를 하고 있습니다.

사실 AMD가 인텔의 x86 아키텍쳐를 따라 만들다가 2000년대 중반에 x86 아키텍쳐의 64비트 버전의 진정한 멀티 코어 프로세서인 Opteron을 만들면서, 기술적으로 크게 성장한 바 있습니다. 그러다가 잠시 주춤했는데, EPYC으로 무장하고 다시 서버 시장에서 힘겨루기를 하기 시작했습니다. 클라이언트 부문에서는 인텔보다 더 인기가 있다고 할 수 있어서, 대부분의 애플리케이션에서 호환성 및 안정성은 이미 확보한 상태라 할 수 있습니다.

AMD는 대부분의 서버 제조사 및 OS, 소프트웨어 업체와 파트너십을 통해 EPYC 프로세서의 호환성 및 안정성을 꾀하고 있습니다.

https://www.amd.com/en/where-to-buy/epyc-ecosystem-partners

AMD Data Center Partner Ecosystem

AMD partners with leading organizations all over the world to design, integrate, deploy, and optimize data center solutions. Discover how AMD and these ecosystem partners are shaping the future of data centers, together.

www.amd.com

AMD EPYC 4세대 기반의 서버는 연산 능력, 메모리 대역폭, 주변 기기 성능, 소비전력 거의 모든 부문에서 상당한 개선이 이루어져서, 모든 분야에서 고려해도 좋을 시스템이라 할 수 있겠습니다.

저희 (주)이스파이스의 주력 제품을 이루고 있는 델 테크놀로지스(이하 델) 역시 AMD EPYC 4세대 제품으로 라인업을 준비하고 있습니다.

NEW RACK	WORKLOADS	MEMORY	PROCESSOR	저장 장치	지원 가속기
PowerEdge R6615	Virtualization, Hyper-Converged Infrastructure (HCI) and NFV	DDR5 memory, up to 4800 MT/s	One 4th Gen AMD EPYC™ processor	12 x 2.5" or 4 x 3.5" or 14 x E3.S	3 x 75W SW
PowerEdge R7615	Software defined storage, Virtualization and Data analytics	DDR5 memory, up to 4800 MT/s	One 4th Gen AMD EPYC™ processor	24 x 2.5" or 12 x 3.5" or 32 x E3.S	6 x 75W SW 3 x 500W DW
PowerEdge R6625	HPC, Dense VDI and Virtualization	DDR5 memory, up to 4800 MT/s	Up to two 4th Generation AMD EPYC™ processors	12 x 2.5" or 4 x 3.5" or 14 x E3.S	3 x 75W SW
PowerEdge R7625	Data analytics, All flash SDS and VDI	DDR5 memory, up to 4800 MT/s	Up to two 4th Generation AMD EPYC™ processors	24 x 2.5" or 12 x 3.5" or 32 x E3.S	6 x 75W SW 2 x 500W DW

https://www.dell.com/en-us/dt/servers/amd.htm#accordion0&accordion1&tab0=0&tab1=0

막강하고 새로운 AMD EPYC 와 서버의 대명사 델의 새 라인업은 기대해도 좋습니다.

(주)이스파이스는 Dell Technologies의 Titanium 파트너로서, AMD EPYC 4세대을 탑재한 서버 제품군도 공급을 준비하고 있습니다.

관심있으신 분들은 전화 02-573-1484~5 혹은 이메일 marketing@espice.co.kr로 연락주시기 바랍니다.

제 60회 TOP500 슈퍼컴퓨터 랭킹 분석 (2022.11)

이스파이스 — Tue, 22 Nov 2022 18:02:45 +0900

안녕하세요, 이스파이스 기술연구소입니다.

1년에 두 번 공개하는 TOP500 슈퍼컴퓨터 순위가 지난 주에 발표되었습니다.
이 순위는 6월 독일 ISC (International Supercomputing Conference)와 11월 미국 SC (Supercomputing Conference)에서 발표됩니다.

11월 중순에 미국 댈러스에서 있었던 SC22에 참관하면서, TOP500 순위 발표 세션도 보고 와서
시스템에 대한 얘기 및 그들이 새롭게 전달하고자 하는 내용을 반영하여 기존 정리보다 조금 더 새로운 내용도 있습니다.

HPC 분야의 내용이긴 하지만, 서버 업계의 가장 최신/최강 기술을 다룬 분야라 최신 동향 이해에 도움이 될 겁니다.
내용이 길지만 어려운 얘기는 아니어서, 차 한잔 마시면서 차근차근 보시기 바랍니다.

일단 TOP500 공홈에 올라온 주요 뉴스들 번역입니다.

기본적으로 1-3위는 지난 6월과 동일합니다. 다만, 3위의 핀란드 시스템이 규모를 2배로 확장해서 성능치도 2배로 증가했습니다. 그래도, 2위를 못하죠. 그 정도로 상위권은 각 순위간 성능차가 많이 납니다.
4위가 새롭게 들어왔네요. 지난 번에 등장한 3위의 핀란드의 LUMI, 4위가 이탈리아의 Leonardo 등 예전엔 보기 힘들었던 유럽 국가들에 대형 시스템 구축이 주목할 만합니다.

일단 20위까지 순위를 보고, TOP10에 대한 공식 뉴스를 보겠습니다.

20위 안에는 3대의 새로운 시스템이 진입했습니다.

4위에 등재된 이탈리아의 Leonardo는 특이하게도 NVIDIA A100인데 인텔 Icelake 아키텍처 기반의 Xeon 83xx로 구축했네요. 인텔이 PCI-Express Gen4를 지원하는 프로세서만 예정대로 냈어도 이리 AMD에 밀리진 않았을 텐데 싶은 부분입니다.

10위 안에는 새로운 4위 외엔 새로운 시스템은 없습니다. 10위 내에 1등 안 해본 시스템이 5대네요.
원체 큰 시스템들이라 거의 10년 전(41회)에 1위로 등장한 Tianhe-2A는 아직도 10위에 위치하고 있습니다.
이 시스템 소비 전력이면 요즘 같으면 거의 3위권 이내일 것 같은데, 대형 시스템은 유지도 쉽지 않습니다.
그래서, 큰 규모 HPC를 운영하는 곳들이 5년 정도에 한 번씩 교체하는 게 이런 이유도 크다고 생각합니다.

다음은 공식 뉴스의 이런 저런 이야기입니다.

위의 내용은 앞으로 다룰 내용에서 같이 확인해 보죠.

TOP500 내의 시스템들 성능의 추이를 먼저 보죠.

그래프 아래 설명에도 있지만, 위쪽에 위치한 녹색 점들은 500위 성능을 모두 합한 것, 중간은 1위 시스템의 성능, 제일 아래쪽 파란 점은 500위 시스템 성능입니다.
그래프 옆에 설명을 넣었지만, 예전에 시스템 성능은 ‘무어의 법칙’에 상당히 잘 따른 편이라 할 수 있습니다.

인텔의 창립자이자 반도체 엔지니어였던 고든 무어(Gordon Moore)란 분이 ‘반도체 집적 회로의 트랜지스터 수는 2년 마다 2배가 된다’라는 말이 ‘무어의 법칙’이라고 반도체 계에서는 거의 법칙이 된 거죠.
인텔에서는 한동안 내부적으로 개발자들을 이 법칙에 맞춰 신제품을 만들어내라고 재촉했다고 하는 말이 있을 정도였지요.

그러다가 그게 2008년 중간부터 한풀 꺾이고, 2013년 중간부터 또 한 번 꺾입니다. 이번 발표장에서 이 변화점에 대해 논의가 있었는데요, 별로 솔깃한 얘기는 없었습니다.

HPC는 프로세서 단품의 성능이 아닌 대형 시스템의 성능을 고려해야 하는데, 병렬 컴퓨팅을 하는 현대의 HPC에서 성능 향상은 소비 전력의 상향을 동반할 수밖에 없고, 그러다 보니 시스템 구축에 제한이 생길 수밖에 없습니다. 앞서 언급한 두 번의 변화 시점을 근거로 새롭게 점선을 그려보면, 1위 시스템보다 500위 시스템의 성능 향상이 더디게 갈 것을 예상해볼 수 있습니다.

최근 중국이 TOP500에 시스템 등재를 확실히 자제한다는 느낌입니다. 분명히 시스템 구축을 줄이진 않을 텐데, 그 점유율이 꾸준히 낮아지는 점에서 그렇습니다.
TOP10에서 짐작해 봤듯이 유럽에 대형 시스템이 구축되는 붐(?)이 있는지 독일이 시스템 수에서 부동의 3위일 것 같은 일본을 제치고 3위로 올라섰네요.
별로 IT랑 안 친할 것 같은 브라질이 우리나라와 같은 수의 시스템을 보유하게 된 점도 흥미롭습니다.

대륙으로 보면 중국, 일본, 한국의 아시아가 시스템 수는 많지만, 대형 시스템이 많은 북미에 성능 점유율이 높네요.
유럽에 대형 시스템이 많이 설치되면서 유럽의 점유율이 역대급으로 높아졌습니다.

앞서 국가별 차트에서 보이듯이 남미도 조금 늘었습니다. 호주도 20위 권에 하나 올리면서 성능 그래프에서 조금 면적을 확보하였네요.

이번 SC22에서 TOP500 발표회장에서 순위 데이터로 새롭게 소개한 부분이 신규 유입 시스템에 대한 분석이었습니다.
흥미롭고 의미 있다 생각해서 저도 몇가지 내용으로 신규 시스템을 정리해 보았습니다.

앞에서 계속 언급한 건데, 유럽에 신규로 대형 시스템이 확실히 많이 설치되었다는 것이 눈에 딱 보이네요.
수량으론 새롭게 설치된 건 1대 밖에 없는 오세아니아는 20위 안에 들어가면서 수적으로 더 많은 아시아, 남미보다 성능 지분은 더 많습니다.

시스템에 사용된 프로세서들입니다. 일단 인텔 Xeon이 많기는 합니다만, 대형 시스템에 채택이 많아지면서 AMD Milan의 성능 점유율이 굉장합니다. HPC 분야에서는 AMD Milan이 대세라고도 할 수 있겠습니다.

그 이유 중 가장 큰 이유는 PCI-Express Gen4 기반의 NVIDIA GPGPU A100을 지원할 수 있는 프로세서의 출시가 인텔에서 늦어지면서, 그 베이스가 되는 시스템이 AMD로 넘어간 것이 가장 크다 하겠습니다.

다음 세대의 NVIDIA GPGPU인 PCI-Express Gen5를 기본으로 하는 Hopper 아키텍처 기반의 H100가 곧 출시 예정이고,
이를 뒷받쳐 줄 PCI-Express Gen5를 지원하는 프로세서가 인텔과 AMD에서 모두 출시하기 직전이라 이 점유율도 앞으로 큰 변화가 생길 수 있을 것 같습니다.
하지만, SC22 전시장에서도 인텔보다는 AMD가 확실히 더 대세라고 느껴졌습니다.

새로운 시스템 중에서도 AMD Milan의 상당한 강세인데, Xeon Platinum 83xx + NVIDIA A100으로 구축된 대형 시스템이 몇 대 진입하면서 Xeon Platinum 83xx의 점유율이 꽤나 커진 점도 특이합니다.

가속기의 활용은 꾸준히 늘어나고 있습니다. NVIDIA가 대세인 가운데, 대형 시스템에는 AMD Instinct MI-250X가 속속 채택하고 있어 가속기도 시장 변화가 생기고 있습니다.
우리나라에서는 전혀 느끼지 못하는 부분인데, 전시장에서도 AMD Instinct 지원한다고 홍보하는 시스템이 참 많았습니다.

가속기를 탑재한 신규 시스템도 여전히 A100이 많긴 합니다.
1대 밖에 없어서, 눈에 잘 안 띄는데, Lenovo에서 NVIDIA의 차세대 GPGPU인 H100을 탑재한 시스템을 하나 등재시킨 것이 보입니다.
내년 6월 순위에는 H100을 탑재한 시스템이 꽤나 등장할 것 같은데 AMD와 제대로 붙어볼 수 있을 지 궁금해집니다.

병렬 클러스터형 슈퍼컴에서 고속 네트워크도 꽤나 중요한 부분입니다.
인피니밴드는 200G의 HDR이 성장하고 있는데, 이더넷도 속도도 100G까지 올라가고, RDMA도 지원하면서 차츰 많이 쓰이고 있네요. 또한, 시스템 칩셋에서 지원하는 기본 이더넷이 25G로 빨라지면서, 25G 이더넷은 10G 이더넷을 빠르게 대체해가고 있다고 하겠습니다.

이 부분에서 하나 부연 설명하자면, 이더넷 커넥터/케이블이 SFP 타입이 있고, QSFP(Quad SFP_라는 것은 이 SFP 신호가 4개 들어 들어가 있는 겁니다. 그러니까, 10G 기반의 SFP의 4배는 40G QSFP가 되는 것이고, 새롭게 25G 기반의 SFP의 4배는 100G QSFP가 되는 거지요.

비교적 작은 시스템을 많이 하는 것으로 보이는 Lenovo와 대형 시스템을 많이 하는 HPE가 전체 시장의 절반을 차지하고요, 중국 기반의 회사가 전체의 1/4, 나머지 부분이 Atos와 Dell 순서대로 점유하고 있네요.

앞에서 시스템 수로는 1/3에 가깝게 차지하는 Lenovo지만 성능 규모 면에서는 HPE/Cray 막강합니다.
유럽의 약진 선봉장인 Atos가 지분율을 높이고 있고, 2위 Fugaku를 갖고 있는 후지쯔는 생각보다 세력 확장이 안 되고 있네요.

지난 회차에서 AMD MI250X가 등장하면서 소비 전력 대비 성능 면에서 휩쓸었는데, 단 1대 등재된 H100이 AMD MI250X 돌풍을 한 방에 잠재웠습니다. 아직 1대 밖에 안 되어서 충분히 믿을 만한 값인지는 알기 어렵지만, 일단 다음 순위를 기대하게 하는 부분 중 하나입니다.

HPC의 구축이라는 것이 소비 전력과 냉각 시스템과의 싸움이라 할 정도로 이 부분은 중요한데, SC22 전시장에서도 이 부분이 많이 느껴졌습니다. 예전엔 두어 업체만 보이던, 수냉 솔루션 업체가 엄청 많아졌습니다. 공기만으로는 냉각이 어려워서 소비 전력을 향상시키기 어려웠던 프로세서나 가속기가, 냉각 기술의 발전으로 소비전력이 높아지고 있는 것이 수냉 솔루션 업체의 증가로 보여지는 것 같았습니다.

크게 신경 쓰지는 않는 부분이지만, 현재 TOP500은 HPL(High Performance Linpack)이란 벤치마크를 기준으로 하는데 보완하는 의미의 HPCG란 벤치마크도 가끔 RFP 같은 데에 언급되고 있습니다.
현재 TOP500 1위 시스템인 Frontier가 지난 회차에서는 HPCG값이 없었는데, 이번에 등록했는데 2위입니다. 아직 최적화가 안 된 것 같아요.

앞선 차트에도 설명했듯이 HPC 개념도 좀 바뀌고 있습니다.
머신러닝(ML)/AI 쪽에서는 계산 정밀도가 기존 HPC와는 다르고, ML/AI쪽에 최적화된 가속기가 나오는 상황이다 보니 이를 위한 벤치마크도 속속 등장하고 있습니다.
이를 위해 HPL-AI라는 것이 등장했는데, 명칭이 이번에 HPL-MxP로 바뀌었네요. 아직 최신 정보가 취합이 안 되었는지 2022-11 결과는 업데이트되지 않았습니다.

업체별 주력 분야가 여기서 보입니다. 산업 부문에선 Lenovo가 강세, 연구 부문에서는 HPE가 강세입니다.
나라별로는 미국은 연구, 산업 부문에서 골고루 사용하고 있고, 중국은 산업 부문에서 많이 쓰고 있나 봅니다.

요즈음이 가장 한국에 시스템 구축이 활발한 것 같습니다. 이번에 2대가 새로운 시스템이 등재되었어요.

또한, 한국은 새로운 시스템의 도입이 확실히 느립니다.
세계적인 레퍼런스가 어느 정도 구축되어야 국내 대형 사이트가 새로운 사양을 도입 고려를 하다 보니 그런 것 같습니다.
솔루션의 경우에도 비슷해서 해외에서 아무리 많이 쓰는 솔루션이라도 국내 구축 사례가 없으면 도입이 어렵지요.

이번 회차는 어찌 보면 지난 회차와 그닥 새로운 것은 없는데, 큰 폭풍 전야 같다는 생각도 듭니다.

인텔과 AMD가 모두 새로운 프로세서 출시를 앞두고 있고요.
NVIDIA 역시 새로운 Hopper 아키텍쳐인 H100 GPGPU를 출시를 앞두고 있습니다.
거기에 NVIDIA가 ARM 아키텍처 기반의 Grace란 프로세서 출시도 앞두고 있어 인텔과 AMD와 한 판 붙을 수도 있을 것 같아 내년 이후가 굉장히 치열할 것 같습니다.

(주)이스파이스는 Dell Technologies의 Titanium 파트너로서, HPC에 대한 전반적인 컨설팅에서 구축/서비스까지 제공합니다.

관심있으신 분들은 전화 02-573-1484~5 혹은 이메일 marketing@espice.co.kr로 연락주시기 바랍니다.

BeeGFS 소개 자료

이스파이스 — Tue, 18 Oct 2022 10:08:49 +0900

HPC BeeGFS Storage

I/O 집약적인 워크로드에 최적화된 고성능 스토리지 솔루션

BeeGFS 아키텍쳐 개

데이터 중심의 시대에 데이터 집약적 워크로드는 다양한 산업에서 성공의 핵심이 되었습니다. 경쟁우위를 확보하기 위해 많은 조직에서 HPC(고성능 컴퓨팅)를 활용하여 점점 더 커지고 있는 다양한 형식의 데이터 세트를 처리하고 있습니다. HPC관련짓자면 속도는 통찰력을 얻고, 제품을 시장에 출시하고 발견하는데 있어 모든 차이를 만들수 있습니다.

I/O 집약적 워크로드가 HPC 성능을 저하시킨다면, BeeGFS가 바로 그 솔루션입니다. BeeGFS는 성능이 중요한 환경에서 I/O 집약적 워크로드를 관리하도록 특별히 설계된 오픈소스 병렬 클러스터 파일 시스템입니다. 전 세계 수백 개의 주요 기업, 대학 및 연구원들이 설치 용이성, 대규모 확장성 견고함 및 탁월한 유연성을 위해 BeeGFS를 선택하고, 여기에는 서버가 스토리지 및 컴퓨팅 용도에 사용되는 통합시스템을 포함합니다.

BeeGFS는 사용자 데이터를 여러 서버에 투명하게 분산시킵니다. 시스템의 서버와 디스크수를 늘리기만하면 파일시스템 성능과 용량을 원하는 수준으로 확장할 수 있습니다. 소규모 클러스터에서 온프레미스 또는 클라우드에서 수천 개의 노드가 있는 엔터프라이즈급 시스템 원활하게 확장할수있습니다.

BeeGFS의 유연성, 견고함 및 뛰어난 성능은 결과를 더 빠르게 제공하여 생산성을 높이는데 도움이 됩니다. 또한 BeeGFS는 이전에는 불가능했던 새로운 데이터 분석방법을 가능하게 합니다. Dell Technologies의 최신 HPC 인프라에서 BeeGFS를 실행하면 채택이 더 빠르고 간편하며 협업이 더 쉬워집니다.

HPC 스토리지를위한 검증된 설계

HPC 스토리지용 Dell Technologies Validated Designs는 사전 구성, 테스트 및 검증된 솔루션으로 대용량 스토리지 시스템을 보다 쉽고 위험 없이 배포하는 동시에 더 높은 가치의 활동을 위한 리소스와 예산을 보존 할 수 있습니다. 또한 컴퓨팅 요구사항이 증가함에 따라 스토리지 용량을 빠르고 쉽게 확장할 수 있는 기능을 제공합니다.

Dell Technologies는 ThinkParQ와 협력하여 간단한 설치, 구성 및 관리 기능을 갖춘 확장 가능한 고성능 HPC 스토리지 시스템용으로 테스트 및 조정된 시스템을 제공할 수 있습니다.

Dell Technologies와 ThinkParQ는 함께 인프라를 단순화하고 기술을 간소화하여 HPC 워크로드를 보다 효율적으로 실행할 수 있도록 지원 합니다. Dell Technologies HPC 및 AI 전문가가 특정 요구 사항에 맞는 솔루션을 설계하는 데 도움을 드릴 수 있습니다. 컨설팅 및 교육에서 배포 및 지원에 이르기까지 필요한 서비스를 시간과 장소에서 사용할 수 있습니다.

BeeGFS 대용량 스토리지 솔루션 구성

ThinkParQ와 Dell Technologies

Dell Technologies와 ThinkParQ의 엔지니어가 함께 높은 I/O 워크로드 요구사항에 맞게 조정된 HPC 스토리지 솔루션을 테스트하고 조정합니다.

ThinkParQ는 인기 있는 병렬 클러스터 파일 시스템 BeeGFS의 배후에 있는 회사입니다. 전 세계의 BeeGFS 고객이 시스템을 최대한 활용할 수 있도록 지원하는 것 외에도 ThinkParQ는 지속적으로 BeeGFS의 개발 및 최적화를 추진하고 있습니다. 파트너와 함께 우리는 모든 성능 지향적인 환경을 위한 가장 빠르고 안정적이며 유연한 턴키 솔루션을 만들기 위해 열심히 노력합니다.

Dell Technologies를 통해 조직은 업계 최고의 통합 인프라, 서버, 스토리지 및 데이터 보호 기술을 사용하여 데이터 센터를 현대화, 자동화 및 변환할수 있습니다. 기업은 IT 혁신을 위한 신뢰할 수 있는 기반을 확보하고 하이브리드 클라우드, 빅데이터 솔루션 및 클라우드 네이티브 애플리케이션 생성을 통해 새롭고 더 나은 작업 방식을 개발합니다.

BeeGFS와 ESPICE

ESPICE는 BeeGFS의 공인 파트너로, ThinkParQ에서 공인한 시스템 엔지니어를 보유하고 있습니다. 또한 Dell Technologies의 Titanium Partner로서 Dell Technologies의 시스템에 대한 높은 이해와 다양한 HPC 구축 경험을 토대로 최선의 BeeGFS 시스템을 설계에서부터 구축, 유지보수까지 제공하고 있습니다.

관련 문서

1. Dell EMC Ready Solutions for HPC BeeGFS High Capacity Storage

https://www.dell.com/support/kbdoc/en-us/000132681/dell-emc-ready-solutions-for-hpc-beegfs-high-capacity-storage

Dell EMC Ready Solutions for HPC BeeGFS High Capacity Storage(영문) | Dell 대한민국

증상 이 문서는 Nirmala Sundararajan, HPC 및 AI 혁신 실습을 통해 작성 되었으며, 4 월 2020 원인 해결 HPC BeeGFS 대용량 스토리지에 대 한 Dell EMC 준비 솔루션은 관리 서버, 한 쌍의 메타 데이터 서버, 스토

www.dell.com

2. Dell EMC Ready Solutions for HPC BeeGFS High performance Storage

https://www.dell.com/support/kbdoc/en-us/000130963/dell-emc-ready-solutions-for-hpc-beegfs-high-performance-storage

Dell EMC Ready Solutions for HPC BeeGFS High Performance Storage | Dell 대한민국

증상 Article written by Nirmala Sundararajan of the Dell EMC HPC and AI Innovation Lab in November 2019 해결 Table of Contents Introduction Solution Reference Architecture Hardware and Software configuration Solution Configuration Details R740x

www.dell.com

(주)이스파이스는 BeeGFS의 독일 본사 인증 파트너로서, BeeGFS에 대한 전반적인 컨설팅에서 구축/서비스까지 제공합니다.

관심있으신 분들은 전화 02-573-1484~5 혹은 이메일 marketing@espice.co.kr로 연락주시기 바랍니다.

제59회 TOP500 슈퍼컴퓨터 랭킹 이야기 (2022.06)

이스파이스 — Fri, 10 Jun 2022 09:41:09 +0900

안녕하세요, 이스파이스 기술연구소입니다.

5월 마지막주 ~ 6월 첫주에 걸쳐서 독일 하노버에서 슈퍼컴퓨터 쇼가 열렸습니다.

1년에 두 번 공개되는 HPC 순위도 발표되었는데, 제가 휴가로 인해 정리가 좀 늦었습니다.
천천히 읽어보세요.

시작해 보겠습니다.
블로그에 이미지를 올리면 리사이징이 되어 보이는데, 클릭하면 크게 보일 겁니다.

지난 회차 발표 당시, 다음 회차엔 1-엑사플롭스 성능을 넘는 시스템이 나올 것이란 암시가 있었습니다.
이번에 드디어 엑사스케일 시스템이 발표되었습니다.

우선 TOP500발 주요 뉴스부터 보겠습니다.

10위 안에 3대의 새로운 시스템이 등재되었습니다.
이렇게 큰 시스템이 한번에 여럿 완성되는 경우가 드문데, 그 시스템들이 모두 HPE/Cray의 EX235a라는 시스템입니다.
AMD EPYC 3세대 프로세서인 Milan 기반에, AMD의 최신 가속기인 Instinct mi250X, 그리고 전용 고속 네트워크인 Slingshot-11로 무장했습니다.
HPE/Cray의 EX235a가 대표적인 사이트 하나에 구축된 것이 아니라 유럽(핀란드, 프랑스)에도 동시 구축되었다는 점에서 이미 준비가 잘 된 시스템이라 보여집니다.

현재 10위 내에는 1위를 했던 시스템이 Frontier (59회), Fugaku (55~58회), Summit (51~54), TaihuLight(47~50회), Tianhe (41~46회), 이렇게 다섯 대가 있네요.
미국에서 엑사스케일 프로젝트라고 준비하던 시스템이었던 IBM과 Cray의 경쟁에서는 Cray의 승으로 결론이 났습니다.

IBM Summit이 Power9 + NVIDIA Volta 조합으로 시장에 등장했을 때, PCI Express G4를 지원하는 Power9이 빠르게 NVIDIA Ampere 조합으로 옮겨가면서 초대형 시스템을 구축할 수 있을 거라 생각했는데
좀더 유연한 구성이 가능한 Cray가 AMD Milan과 새로운 AMD 가속기 MI250X로 대형 시스템 구축을 했네요.

좀 더 넓게 TOP20위까지를 보겠습니다.

TOP20에는 10위권에 3대 새롭게 등재된 것 이외에는 새로운 시스템은 없습니다.
성능값을 보면, 이게 1위를 노리고 들어오는 시스템은 정말 규모부터 넘사벽입니다.
2위와의 격차가 확연히 납니다.
Frontier는 현재 1.1EFlop/s의 성능으로 1위를 차지했지만, 다음 회차에 좀 더 최적화하여 높은 성능으로 끌어올리지 않을까 예상해 봅니다.

1위를 나타내는 세모 점이 1EFlop/s에 드디어 찍혔네요. 최근 추세로 봐서는 약 2년 (Top500 순위 4회) 정도 1위를 유지하지 않을까 싶습니다.
500위가 대략 1PFlop/s라 한다고 보면, 1위와는 1000배 차이가 나는군요. 500위의 상승 추세는 고만고만 하네요. 오래된 시스템들이 어느 정도 밀려나가야 하겠지요.

그럼 500위인 실측값 1PFlop/가 어느 정도 성능이냐면요,
지금 Xeon Scalable Processor 3세대 중에 가장 막강한 Xeon Platinum 8368Q (38-core, 3.7GHz)가 대략 600개 정도 묶어야 될 것 같고요…
NVIDIA의 현재 최강 A100이 대략 180개 정도 있어야 될 것 같습니다.
500위가 이 정도니, 1위 시스템이 얼마나 큰지 가늠이 되시나요?
어마어마한 거죠. ^^

한참 중국이 대형 시스템을 TOP500에 등재시키더니 요새 무슨 이유에서인지 많이 안 보입니다. 뭔가 대외적인 단속을 하는 건지… 흠.
그래서, 슬슬 자유진영이 확장하고 있습니다. 미국은 수량은 좀 적어졌지만 어마어마한 1위가 등장하면서 성능 점유율에서 독보적이네요.
역시나 2년간 1위를 차지했던 일본이 성능 점유율 2위고요.

한때 시스템 대수, 성능 점유율 모두 10위 밖에 있던 우리나라도 기상청, KISTI와 삼성전자의 대형 시스템 덕에 비교적 상위권에 올라가 있습니다.

프로세서는 역시나 인텔 Xeon 계열이 압도적인 가운데, AMD Milan의 뛰어난 성능으로 대형 시스템에 많이 사용되고 있습니다.
지난 회차에서 6%의 성능 점유율을 보였고, 이번 회차에서 시스템 대수로는 7% 점유인 AMD Milan이 성능 면에서는 35%의 점유율을 보이고 있습니다.
물론 10위 권에 AMD Milan 시스템이 많은 것이 가장 큰 이유겠으나, 대형 시스템에서 많이 채택하고 있다는 것이 여러 면에서 장점이 있다는 것이겠지요.

더 놀라운 것은 가속기 부문입니다.

일단 가속기를 채택한 시스템이 지난 회차보다 18대가 늘었습니다.
이제 상위 500대의 시스템 중 1/3은 가속기를 쓰고 있다고 할 수 있겠네요.
수년간 보통 GPGPU라고 부르는 연산용 가속기 부문은 NVIDIA의 독주라 할 수 있었고, A100은 현존 최고의 가속기로 불리고 있습니다.
그런데, 이번 순위에서 AMD의 신형 가속기인 Instinct MI250X가 충격적인 등장을 했네요.
HPE/Cray가 새롭게 구축한 초대형 시스템들이 AMD Instinct MI250X를 탑재하면서 구축한 시스템 수는 얼마 안 되면서, 성능 점유율은 절반 가까이 차지하네요.
게다가 가속기 코어당 성능이 현존 최고라 하는 A100을 넘는 것으로 보입니다.
MI250X가 등장하면서, 이거 좀 예사롭지 않다 생각했는데 역시나 놀라운 결과를 보여주고 있습니다.

고속 네트워크는 인피니밴드가 대세인 가운데, 여기도 HPE/Cray의 Slingshot-11이 눈에 띕니다.\
HPE/Cray는 예전부터 전용 고속 네트워크를 고유 시스템에 채택해 왔습니다.
오랫동안 Aries란 고속 네트워크(40G)로 시스템을 만들었었는데, 이걸 인텔에 팔고서는 새롭게 개발한 것이 Slingshot입니다.
이번에 Slingshot-11로 초대형 시스템이 구축되면서 점유율을 확 높였습니다.
이건 HPE/Cray 전용 시스템이라 일반 서버로 HPC를 구축하는 대부분의 시스템 빌더들에겐 그림의 떡이긴 합니다.
그래도, 인피니밴드가 충분히 제 역할을 해주고 있습니다.

업체별 자료는 역시나 HPE/Cray의 약진이 눈에 띕니다.
자잘하게 많던 Lenovo의 여러 시스템들이 HPE/Cray의 시스템에 훅~ 밀려난 모습이네요.
프랑스의 Atos도 조금씩이지만 계속 상승 중이고, Dell도 꾸준합니다.
중국의 대표적인 업체인 Inspur와 Sugon은 확실히 뭔가 대외적인 업데이트가 안 되는 것 같습니다. 저렇게 놀고 있지는 않을 텐데.

이건 볼 것도 없이 HPE/Cray의 압도적인 지배죠.
Cray가 HPE에 합병되긴 했지만, 역시 슈퍼컴의 강자입니다.
한 10년 전만 해도 IBM이 이 차트에서 40~50%를 차지하던 시절이 있었는데 요새 확실히 약해지긴 했네요.

소비 전력 대비 성능을 보는 Green500 역시 상당히 놀랍습니다.
지난 회차에서 NVIDIA의 A100이 거의 싹쓸이를 했는데, 이번엔 가장 효율이 좋은 상위 4개의 시스템이 모두 HPE/Cray 시스템 즉, AMD 프로세서+AMD 가속기 기반 시스템입니다.
AMD가 2000년대 중반의 Opteron으로 세계를 놀라게 한 이후 다시 한번 놀라운 제품으로 무장한 것 같습니다.

오랫동안 써온 HPL 성능 지표의 보완으로 측정하고 있는 HPCG 벤치마크도 꾸준히 업데이트되고 있네요.
Top500의 3위인 LUMI가 Top500 4위인 Summit에서 HPCG가 밀리는 것으로 보면 아직 AMD쪽이 HPCG쪽으로 최적화가 덜 된 것 같습니다.
이 데이터의 제출은 선택 사항이라 1위 Frontier가 아직 제출을 안 한 상태여서 여전히 일본의 Fugaku가 1위인데, 다음 회차에서 Frotier가 1위릴 차지할 것 같습니다.
다음 회차 결과가 궁금해지네요.

전통적인 HPC 성능을 측정하는 HPL보다도 요새는 부동소수점 정밀도가 좀 낮은 AI 연산도 많이 사용되고 있어 이 부분에 대한 성능 지표도 수집되고 있습니다.
이 값은 제출 안 한 시스템이 많긴 한데, 거의 Top500과 비슷하게 나올 수밖에 없는 거라 큰 이변은 없습니다.

레노버, 인스퍼는 기업, HPE, Atos는 대형 연구소, Dell은 학교. 이렇게 타겟하고 있네요.
국가별 분포를 보면, 중국/미국을 제외하고는 자원이 많은 러시아, 캐나다, 사우디 아라비아의 기업체들이 사용하고 있는 것 같고요.

우리나라에서는 SKT에 새로 설치된 게 있군요. 국내에서 HPE가 큼직한 걸 구축해 나가고 있네요.
국내 기업들에서도 분명히 HPC를 쓰고 있을 텐데, 이제 순위에 등재될 정도로 큼직한 것들을 설치하고 있군요.
그리고, 250위권에 있던 기상청 4호기 누리/미리 두 대의 시스템은 순위에서 내려버렸네요. 굳이 뺄 필요가 있나 싶긴 한데, 내렸네요. 뒷 이야기가 살짝 궁금하긴 하네요.

이번 59회차 TOP500은 HPE/Cray의 1위 시스템 Frontier가 모든 것을 말해주지 않나 싶습니다.
그 기본 시스템인 EX235a가 채택한 AMD 프로세서, AMD 가속기 그리고, Slingshot-11이 주목할 만한 기술이라 하겠습니다.
AMD Milan과 Instinct MI250X 관심 가져 봅시다.
인텔이 곧 PCI Express 5세대롤 탑재한 Xeon Scalable Processor 4세대를 내놓을 예정이고, 내년 초에 NVIDIA의 첫 CPU가 나올 예정인데 그것들이 어떨지도 궁금해지네요.

이상 59회 TOP500 순위를 한번 훑어봤습니다.

(주)이스파이스는 Dell Technologies의 Titanium 파트너로서, HPC에 대한 전반적인 컨설팅에서 구축/서비스까지 제공합니다.

관심있으신 분들은 전화 02-573-1484~5 혹은 이메일 marketing@espice.co.kr로 연락주시기 바랍니다.

BeeGFS 소개

이스파이스 — Thu, 28 Apr 2022 14:50:26 +0900

최고의 병렬 파일 시스템

BeeGFS는 하드웨어 독립적인 POSIX 병렬 파일 시스템(소프트웨어 정의 병렬 저장소라고도 함)으로 성능에 중점을 두고 개발되었으며 사용 용이성, 간단한 설치 및 관리를 위해 설계되었습니다. BeeGFS는 사용 가능한 소스 개발 모델(소스 코드는 공개적으로 사용 가능)에서 생성되어 자체 지원되는 Community Edition과 추가 기능이 있는 완전히 지원되는 Enterprise Edition을 제공합니다. 몇 가지만 예를 들자면, BeeGFS는 HPC, AI 및 딥 러닝, 미디어 및 엔터테인먼트, 생명 과학, 석유 및 가스를 포함한 모든 성능 지향 환경을 위해 설계되었습니다.

BeeGFS 작동 방식

BeeGFS는 ext4, xfs, zfs, Hadoop과 같은 일반적인 파일 시스템을 통해 사용자 공간에서 가벼운 고성능 서비스 데몬과 함께 작동합니다. 이를 통해 사용자는 최대 대역폭, 하드웨어 영역의 더 높은 성능을 제공하고 애플리케이션에 네트워크 와이어 속도를 제공할 수 있습니다. 기본 BeeGFS 클라이언트 및 서버 구성 요소는 Linux on x86, x86_64, AMD, ARM 및 OpenPower 또는 기타 CPU 아키텍처에서 사용할 수 있습니다.

BeeGFS의 고유한 사용자 공간 아키텍처 개념을 통해 사용자는 메타데이터 액세스 대기 시간(예: 디렉토리 조회)을 최소로 유지하고 메타데이터를 여러 서버에 분산하여 각 메타데이터 서버가 전역 파일 시스템 네임스페이스의 일부를 저장할 수 있습니다.

시스템의 서버와 디스크 수를 늘리면 소규모 클러스터에서 수천 개의 노드가 있는 엔터프라이즈급 시스템에 이르기까지 파일 시스템의 성능과 용량을 필요한 수준으로 원활하게 확장할 수 있습니다.

BeeGFS의 주요 특징

BeeGFS는 사용자 데이터를 여러 서버에 투명하게 분산시킵니다. 시스템의 서버와 디스크 수를 늘리면 소규모 클러스터에서 수천 개의 노드가 있는 엔터프라이즈급 시스템에 이르기까지 필요한 수준으로 파일 시스템의 성능과 용량을 원활하게 확장 할 수 있습니다.

분산 파일 콘텐츠 및 메타데이터

BeeGFS의 가장 근본적인 장점 중 하나는 사용자 공간 아키텍처를 통해 클러스터의 아키텍처 병목 현상이나 잠금 상황을 엄격하게 방지한다는 것입니다. 이 개념을 통해 메타데이터 및 스토리지 수준에서 무중단 및 선형 확장이 가능합니다.
자세히 알아보기 (영문PDF)

HPC 기술

BeeGFS는 기본 RDMA를 지원하는 매우 효율적이고 확장 가능한 다중 스레드 코어 구성 요소를 기반으로 합니다. 파일 시스템 노드는 RDMA(InfiniBand, Omni-Path, RoCE 및 TCP/IP) 네트워크 연결을 동시에 제공할 수 있으며 이중 연결 경로 중 하나가 실패할 경우 자동으로 중복 연결 경로로 전환합니다.

사용하기 쉬움

BeeGFS는 커널 패치가 필요하지 않으며(클라이언트는 패치가 없는 커널 모듈이고 서버 구성 요소는 사용자 공간 데몬임) 그래픽 Grafana 대시보드와 함께 제공되며 필요할 때마다 운영 중인 시스템에 더 많은 클라이언트와 서버를 추가할 수 있습니다.

고도의 동시 액세스에 최적화

NFS와 같은 단순한 원격 파일 시스템은 동시 액세스가 높은 경우 심각한 성능 문제가 있을 뿐만 아니라 여러 클라이언트가 동일한 공유 파일에 쓸 때 데이터를 손상시킬 수도 있습니다. 이는 클러스터 애플리케이션의 일반적인 사용 사례입니다. BeeGFS는 높은 I/O 부하 또는 패턴의 상황에서 최적의 견고함과 성능을 제공하기 위해 이러한 사용 사례를 염두에 두고 특별히 설계되었습니다.

모든 시스템의 클라이언트 및 서버

BeeGFS를 실행하기 위해 특정 엔터프라이즈 Linux 배포 또는 기타 특수 환경이 필요하지 않습니다. 다른 사용 사례를 허용하는 XFS, ext4 또는 ZFS와 같은 표준 Linux 파일 시스템으로 포맷된 기존 파티션을 사용합니다.
자세히 알아보기 (영문PDF)

BeeGFS를 사용하는 이유

BeeGFS는 다른 병렬 파일 시스템에 대한 배포가 쉬운 대안으로 널리 알려져 있으며 전 세계 수천 개의 사이트에 배포되어 HPC, AI를 포함하되 이에 국한되지 않는 모든 성능 지향 환경에서 모든 종류와 크기의 스토리지 시스템에 빠르게 액세스할 수 있습니다. 딥 러닝, 생명 과학, 석유 및 가스.

BeeGFS 사용자 공간 아키텍처는 사용자가 성능 제한 없이 모든 IO 프로필 요구 사항을 관리할 수 있도록 하는 "최첨단"이며 가장 까다로운 HPC, AI 또는 비즈니스 크리티컬 애플리케이션을 실행하는 데 필요한 확장성과 유연성을 제공합니다.

BeeGFS를 통해 고객은 확장 가능한 HPC 및 AI 인프라에 투자할 수 있으며, 이는 소규모 사이트에서 대규모 확장 환경까지 제공하여 하드웨어 구성 요소의 전체 대역폭을 완화합니다. BeeGFS는 워크플로우나 애플리케이션을 변경하지 않고도 새로운 데이터 분석 방법을 가능하게 하여 더 빠른 결과를 제공함으로써 생산성을 높입니다.

성능

작은 파일에서 큰 파일까지 균형이 잘 잡힌 파일

확장성

중단 없이 원활하게 파일 시스템 성능 및 용량 향상

사용의 용이성

기존 인프라와 쉽게 배포 및 통합

견고함

지속적인 운영을 가능하게 하는 고가용성 설계

BeeOND로 데이터 극대화

BeeOND는 클러스터 배치 시스템과 통합하여 컴퓨팅 작업의 일부인 컴퓨팅 노드의 내부 SSD/NVMe에 작업별로 임시 병렬 파일 시스템 인스턴스를 생성하도록 설계되었습니다.

이러한 BeeOND 인스턴스는 매우 빠르고 사용하기 쉬운 임시 버퍼를 제공할 뿐만 아니라 임시 또는 임의 액세스 파일에 대한 많은 I/O 로드를 전역 클러스터 저장소에서 멀리 떨어뜨릴 수 있습니다. 이러한 기능을 추가하여 클라이언트 노드의 숙련도를 높이면 중요한 프로젝트의 속도가 엄청나게 빨라집니다.

(주)이스파이스는 BeeGFS의 독일 본사 인증 파트너로서, BeeGFS에 대한 전반적인 컨설팅에서 구축/서비스까지 제공합니다.

관심있으신 분들은 전화 02-573-1484~5 혹은 이메일 marketing@espice.co.kr로 연락주시기 바랍니다.

HPC에 대한 이런저런 이야기 - 1부

이스파이스 — Mon, 11 Apr 2022 16:42:19 +0900

안녕하세요, 이스파이스 기술연구소입니다.

기술 이야기는 우리가 통상적으로 슈퍼컴퓨터라 부르는 HPC (High Performance Computing) 분야로 시작해 보려 합니다.

HPC라는 분야는 서버의 활용 분야 중에서도 상당히 특이한 분야로 취급되어 왔으나, 세상에 생산되는 데이터가 넘쳐나고 그 활용에 대한 고민을 하다보니 HPC라는 것이 우리와 그닥 멀지 않은 분야가 되어가고 있기도 합니다.

몇 회에 나눠서 쓰게 될지는 모르겠습니다만, 이번 이야기에서는 다음과 같은 주제를 다뤄 보겠습니다.

HPC란 무엇인가?
HPC 개념의 변화
HPC 구성 요소

[ HPC란 무엇인가? ]

HPC는 High Performance Computing, 즉 ‘고성능 연산’의 약자입니다. 우리가 일반적으로 말하는 Super Computer(슈퍼컴퓨터)를 지칭하기도 합니다. 1960년대에 Cray란 인물이 만든 회사에서 만든 시스템에 슈퍼컴퓨터란 말이 최초로 쓰였다고 하고, C-모양의 Cray-2호기는 수십년간 슈퍼컴퓨터의 대명사로 활약했습니다.

초기의 슈퍼컴퓨터는 연산능력이 뛰어난 CPU를 가진 시스템이었다면, 최근 시스템은 수많은 계산 유닛의 병렬화를 통해 고성능 연산을 실현하는 병렬 컴퓨팅으로 구현됩니다. 쉽게 생각하면, 2000년대 초까지의 인텔 CPU가 클럭 스피드로만 성능 향상을 꾀하다가, 회로 집적 및 발열 등의 문제로 듀얼 코어를 시작으로 현재의 멀티 코어 및 AVX와 같은 연산 유닛의 발전 등의 형태로 성능 향상시킨 것과 비슷한 개념입니다. 인텔/AMD 프로세서로 구현하는 HPC는 2-소켓 시스템 여러 대를 묶어서 구성하는 클러스터가 현대의 가장 일반적인 HPC의 형태라 하겠습니다.

2008년에 글쓴이가 속한 회사에서 개발한 서버 유닛으로 일본 츠쿠바 대학에 구축된 당시 세계 최대 AMD  클러스터 . 3.14 로 대표되는 π 연산으로 세계 기록을 세웠던 시스템입니다 .

그러면, 얼마나 빠른 컴퓨터를 슈퍼컴퓨터라 할 수 있는가? 이건 딱히 답이 없는 것 같습니다. 바로 앞에 언급한 클러스터 형태의 병렬 컴퓨팅을 할 수 있는 시스템이면 다 HPC라 불러도 될 것 같습니다.

[ HPC 개념의 변화 ]

바로 위에서 HPC 시스템의 개념의 변화를 언급하긴 했는데, HPC가 처리하는 고속 연산의 형태도 많이 변하고 있습니다. 아래 표는 HPC의 관련 분야와 시스템의 특징을 정리해 본 겁니다.

시대	대표적인 활용 분야	시스템의 특성
1970년대	기상 예보, 공기역학 연구	Cray 이외에 별다른 HPC 시스템이 없었다.
1980년대	확률론적 해석, 방사선 차폐 모델링	IBM 등 다른 업체들의 HPC 시장에 등장
1990년대	암호 해독	병렬컴퓨팅 개념 도입
2000년대	3차원 핵 실험 시뮬레이션	병렬 컴퓨팅의 급속한 증가
2010년대	분자 물리학 시뮬레이션	이젠 에너지 효율성!!!
2020년대	?	Exa-scale, 인공지능, 등

대량의 수치 연산의 시대에서, 현실 세계의 시뮬레이션을 위한 활용으로 변해가고 있다고 볼 수 있습니다.

여기에 최근엔 현실 세계의 데이터를 습득하고, 새로운 데이터에 대한 판단 및 유사한 자료를 생성해내는 인공지능 또한 HPC의 영역으로 개념의 확장이 이루어지고 있습니다.

[ HPC 구성 요소/하드웨어 ]

아래 그림은 OpenHPC란 솔루션 문서에 포함된 대표적인 HPC 클러스터 구성 예입니다.

현대의 슈퍼컴퓨터는 여러 계산 노드를 연결하여 병렬 연산 처리를 하는 것이라고 했습니다. 그러니, 여러 대의 계산 노드가 기본 구성 요소가 됩니다.

그런데, 이 여러 노드들에게 작업을 분배해주고, 관리하기 쉽게 하기 위한 관리 노드가 필요합니다. 관리 노드 (management node) 혹은 마스터 노드라고 합니다. 이런 작업은 대개 이더넷을 통해 이뤄집니다.

그리고, 병렬 처리를 하다 보면 노드 간의 통신이 많아지기도 합니다. 그런데, 전통적인 이더넷은 속도가 그닥 빠르지 않습니다. 빠르다는 개념은 두가지가 있습니다. 자료가 정해진 시간 내에 얼마나 많이 오는가 하는 빠름이 있고, 자료를 요청했을 때 얼마나 짧은 시간에 응답하는가에 대한 빠름이 있습니다. 전자는 전송 대역폭이라 부르고, 후자는 응답 시간이라 부르며 데이터 전송에 있어서의 속도란 개념을 구분합니다.

이더넷은 오래된 규격이다 보니 이 두가지 개념의 속도 개념이 그닥 빠르다 하기 어렵습니다. 그래서, HPC를 구성할 때엔 데이터 전송을 위한 데이터 네트워크를 따로 구성하는 게 일반적입니다.

넓은 전송 대역폭과 빠른 응답 시간이란 요구 조건을 만족하는 대표적인 네트워크 방식은 인피니밴드(InfiniBand)입니다. 이더넷이 1Gbps에 초고속 취급을 받던 2000년대 초에 10Gbps란 대역폭으로 세상에 등장해서 지금은 200Gbps HDR이 대세인 고속 네트워크입니다. 대역폭도 넓지만, 응답시간이 이더넷이 수십 msec (milli-seconds)인데 반해 현대의 인피니밴드는 수 μsec (micro-seconds) 수준이라 이더넷에 비해 1/10,000 정도로 빠른 응답속도를 보여서 계산 노드 간의 많은 데이터 통신에 적합하다 하겠습니다.

인피니밴드는 초기에는 Mellanox, Qlogic, Voltaire 등의 회사에서 생산했으나, 지금은 모두 인수/합병 등으로 사라져서 Mellanox만 남아있으며, Mellanox는 NVIDIA에게 흡수되어 지금은 NVIDIA의 자회사가 되었습니다.

이렇게 병렬 처리된 연산의 결과물이 동시에 쏟아져 나올 수가 있습니다. 이 순간적으로 쏟아져 나오는 데이터를 저장할 수 있는 HPC 전용 스토리지도 있습니다. 보통 병렬 파일 시스템(Parallel File System)이라고 부르는 형태의 스토리지를 많이 채택하는데, 보통 고속 네트워크를 통해 연결되며 장치의 추가를 통해 서비스 중에도 용량 증설 및 전송 대역폭의 확장이 가능한 형태의 스토리지입니다. 이 부분에 대해서는 다음에 따로 정리를 해보겠습니다.

[ HPC 구성 요소/소프트웨어 ]

서버라는 게 용도에 맞게 소프트웨어를 구성해서 서비스를 하는 컴퓨터를 의미하는 것이기에 HPC 클러스터에서도 적절한 소프트웨어를 설치/구성해야 합니다. 구성하는 전부를 알 필요는 없겠지만, 몇 가지 용어 정도는 알면 좋을 것 같습니다.

프로비저닝(Provisioning) S/W: 관리 서버에 설치하여 계산 노드들을 묶어서 클러스터를 구성하게 해주는 소프트웨어를 총칭합니다. Warewulf, xCAT 등의 오픈소스 진영과 Bright Computing에서 개발/판매하는 BCM (Bright Cluster Manager)가 많이들 씁니다.
스케줄러(Scheduler): 관리 서버에서 계산 노드의 자원을 적절히 할당하여 일을 던져주는 역할을 하는 소프트웨어를 말합니다. Job scheduler라고도 많이 부르며, resource manager라고도 합니다. 여러 사람들이 필요한(혹은 정한 수량의) 컴퓨팅 자원을 갖고 작업을 돌릴 수 있도록 자원 및 시간의 효율적 배치를 해주는 소프트웨어로 PBS Pro, Slurm 등이 제일 유명한 스케줄러입니다. 요새는 멀티 GPU를 탑재한 서버도 많이 나와서, HPC 클러스터뿐만 아니라 단일 GPGPU 서버에 설치하여 GPU 자원을 배분해서 사용할 수 있게 해주기도 합니다.
각종 라이브러리: 병렬 처리 작업을 위한 표준 규격이 있습니다. 또한, 병렬 처리를 하는데 많이 쓰이는 과학 라이브러리, 컴파일러 등도 보통 기본적으로 설치됩니다. 물론, 특정 용도에 맞는 수많은 라이브러리가 있을 수 있습니다.
모니터링 툴: HPC 클러스터는 많은 노드를 관리해야 하기 때문에 중앙에서 노드를 모니터링하는 것도 중요한 역할 중 하나입니다. 쉘스크립트를 통해 계산 노드의 상태를 모니터링하는 경우도 있고, 특정 툴의 도움을 받아 사용하는 경우도 있습니다.
통합 클러스터 관리자 (Cluster Manager): 프로비저닝, 스케줄러, 각종 라이브러리, 모니터링 툴 등을 모아서 하나의 패키지로 만들어 클러스터를 (아주) 조금 쉽게 구축하게 해주는 패키지도 있습니다. HPC를 주력으로 하는 회사들은 각자 오픈소스를 기반으로 커스텀 패키지화해서 자사 솔루션으로 사용하는 경우도 있고, 오픈 소스 진영에서 만든 OpenHPC, Bright Computing사의 BCM라는 통합 패키지도 있습니다.

앞으로 다룰 내용은 다음을 포함하려 합니다.

- 슈퍼컴퓨터 성능은 뭘로 측정하는가?

- GPGPU의 등장

- 병렬 파일 시스템

오늘은 여기까지~

감사합니다.

(주)이스파이스는 Dell Technologies의 Titanium 파트너로서, HPC에 대한 전반적인 컨설팅에서 구축/서비스까지 제공합니다.

관심있으신 분들은 전화 02-573-1484~5 혹은 이메일 marketing@espice.co.kr로 연락주시기 바랍니다.

[이스파이스] 최신 기술 동향에 대한 글을 시작해 보려 합니다.

이스파이스 — Mon, 11 Apr 2022 16:29:26 +0900

안녕하세요, (주)이스파이스 기업부설연구소입니다.

이스파이스에서 블로그를 통해 기술 동향 혹은 IT 분야의 기술에 대한 이해를 돕는 컨텐츠를 제공하고자 합니다.

비정기적인 글이 되겠지만, 종종 글을 써보려 하니 관심 부탁드립니다.

감사합니다.