실시간 AI 엣지 컴퓨팅 위한 에지 컴퓨팅 플랫폼 ‘엔비디아 EGX(NVIDIA EGX)’ 발표
실시간 AI 엣지 컴퓨팅 위한 에지 컴퓨팅 플랫폼 ‘엔비디아 EGX(NVIDIA EGX)’ 발표
  • 최광민 기자
  • 승인 2019.05.28 10:38
  • 댓글 0
이 기사를 공유합니다

이 제품은 실시간 음성 인식 및 기타 실시간 AI 작업을 위해 최대 1만 초당테라연산(TOPS)의 성능을 제공하는 엔비디아 T4 서버의 전체 랙으로 연결…통신, 헬스케어, 제조, 소매, 운송 업계에서 연속 스트리밍 데이터를 실시간으로 감지하고 대응하도록 지원

시장조사기관 IDC에 따르면, 2025년에는 1,500억여 머신 센서와 사물인터넷(IoT) 디바이스가 처리돼야 할 연속 데이터를 스트리밍할 것으로 예상된다. 이는 스마트폰을 사용하는 개인으로부터 발생하는 데이터보다 많은 양이다.

엔비디아(CEO 젠슨 황)는 엣지에서 낮은 지연시간으로 실시간 인공지능(AI) 수행이 가능한 가속 컴퓨팅 플랫폼(Real-Time AI at the Edge) ‘엔비디아 EGX(NVIDIA EGX)’를 발표했다. 이 플랫폼은 기업들이 5G 기지국, 창고, 리테일, 공장 등에서 발생하는 연속 스트리밍 데이터를 실시간으로 감지, 이해 및 대응할 수 있도록 돕는다.

엔비디아 EGX는 클라우드로 전송돼야 하는 데이터양을 줄이는 동시에, 데이터가 생성되는 엣지에서 즉각적이며 높은 스루풋(throughput)의 AI를 수행하려는 수요를 충족시키기 위해 개발됐으며, 엔비디아 EGX 플랫폼과 같은 엣지 서버는 전세계에 걸쳐 이러한 센서로부터 데이터를 실시간으로 처리하는데 유용하게 사용될 것으로 보인다.

엔비디아 EGX
엔비디아 EGX(사진:엔비디아)

특히, 뛰어난 확장성으로 엔비디아 EGX는 소형 AI 컴퓨터 엔비디아 젯슨 나노(NVIDIA Jetson Nano)로 시작 가능하며, 이미지 인식과 같은 작업을 처리하기 위해 불과 몇 와트에 불과한 저전력으로 1초당 5천억 회의 연산이 가능하다. 또한, 이 제품은 실시간 음성 인식 및 기타 실시간 AI 작업을 위해 최대 1만 초당테라연산(TOPS)의 성능을 제공하는 엔비디아 T4 서버의 전체 랙으로 연결된다.

또한 성능 면에서도 엔터프라이즈급으로 엔비디아는 레드햇(Red Hat)과 협력해 엔터프라이즈급 쿠버네티스(Kubernetes) 컨테이너 오케스트레이션(orchestration) 플랫폼인 오픈시프트(Openshift)와 엔비디아 엣지 스택(NVIDIA Edge Stack)을 통합 및 최적화했다.

엔비디아 엣지 스택은 엔비디아 드라이버, 쿠다 쿠버네티스 플러그인(CUDA Kubernetes plugin), 쿠다 컨테이너 런타임(CUDA container runtime), 쿠다-X 라이브러리(CUDA-X™ libraries), 텐서RT(TensorRT™), 텐서RT 인퍼런스 서버(TensorRT Inference Server)와 딥스트림(DeepStream)을 포함한 컨테이너형 AI 프레임워크 및 애플리케이션을 포함한 소프트웨어에 최적화돼 있다. 엔비디아 엣지 스택은 엔비디아 NGC 레지스트리(NVIDIA NGC™ registry)에서 다운받을 수 있다.

아울러 엔비디아 EGX는 엔비디아의 모든 AI 컴퓨팅 기술, 그리고 레드햇 오픈시프트 및 엔비디아 엣지 스택을 멜라녹스(Mellanox) 및 시스코(Cisco)의 보안, 네트워킹 및 스토리지 기술과 결합한다. 이를 통해 통신, 제조, 소매, 헬스케어, 운송 등을 포함한 주요 산업분야 기업들은 최첨단의 엔터프라이즈급 AI 인프라를 신속하고 안전하게 구축할 수 있다.

Edge 용 엔터프라이즈 급 소프트웨어 스택 개요

멜라녹스의 최고 기술 책임자인 마이클 케이건(Michael Kagan)은 “멜라녹스 스마트 NIC와 스위치는 엣지에서 하이퍼스케일 데이터 센터까지 확장되는 데이터 액세스를 위한 이상적인 I/O 연결을 제공한다. 고성능, 낮은 레이턴시 및 가속화된 네트워킹의 조합은 엔비디아 EGS와 같은 엣지 플랫폼상에서 차세대 AI 솔루션을 구현하는데 필요한 데이터에 효과적으로 액세스하고 이를 공급하는데 필수적인 새로운 인프라 티어를 제공한다”고 설명했다.

엔비디아 AI 컴퓨팅은 주요 클라우드 서비스에 의해 제공되며, 구조적으로 엔비디아 EGX와 호환된다. 클라우드에서 개발된 AI 애플리케이션은 엔비디아 EGX에서 실행될 수 있으며, 그 반대도 가능하다. 엔비디아 엣지 스택은 주요 클라우드 IoT 서비스에 연결되며, 고객은 AWS IoT 그린그래스(AWS IoT Greengrass) 및 마이크로소프트 애저 IoT 엣지(Microsoft Azure IoT Edge)에서 원격으로 서비스를 관리할 수 있다.

샘 조지(Sam George) 애저 IoT 엣지 총괄 이사는 "애저 IoT 엣지는 고객들이 IoT 디바이스에 클라우드 서비스를 신속하고 안전하게 구축할 수 있도록 도와준다. 애저 IoT 엣지 디바이스에서 엔비디아 EGX 엣지 플랫폼을 지원함으로써, 고객들이 EGX와 호환이 가능한 하드웨어를 대상으로 AI 워크로드를 구축할 수 있게 되기를 기대한다”고 말했다.

아울러 폭넓은 개발자 지원으로 엔비디아 EGX는 소프트웨어 솔루션 생태계의 성장을 위해 AI를 최적화하고 있다. 여기에는 애니비젼(AnyVision), 딥비젼(DeepVision), 아이언윈(IronYun), 마롱 테크놀로지(Malong Technologies)와 같은 소프트웨어 공급업체의 대규모 소매 체인 및 스마트 시티에 이상적인 비디오 분석 애플리케이션과 12 시그마(12 Sigma), 인퍼비젼(Infervision), 쿠나팁(Qunatib), 서틀 메디컬(Subtle Medical) 등의 의료 관련 소프트웨어 제품이 포함된다.

한편, EGX 서버는 글로벌 엔터프라이즈 컴퓨팅 공급업체 아토스(ATOS), 시스코, 델 EMC(Dell EMC), 후지쯔(Fujitsu), 휴렛팩커드 엔터프라이즈(Hewlett Packard Enterprise), 인스퍼(Inspur), 레노버(Lenovo) 등에서 제공된다.

이밖에 주요 서버 및 IoT 시스템 제조업체인 아바코(Abaco), 에이서(Acer), 에이디링크(ADLINK), 어드밴텍(Advantech), 애즈락 랙(ASRock Rack), 에이수스(ASUS), 에버미디어(AverMedia), 클라우디안(Cloudian), 커넥트 텍(Connect Tech), 커티스 라이트(Curtiss-Wright), 기가바이트(GIGABYTE), 리탑(Leetop), 미비(MiiVii), 무사시 세이미츠(Musashi Seimitsu), QCT, 수곤(Sugon), 슈퍼마이크로(Supermicro), 타이안(Tyan), 와이베이스(WiBase), 위윈(Wiwynn) 등도 EGX 서버를 지원하며, 엔비디아 EGX 서버는 엔비디아 엣지 스택과 쿠다 가속 컨테이너를 위해 검증된 NGC-레디(NGC-Ready)에 최적화되어 있다.


댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.