일본의 스타트업 프리퍼드 네트웍스(CEO 니시카와 토루, Preferred Networks, 이하 PFN)은 대규모 병렬 컴퓨터 ‘MN-1‘을 활용하여 딥 러닝의 학습 속도에 있어서 세계 최고 속도를 실현했다고 10일 밝혔다. ‘MN-1’은 민간 기업의 컴퓨팅 환경으로 일본 최대의 개인 슈퍼 컴퓨터로 엔비디아 CPU 테슬라 P100을 1024개 사용하여 지난 9월에 학습을 실시했으며, 이 컴퓨터는 4.7 페타 플롭스(Petaflops)의 성능을 가진다.

최근 딥 러닝 모델의 정확도를 향상시키기 위해 학습 데이터의 크기와 모델의 파라미터 수가 증가하고 이에 따라 계산 시간도 증가하고 있다. 여러 대의 컴퓨터를 사용하는 병렬 분산 학습에서는 일반적으로 GPU의 수를 늘릴수록 배치 크기가 커지는 데다 GPU 사이의 통신 오버 헤드가 존재함으로써 얻을 수 있는 모델의 정확성이나 학습 속도가 점차 낮아지는 것으로 알려져 있었다.이번에 이러한 문제를 극복하기 위해 학습 알고리즘을 병렬 처리 성능을 개선하고, 1,024 GPU로 구성된 민간 기업으로 일본 최대의 병렬 컴퓨터 MN-1과 딥러닝 프레임워크 체이나(Chainer)에 다중 노드 분산 학습 기능을 추가한 체이너MN(ChainerMN)을 이용하여 학습을 실시했다. 그 결과 ImageNet 이미지 분류 데이터 집합을 이용한 ResNet-50(이미지 인식 분야에서 많이 사용되는 네트워크)의 학습을 15 분에 완료한 것이다.

이번 연구 성과는 논문 'Extremely Large Minibatch SGD : Training ResNet-50 on ImageNet in 15 Minutes'라는 제목으로 공개됐으며, PFN은이 연구 성과를 살려 대규모 심층 학습을 필요로 하는 교통 시스템, 제조, 바이오·헬스 케어 분야의 연구 개발을 더욱 가속화시켜 나갈 것이라고 밝혔다.(논문 다운받기)



참고) 오픈 소스 딥 러닝 프레임워크 체이너(Chainer)

PFN가 중심이 되어 개발·제공하는 Chainer은 Python 기반의 딥 러닝을 위한 프레임 워크이며, 디파인바이런(Define-by-Run)의 방법을 통해 쉽고 직관적으로 복잡한 신경망을 설계할 수 있는 유연성과 성능을 갖추고 있다. 2015년 6월에 오픈 소스 化되어 딥 러닝을 위한 프레임 워크의 하나로서 교육 기관뿐만 아니라 딥 러닝의 이점을 실제 응용 프로그램과 연구에 활용하기 위한 유연한 프레임 워크를 요구하는 일본 산업계의 많은 사용자에게 지지를 받고 있다.

또한 Chainer 최신 심층 학습 연구 성과를 신속하게 도입해 ChainerMN(분산 심층 학습) / ChainerRL (강화 학습) / ChainerCV (컴퓨터 비전) 등의 추가 패키지 개발, Chainer 개발 파트너 지원 등을 통해 각 분야의 연구자와 실무자의 최첨단 연구 · 개발 활동을 지원해 나갈 것을 목표로하고 있다. 참고로 인텔은 지난 4월 6일 일본 도쿄에서 앞으로 체이너 프레임워크 개발을 위해 PFN와 협력하고 체이너를 통해 인텔 아키텍처 기반의 범용 컴퓨팅 인프라에서 딥러닝의 성능을 끌어낼 수 있는 결과물을 제공하겠다는 계획이라고 밝혔었다.