상단여백
HOME TODAY 발표
프리퍼드 네트웍스, 딥 러닝 학습 속도 세계 최고 속도 실현대규모 병렬 컴퓨터를 활용하여 분산 학습 패키지 ChainerMN에서 ImageNet 학습을 15 분에 완료
박현진 기자 | 승인 2017.11.13 01:02
상단은 딥러닝 프레임워크 체이너(Chainer) 로고이며, 하단은 프리퍼드 네트웍스의 CEO 니시카와 토루(사진:PFN)
일본의 스타트업 프리퍼드 네트웍스(CEO 니시카와 토루, Preferred Networks, 이하 PFN)은 대규모 병렬 컴퓨터 ‘MN-1‘을 활용하여 딥 러닝의 학습 속도에 있어서 세계 최고 속도를 실현했다고 10일 밝혔다. ‘MN-1’은 민간 기업의 컴퓨팅 환경으로 일본 최대의 개인 슈퍼 컴퓨터로 엔비디아 CPU 테슬라 P100을 1024개 사용하여 지난 9월에 학습을 실시했으며, 이 컴퓨터는 4.7 페타 플롭스(Petaflops)의 성능을 가진다.

최근 딥 러닝 모델의 정확도를 향상시키기 위해 학습 데이터의 크기와 모델의 파라미터 수가 증가하고 이에 따라 계산 시간도 증가하고 있다. 여러 대의 컴퓨터를 사용하는 병렬 분산 학습에서는 일반적으로 GPU의 수를 늘릴수록 배치 크기가 커지는 데다 GPU 사이의 통신 오버 헤드가 존재함으로써 얻을 수 있는 모델의 정확성이나 학습 속도가 점차 낮아지는 것으로 알려져 있었다.
이번에 이러한 문제를 극복하기 위해 학습 알고리즘을 병렬 처리 성능을 개선하고, 1,024 GPU로 구성된 민간 기업으로 일본 최대의 병렬 컴퓨터 MN-1과 딥러닝 프레임워크 체이나(Chainer)에 다중 노드 분산 학습 기능을 추가한 체이너MN(ChainerMN)을 이용하여 학습을 실시했다. 그 결과 ImageNet 이미지 분류 데이터 집합을 이용한 ResNet-50(이미지 인식 분야에서 많이 사용되는 네트워크)의 학습을 15 분에 완료한 것이다.

이번 연구 성과는 논문 'Extremely Large Minibatch SGD : Training ResNet-50 on ImageNet in 15 Minutes'라는 제목으로 공개됐으며, PFN은이 연구 성과를 살려 대규모 심층 학습을 필요로 하는 교통 시스템, 제조, 바이오·헬스 케어 분야의 연구 개발을 더욱 가속화시켜 나갈 것이라고 밝혔다.(논문 다운받기)



참고) 오픈 소스 딥 러닝 프레임워크 체이너(Chainer)

PFN가 중심이 되어 개발·제공하는 Chainer은 Python 기반의 딥 러닝을 위한 프레임 워크이며, 디파인바이런(Define-by-Run)의 방법을 통해 쉽고 직관적으로 복잡한 신경망을 설계할 수 있는 유연성과 성능을 갖추고 있다. 2015년 6월에 오픈 소스 化되어 딥 러닝을 위한 프레임 워크의 하나로서 교육 기관뿐만 아니라 딥 러닝의 이점을 실제 응용 프로그램과 연구에 활용하기 위한 유연한 프레임 워크를 요구하는 일본 산업계의 많은 사용자에게 지지를 받고 있다.

또한 Chainer 최신 심층 학습 연구 성과를 신속하게 도입해 ChainerMN(분산 심층 학습) / ChainerRL (강화 학습) / ChainerCV (컴퓨터 비전) 등의 추가 패키지 개발, Chainer 개발 파트너 지원 등을 통해 각 분야의 연구자와 실무자의 최첨단 연구 · 개발 활동을 지원해 나갈 것을 목표로하고 있다. 참고로 인텔은 지난 4월 6일 일본 도쿄에서 앞으로 체이너 프레임워크 개발을 위해 PFN와 협력하고 체이너를 통해 인텔 아키텍처 기반의 범용 컴퓨팅 인프라에서 딥러닝의 성능을 끌어낼 수 있는 결과물을 제공하겠다는 계획이라고 밝혔었다.
 

박현진 기자  nwngm@naver.com

<저작권자 © 세미나투데이, 무단 전재 및 재배포 금지>

박현진 기자의 다른기사 보기
icon인기기사
기사 댓글 0
전체보기
첫번째 댓글을 남겨주세요.
여백
신문사소개기사제보광고문의불편신고개인정보취급방침이메일무단수집거부청소년보호정책
Copyright © 2017 세미나투데이. All rights reserved. 서울특별시 강북구 삼양로38라길 9, 2F  |  대표전화 : 02-6124-3331  |  팩스 : 02-6338-4243
자매지 : 인공지능신문  |  등록일 : 2015년 10월 22일  |  등록번호 : 서울 아03947  |  발행인 겸 편집인 : 전유준  |  청소년 보호 책임자 : 정한영
기사제보 및 문의 : webmaster@seminartoday.net
세미나투데이의 모든 콘텐츠를 무단 사용하는 것은 저작권법에 저촉되며, 법적 제재를 받을 수 있습니다.
Back to Top