후지쯔가 지난해 11월 발표한 인공지능(AI) ‘진라이(Zinrai)’가 진화를 거듭하고 있다. 후지쯔연구소(富士通研究所)는 슈퍼 컴퓨터의 소프트웨어 병렬화 기술을 응용, 복수의 GPU사용 Deep Learning의 학습 속도를 고속화하는 소프트웨어 기술을 개발했다고 오늘(9일) 밝혔다.
Deep Learning, 대량의 데이터에서 학습할 때는 엄청난 시간이 걸리기 때문에 복수의 GPU을 병렬로 고속으로 동작하는 'Deep Learning소프트웨어'가 이번에 개발된 것이다. 이번 발표는 8일부터 10일까지 나가노 현 마츠모토시에서 개최 중인 워크숍 "SWoPP 2016 (Summer United Workshops on Parallel, Distributed and Cooperative Processing)"에서 발표됐다.
종래, Deep Learning의 고속화 기법에서 GPU을 탑재한 복수의 컴퓨터를 네트워크로 결합한 병렬화는 10여대를 넘으면 컴퓨터 간의 데이터 공유 시간이 증가하여 점차 병렬화의 효과를 얻기 어려워지는 것이 과제였다고 한다.
이번 통신과 연산을 동시에 병렬로 실행하는 슈퍼 컴퓨터 기술 외에도 Deep Learning처리 순서와 공유하는 데이터 사이즈의 특징에 맞추어 처리 방법을 바꾸었다. '데이터 공유의 스케줄링 기술'과 '데이터 사이즈에 따른 연산 최적화 처리 기술' 의 2가지의 기술을 개발했다.
데이터 공유의 스케줄링 기술은 연속적으로 이어지는 여러 연산으로 다음의 학습 처리 개시에 필요한 데이터가 먼저 각각의 컴퓨터에서 공유되도록 전송의 우선 순서를 자동적으로 제어한다.
기존의 기술로는 다음의 학습 처리의 최초에 필요한 1층 데이터 공유 처리가 마지막으로 수행되므로 데이터 공유 처리에 의한 지연이 길어지고 있다.개발된 기술에서는 2번째층의 데이터 공유 처리 도중에 1번째층의 데이터 공유 처리를 함으로써 다음의 학습 처리 개시까지의 대기 시간을 단축하는 동작을 실현했다.
또 데이터 사이즈에 따른 연산 최적화 처리 기술은 연산 결과를 전 컴퓨터에서 공유하는 처리에 있어서, 원래의 데이터량이 적게는 각 컴퓨터에서 데이터를 공유하고 같은 연산을 수행하고 결과를 전송할 시간을 대폭 줄였다.
데이터량이 많을 때는 처리를 분할하고 다른 컴퓨터와 산출한 결과를 공유하고 뒤의 연산으로 이용한다. 데이터량에 응해서 최적의 연산 방법을 실시하도록 자동으로 배분함으로써 전체의 연산 시간을 최소화 한다.
후지쯔는 개발한 기술을 Deep Learning의 프레임워크 "Caffe"에 실장하고, GPU을 각각 탑재한 64대의 컴퓨터를 사용한 화상 인식용 다층 신경망의 "AlexNet(화상 인식용 다층 신경망의 하나)"의 학습 시간을 계측한 결과 GPU을 1대만 사용했을 때보다 27배의 속도를 달성하였으며, 이 기술의 적용 전과 비교하면 GPU 16대에서 46%, 64대에서 71%의 학습 속도의 향상을 실현했다.
이 기술을 적용함으로써 로봇, 자동차, 자동 제어 등과 의료, 금융 등의 분야에서 병변 분류나 주가 예측에 독자적인 신경망 모델을 개발하는 경우 등 Deep Learning의 연구 개발 시간을 단축할 수 있으며 고품질 모델의 개발이 가능하다.
이번 개발한 기술은 후지쯔의 AI기술 "인간 중심의 AI 진라이(ジンライ/Human Centric AI Zinrai)"의 하나로 2016년도 중의 실용화를 목표로 하고있으며, 학습 속도의 새로운 향상을 위하여 나갈 방침이라고 전했다.
