자연어 처리(NLP) 노하우 바탕으로 발전하는 네이버 검색서비스
자연어 처리(NLP) 노하우 바탕으로 발전하는 네이버 검색서비스
  • 박현진 기자
  • 승인 2018.10.08 19:03
  • 댓글 0
이 기사를 공유합니다

딥러닝을 비롯한 최신의 AI 기술을 활용해 기존의 검색어 교정 시스템을 대체했으며, 최근 이에 대한 유의미한 성과
HCLT2018 행사 이미지 캡처 및 본지편집

네이버 검색이 자연어 처리(NLP Natural Language Processing) 분야에서 축적한 기술력과 서비스 노하우를 바탕으로 검색 이용자의 의도를 더욱 잘 이해하는 검색으로 진화하고 있다. 네이버는 12일(금), 13일(토) 양일간 고려대 인촌기념관 대강당에서 개최되는 ‘제 30회 한글 및 한국어 정보처리학술대회(조직위원장 임희석 고려대 교수, HCLT2018)’에서 총 5편의 논문을 접수하고 발표한다. 올해는 자연어 처리 및 한글 검색어와 관련한 총 3편의 논문이 우수 논문으로 선정됐다.

‘HCLT’는 1989년 10월에 제1회 학술대회를 시작으로 지난 30년 동안 계속되고 있으며 올해로 30번째 학술대회를 개최하며, 학술대회의 주제인 언어정보처리는 비단 전산언어학이나 언어학뿐만 아니라 인공지능 분야에서도 매우 중요한 분야로 관심을 받고 있다. 인간의 대부분의 지식이 언어로 표현되어 있기에 대량의 비정형화된 언어로부터 세상의 지식을 추출하고 가공할 수 있는 언어정보처리 기술은 차세대 초연결, 초지능 사회 구축을 위하여 매우 중요한 기술이다.

이번 학술대회는 자연언어처리 기술 기반의 기계번역, 대화체 질의응답 시스템 대화시스템, 정보검색, 말뭉치 구축, 시맨틱웹, 텍, 딥러닝, 그리고 빅데이터분석 분야뿐만 아니라 인간의 언어정보처리 원리와 이해를 위한 언어학과 뇌인지 언어정보처리 분야까지 발표 논문의 주제를 확장하였다.

최근 딥러닝과 딥러닝기반의 자연어처리가 방대한 텍스트로부터 의미있는 정보를 추출하고 활용하기 위한 언어처리 연구가 전 세계적으로 활발히 진행되고 있는 가운데 이곳에서 네이버의 연구는 해마다 우수 논문으로 선정되어 왔다. 이처럼 한글 정보 처리 기술을 끊임없이 연구하고, 공유하고 있는 네이버는 검색 서비스에도 보다 고도화된 기술력을 적용시켜, 더욱 정확하고 효과적으로 정보를 제공한다는 방침이다.

참고: HCLT2018 접수 논문 (우수논문은 굵은글씨)

네이버는 모바일 상에서의 검색이 일상화된 이용자들을 위해 AI 기술 기반 검색어 교정 시스템인 ‘AIQSpell’ 개발에 힘써왔다. 딥러닝을 비롯한 최신의 AI 기술을 활용해 기존의 검색어 교정 시스템을 대체했으며, 최근 이에 대한 유의미한 성과가 나타나고 있다.

먼저, 오타 질의들에 대한 검색어 교정량이 43% 증가했다. 예를 들어 ‘목포에세 군산깢 가는버’라고 검색을 했을 때 ‘목포에서 군산까지 가는 법’으로 교정하거나, ‘꿰양성 대장염치료제는 업는지’를 검색하면 ‘궤양성 대장염 치료제는 없는지’로 자동 변환하여 제공하는 방식으로, 비교적 긴 질의에서 발생하는 오타를 알맞은 검색어로 교정하는 비율이 대폭 증가했다.

특히 맞춤법 오류나 오타 등으로 인해 검색결과가 0건으로 나타나는 ‘검색결과 0건 질의’ 역시 크게 감소했다. 이와 함께 최신 AI 기술의 적용으로 자동완성 서비스 역시 대폭 개선되었다. 올해 9월 개편된 네이버 자동완성에는 빅데이터 분석기술을 활용한 시스템이 도입되었다. 해당 모델은 오타가 발생했을 가능성, 순서가 뒤집혔을 가능성, 그리고 사용자가 많이 찾는 검색어일 가능성 등을 조합해 추천 검색어 후보들의 최종 점수를 계산하여 적절한 검색어를 제공한다.

이를 통해 이용자는 단어 순서를 바꾸어 입력해도, 구체적인 검색어가 기억나지 않더라도 기존에 비해 적은 타이핑으로 더욱 정확한 검색 결과를 얻을 수 있다. 네이버는 지속적으로 검색 서비스의 품질을 향상시키기 위해, 영어로 입력하더라도 한글 검색 결과로 잘 매칭시킬 수 있는 방안을 연구 중이다.

또한 '개체명 연결(Entity Linking)' 기술로 700만 개 이상의 개체명을 인식해서 처리하고 있다. 네이버의 개체명 연결 기술은 문서에 출현한 각 단어에 정확한 의미구분자(Entity ID)를 부착해 줌으로써, 중의적인 검색어마다 그에 알맞는 검색 결과를 제공하는데 활용된다. 이러한 기술은 2016년 1월 개발이 시작된 이후 동명이인 인물의 노출 순위 자동 변경, 증권 종목 및 스포츠 섹션의 뉴스 기사 자동 분류 등 다양한 서비스에 적용되었다.

네이버는 이용자의 리뷰 문서를 분석하여 영화 제목을 찾는 질의에 답하는 시스템을 개발했다. 가령 ‘10분마다 기억을 잃는 영화’를 검색하면 영화 ‘메멘토’가, ‘인공지능이랑 연애하는 영화’를 검색하면 영화 ‘그녀’가 답변으로 제시된다. 네이버의 영화 AI는 서비스를 사용한 이용자가 영화를 본 후 리뷰를 작성하면, 해당 리뷰가 영화AI에 반영되어 점점 똑똑한 추천 시스템을 갖추게 되는 구조다. 해당 시스템은 이용자가 영화 제목을 기억하지 못하거나, 관람하고 싶은 특정한 유형의 영화가 있을 때 알맞은 영화를 찾아주는데 유용하게 활용될 전망이다. 네이버의 영화AI는 네이버의 인공지능 플랫폼 클로바(Clova)가 탑재된 모든 서비스에 적용될 예정이다.

 

Tag
#N

댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.