□ 연수내용

◇ 컴퓨터공학을 기본소양으로 AI의 근간을 쌓는 미국 대학

○ 미국 대학에서는 AI의 근간이 되는 컴퓨터공학이 이미 기본 소양으로 여겨지고 있다. MIT 학생 중 컴퓨터공학 전공과학을 듣는 학생은 지난해 기준 50%에 이르고 스탠퍼드대 공대생 중 컴퓨터공학 전공자는 45% 수준이다. MIT, 스탠퍼드, 카네기멜런, 워싱턴대 등은 공동으로 AI를 교육하는 프로그램을 운영하고 있다.

○ 미국 캘리포니아 버클리대(UC버클리)는 2015년부터 데이터 사이언스를 연계한 대학원 전공 과정을 운영하고 있다.

데이터 사이언스는 엄청난 양의 빅데이터를 분석하기 위해 AI 기술의 핵심인 딥러닝(심층 학습) 등을 활용하는 기술이다. 알파고를 통해 딥러닝의 유용성이 입증되면서 최근 가장 각광받고 있는 분야이기도 하다.

◇ 세계에서 3번째로 노벨상을 많이 배출한 UC버클리

○ 1868년 10개의 캘리포니아 대학교 중 최초로 설립된 UC버클리는 2019년 U.S. News & World Report 세계랭킹에서 4위에 랭크되었다.

107 명의 노벨상(2018년 12월 기준) 수상자들과 연고가 있는 UC버클리는 세계에서 3번째로 노벨상 수상자를 많이 배출한 대학교인 세계적 명문대학이다.

○ 버클리 졸업생들은 여러 유명 기업들을 창업한 것으로 유명하다. 애플(스티브 워즈니악), 인텔(고든 무어), 마이스페이스(톰 앤더슨), 갭(도널드 피셔), DHL(래리 힐블롬), 구글 보이스(크레이그 워커)와 구글 어스(존 행크), HTC(쉐어 왕), 썬 마이크로시스템즈(빌 조이), BBN 테크놀로지(리처드 볼트), 마벨 테크놀로지 그룹(세핫 수타르자와 웨일리 다이), VM웨어(다이앤 그린과 멘델 로젠블럼), 일본 소프트뱅크(손정의) 등이 버클리 졸업생에 의해서 설립된 대표적인 회사들이다.

◇ 버클리 대학 내 인공지능 관련 연구인력이 모인 인공지능연구소

○ UC 버클리는 연구 중심의 종합대학으로, 7,000개가 넘는 강의와 300개에 가까운 전공을 제공하고 있다. 해마다 5,500명의 학사와 2,000명의 석사, 900명의 박사를 배출한다.

▲ UC버클리[출처=브레인파크]

○ 버클리 인공지능연구소는 △컴퓨터 비전 △기계학습 △자연어 처리 △계획 △로봇공학 분야에 걸친 UC버클리 대학 내 연구인력이 모인 연구소다.

○ 30여 명의 교수진과 200여 명의 대학원생은 멀티모달 딥러닝(Multi-modal deep learning)과 인간-호환 AI와 관련한 최첨단 기술들을 연구하며 AI와 다른 과학 분야 간 접목을 위한 연구도 진행한다. 연구진은 인공지능 관련 연구를 진행할 때 최대한 다양한 접근법을 활용하고 있다.

○ 연구소는 최첨단 AI 연구 가속화를 위해 ‘BAIR Open Research Commons’라는 새로운 산업 제휴 프로그램을 시작했으며 연구진은 Commons 협정을 기반으로 제휴 산업 파트너와 공동으로 그리고 균등하게 지적 재산을 공유하면서 협력적인 공동 프로젝트를 진행한다.

○ 후원기업으로는 아마존, 페이스북, 구글, 마이크로소프트, 삼성, 웨이브 컴퓨팅 등이 있으며 이들 기업은 프로그램의 초기에 BAIR 시설과 연구 노력을 지원할 20개 이상의 공동 프로젝트에 대한 기금을 조성했다.

○ 기존 학과와 학부들은 그대로 놔둔 채 이들을 모두 아우를 수 있는 `디비전`이라는 개념을 만들어 학부생들이 전공과 관계없이 데이터 사이언스를 학습할 수 있도록 한다.

◇ AI분야 고전논문상을 수상한 존케니교수의 지도를 받는 김진규학생

○ 버클리대 인공지능연구소 방문은 컴퓨터공학과에서 박사과정에 있는 김진규 학생과의 간담회 형태로 진행되었다. 김진규학생은 고려대학교 전자공학과 학사, 석사를 거쳐 현재는 존 케니 교수(Prof. John Canny)의 지도학생으로 연구 중이다.

존 케니 교수가 석사 과정 때 발표한 논문이 컴퓨터 비전 쪽에서 가장 많이 읽힌 논문으로 유명하며 2002년 인공지능분야에서 가장 영향력있는 논문상을 수상하기도 했다. 지금은 CS 학부장이다.

○ 김진규 학생의 연구분야는 AI, 컴퓨터 비전, MAPE 등을 하고 있고 어플리케이션으로 자율 주행을 연구하고 있다. 특히 Advisable AI를 많이 하고 있고 DARPA에서 AI 관련 세미나를 열었을 때 직접 연구내용도 발표했다.

○ 버클리로 오기 전에는 컴퓨터 이미징, Data Mining, 물리경제학 등 관련 연구를 진행했으며 현재는 DARPA 프로젝트로 자율 주행을 연구하고 있다. 병역특례로 LG Display, 삼성, 팬텀AI, 혼다, Waymo에서 인턴을 했다.

○ 주요 이력

• niversity of California, Berkeley, PHD IN COMPUTER SCIENCE (ADVISOR: PROF. JOHN CANNY)

• Korea University, MS IN ELECTRICAL COMPUTER ENGINEERING (ADVISOR: PROF. SUNGROH YOON)

• Korea University, BS IN ELECTRICAL ENGINEERING, Summa Cum Laude (GPA: 4.45/4.5)

○ 발표논문

• 2018.10. 「Explainable Deep Driving by Visualizing Causal Attention」, Jinkyu Kim and John Cann, The Springer Series on Challenges in Machine Learnin

• 2018.09. 「Textual Explanations for Self-Driving Vehicles」, Jinkyu Kim, Anna Rohrbach, Trevor Darrell, John Canny, and Zeynep Akata, ECCV

• 2017.12, 「Show, Attend, Control, and Justify: Interpretable Learning for Self-Driving Cars」, Jinkyu Kim, Anna Rohrbach, Trevor Darrell, John Canny, and Zeynep Akata, NeurIPS Symposium

• 2017.10, 「Interpretable Learning for Self-Driving Cars by Visualizing Causal Attention」, Jinkyu Kim and John Canny, ICCV

◇ 자율주행의 취지와 흐름

○ 자율주행은 교통사고를 줄이는 것, 사람들의 운전시간을 줄이고, 주차장에 쓰이는 공간을 줄이자는 취지를 갖고 있다.

우버의 자율주행은 볼보 차체에 자율주행 센서와 컨트롤 유닛을 달아서 자율주행 차를 만들었다. 트럭에도 진행 중이었는데 최근에 우버에서 트럭에 대한 자율주행 사업은 중단했다. 자율주행 분야로 투자를 많이 했으나 트럭 대신 일반자동차에 집중하고 있다.

○ Waymo는 일반자동차와 트럭 모두 진행하고 있다. 대부분의 자율주행 차가 상위단에 라이더센서를 두고 360도로 레이저를 쏴서 주변에 무슨 물체가 있는지 감지한다.

카메라가 앞, 뒤로 6개정도 달려 있어서 주변 시야를 확보한다. 레이더 센서는 요새 차에 다 들어가 있는데, 고속도로에서 자율주행하는 차는 모두 레이더를 쓰고 있다. 또한 보통 트렁크에 컴퓨터를 실어 넣는다. 최근에 재규어에 레이더를 달아서 실험하고 있다.

○ Waymo는 피닉스 지역에서 서비스하고 있는데, 리프트와 연결해서 리프트에서 자율주행차를 불러올 수 있게 한다. 센서에서 정보를 취합한 후 컴퓨팅하고 자동차로 컨트롤한다. 우버의 앱, 구글 맵으로 차량을 호출하면 내비게이션도 해준다.

◇ 인식-예측-통제로 이루어지는 자율주행

○ 자율주행은 크게 인식(Perception), 예측(Prediction), 통제(Control)의 과정을 거치는데 첫 번째 인식(Perception)은 센서가 들어오면 Perception 모듈을 가장 먼저 거친다. 어떤 물체가 어디 있는지를 판단하는 단계이다.

○ 사람이 지나가는 경우, 자전거나 차량이 지나가는 경우도 모두 감지한다. 라이더 센서로 3D 바운딩 박스를 찾고, 카메라를 사용해서 신호등을 구별한다.

라이더 센서를 쓸 때 최대 200m 거리의 차량과 사람을 모두 감지한다. 감지 문제는 거의 다 해결됐다고 보고 있다. 차량은 빨간색 바운딩 박스로 사람은 노란색 바운딩 박스로 표시하고 2년 전까지는 카메라로 감지를 많이 했으나 최근에는 라이더로만 감지를 한다.

○ 문제는 기존에 생각하지 못했던 감지문제들이다. 예를 들어 경찰관의 수신호(다른 방향으로 가라는)나 미국은 구급차가 오면 무조건 비켜줘야 하기 때문에 구급차 소리가 들리고 차가 자기 쪽으로 올 경우 피해야 되는지 아닌지 등에 대한 감지로 연구가 진행중이다.

○ 예측(Prediction)은 물체가 어디로 갈지 판단하는 과정으로 차가 차선을 변경할 것인지, 사람이 어디로 움직일 것인지를 예측하여 어느 차선으로 움직여야 할지 Planning을 한다.

○ 통제(Control)는 어디로 갈지 정해진 상태에서(perception, prediction 과정을 거친 후) 문제가 없는 과정이다. 20년 전부터 실행되어 왔다.

○ 자율주행에서 문제가 되는 것은 prediction과 planning 부분이다. 연구 주제와도 연결되어 있어 Waymo와 우버에서도 대학과 협력을 원하고 Waymo에서 Planning을 연구하는 버클리 교수님을 초빙하기도 했다.

○ Waymo는 피닉스 지역에서 운전자 없이 사용자가 자율주행차를 호출해서 갈 수 있도록 서비스를 6개월 전에 시행해서 지금 계속 테스트 중이다.

◇ 상용화 경쟁중인 자율주행

○ 자율주행에 있어 너무 많은 복잡한 정보를 주면 사용자가 혼란스러울 것이고, 너무 간단한 정보만 주면 사용자가 받아들일 정보가 없기 때문에 사용자에게 어떤 정보를 줘야 하고 어떤 정보는 주지 말아야 하는지 고민하고 있다.

○ 캘리포니아는 법적으로 운전자가 앉아 있어야 해서 두 사람이 앞자리에 앉아있는데, 한 사람은 만일의 사고에 대비하여 핸들을 잡을 준비를 하고 있고 옆 사람은 안에서 감지 활동을 점검하고 있다.

신호등 감지가 중요한데, 옆 사람이 빨간색이라고 소리 지르면 차가 빨간색을 감지했다는 걸 알기 때문에 핸들을 잡지 않는다. 하지만 옆 사람이 감지가 안됐다고 말하는 순간 바로 핸들을 잡고 조종할 것이다. 법이 풀리면 캘리포니아도 운전자 없이 테스트해보지 않을까 생각한다.

○ 그래서 테스트가 굉장히 중요하고 온라인 테스팅은 차를 계속 굴리면서 문제가 있는지 없는지 판단한다. Waymo의 소프트 엔지니어로 들어가면 10분에 한 번씩 버그 메일을 받는다. 버그가 발생했으니 해결하라는 메일이다. 엔지니어는 버그를 없애는 작업을 계속 한다.

○ 다음으로 오프라인 테스팅을 한다. 시뮬레이터 환경을 만들어서 여러가지 시나리오를 테스트한다. 실제 차를 돌려보기도 하고 기존에 보지 못한 인풋의 새로운 이미지가 있는지 판단한다.

○ 차량, 사람, 차가 어디로 움직일 수 있는지에 대한 레인, 횡단보도, 정지신호 등의 정보를 다 가지고 있는 맵이 있다. HD 맵을 한국에서 만들려고 한다고 들었다. 그러한 맵이 만들어지면 자율주행 차에 적용하여 테스트할 수 있을 것이다.

○ 현재 자율 주행은 크게 Waymo, Uber, Zoox, Cruise가 앞서 나가고 있으나 서로 협력하지는 않는다. 경계선을 만들어서 서로의 기술이 유출되지 않도록 하고 있다.

자율주행차는 곧 상용화될텐데, 누가 먼저 상용화하느냐에 따라서 그 시장을 다 차지하지 않을까 생각한다. 그 점을 Waymo와 우버도 알고 있고 서로 먼저 시장에 내놓기 위해 노력하고 있다. Waymo는 라이더 센서, 카메라 센서 등 모든 센서를 직접 만들고 있다.

▲ 우버의 자율주행차[출처=브레인파크]


□ 질의응답

- 카메라 센서에 특정한 무언가로 인해 완전히 오작동이 일어나는 경우는.

"그건 딥러닝에서 문제가 되는 부분이다. 인풋에 노이즈를 꼈을 때 감지가 잘 안 되는 경우가 발생한다. Waymo는 카메라를 사용해서 딥러닝을 돌리고 있진 않고 정말 기초적인 방법으로 신호등을 찾고 있다.

가령 본인의 차 위치를 알고 있고 HD 맵도 알고 있으면 신호등이 어디 있는지도 알고 있기 때문에 카메라에서 위치만 따로 빼와서 빨간불인지 초록불인지만 판단한다."

- 레이더와 라이다를 쓰면 나오는 비용이 어느 정도인가?

"카메라로 계속 해왔지만 한계는 있다. Waymo와 Uber가 라이더로 바꾸고 나서 감지가 너무 잘 돼서 성과가 좋아졌다. Waymo가 라이다 센서를 만들고 있다. 그 말은 직접 커스터 마이징을 해서 가격을 낮추겠다는 뜻이다.

어느 가격까지 떨어뜨렸을 때 수익을 얻을 수 있는 테이블이 있다. Planning은 현재 룰 베이스이다. 관련된 룰을 하나씩 하나씩 얹고 있는데, 예측할 수 없는 상황에서는 어떻게 해야되는지에 관한 문제가 있다."

- 카메라에 한계가 있다고 하셨는데 어떤 한계가 있는 건가? 카메라에 오물이 묻거나 비가 오는 경우에 안전 관련 감지가 있는지.

"그래서 3가지 센서를 쓰는 것이다. 라이다 센서, 카메라, 레이더. 이 중 하나가 고장나도 다른 것이 작동할 수 있도록 3가지를 쓴다. Waymo 차량의 상위 단에 와이퍼가 안에 있다. 비가 오면 물기를 닦아낸다."

- 자율주행 트럭이 자율주행 차보다 더 빨리 상용화될 수 있을 것 같은데, 기술적인 측면에서 성공적이지 않아서 포기한 것인지.

"Waymo와 우버가 본인들이 기술을 만들었을 때 그 기술로 인해 생기는 수익 예상치가 있다. 일반 차량에 자율주행기능을 넣었을 때의 수익이 트럭에 넣었을때보다 4배 더 높다.

기술적인 측면에서 차이가 큰 것은 아니지만 돈이 되지는 않는다. 고속도로 내에서 움직이는 것, 물류센터 간 이동하는 것만 자율주행으로 하고 나머지는 사람이 운전한다."

- 신호등에 대해서 반응속도가 어떻게 되는가? 또한 여러 개의 신호등 중에 자기가 봐야 하는 신호등이 무엇인지 어떻게 아는지.

"반응속도는 10밀리세컨드이다. 0.1초에 하나씩 감지 결과가 나온다. 그래서 맵이 중요하다. 맵을 통해 여러 신호등 중 자기가 봐야 하는 신호등을 알 수 있다."

- 센서 반경이 어느 정도인지.

"Waymo는 라이다 센서가 2개 있는데 하나는 멀리 보는 것(200m)이고 나머지 하나는 가까이 보는 것(50m)이다."

- 아까 예시에서 운전자가 빨간 불이라고 말했을 때 핸들을 잡고 다시 자율주행으로 돌아갈 때 딜레이는 없는지.

"사람이 핸들을 잡으면 바로 사람이 운전하는 모드로 바뀌지만 자율주행 모드로 다시 갈 때는 정차해서 테스트한다."

- 시뮬레이터가 필요한데 같이 작업하는지.

"시뮬레이터가 있고 그 안에서 기존의 Waymo 차량에 들어간 소프트웨어를 똑같이 돌릴 수 있게 해놨다. 차량 위치도 조정할 수 있다. 본인 차량 외에 차량이 움직이는 것은 간단하게 설계되어 있었는데 최근에는 사람처럼 움직이게 하려고 노력하고 있다."

- computing이 얼마나 좋아야 하는가? Planning과 Control이 어떻게 다른지.

"Titan X 이상의 GPU가 2개 정도 있다고 보면 된다. 그거로 라이다 데이터를 분석하고 있고 그 뒤에 planning과 control을 담당하는 컴퓨팅이 따로 있다. 후자의 사양은 정확히 모르겠다.

Planning은 본인 차가 어디로 가야 하는지에 대한 포인트를 갖고 있고, Control은 실제 steering angle과 액셀러레이터, 브레이크를 가지고 시간에 맞게 그 위치에 가게끔 해준다."

- 예측할 때 어려움은 없는가? 예를 들어 사람이 이 속도로 움직일 거라고 생각했다가 사람이 갑자기 뛰거나 해서 속도가 변할 때.

"사람이 움직일 때 0.1초 간격으로 계속 감지를 하기 때문에 큰 문제는 없다. 문제가 되는 부분은 interaction이다. 사람이 가고있는 방향이 있는데 다른 차량이 사람 쪽으로 와서 사람이 움직여야 할 경우의 대응은 아직 없다. 이 부분에 대해서 연구논문들이 나오고 있지만 크게 좋아지지는 않았다."

□ 프로젝트 발표 : ㅇㅇ대학교 ㅇㅇㅇ 학생

◇ 연구분야

○ ㅇㅇ대학교의 ㅇㅇㅇ 학생은 강필성 교수의 지도를 받고 있으며 같은 연구실에 5명의 박사과정 학생, 13명의 석사과정 학생들이 있다.

○ 연구분야는 Data Science & Business Analytics로 텍스트, 이미지와 같은 구조화되지 않은 데이터 뿐만 아니라 구조화된 데이터도 다루고 있다.

구조화된 데이터의 경우 안정적인 전력 소모를 위한 수요를 예측하고 있다. 실제 선박에서 장비를 가지고 촬영한 영상 클립을 이용해서 딥 러닝 기법 중 하나인 컨볼루셔널을 이용해서 해산의 파양 및 파고를 예측하고 있다.

○ 뉴스 텍스트 감정 분석 모델 구축 프로젝트를 진행하고 있다. 단어에 대한 긍정・부정 사전을 구축하고 있다. CNN과 CAM을 이용한 감성분석 및 시각화, RNN과 Attention을 이용한 감성분석 및 시각화를 진행하고 있다.

○ Stock Market Prediction: Hierarchical Attention Events를 활용하여 주가에 영향을 미치는 이벤트를 분석하고 있다. 구분 분석(Dependency parser)을 사용해서 뉴스 공장의 이벤트를 축출하고(Event Extraction), 이벤트를 이용하여 주가의 상승과 하락을 예측한다.

◇ 연구사례

○ 전반적인 연구에 대한 목표는 뉴스 기사 이벤트를 축출하여 타겟 시장의 방향성을 예측하는 것이다. 누가 누구에게 어떤 행위를 하는지(이벤트) 예측하기가 힘든데 이벤트를 축출하는 방법은 각 문장의 Actor, Action, Object를 파악하는 것이다.

이를 Event Tuple이라고 한다. Event Tuple은 하나만 만들어지는 것이 아니라 여러 후보가 생기는데, 이 점을 보완하고자 버트의 language model을 이용하여 각 Tuple에 대해 스코어를 산출한다. 그 중 가장 적합한 Tuple을 선정하게 된다.

○ 단계별로 살펴보면, 다음과 같은 예시 문장에 대해 룰 베이스, 구분 분석 등을 이용해 54개의 Tuple이 만들어진다.

1. Tuple에 버트의 Mask language model을 적용하여 각 Tuple마다 마스킹 작업을 가한다.

2. 마스킹된 Tuple을 가지고 Mask prediction을 가한 후 나온 확률값의 평균을 구한다.

3. 이 평균이 가장 높은 Tuple을 최종적으로 산출한다.

4. 축출한 Event Tuple을 가지고 Neural Tensor Network를 사용해서 Event Embedding을 한다.

5. Actor, Action, Object가 입력으로 들어가고 최종적으로 Event Vector가 축출된다.

6. NTN 모델에서 추출한 Event Embedding이 Hierarchical Attention Model의 input으로 들어가고, 중요도를 분류하는 Event-Level Attention, 시간적 맥락에 따라 가중치를 부여하는 Temporal Attention을 거치고 난 뒤 최종적으로 해당 주가의 상승과 하락을 분류한다.

◇ 질의응답

- 주가 예측하실 때 시간 맥락 (Temporal Attention)을 말씀하셨는데 시간에 따라 가중치가 달라지는건지.

"Input이 하루, 일주일, 30일 단위로 입력이 된다. 이런 정보를 반영해서 시간 단위에 따른 주가의 상승과 하락을 구별한다."

- 뉴스 조회수에 따라서는 달라지지 않은지.

"현재 저희가 진행하는 것은 수치 데이터를 쓰는 것이 아니라 뉴스 텍스트 자체를 분석하는 것이기 때문에 다르다."

- 뉴스 텍스트가 엄청 길 때 해석하기 위해서 Helper들이 나오고 있는데 그런 부분도 관여하는지.

"의뢰하는 쪽에서 문장 자체를 예측하는 것보다는 이벤트를 축출해서 시각화하고 주가를 예측하는 것을 요구하기 때문에 그 부분에 대해서는 생각해보지 않았다."

□ 프로젝트 발표: ㅇㅇ대학교 ㅇㅇㅇ 학생

◇ 연구분야

○ ㅇㅇ대학교의 ㅇㅇㅇ 학생이 속한 연구소는 △제조공정에서 혐의 공정 탐지 △텍스트 마이닝(Text Mining) △헬스케어(Healthcare) △게임 AI(Game AI), 4개 연구분야를 진행 중이다.

○ 개인적으로 참여하고 있는 연구는 고려대학교 응급의학과와 함께 미세먼지를 가지고 응급의학과 내원환자 수를 예측하고 어떤 날에 환자가 많은지 예측하는 일이다. 또한 NLP 관련해서 하나 시스템과 챗봇 플랫폼 만드는 데 기여하고 있다.

◇ 연구배경

○ 현재 진행중인 2개 프로젝트 외에 스마트 제조 관련 ㅇㅇ제강과 함께 진행했던 프로젝트를 중심으로 설명하면 최근에 반도체 공정, 철강 등 여러 제조공정에서 상당 부분 기술이 고도화됨에 따라 공정이 복잡해지고 있다. 미세한 원인과 혐의 공정을 찾아내는 것이 중요해졌다.

○ 그리고 제조공정에서 품질 예측, 원인 분석은 항상 중요하다. 이에 최근 데이터를 더 얻기 위해 센서를 더 많이 박는 실정인데, 더 많이 늘어난 데이터를 분석하기 위해 해당되는 딥 러닝과 같은 방법론이 필요해졌다.

◇ 연구모델

○ 기존 연구는 변수의 중요도에 따라 원인을 산출했는데 Linear 패턴이 나타나지 않을 경우 적합하지 않다. 이번에 하게 된 제조공정에서는 다채널 데이터의 시계열 특성을 반영하기 위해 CAM(Class Activation Mapping)을 적용하였다.

○ 문제의 정의는 처음에 시계열 데이터를 철강 공정에서 센서 데이터가 처음부터 끝까지 다 박혀 있는데, 거기에 있는 데이터를 수집하고 CNN의 성능이 유효한지 먼저 평가한다. CNN이 잘 나온다면 CAM을 사용해서 어떤 부분에서 혐의 공정이 일어났는지 원인 분석을 하는 절차이다.

○ 하나의 센서를 수집하고 테이블에 넣는다. 동국제강에서 제공하는 전처리과정을 통해 수치를 정교화해서 집어넣었다. 다음 센서도 Time 1번부터 100번까지 쭉 똑같은 과정을 통해 모든 센서 값을 받아 내린다.

○ CAM은 원래 이미지 데이터에 사용되는 방법론이다. 한 축은 센서, 다른 축은 시간 축으로 해서 2D 형태의 데이터를 구축했다.

○ 회귀 모델에 있어서는 앞부분은 일반적인 convolutional layer를 계속 쌓는 것은 그대로고, 마지막 층만 CAM에서 fully connected(완전 접속)을 통해 바로 activation function(활성화 함수)로 뽑아내서 회귀 문제를 풀어내는 모델로 바꿨다.

W값이 각각의 feature map에 대응하는 가중치 값인데, 각각의 가중치 값을 다 곱해서 마지막에 합산하면 원래의 이미지에서 어느 부분이 실제 class값을 예측하는 데 큰 기여를 했는가를 알아볼 수 있는 알고리즘이 있다. 회귀 구조에 맞게 변경시키는데, 소프트 맥스에 태우지 않고 fully connected로 Linear 회귀 구조로 바꾸었다.

◇ 연구단계

○ 첫 번째, 변수를 선택한다. 제품1, 제품2에서 제품1000까지 각각에 대한 CAM을 만든다. 합산 값을 다 더해서 전체 공정에 대해서 일괄적으로 혐의 공정이 나타날 만한 부분을 찾는 것이 글로벌 CAM이다.

시간 축에 있는 모든 값을 다 더해서 테이블에 채워 넣고, 각 값의 합을 프로팅했을 때 임의의 한계점 이상을 갖는 값을 오름차순으로 정렬하여 위에서부터 아래로 센서들의 중요도를 판단한다.

○ 두 번째로. 원인 구간을 선택한다. 시간 축에서 가장 높은 확률을 보이는 부분(Heat Map이 뜨겁게 나타난 부분)을 원인 구간으로 선택한다. 해당 원인구간으로 예측한 부분을 검증했는데, 위상 차이가 많이 났음을 확인할 수 있다.

◇ 도전과제

○ 글로벌 CAM을 단순 합산할 것이 아니라 Attention Mechanism을 통해 어떤 부분을 더 가중치를 둬야 하는지 연구할 의향이 있다. 각각 제품에 따라 다른 혐의 공정을 갖고 있기 때문에 단산 합산하는 것은 무리가 있기 때문이다. 다만 단순 합산을 했는데도 성능은 높게 나왔다.

◇ 질의응답

- 여러가지 방법론 중 CNN을 선택한 이유는.

"CAM이 CNN을 이용한 것이기 때문에 CAM을 구조로 쓰기 위해 CNN을 적용한 것이다. 타임 시리즈인만큼 RNN 구조도 충분히 사용할 여지가 있다고 생각한다."

- 연구를 시작하는 단계에서부터 CAM을 사용하겠다고 설정하는지.

"처음에는 여러가지 모델을 적용시켰고 그 중 설명가능성이 높은 구조인 CAM을 사용했다. RNN은 추후 연구에 사용할 의향이 있다."

□ 프로젝트 발표 : ㅇㅇ대학교 ㅇㅇㅇ 학생

◇ 연구소개

○ ㅇㅇ대학의 ㅇㅇㅇ 학생은 Machine Learning을 사용한 가정용 도시가스 상용 예측에 대한 연구를 발표하였다. 이 연구는 ㅇㅇ대 산업 AI 학생들과 ㅇㅇ에너지서비스와 함께 진행한 프로젝트다.

ㅇㅇ에너지서비스는 한국가스공사로부터 천연가스를 공급받아서 가정, 산업현장에 도시가스를 공급하는 기업이다. 이 회사에서 해결하고 싶었던 여러 문제들 중 1가지를 선택하여 연구를 진행하였다.

◇ 연구배경 및 목표

○ 지역별 도시가스사는 한국가스공사로부터 천연가스를 공급받아서 가정, 산업현장에 도시가스를 공급한다. 이 때 지역별 도시가스사에서는 공급계획 수립과 한국가스공사와의 계약 물량 체결 등의 이유로 최소 2개월 전에는 사용량을 예측할 필요가 있다. 도시가스의 안정적 공급과 공급자의 비용절감 측면에서 도시가스 사용량 예측이 매우 중요하다.

○ 여러 도시가스 용도 중 가정용은 기온과 시기 등 다양한 요인에 민감하게 영향을 받고, 세대마다 검침일이 달라서 측정오차가 발생하기 때문에 예측모델 개발이 어려운 문제가 있다. 따라서 저희는 가정용 도시가스 사용량 예측 연구를 진행하기 앞서 기존 관련 연구를 탐색했다.

○ 도시가스 보기 초급에 수행된 연구를 제외하면 용도별 사용량 예측에 관한 최근 연구는 부족한 실정이다. 특히 가정용 예측 연구는 더욱 부족하다.

그나마 있는 연구도 측정오차를 고려하지 않은 경우가 대부분이다. 기존 연구의 한계점을 극복하기 위해 측정오차를 고려한 머신러닝 기반 가정용 도시가스 사용량 예측 모델 개발 연구를 수행하였다.

○ 최종적으로 사용량 예측을 통해 도시가스의 안정적 공급과 공급 비용 절감을 목표로 하고 있다.

◇ 연구방법론

○ 세대별 월별 사용량 데이터: 아파트, 단독주택 등 세대 유형별로 그룹화하고 각 그룹별 사용량을 산출한다. 원단위(세대 간 월별 평균 사용량) 경향, 세대 수를 고려해서 그룹화한다.

○ 기온 및 기타 데이터: 검침 차수를 고려하여 검침 차수별로 기온 및 기타 변수를 산출한다. 그룹 내에서 검침 차수별로 데이터를 분리하고 분리된 데이터별로 원단위를 산출한다.

가정용 도시가스 사용량은 검침량을 통해 산출되는데, 각 세대마다 검침 차수가 다양하기 때문에 검침차수를 고려하여 변수를 산출하는 기간을 조정한다.

예를 들어 검침 차수가 1차수인 세대의 경우 8월 9일~9월 8일까지의 실제 사용량이 9월 검침량으로 기록된다. 1차수의 9월 평균 기온을 구할 때도 같은 기간을 고려하여 평균 기온으로 선출한다.

○ 머신러닝에 기반 사용량 예측 모델 도출: 검침 차수별 변수를 통해 세대 유형 그룹별 평균 사용량을 예측하는 모델을 도출한다.

예측 변수로는 기온 및 기타 변수를 사용하고, Linear Regression, Random Forest, Lasso, SVR을 활용하여 실험을 통해 가장 좋은 변수와 모델 조합을 최종 예측 모델로 선정한다. 본 예측 모델로 각 세대 유형 그룹별 원단위 예측 값이 산출된다.

◇ 연구과정

○ 방법론을 검증하기 위해 진행한 연구에서 사용한 데이터는 포항, 영덕, 울진 지역에 세대별 월별 도시가스 사용량 데이터이다. 2010~2018년까지 9년 동안의 데이터이며 검침 차수는 4차수까지 있다. 또한 포항, 영덕, 울진 지역의 일별 기온 데이터를 활용하여 사용량을 예측했다.

○ 세대 유형별 그룹화를 하기 위해 세대 유형별 월별 원단위 변화를 살펴보았다. 아파트, 다세대, 다가구 유형이 유사한 원단위 경향을 보였고 원룸과 기타 유형이 유사한 원단위 경향을 보였다. 단독주택・아파트, 다세대 및 다가구・원룸 및 기타 3그룹으로 나누었다.

○ 각 그룹 내에도 여러 검침차수가 있을 수 있기 때문에 그룹 내에 검침차수별로 데이터를 분리했다. 1그룹인 단독주택의 경우 대부분이 검침차수가 4차수에 해당해서 4차수 데이터를 단독주택 모델 개발에 활용했다.

2그룹, 3그룹의 경우 대부분의 검침차수가 1-2차이기 때문에 1-2차수 데이터를 모델 개발에 활용했다. 각 그룹 내 검침차수별로 원단위를 산출했다.

○ 검침차수별 기온 및 기타 변수는 검침차수마다 검침일이 다르기 때문에 기준을 정해주기 위해 대표일자를 선정했다. 이후 대표일자를 고려하여 검침차수별 각 기간 내에 기온 특성, 특정 기온 구간별 빈도수, 월 비율, 효율 및 비효율수와 같은 변수를 산출했다.

○ 산출된 검침차수별 변수를 통해 세대 유형 그룹별 평균 사용량인 원단위를 예측하는 모델을 학습시켰다. 영덕, 울진의 경우 2014년부터 도시가스가 공급돼서 데이터가 부족했기 때문에 모델을 개발하기 어려웠다.

따라서 포항 데이터만 모델 개발에 활용했다. 추후 영덕, 울진 지역의 사용량 예측할 때 2그룹 모델인 다세대 다가구와 원단위 경향이 가장 유사했기 때문에 2그룹 모델을 사용했다. 실험을 진행해서 가장 좋은 조합을 최종 모델로 선정했다.

○ 결과는 1그룹인 단독주택의 경우 Linear Regression에서 MAPE 5.75%로 가장 좋았고 2그룹 모델에서는 Linear Regression MAPE 6.67%, 3그룹 모델에서는 MAPE 7.69%의 성능을 보였다.

○ 검증을 하기 위해 가정용 실제 사용량과 비교를 시행하였다. 기존에 사용량을 예측할 때는 해당 월에 과거 3개년 평균 원단위를 예측 값으로 사용했는데, 기존 예측 값과 실제 사용량의 오차와 개발 모델의 예측 값과 실제 사용량의 오차를 구하고 두 오차를 비교하여 검증했다.

○ 검증 결과는 전체 월에 기존 방법이 MAPE 11.1%, 개발 모델이 7.1%를 보여서 4%정도 개선된 결과가 나왔다. 도시가스는 난방에 주로 이용돼서 겨울철 사용량이 중요한데, 겨울철 사용량의 오차를 계산했을 때도 성능이 3% 향상되었다.

◇ 연구결론 및 성과

○ 본 연구를 통해 측정오차를 고려하여 세대 유형별로 그룹화를 통해 머신러닝 기반 가정용 도시가스 사용량 예측 모델을 개발하였고 포항, 영덕, 울진 지역에 실제 데이터를 활용하여 방법론을 검증해보았다.

○ 추후 연구로는 모델 정확도 개선을 위해 추가적으로 예측 변수를 탐색할 것 같다. 더욱 다양한 지역에 도시가스 사용량 데이터를 활용하여 방법론을 검증할 것이다.

◇ 질의응답

- 가스 사용량은 계절별로 다를 것 같은데 계절별로 차이를 두지는 않았는지.

"기온 관련 변수를 통해 계절적 요인이 들어갔다고 생각한다. 또한 월별로 다른 사용량을 보이는 것을 확인했다. 월 변수, 기온 변수를 넣어줌으로써 계절 변수가 반영됐다."

- 후보 예측 변수를 선정하는 기준은.

"데이터 탐색을 꽤 오랜 시간 진행해서 변수를 선택했는데, 평균 기온과 최저・최고기온을 먼저 기본 변수로 선정했다. 월과 효율・비효율 변수도 데이터 탐색을 통해 찾은 변수이다."

- 그 외에도 원래 고려했지만 중요하지 않다고 판단되어 제외한 변수는.

"포항도 남구, 북구로 나뉘고 동, 서로 나뉜다. 지역적 요인도 고려했는데 탐색 시 유의미한 차이를 발견하지 못해서 변수에서 제외했다."

- 가스 산출량을 정확히 예측하여 어떻게 공급 비용을 줄인다는 것인지.

"예를 들어 한국가스공사 코가스로부터 천연가스를 수입해서 영남에너지서비스와 같은 지역도시가스사가 개인에게 공급하는 실정인데 지역도시가스사가 예측을 해서 한국가스공사에 예측량을 넘겨줘야 다음에 받을 수 있는데, 예측을 너무 크게 하면 너무 많은 수입을 하게 된다.

그렇게 되면 남은 가스에 대한 재고 비용도 생기고 지역별 도시가스사도 패널티를 받게 된다. 가스 산출량을 정확히 예측해서 한국가스공사에 넘기면 이런 비용적 측면의 패널티를 줄일 수 있다."