[그림-1] Fostech AS의 혼합현실(MR)을

[그림-2] MHI의 호위함 전투정보실(CIC, Combat Information Center)

 한국 해군의 훈련체계는 육상훈련체계와 함상훈련체계로 구분된다. 육상훈련체계는 함정, 잠수함 및 항공기 승조원들을 대상으로 하는 체계이며, 함상훈련체계는 ACTS^​8)​ 등과 같이 전술 및 지휘 훈련을 위한 전투체계 내에 포함된 내장형 훈련기능이다. 이러한 훈련체계를 연동하는 함대합성훈련(FST^​9))은 해군연속훈련체계 네트워크를 이용하여 함정, 항공기 승조원 및 전단(대) 지휘관, 참모들이 정박, 항해 중 또는 훈련장 등 전투임무수행 위치에서 훈련을 실시한다.^​10)

[그림-3] FST의 개념

훈련체계 요건 : 보안성 확보와 트래픽 한계 극복

 텔레프레즌스(Tele- Presence)는 원격지의 게임 참가자들이 가상의 공간에 모여서 게임을 하거나 원격지에서 로봇을 조종하는 개념이다.^​13)​ 이 개념은 원격회의체계를 활용한 회의자료/기술자료 등의 공유, 대면회의처럼 느껴지게 하는 효과를 제공하는 형태로 확장될 수 있다. 원격회의체계는 원격지에 떨어진 다수의 인원이 상호 소통(대화)을 할 수 있는 서비스를 제공하며, 이는 기본적으로 훈련체계에서 교육자와 피교육자의 상호 소통과 동일한 상황이다. 비대면 문화 확대에 대한 요구는 텔레프레즌스와 훈련체계가 융합되어 각 사용자는 VR 장비 혹은 5G 휴대폰으로 지정한 인력들과 훈련을 수행할 수 있다. 텔레프레즌스는 Covid-19 사태로 더욱 부각되었고, 전염병은 국가에서 텔레프레즌스의 또다른 이름인 비대면산업 육성을 위한 TF를 가동하는 상황에까지 이르게 했다.

[그림-4] ‘20.3월 경 콜센터 형태의 다양한 직장에서 코로나 발병​

[그림-5] 과기정통부의 비대면 산업육성 기사 (2020. 4.27)

 하지만 국내·외의 원격회의체계에는 한계가 있다. 단순 영상/음성 위주(예: ZOOM)이거나, 3D 콘텐츠 공유체계는 주로 엔터테인먼트의 일방향 체험(예: JumpVR) 위주인데, 현재 모니터 기반 화상회의(웹캠 및 음성) 수준을 벗어나지 못하고 있는 것이다. 국내외에 출시된 서비스들은 보안, 기능, 접속자수, 공유데이터 종류, 데이터 양 등에 있어서 한계가 있기 때문에 기술자료 검토가 불가능하고 보안이 보장되지 않아 기술자료 회의와 같은 기업의 기술보안 유지가 필요한 분야에서는 활용성이 낮은 실정이다. 일반기업 및 해외유통, 해외기술협력, 학교 및 학원 등 다양한 분야에서 원격회의나 온라인 수업이 적용되고 있으나, 대부분 제한된 인원의 통신/영상 공유기능만 적용되고 PPT파일의 화면 공유만 되는 정도이며, 3D 설계자료 공유를 통한 회의는 불가능하다. E-learning 기반은 기존 동영상 시청이나 파일첨부와 같은 제한된 기능으로 교육 및 강의가 이루어지고 있다. 또한 Zoom 과 같은 원격회의 서비스는 중국에 서버를 두고 있어 데이터 보안이 지켜질 것이라고 기대하기 힘들다.

 해군 훈련체계가 텔레프레즌스를 지원하기 위해서는 기존 원격회의체계를 넘는 서비스 제공이 필요하다. 그러한 서비스를 제공하기 위한 노력으로 Airbus 등 기술기반의 업체에서 기술자료 검토를 할 수 있는 다중원격회의체계 개발이 시도되고 있고, 국내·외 업체의 원격회의체계 기술연구 및 관련특허 확보노력이 지속되고 있다. 현재 XR을 활용한 교육훈련체계, XR을 활용한 정비작업 체계 등의 연구가 있으나 XR 기반의 원격 다중회의체계에 대한 개념은 등장하지 않고 있다. 현재의 대표적 화상회의 체계인 ZOOM과 같은 형태에서 좀 더 많은 사용자, 안정된 서비스를 지향하는 목표로 기존 체계들이 발전될 것으로 보이나, 여전히 일반적인 회의나 컨퍼런스를 지원하는 것에 머물고 있으며 공학 데이터와 같은 기술자료를 검토하면서 기술보호까지 할 수 있는 보안성을 갖춘 전문적인 회의체계에 대한 개발시도는 아직 없다. 이러한 회의체계는 훈련체계를 구축하기 위해 필수적인 기술 기반을 제공할 수 있다.

새로 등장한 메타버스 

 해군 훈련체계의 가능성은 메타버스의 등장이라는 환경변화에서 엿볼 수 있다. 지금까지는 가상체험과 관련된 산업계의 중심이슈는 AR(증강현실)과 VR(가상현실)이 포함된 XR(혼합현실)이었다. 그런데 얼마 전부터 이를 모두 묶은 개념으로 메타버스가 주 이슈가 되었다. 또 지금까지는 ZOOM과 같은 모니터를 통한 화상회의 서비스가 팬데믹을 기점으로 본격적으로 부상했으나 최근 확장된 XR로 체험할 수 있는 메타버스 서비스가 가상게임 분야 등에 다양한 형태로 등장하고 있다.

 메타버스는 증강 vs. 시뮬레이션, 내적 vs. 외적^​14)​으로 분류될 수 있다. 증강(Augmentation)은 실제 환경에 정보나 가상 콘텐츠가 추가되는 상황이고, 시뮬레이션(Simulation)은 실제 환경과 무관하게 가상의 공간에 정보나 콘텐츠가 시연되는 상황이며, 외적(External)은 다양한 타인과 교류하는 경향이나 외부의 정보를 보는 상황인 반면, 내적(Intimate)은 개인적 활동이나 자신만의 캐릭터를 내세우며 교류를 하는 상황을 의미한다. 이 기준으로 메타버스를 분류한 것이 다음과 같다.^​15)

 - 증강현실(Augmented Reality)

  현실공간에 2D 또는 3D로 표현한 가상의 겹쳐 보이는 물체를 통해 상호작용하는 환경을 의미. 예를 들어 유적만 남은 흔적을 촬영하면 디지털로 구축된 과거의 건물이 사용자 단말기에 중첩해 보이는 장면이나 부동산(Property)과 디지털 기술(Technology)의 융합을 일컫는 ‘프롭테크(Proptech)’ 산업에서도 활용되고 있음.​ 

​

 - 일상기록(Lifelogging)

  일상기록이라고도 하며, 사물과 사람에 대한 일상적인 경험과 정보를 캡처하고 저장하고 묘사하는 기술. 사용자는 일상생활에서 일어나는 모든 순간을 텍스트, 영상, 사운드 등으로 캡처하고 그 내용을 서버에 저장하여 이를 정리하고, 다른 사용자들과 공유가 가능. 센서가 부착된 스포츠 웨어를 네트워크 연결이 가능한 MP3 플레이어와 연동하여 사용해서 달린 거리, 소비 칼로리, 선곡 음악 등의 정보를 저장하고 공유하는 등의 행위가 일상기록 예시.

 - 거울세계(Mirror Worlds)

  거울세계는 실제 세계를 가능한 한 사실적으로, 있는 그대로 반영하되 "정보적으로 확장된" 가상세계. 대표적인 예로 구글 어스(Google Earth). 구글 어스는 세계 전역의 위성사진을 모조리 수집하여 일정 주기로 사진을 업데이트하면서 시시각각 변화하는 현실세계의 모습을 반영. 기술의 발전이 계속될수록 현실이 반영된 거울세계는 점점 현실세계에 근접해갈 것이며, 이는 향후 가상현실의 커다란 몰입적 요소가 됨. 이같은 거울세계 사용자는 가상세계를 열람함으로써 현실세계에 대한 정보를 얻게 됨.

 - 가상세계(Virtual Worlds)

  현실과 유사하거나 혹은 완전히 다른 대안적 세계를 디지털 데이터로 구축한 것. 가상 세계에서 사용자들은 아바타를 통해 현실세계의 경제적, 사회적인 활동과 유사한 활동을 함. 가상세계는 우리에게 가장 친숙한 형태의 메타버스로서, 리니지와 같은 온라인 롤플레잉게임에서부터 린든 랩에서 개발된 세컨드 라이프와 같은 생활형 가상세계에 이르기까지 3차원 컴퓨터그래픽환경에서 구현되는 커뮤니티를 총칭하는 개념.

 사실상 메타버스는 페이스북과 같은 소셜미디어나 과거의 아이러브스쿨같은 인터넷 서비스가 모두 메타버스의 카테고리 안에 들어간다. 하지만 게임 기반으로 새로운 인터넷서비스가 등장했는데, 이들이 포트나이트(Fortnite), 마인크래프트(Minecraft), 로블록스(Roblox), 동물의 숲 등이 있고, 국내에서는 제페토, 이플렌드 등이다. 전반적으로 다수의 가벼운 회합(가상 콘서트, 세미나, 단체 게임 등)의 서비스를 제공하고 있고, 지금까지 페이스북이나 트위터, 유튜브같은 소셜미디어가 엄청난 변화를 가져왔듯이 미래에는 이와 같은 메타버스 서비스가 크게 성장할 것으로 보고 있다. 

[그림-8] 서비스 중인 메타버스

 이들 메타버스 서비스는 소셜미디어와 같이 사용자에게 다양한 기능을 체험할 수 있게 하는데, 특징적인 두 가지를 들자면, 3차원 가상현실 체험과 개인 점유공간 제공이다. 가상현실 체험은 모니터뿐만 아니라 AR/VR HMD를 활용하여 3차원으로 느낄 수 있게 하며, 아바타로 사용자는 공간을 누빌 수 있다. 개인 점유공간은 한정된 3차원 공간에 사용자의 개인공간을 설정하고 그 공간에서 다른 사용자들과 다양한 경제활동을 할 수 있다. 자신의 공간에서 게임을 개발하고 설치해서 다른 사용자와 즐긴다든지, 콘서트를 연다든지 하는 식으로 회합을 가질 수 있으며, 가상 명품핸드백과 같은 가상의 물건을 매매할 수도 있다. 또한 그 공간을 부동산 매매하듯이 다른 사용자에게 넘길 수 있다. 최근 부동산값이 상승하듯이 공간의 매매비용도 올라가는 현상이 나타나고 있다. 메타버스의 이러한 특성은 다양한 훈련체계에 적용할 수 있게 한다.

메타버스 적용 훈련체계 발전 방안

 한편 이러한 체계에는 보안성 보장 외에도 극복해야 할 문제가 있을 것이다. 많은 데이터량이 보안 기능까지 부여된다면 통신 데이터량의 한계에 자주 도달할 것이며, 결과적으로 끊김현상이 발생하게 된다. 끊김현상은 피하기 어려운데, 끊김이 발생하면 이를 식별하고 신속하게 재연결하는 기술인 “무선 네트워크 가입 관리 기술” 무선 네트워크의 가입 단말 관리 기술^​16)​을 활용할 수 있다. 이 기술을 이용하여 트래픽, 접속/이탈/재진입 메커니즘에 대한 개선을 할 수 있다.^​17)​

[그림-9] 메타버스 기반 훈련체계의 기능

[그림-10] 메타버스의 교육훈련체계 적용 개념

 해군훈련체계에 메타버스를 적용한다면 그림과 같은 형태가 될 것이다. 가상공간에 다양한 훈련과정을 구축해놓고, 사용자가 필요한 과정을 찾아가서 이수한다든지, 또는 특정 시점의 특정 위치(가상공간)에서 집단훈련을 한다든지 하는 형태의 훈련을 할 수 있다. 구축해놓은 훈련콘텐츠는 훈련을 담당하고 있는 부서에서 계속 개발하고 보완하며 최신화를 시킨다. 각 사용자들은 자신의 고유프로파일을 가지고 현재 자신의 훈련상태의 진도를 확인하고 특정훈련의 대상이 되는지, 다음 훈련단계로 넘어가야 되는지 등을 판단할 수 있다.

 메타버스의 부상은 사회전반에 커다란 변화를 가져오게 할 것이다. 페이스북 CEO인 마크 저커버그는 회사명칭을 메타로 바꾸기까지 했다.^​19)​ 지난 20년이 소셜미디어의 시대였다면 미래는 메타버스의 시대가 될 것으로 내다본 것이다. 게다가 2019년 말부터 몰아닥친 팬데믹은 비대면 문화 확산의 가속화를 가져왔고, 팬데믹 이후(Pos-Pandemic)에도 비대면 문화가 정착될 것으로 보인다. 이러한 가운데, 해군은 다양한 훈련체계를 통합한 합성전장훈련체계로의 발전을 추가하고 있으며, 이 훈련체계는 AR 및 VR과 같은 기술을 활용함으로써 사용자의 몰입감을 높일 수 있을 것으로 전망된다. 사실상 이러한 방향은 훈련체계가 결국 메타버스 개념으로 진화할 수 있는 여건이 되고, 그렇다면 시중에 서비스되는 메타버스처럼 훈련체계 자체가 다양한 서비스를 제공할 수 있을 것이다.

사사(謝辭, Acknowledgment)

 본 내용은 민군협력진흥원의 민군기술이전사업으로 수행중인 과제 “XR 메타버스 기반 네트워크 단절 감지 및 대응 가능 기술회의체계 개발(21-SF-BD-13)”에서 식별한 내용을 바탕으로 하였다.

<각주>

1) ​Mixed Reality, 혼합현실.

2) Mulligan, T., "Maritime's Amazing World of Mixed Reality", MarineLink, Feb. 14, 2019. (https://www.marinelink.com/news/maritimes-amazing-world-mixed-reality-462876)

3) Virtual Reality, 가상현실.

4) Augmented Reality, 증강현실.

5) Star Spangled Flags, "Navy Seeking VR and AR Technology to Improve Ship Readiness", last visited 2022.4.19. (https://starspangledflags.com/navy-seeking-vr-ar-technology-improve-ship-readiness/)

6) Combat Information Center, 전투정보실.

7) Vavasseu, X., "JMSDF Future Frigate To Feature Futuristic 360° Augmented Reality Wall", NavalNews, 28 May 2019. (https://www.navalnews.com/event-news/sas-2019/2019/05/jmsdf-future-frigate-to-feature-futuristic-360-augmented-reality-wall/)

8) Aegis Combat Training System.

9) FST, Fleet Synthetic Training.

10) 전태보, "한국 해군의 함대합성훈련(FST) 적용 연구", 한국시뮬레이션학회 논문지 Vol. 25, No. 3, pp. 29-39, ISSN 1225-5904, 2016. 9.

11) Live, Virtual, Constructive.

12) Live, Virtual, Constructive.

13) Tuli, Tadele Belay; Terefe, Tesfaye Olana; Rashid, Md Mamun Ur, "Telepresence Mobile Robots Design and Control for Social Interaction". International Journal of Social Robotics: 1–10. doi:10.1007/s12369-020-00676-3. ISSN 1875-4805. PMC 7358301, 2020. 7. 13.

14)​ ASF(Acceleration Studies Foundation)의 분류.

15)​ Smart, E.J., Cascio, J. and Paffendorf, J., "Metaverse Roadmap Overview", Acceleration Studies Foundation, 2007.

16)​ 무선 네트워크의 가입 단말 관리 기술 : 특허번호 : 10-1274005-0000 (ADD 2014 국방특허기술 100선 정보통신분야 005번 ).

17)​ 한길씨앤씨, ‘XR 메타버스 기반 네트워크 단절 감지 및 대응 가능 기술회의체계 개발’, 연차보고서, 민군협력진흥원, 21AR5002(21-SF-BD-13), 2021.

<참고문헌>

​

아시아투데이, "바다에 떠 있는 해군 함정 원격정비 가능해 진다", 2020.11.12. (https://www.asiatoday.co.kr/view.php?key=20201112010007919)

전태보, "한국 해군의 함대합성훈련(FST) 적용 연구", 한국시뮬레이션학회 논문지 Vol. 25, No. 3, pp. 29-39, ISSN 1225-5904, 2016. 9.

한길씨앤씨, ‘XR 메타버스 기반 네트워크 단절 감지 및 대응 가능 기술회의체계 개발’, 연차보고서, 민군협력진흥원, 21AR5002(21-SF-BD-13), 2021.

Casey Newton, "MARK IN THE METAVERSE", The Verge, Jul 22, 2021. (https://www.theverge.com/22588022/mark-zuckerberg-facebook-ceo-metaverse-interview)

Mulligan, T., "Maritime's Amazing World of Mixed Reality", MarineLink, Feb. 14, 2019. (https://www.marinelink.com/news/maritimes-amazing-world-mixed-reality-462876)

Smart, E.J., Cascio, J. and Paffendorf, J., "Metaverse Roadmap Overview", Acceleration Studies Foundation, 2007.

Star Spangled Flags, "Navy Seeking VR and AR Technology to Improve Ship Readiness", last visited 2022.4.19. (https://starspangledflags.com/navy-seeking-vr-ar-technology-improve-ship-readiness/)

Tuli, Tadele Belay; Terefe, Tesfaye Olana; Rashid, Md Mamun Ur, "Telepresence Mobile Robots Design and Control for Social Interaction". International Journal of Social Robotics: 1–10. doi:10.1007/s12369-020-00676-3. ISSN 1875-4805. PMC 7358301, 2020. 7. 13.

Vavasseu, X., "JMSDF Future Frigate To Feature Futuristic 360° Augmented Reality Wall", NavalNews, 28 May 2019. (https://www.navalnews.com/event-news/sas-2019/2019/05/jmsdf-future-frigate-to-feature-futuristic-360-augmented-reality-wall/)