지난주에 IoT에 대해서 이야기를 했는데요. IoT와 밀접하게 연결되어 있는 것이 바로 Big Data, Machine Learning, AI입니다. 요즘 AI가 엄청나게 이슈인 것처럼 몇 년 전에는 어딜 가도 빅데이터 이야기였었죠. 그래서 문득 궁금해졌습니다. 빅데이터와 머신러닝이 AI를 완성하는 기초인데, 일찌감치 주목받은 두 산업은 지금 AI 산업으로 모두 통합되었을까? 기존의 빅데이터와 머신러닝 기업들은 어떻게 되었을까? 앞으로 빅데이터 기업들은 AI 산업으로 노선을 바꾸어야 할까? 하는 것들이 말입니다.

먼저, 빅데이터와 머신러닝에 대해서 정리해 보겠습니다.
우리는 무엇을 기준으로 빅데이터를 정의할까요? 사전적 의미의 빅데이터는 기존의 데이터와 비교해 너무 방대하여 기존의 방법이나 도구로 수집⋅저장⋅분석 등이 어려운 정형 및 비정형 데이터를 말합니다. 빅데이터는 단순히 양이 많은 것뿐이 아니라 3V 또는 7V라 불리는 기존 데이터와 구분되는 특징이 있습니다.

  1. Volume(볼륨)
    생성되는 빅데이터의 크기와 양. 일반적으로 테라바이트 및 페타바이트보다는 크다.
  2. Velocity(속도)
    데이터가 생성되고 처리되는 속도. 빅데이터는 실시간으로 제공되는 경우가 많다.
  3. Variety(다양성)
    데이터 형식 및 유형의 다양성과 범위. 정형, 비정형 또는 정형+비정형 조합 데이터 등 모든 유형을 포함한다.
  4. Value(가치)
    빅데이터에서 생성된 통찰력의 중요성. 빅데이터 분석을 통해 얻은 정보의 수익성을 의미한다.
  5. Variability(가변성)
    데이터가 처리되는 동안 지속적으로 변경이 이루어지는 것. 구조화되지 않은 Raw Data 데이터를 구조화 데이터로 변환하는 작업을 포함한다.
  6. Veracity(진실성)
    데이터의 품질과 가치. 데이터의 정확성을 확인하고 그 진실성과 신뢰성을 보장한다.
  7. Visualisation(시각화)
    차트와 그래프를 사용하여 많은 양의 복잡한 데이터를 시각화한다.
빅데이터 자체도 물론 의미가 크지만, 더 중요한 것은 어떤 가치 있는 데이터를 뽑아내느냐 하는 분석이겠죠. 우리가 흔히 말하는 빅데이터 산업은 사실 ‘데이터 분석(Big Data Analytics)’ 산업입니다. 글로벌 빅데이터 시장은 2022년 기준 $121.65 billion(약 158조 원)로 매년 12.8%씩 성장해 2027년에는 $221.44 billion(약 289조 원)에 달할 것이라고 합니다.

빅데이터 기업의 대표주자로는 스노우플레이크와 데이터브릭스가 있죠. 스노우플레이크는 클라우드 기반 데이터 관리 플랫폼을 운영하는 SaaS 기업입니다. 데이터브릭스 역시 데이터 분석 플랫폼 ‘데이터 레이크하우스(Data Lakehouse)’를 운영하는 SaaS 기업입니다. 두 기업 모두 데이터를 분석하는 소프트웨어를 개발하고 기업들이 이를 원활히 사용할 수 있게 판매하는 것이죠.

머신러닝

Source: Singapore Computer Society

그럼, 머신러닝은 어떻게 정의할까요? 말 그대로 기계가 경험적 데이터를 기반으로 학습하게 하는 기술입니다. 경험적 데이터가 바로 알고리즘인데요. 알고리즘으로 컴퓨터가 학습할 수 있게 하는 것이죠. 딥러닝도 들어보셨을 텐데요. 머신러닝 알고리즘 중에 인공 신경망(Artificial neural network)를 기반으로 한 방법들을 딥러닝이라고 합니다.

사람의 뇌는 신경(뉴런, Neuron)망을 통해서 모든 명령을 전달합니다. 중추신경, 감각신경, 운동신경 등 생물 시간에 배웠던 것 기억나시나요? 딥러닝의 인공 신경망은 여기서 유래합니다. 쉽게 말해 인간의 뇌가 생각하는 논리 구조를 머신러닝에 적용한 것인데요. 일반 머신러닝이 사람이 학습할 데이터를 입력해야 했다면, 딥러닝은 데이터를 입력하지 않아도 스스로 학습하고 예측할 수 있습니다. 딥러닝 모델들이 더 고도화되면서 머신러닝 기술의 실용성이 강화되었고, 자연스럽게 AI의 영역은 확장되어 오늘에 이르게 되었습니다.

때문에, 머신러닝 산업이 곧 AI 산업의 초기 시장인 것이지요. 최근 AI 도입이 가파르게 증가하며, 머신러닝 시장 또한 빠르게 AI 산업으로 대체되고 있는 것을 볼 수 있습니다. 글로벌 머신러닝 시장은 2021년 $15.44 billion(약 20조 원)에 불과했는데요. 매년 무려 38.8%씩 성장해 2029년에는 $209.91 billion(약 274조 원)에 달할 것으로 전망됩니다.  참고로 글로벌 AI 시장 규모는 2022년 기준 $119.78 billion(약 156조 원)입니다.
알파고

머신러닝 산업에서 가장 대표적인 기업은 역시 딥마인드(DeepMind)의 구글과 세이지메이커(SageMaker)의 아마존이라고 할 수 있겠습니다.

  • DeepMind: 그 전설적인 이세돌과의 세기의 대국을 치룬 알파고를 개발한 기업으로 2014년에 구글에 인수되고 구글의 AI 모델 연구개발을 이어가고 있습니다. 조만간 챗GPT에 대항할 초거대 AI 챗봇 스패로우(Sparrow)를 출시할 것이라고 합니다.
  • Amazon SageMaker: 머신러닝 모델을 구축하고 훈련, 배포할 수 있도록 지원하는 플랫폼입니다. 지난 2022년 AWS RE:Invent에서는 새로운 기능을 무려 8종이나 공개하며 그 활용 영역을 확장했습니다.

빅데이터와 머신러닝 그리고 AI가 모든 산업의 디지털 기반 기술이 되며, 이를 활용해 사업 영역을 확장하는 기업들도 빠르게 늘어나고 있습니다. 산업을 불문하고 비 IT 기업에서도 데이터 분석가와 AI 전문가의 수요 또한 증가하고 있는데, 공급은 현저히 부족한 상황입니다. 그렇기 때문에 빅데이터와 머신러닝 솔루션을 제공하는 B2B 기업들의 역할이 더 중요해지고 있는 시점입니다.

빅데이터 기업 트렌드는 크게 △데이터 생산 △데이터 통합 및 관리 △데이터 보안 이렇게 3가지 방향으로 발전하고 있습니다. 보다 쉽고 간편하게 분석된 데이터를 가시적으로 보여줄 수 있는 SaaS 활용도 증가 추세에 있고요. 기존 데스크탑 전용 모델에서 모바일 친화적인 솔루션의 등장도 많아지고 있습니다. 이는, 데이터 분석 및 가치 창출이 비즈니스에 직접적인 영향을 끼치게 되며 비기술 직무 비즈니스 전문가들이 쉽고 편하게 데이터를 읽을 수 있도록 지원하는 것이 필요해졌기 때문입니다.

지금까지 디지털 시대의 핵심 기반 기술 삼총사에 대해서 알아보았는데요. 서로 간의 역학관계는 앞으로 다양하게 변모할 수 있겠지만, 그 사용량과 빈도는 지속해서 증가할 것으로 생각됩니다. 고객에게 더 나은 서비스를 제공하기 위해서 수많은 데이터 기업들과 협업을 이어가야 할 텐데요. 우리 회사의 업무 효율성을 높이고 비즈니스 확장이 가능한 찰떡같은 파트너를 찾는 것도 디지털 시대의 중요한 비즈니스 전략이 될 것입니다.
클라우드나 SaaS와 관련하여 다른 궁금한 점이 있으시면 언제든지 저희에게 문의해 주세요.

 OpsNow에 문의하기

 

본 내용은 베스픽 뉴스레터를 통해서 제공되는 내용입니다.

클라우드에 대한 최신 트렌드 정보가 필요하시면 뉴스레터를 구독해 주세요.

뉴스레터 구독하기

 

Post Views: 993
태그: