빅데이터 분석 및 시각화 플랫폼(중소기업 기술로드맵)

스크립트 오류: "Unsubst" 모듈이 없습니다. package.lua 80번째 줄에서 Lua 오류: module 'Module:Namespace detect/data' not found.

개요[편집]

정의 및 필요성[편집]

(정의) 빅데이터 분석 및 시각화 플랫폼은 통상적으로 사용하는 소프트웨어가 수용할 수 없는 크기의 데이터인 빅데이터로부터 가치를 추출하고 결과를 분석하는 기술과 데이터 분석 결과를 유의미한 정보로 표현하는 기술의 총체를 의미
(필요성) 빅데이터 분석 및 시각화 플랫폼은 기계학습과 인공지능을 활용한 분석 영역을 확대하고 있으며 분석결과 정보 전달 측면에서 계속 연구 및 개발중

범위 및 분류[편집]

가치사슬[편집]

후방산업으로 ICT 인프라, 클라우드, IoT를 꼽을 수 있으며 전방산업으로는 3D 변환 시각화 도구, 인공지능, AR/VR 기술로 볼 수 있음

데이터 분석 및 시작화 플랫폼 분야 산업구조[편집]

분류	주요내용
후방산업	ICT 인프라, 클라우드, IoT 초연결시대 등
데이터 분석 및 시각화 분야	빅데이터 수집 및 시스템 구축, 시계열 빅데이터 처리, 분석 시각화 플랫폼
전방산업	3D 변환 시각화 도구, 인공지능, AR/VR, 데이터 판매 및 중개

기술별 분류[편집]

분류	상세내용
분산 스토리지 기술	- 대용량 파일을 다양한 형식으로 저장하는 기술로 분산 파일 시스템과 오브젝트 스토리지가 대표적인 솔루션 - 분산 파일 시스템은 여러 호스트가 참여하여 마치 단일 파일 시스템인 것처럼 파일 서비스를 제공하는 것으로 HDFS(Hadoop File System), GlusterFS 등의 솔루션이 포함 - 오브젝트 스토리지는 블록 스토리지인 파일 시스템과 달리 데이터를 오브젝트로 관리하여 엑사바이트 범위도 손쉽게 확장할 수 있도록 Ceph, Lustre, AWS S3 등의 솔루션이 포함
NoSQL 데이터베이스 기술	- 관계형 데이터베이스와 달리 비정형, 반정형 데이터를 빠르게 분석하도록 데이터 형태에 따라 Columnar DB, Document DB, Key-Value DB, Graph DB 등으로 나뉘는 저장 기술 - 클라우드 환경에서 오픈소스 기반의 NoSQL 데이터베이스인 HBase, MongoDB 등을 대부분 사용했지만 클라우드 솔루션의 확장으로 AWS Dynamo와 같이 클라우드 기업에서 직접 제공하는 솔루션의 사용이 증가
배치 데이터 처리 기술	- 대용량 데이터를 MapReduce와 같이 분산병렬 처리하여 상대적으로 장시간에 걸쳐 원하는 데이터를 추출하는 기술 - MapReduce는 대용량의 배열 및 행렬로 표현된 데이터를 통계 분석하거나 정형 데이터와 비정형 데이터 간 연계 분석, 기계학습에 활용
실시간 데이터 처리 기술	- 주어진 짧은 시간(보통 0.1초~1분) 내에 데이터 처리를 보장하는 기술 - 배치 데이터 처리와 실시간 데이터 처리를 분리하는 람다 아키텍처가 소개된 이후 계층별 적합한 솔루션이 제공 - Apache Spark, Apache Storm 등의 솔루션이 활용
기계학습 기반 데이터 분석 기술	- 기존 통계 기반 데이터 분석 기술과 달리 기계학습과 인공지능 기술을 이용해 예측 분석 등을 하는 기술 - 기계학습 기반 분석 알고리즘이 효과적으로 동작하기 위해서는 충분한 학습이 필요한데 학습할 데이터가 많아질 경우 학습 시간이 매우 길어지므로 병렬처리 기법을 이용해 처리 속도를 향상하는 RapidMiner 등과 같은 빅데이터 분석 플랫폼에 대한 개발이 활발
데이터 시각화 기술	- 유용한 데이터 분석 결과를 시각적으로 표현하는 기술로 기업용 보고 도구부터 시작해 오픈 소스 이용 확대로 R, Python을 이용한 다양한 시각화 도구로 확장

전략 제품 관련 동향[편집]

시장 현황 및 전망[편집]

(세계) 세계 데이터 통합시장은 2018년 130억 달러에서 연평균 16.2% 성장하여 2024년 320억 달러까지 성장 전망
(국내) 2018년 1,584억 원 규모에서 연평균 16.3%로 성장하여 2024년 3,920억 원 규모로 성장 전망

제품 산업 특징[편집]

사물인터넷, 웨어러블 디바이스의 이용 증가와 미디어 매체의 증가에 따라 비정형 데이터가 빅데이터 시장의 90% 이상을 차지하기에 시각화 플랫폼의 역할이 증대
미적 형태와 기능성 두 가지를 모두 포괄하는 데이터 시각화로 데이터들의 연결과 그룹핑을 표현하는데 초점

정책 동향[편집]

규제혁신, 규제 샌드박스 활성화로 ICT/SW 제도 개선 및 수요자 중심의 ICT 중소·벤처 고성장화 지원
정부는 4차 산업 혁명 정책의 중심인 빅데이터 산업 활성화의 체계적 지원을 위해 ‘17년 제3차 민간 합동 빅데이터 TF회의를 개최하여 ’21년까지 112개 분야 지능, 융합형 공공데이터 구축 및 개방을 확대하고, 창업 콜라보 프로젝트, 창업 경진대회 등을 통해 공공데이터 활용 기업을 육성하고 창업을 지원

기술 동향[편집]

플랫폼 기술 관련 산업의 주요 이슈는 SQL의 재등장, 데이터 가상화
데이터 분석 기술 관련 산업 내 자동화된 분석 도구의 이슈화
국립과학통계센터, 한국의 과학공학 분야 연구개발 논문 성과는 6만 4천 편으로 전 세계 평균 성장률보다 0.4% 높은 4.2%를 나타냄(‘19.12.)

핵심 플레이어[편집]

(해외) Google, Oracle, Spotfire, DataPlanet
(대기업) KT, 엑셈, 솔트룩스, 효성인포메이션시스템
(중소기업) 에스씨플랫폼, 투그램시스템즈, 그루터, 데이터스퀘어

핵심요소기술[편집]

특허 분석을 통한, 요소기술, 기술수요와 각정 문헌을 기반으로 한 요소기술, 전문가 추천 요소기술을 종합하여 요소기술을 도출한 후, 핵심기술 선정위원회 평가과정 밑 검토/보완을 거쳐 핵심기술 확정

빅데이터 분석 및 시각화 플랫폼 분야 핵심기술
핵심기술	개요
대용량 및 실시간 데이터 분석 플랫폼 기술	대용량의 데이터를 사용자가 분석하고, 결과에 대한 정보를 표현하는 기술
데이터 시각화 기술	데이터 분석 결과를 시각화하여 인간이 이해할 수 있도록 유의미한 정보를 표현하는 기술
머신러닝 기반 데이터 처리 기술	추천, 분류, 군집 등과 같은 머신러닝 기반 빅데이터 분석 기술
실시간 데이터 처리 기술	고성능 인메모리를 이용한 실시간 데이터 처리 기술
내외부 데이터 연동 기술	문서, 그래프, 키 값, 인 메모리, 검색 등과 같은 데이터 모델을 지원하는 빅데이터 처리를 위한 비관계형 데이터베이스 관리 시스템(NoSQL) 기술

중소기업 기술개발 전략[편집]

IoT의 발전이 보편화됨에 따라 수집되는 비정형 데이터의 양은 폭발적으로 증가하여 비정형 데이터 분석의 중요도는 앞으로도 높아질 전망, 따라서 산업적으로 활용할 수 있도록 비정형 빅데이터를 분석하고 가공하는 기술개발을 통해 시장 선점
글로벌 선두 그룹들의 실시간 데이터 처리, 배치 데이터 처리 등의 기술을 도입하여 세계시장에 뒤처지지 않도록 함과 동시에 각 산업 분야에 적합한 다양한 데이터 분석과 시각화 기술개발로 중소기업의 경쟁력 강화
플랫폼이 아닌 빅데이터를 활용한 서비스 개발과 유료 수익 모델 개발을 통한 수익 창출