[아웃소싱타임스 김윤철 기자] 전문가들은‘ 빅데이터(Big Data)’를“ 정보화 사회의 원유(Oil)”에 비유한다. 기름이 없으면 기계가 작동하지 못하고 부가가치가 높은 각종 제품을 만들어내지 못하듯, 디지털 시대에 빅데이터만큼 중요한 자산은 없다는 것이다. 인터넷과 스마트폰의 보급으로 지구촌은 실시간 소통한다. 손가락 끝에서 시작된 소통은 곳곳에 친절한 흔적을 남기고 데이터망에 자동으로 저장된다.
바야흐로 빅데이터 시대. 빅데이터 분석기술은 디지털로 저장된 보통 테라바이트~페타바이트 규모 정도 엄청난 데이터 양과 구매자정보, 위치정보, 센싱 정보, 소셜미디어, SNS 등의 정형·비정형 데이터 같은 다양한 형태의 정보를 분석해 많은 문제들을 해결하며 새로운 가치를 창출하는 기술을 말한다.
최근 빅데이터 산업이 미래예측과 전략수립 분야에서 급부상하고 있다. 빅데이터로부터 유용한 정보를 추출하고, 그 결과로부터 지식집약형 서비스와 정책을 창출하는 새로운 사회·경제적 패러다임이 도래한 것이다. 사람들이 어떤 분야에 관심이 있는지, 자주 찾는 정보는 무엇인지, 한번 찾으면 얼마 동안 머무는지 등 경쟁사회에서 살아남으려면 기업이건 개인이건 빅데이터를 부가가치가 높은 소중한 자산으로 만들어야 하는 과제가 생겼다. 그리고 이 일을 업으로 삼는 빅데이터전문가는 다양하고 방대한 데이터 속에서 가장 “거대한(big)”한 가치를 찾아내는데 열중할 수밖에 없게 됐다.
한화토탈에너지스 블로그 갈무리
■어떤 일을 하나요?
빅데이터전문가는 엄청난 양의 빅데이터를 의미 있는 분석결과로 도출하는 일을 한다.
주요 업무는 실시간 쏟아지는 빅데이터를 어디에, 어떻게 활용할 것인지 기획하는 일에서부터 시작된다. 예를 들어, 모바일 쇼핑몰을 운영한다면 요즘 수요층이 즐겨 찾는 키워드는 무엇이고, 어느 사이트에서 얼마나 머물며, 실제 구매할 때는 가격과 상품 평가 중 어떤 요인이 영향을 미치는지 등을 사전에 분석하는 것이다.
일단 기획안을 세웠다면 분석할 빅데이터의 자원을 찾고, 프로그램을 짠 뒤 통계적으로 분석하는 작업을 거쳐야 한다. 대용량의 데이터를 처리하는 플랫폼을 통해 빅데이터를 처리한 뒤에는 결과물을 시각화한다. 결과물을 다양한 분야에서 활용하려면 통제 변인 등 키워드를 바꾸면 된다.
빅데이터전문가는 최신 유행이나 트렌드를 많이 다루기 때문에 세계 각 기업이나 분야별 시장동향을 수시로 파악할 수 있어야 한다. 또 세계 각국의 빅데이터와 관련한 새로운 기술과 내용, 기사와 논문 등을 신속하게 찾아내는 것도 중요하다. 빅데이터전문가에게는 SNS나 인터넷에 떠도는 자신들의 회사 관련 검색어와 댓글을 분석하거나, 자사제품과 서비스에 대한 고객 반응을 실시간 파악해 즉각 대처하는 것도 일상적인 일이다. 또한 온라인몰 등 쇼핑업계와 카드사들은 구매이력 정보와 GPS 등을 결합해 근거리 맛집 등 소비자가 정보를 원하면 적절한 시기에 적합한 장소로 안내한다. 정부와 공공기관 입장에서 빅데이터는 시민이 요구하는 서비스를 제공하는데 도움을 준다.
(그래픽 제공=한국고용정보원)
■해외 현황 : 고액 연봉을 받으며 활발하게 활동
2000년대 초반 전 세계적으로 인터넷 붐이 일면서 미국의 구글과 같은 신흥 기업들이 폭발적인 성장을 하게 된다. 이에 따라 인터넷상의 데이터양도 가늠할 수 없을 정도로 늘어났다. 인터넷뿐만 아니라 스마트폰이 보급화 되면서부터는 SNS 등을 통해 개개인이 언제든 간편하게 24시간 데이터 생산과 소비를 할 수 있게 됐다. 이러한 개인 정보에 기업들의 관심이 집중되면서 자연스럽게 빅데이터전문가에 대한 수요층이 생겨났다.
‘빅데이터’라는 용어는 2011년 미국 실리콘밸리에서 처음 등장했다. 2012년 시장조사기관인 가트너그룹이 빅데이터를 세계 10대 기술로 선정하면서 빅데이터전문가라는 직업에 관심이 모아졌다. 현재 미국의 빅데이터 전문인력은 데이터과학자(분석·시각화), 빅데이터컨설턴트(기획), 빅데이터개발자(처리·기술), 빅데이터운영자(운영·관리) 등으로 세분화되고 있다.
미국 국세청은 2011년 대용량 데이터와 IT기술을 결합해 ‘통합형 탈세 및 사기 범죄 방지 시스템’을 구축했다. 사기방지 솔루션으로 이상 징후를 미리 찾아냈는데, 예측 모델링을 통해 납세자의 과거 행동정보를 분석한 다음, 사기패턴과 유사한 행동을 검출했다. 그 뒤 페이스북이나 트위터를 통해 범죄자와 관련된 계좌, 주소, 전화번호, 납세자 간 연관관계 등을 분석해 고의 세금체납자를 찾아냈다. 이 과정에서 미국 국세청은 오픈소스 기반의 대용량 데이터 처리 소프트웨어인 하둡(Hadoop)을 적용해 저렴한 비용으로 데이터를 분석했고, 그 결과 연간 3450억 달러에 이르는 엄청난 규모의 세금 누락을 막아냈다. 해외에서는 빅데이터전문가를 데이터 사이언티스트(Data Scientist)라는 확장된 의미로 이해하는 편이다.
MIT, 스탠포드대학, 노스캐롤라이나주립대학 등 유수의 대학들에 데이터 사이언티스트 과정이 개설되어 있으며, 석사 졸업 후 7만~10만 불에 달하는 고액 연봉을 받는 것으로 알려져 있다. 글로벌 인터넷기업(구글, 야후, 아마존 등)과 SW솔루션기업(IBM, Oracle, SAS, SAP 등)의 경우는 빅데이터시장의 주도권을 확보하기 위한 치열한 경쟁을 벌이고 있다. 이들 전문기업들은 M&A를 통해 빅데이터 관리·분석기술을 확보하고 플랫폼 경쟁력을 강화하기 위해 노력하고 있다. 2011년 5월 발표된 맥킨지 보고서에 따르면 미국에서는 2018년까지 14만~19만 명의 빅데이터전문가, 150만 명 정도의 데이터 관리자와 분석 인력이 필요할 것이라고 전망했으며, EMC가 발표한 ‘데이터 과학자 연구 2011’ 보고서는 향후 5년 동안 데이터 과학자에 대한 수요가 공급을 뛰어넘을 것으로 내다봤다.
■국내 현황 : 전문가 요구는 많지만 인력이 부족한 상황
과학기술정보통신부가 2021년 3월 발표한 2020 데이터산업 현황조사 결과보고서에 따르면, 국내 데이터산업 시장규모는 2019년 16조 8582억 원으로 전년 대비 8.3% 성장했으며 2020년은 19조 2736억 원으로 추정하고 있다. 향후 데이터산업 시장은 지난 3개년 연평균 성장률인 11.3%와 같이 지속적으로 성장한다면 2026년까지 36조 원을 넘어설 것으로 전망하고 있다. 2020년 전체 빅데이터 시장규모는 2019년 대비 35.4% 성장한 1조 2133억 원이며, 2015년에서 2020년까지 연평균 증감률(CAGR)은 35.8%로 나타났다.
국내 빅데이터전문가들은 대기업 또는 검색 포털 사이트 등 IT 업체, 전문 데이터분석 업체 등에서 활동하고 있다. 또한 대기업 계열사를 비롯한 금융업계가 앞 다퉈 빅데이터 전담부서를 설치하고, 빅데이터 전문인력을 채용하고 있다.
최근 수요가 늘면서 기업은 생산성 향상과 매출 확대를, 정부는 공공기관 서비스 효율을 높이기 위해 빅데이터전문가를 찾고 있지만 전문성을 갖춘 인력이 부족한 상황이다.
상기 동(同) 현황조사 결과보고서에 따르면, 2020년 데이터산업에 종사하는 인력은 총 36만6021명으로 2019년 대비 6.2% 증가했으며, 이 중 데이터직무 인력은 10만1967명으로 2019년 대비 14.5% 증가했다. 데이터산업에서 가장 큰 비중을 차지하는 데이터직무는 데이터 개발자(33.4%)이며, 이어서 데이터 엔지니어(16.1%), 데이터베이스관리자(14.9%) 순이었다.
2025년까지 데이터산업에서 추가로 필요한 데이터직무 인력은 1만2114명이며, 일반산업을 포함하는 전 산업에서 추가로 필요한 데이터직무 인력은 총 18,060명으로 조사됐다. 2025년까지 데이터직무별 필요 인력 비중이 가장 큰 직무는 데이터 개발자이며, 인력 부족률이 가장 큰 직무는 데이터 과학자로 나타났다.
부족한 인력을 위해 국내에서는 대학의 학사 및 석사과정, 그리고 빅데이터활용센터와 빅데이터아카데미를 등을 통해 인력 양성을 활발하게 진행하고 있다. 반면 미국의 경우 고액연봉자에 해당하지만, 국내 임금 수준은 빅데이터전문가라도 아직은 일반 직장인과 비슷한 편이다.
한국고용정보원 관계자는, “빅데이터전문가는 기존 데이터 분석을 수행하던 데이터분석가(Data Analyst) 보다는 높은 수준의 전문성을 갖춰야 하며, 다수의 빅데이터 처리 경험을 통해 노하우를 축적해야 한다.”면서, “따라서 단기간에 육성하기 어렵고, 지속적인 현장 경험을 통해 전문지식과 노하우를 축적해야 하므로, 관련 기관의 교육과정도 실제 데이터를 다룰 수 있는 사람들, 즉 데이터 분석 및 관리 업무경력자 등을 대상으로 모집하는 편”이라고 전했다.
(자료 제공=Unplash)
■어떻게 준비하나요?
빅데이터전문가가 되기 위해서는 빅데이터를 활용하기 위한 고도의 지식과 기술이 필요하다. 대학에서 통계학 또는 컴퓨터공학, 산업공학 등을 전공하면 기술적인 베이스를 갖추는 데에 도움이 된다. 경영학이나 마케팅 분야의 지식과 경험을 쌓아두면 기술적인 베이스와 융합해 시너지 효과를 발휘할 수 있다. 빅데이터 전문가는 드러난 수치를 단순하게 나열하는 연구를 하는 것이 아니기 때문에 경영학이나 마케팅 분야의 지식이나 경험과 관련이 깊다. 인문학 전공자라면 통계학을 추가로 공부하면 된다. 기존 직장인들은 단기 전문 교육과정을 통해 자기개발 차원에서 빅데이터를 연구하는 추세다.
각 대학의 빅데이터 관련 학사나 석박사 과정에서 준비할 수 있다. 연세대학교 정보대학원, 충북대와 울산과기대 석사과정, 이화여대 석·박사 통합과정, 카이스트, 국민대학교 등 여러 대학에 빅데이터 교육과정이 개설되어 있다. 서강대학교, 한국데이터베이스진흥원에도 단기 교육과정이 있고, 빅데이터활용센터, 빅데이터아카데미에서도 전문가를 양성하고 있다.
분석에 있어서 창의적인 접근이 필요하기 때문에 호기심도 중요하다. 오랜 시간이 걸리는 분석과정을 인내하기 위한 끈기와 꾸준히 공부하는 자세도 필요하다.
전 세계적으로 빅데이터전문인력에 대한 수요가 급증하고 있고, 국내에서도 붐이라고 할 정도로 산업 수요가 증가하고 있다. 때문에 빅데이터 분석활용센터, 빅데이터아카데미를 비롯해 대학과 유관기관들에서 데이터전문가 양성을 위한 교육과정을 활발하게 운영하고 있다. 과학기술정보통신부도 향후 전문인력 양성 프로그램을 개발하고 제도적인 기반을 갖춤으로써, 시장 수요에 대응할 계획이다.
▲적합한 사람 : 경제, 통계, 심리 등 다방면에 고도의 지식을 갖추고 호기심과 아이디어가 풍부한 사람, 오랜 분석과정을 끈기 있게 견디는 사람에게 적합하다.
▲필요한 자격 : 데이터분석 전문가, 빅데이터분석 전문가(ADP), 빅데이터분석 준전문가(ADsP), 의료정보 분석사(기사) 등이 있다.
▲필요한 공부 : 통계학, 컴퓨터공학, 산업공학 등을 전공하여 기술적인 베이스를 갖추고 경영학이나 마케팅 분야의 지식과 경험을 쌓아두면 기술적인 베이스와 융합해 시너지 효과를 발휘할 수 있다.
▲자격증 준비 : 각 대학의 빅데이터 관련 학사나 석·박사 과정에서 준비할 수 있다. 빅데이터활용센터, 빅데이터아카데미에서도 전문가를 양성하고 있다.
▲활동영역 및 진출분야 : ICT 회사(SI업체, 포털사이트, SNS업체, 통신사 등), 대기업의 빅데이터 관리부서, 스마트팩토리 제조업체, 의료기관, 금융기관(은행, 증권사, 보험회사), 게임회사, 공공기관, 빅데이터 전문 분석업체 등 등 다양한 기업으로 진출할 수 있다.
사단법인 직업상담협회 신의수 이사에 따르면, “빅데이터가 전 세계적으로 화두인 이유는 그 분석과 활용을 통해 불확실한 환경을 제거하거나 리스크를 최소화할 수 있기 때문”이라면서, “4차 산업혁명과 더불어 코로나19 팬데믹으로 일상화된 비대면 서비스로 인해 기업들이 ICT관련 업무들에 집중하며 투자를 하고 있어 IT전문가들과 더불어 빅데이터 전문가의 수요가 늘어 인력이 다수 필요하기 때문에 직업적 전망이 상당히 밝다.”라고 말했다.
