도대체 뭐가 다른거지 ?
나를 비롯해서 아마 빅데이터 / AI 쪽 관련 분야의 취업을 희망하고 있는 사람이라면
"데이터 사이언티스트, 데이터 애널리스트, 데이터 엔지니어 등등은 뭐가 다른거야 ? "
라고 한 번씩은 생각해보지 않았을까 싶다.
여러 기업의 채용공고 등을 보아도 명확한 차이점을 알기 쉽지 않고
빅데이터 분야가 각광받기 시작한지 많은 시간이 지나지 않았기 때문에 아직 기업에서도 그리고 개인에게도
정의가 명확하게 내려지지 않았다고 생각한다.
또한, 사이언티스트니 엔지니어니 차이점은 대략 알겠는데
취업을 희망하는 취업준비생 입장에서 내가 좀 더 공부해야 할 내용이 무엇인지를 알려주는 길을 잘 모르는 사람들에게
길잡이 역할을 할 수 있다고 생각한다.
차이점을 알려줘
자, 그래서 도대체 데이터 직군 간의 차이점이 도대체 뭐야 ?
[빅데이터 커리어 가이드북]에 있는 내용을 기반으로 요약해서 서술해보면
본연의 업무가 있고, 반드시 데이터와 관련된 경험이 있는 것은 아니지만 빅데이터에 관련된 지식을
능동적으로 습득함으로써 기초적인 분석 능력을 갖춘 인력
이라고 정의된 "시티즌 데이터 사이언티스트" 를 제외한다면 크게 5가지로 나눌 수 있다.
- 데이터 엔지니어
- 데이터 애널리스트
- 데이터 사이언티스트
- 데이터 리서처
- 데이터 기획자
- 데이터 엔지니어
데이터 엔지니어는 데이터 자체와 데이터를 둘러싼 시스템을 책임지는 사람으로 데이터 관리 뿐 아니라
수집, 보관, 처리 시스템의 개발, 구조 설계, 유지보수 등을 담당하는 직업
- 데이터 애널리스트
데이터 애널리스트는 데이터에서 기업의 현재 상태와 관련된 인사이트를 도출해 경영진에게
효율적으로 전달하는 업무를 담당한다. 인사이트 즉, 통찰력은 개선해야 할 문제를 찾아내고 이를 해결할 아이디어를 생각하는 것이다.
- 데이터 사이언티스트
데이터 사이언티스트는 통계 방법론, 머신러닝 그리고 데이터 마이닝 지식을 바탕으로 정량적이고 과학적인 데이터 분석을 통해 데이터에서 인사이트를 발굴하는 일을 담당한다. 현재 상황을 묘사하고 분석할 뿐 아니라 미래 상황을 예측하거나 미래에 발생할 수 도 있는 문제를 예방 데이터 산업 전반에 종사하는 사람을 칭하는 넓은 의미로 사용되기도 한다.
- 데이터 리서처
데이터 리서처는 데이터를 분석하기 위한 새로운 알고리즘과 방법론을 연구, 개발하는 일을 담당한다.
보통 (Research and Development = R&D) 라고 하는 부서에 소속되며, 최신 연구 동향을 파악하기 위해 학회에 참여하거나 혁신적인 발견을 이뤄낼 경우 논문을 발표하기도 한다.
- 데이터 기획자
데이터 기획자는 빅데이터 비즈니스 사이클의 계획과 원활한 운영을 책임지는 사람,
빅데이터 비즈니스 사이클을 성공적으로 이끌기 위해 확실한 목표를 설계하고, 그 목표를 실행하기 위한 데이터, 시스템, 인력을 효율적으로 운영해야 할 책임이 있다.
각자하는 업무가 뭐야 ?
| 업무 | 요구사항 | |
| 데이터 엔지니어 | - 비즈니스를 이해하고 대량의 데이터셋을 가공 - 데이터 파이프라인 개발 및 관리 - 사내 데이터 애널리스트와 데이터 사이언티스트가 제품을 최적화하기 위한 분석 도구 개발 - AWS, Azure, GCP 등 클라우드 환경에서 대량의 데이터 관리 백엔드 시스템 개발 - 하둡, 스파크 등을 이용해 대용량 데이터 분산 처리 시스템 개발 |
- 컴퓨터 관련 전공 우대 - SQL 필수 - 시스템 개발에 필요한 프로그래밍 언어 사용 스킬 필수 (Java, JavaScript, Python, C/C++ 중 1개) - 하둡, 스파크 등 빅데이터 도구 경험자 우대 - 도커 개발 및 배포 경험 우대 |
| 데이터 애널리스트 | - 최적의 의사결정을 내리는 데 도움을 주는 비즈니스 인사이트 제공 - 데이터의 경향, 패턴, 이상치 등을 인식하기 위한 시각화 진행, 보고서 작성 - 비즈니스 티과 연계해 각 팀의 전략을 수립하거나 업무 효율화에 필요한 데이터를 수집 및 분석 |
- 대학 졸업 필수 (전공 무관) - SQL, 기초 통계 지식 필수 - Tableau, Spotfire 등 데이터 시각화 도구 사용 경험 우대 - AWS 등 클라우드 솔루션 활용 경험 우대 - 데이터 분석에 활용할 수 있는 프로그래밍 지식 우대 |
| 데이터 사이언티스트 | - 머신러닝 모델을 사용해 정형, 비정형 데이터에서 인사이트 창출 - 사내 데이터를 이용해 고객 행동 해턴 모델링 진행, 패턴을 찾아내거나 이상치 탐지 - 에측 모델링, 추천 시스템 등을 개발해 비즈니스 의사결정에 필요한 인사이트 제공 |
- 통계, 수학, 컴퓨터공학, 산업공학 등 수리 전산 기반의 대학원 졸업자 우대 - 데이터 애널리스트 경력자 우대 - SQL 필수 - 데이터 분석을 위한 1개 이상의 프로그래밍 언어 지식 필수 - 머신러닝 알고리즘으로 데이터 분석 프로젝트 경험자 우대 |
| 데이터 리서처 | - 최신 머신러닝, 인공지능, 통계 접근법의 연구와 구현 - 데이터 엔지니어와 협업해 알고리즘과 모델의 구현 및 배포 - 최신 연구 동향과 유용한 기술 등을 습득해 문서화 - 머신러닝 문제를 정의하고 해결하기 위한 알고리즘 및 모델 개발 |
- 통계, 수학, 컴퓨터공학, 산업공학 등 수리 전산 기반의 대학원 졸업자(박사) 우대 - 데이터 분석 처리 및 인공지능 학회 논문 게재 실적 우대 - 독자적 연구 진행 경험 우대 - 프로그래밍 스킬 필수 |
| 데이터 기획자 | - 클라이언트의 요구와 분석 가능한 데이터를 파악해 프로젝트의 범위와 문제 정의 - A/B test, 시각화 등을 통해 서비스 개선 방안 제안 - 프로젝트팀 구성원들의 경과를 추적해 다수의 프로젝트를 기한 내에 완료 - 프로젝트 내 데이터 분석 알고리즘의 적절한 활용 진단 및 적용 |
- 기획 업무 경력자 우대 - 프로그래밍 언어 1개 이상 사용 가능자 우대 - Power BI 등 데이터 시각화 도구, Tableau, Spotfire 등 분석 도구 사용 스킬 필수 |
위의 표는 [빅데이터 커리어 가이드북]에 나온 내용을 옮겨놓은 것이며,
이는 직무별 가상의 채용 공고와 요구사항 이기 때문에 상황과 때에 따라 가변적임을 명시한다.
책 리뷰와 나의 의견
빅데이터/ML/DL 등의 분야가 급부상하게 되면서 이 분야에 취업을 희망하는 사람이 늘어나고 있다.
그렇지만 아직은 정보가 명확하게 구분되고 정의되지 않은 경우가 많으며,
자기가 나아가야 할 길을 모르는 이들이 많을 것이라고 생각한다.
나와 같은 사람들에게 길잡이의 역할을 해줄 수 있다고 생각하며
취업준비생에게 주는 조언,
시각화, 웹 크롤링, 수학 및 통계, 프로그래밍 과 같은 필요한 기술에 대하여 로드맵과 참고하면 유용할 정보들을
QR코드로 제공하기도 한다.
또한, 빅데이터 분야에서만 국한된 것이 아닌 다양한 분야에서 참고하고 도움이 될만한 정보들을 제공해준다.
이 책은 데이터 쪽의 취업을 희망하지만 역설적이게도 자세한 정보를 몰랐던 나에게
시야를 트이게 해주었고 진로에 관하여 한 발자국 나아갈 수 있게끔 해주었다.
도서관에서 대여를 통해 빌렸 읽었던 책이지만
한 권 소장하여 다독하여 읽는 것이 도움이 될만 한 책이라고 생각한다.