아이뉴스24 뉴스
아이뉴스24 홈 오피니언 프리미엄 엠톡 콘퍼런스
연예.스포츠 포토.TV 게임 스페셜
뉴스 홈 IT정책 컴퓨팅 통신미디어 과학 글로벌 디지털기기 기업 자동차 금융 유통 경제일반 게임 정치 사회 문화 생활
Home > 뉴스 > 컴퓨팅
[톱뉴스]
[2013 넥스컴]다음 "하둡으로 10시간 로그분석 3시간만에"
다음커뮤니케이션 윤석찬 팀장, 빅데이터 활용 사례 소개
2013년 05월 09일 오후 17:04
  • 페이스북
  • 0
  • 트위터
  • 0
  • 구글플러스
  • 0
  • 핀터케스트
  • 0
  • 글자크게보기
  • 글자작게보기
  • 메일보내기
  • 프린터하기
[강현주기자] 다음커뮤니케이션이 '하둡'을 활용해 고객분석과 일 로그 분석 시간을 크게 단축했다고 발표했다.

아이뉴스24가 9일 서울 논현동 파티오나인에서 '실제 사례를 통해 보는 빅데이터·클라우드·HTML'을 주제로 개최한 '2013 넥스컴' 행사에서 다음커뮤니케이션 윤석찬 팀장은 자사의 빅데이터 이용 사례를 소개했다.

다음은 빅데이터 분석을 위한 플랫폼인 '하둡'을 로그 분석 및 데이터 분석에 활용했다. 다음은 하루에 70TB의 로그가 발생한다.

윤석찬 팀장은 "하툽을 통해 10시간이 걸리던 로그분석이 3시간으로 단축됐고 130분 단위로 이뤄졌던 고객 정보 분석이 14분단위로 줄었다"며 "10분 단위 실시간 로그 확인이 가능해졌다"고 밝혔다.



윤 팀장은 "기존 방식에 비해 데이터 처리 속도가 향상됐고 데이터 적재기간이 증가했다"고 설명했다.

다음은 검색 광고를 위한 로그 분석에서도 하둡을 활용, 광고 및 클릭 로그 분석을 통한 타게팅을 실시했다.

기존의 분석 방식으로는 6시간이 걸렸던 1일 데이터 처리가 하둡을 통해선 1시간30분이 소요됐다는 게 윤 팀장의 설명이다.

윤 팀장은 "하둡은 데이터 처리비용이 저렴하고 대용량 처리가 가능하며 오픈 소스를 지원하는 등의 장점이 있다"며 "단 프로그래밍 방식의 변화와 내재화 비용이 발생한다"고 설명했다.

그는 "짧은 시간에 너무 많은 데이터가 추가되고 있는 '아고라'에는 데이터 입력시간이 훨씬 짧은 NoSQL을 도입했다"고 밝혔다.

NoSQL은 빅데이터에 활용되는 언어로 실시간 처리 기능을 통해 업데이트가 많은 작업에 적합한 게 특징이다.

윤 팀장은 "하둡은 배치 처리 방식이라 실시간에 적합하지 않고, NoSQL은 데이터 저장은 빠르지만 분석데이터를 걸러내기 어렵다"며 "이에 실시간 분석엔진이 등장하고 있으며 'Storm'이 대표적"이라고 설명했다.

윤 팀장은 "실시간 분석은 빅데이터 분석의 일부분이며 명확한 업무 정의가 된 경우에만 수행해야 한다"며 "기술 도입 전 정말 필요한지 확인해야 한다"고 강조했다.

/강현주기자 jjoo@inews24.com 사진 박영태기자 ds3fan@inews24.com

주요기사

IT는 아이뉴스24, 연예ㆍ스포츠는 조이뉴스24(Copyright ⓒ 아이뉴스24. 무단전재 및 재배포 금지)
IT정책 컴퓨팅 통신·미디어 과학 글로벌 디지털기기 기업 자동차 금융 유통 경제일반 게임 정치 사회 문화 생활
오늘의 주요 뉴스 l IT·시사 l 연예·스포츠 l 게임 l 오피니언
컴퓨팅 최신뉴스
파이오링크·비트러스트 보안서비스 사업 '맞손'
솔루에타, 유춘열 대표 선임
SW정책연구소, 내달 국가SW '청사진' 내놓는다
레드햇-IBM, 하이브리드 클라우드 파트너십 체결
가장 많이 본 뉴스
IT 시사 문화 연예 스포츠 게임 칼럼
  • 아이뉴스24의 뉴스를 이메일로 받아보세요.

브랜드웹툰홈바로가기
카드뉴스 더보기 >

칼럼/연재
[김다운]대선주자들의 가계부채 해법..
[김국배]달라지는 클라우드 인식
[김윤경] 세월호와 봄
[민혜정]팩트 체크는 네이버·다음에..
[윤채나]조기 대선과 네거티브의 유..
프리미엄/정보
애플, 피처폰 위주 신흥시장서 약진 비..

오늘 내가 읽은 뉴스

 

창간17주년
2017 IIF