아이뉴스24 뉴스
아이뉴스24 홈 오피니언 프리미엄 엠톡 콘퍼런스
연예.스포츠 포토.영상 게임 아이뉴스TV 스페셜
뉴스 홈 IT정책 컴퓨팅 통신미디어 과학 글로벌 디지털기기 기업 자동차 금융 유통 경제일반 게임 정치 사회 문화 생활
Home > 뉴스 > 컴퓨팅
[2013 넥스컴]다음 "하둡으로 10시간 로그분석 3시간만에"
다음커뮤니케이션 윤석찬 팀장, 빅데이터 활용 사례 소개
2013년 05월 09일 오후 17:04
  • 페이스북
  • 0
  • 트위터
  • 0
  • 구글플러스
  • 0
  • 핀터케스트
  • 0
  • 글자크게보기
  • 글자작게보기
  • 메일보내기
  • 프린터하기
[강현주기자] 다음커뮤니케이션이 '하둡'을 활용해 고객분석과 일 로그 분석 시간을 크게 단축했다고 발표했다.

아이뉴스24가 9일 서울 논현동 파티오나인에서 '실제 사례를 통해 보는 빅데이터·클라우드·HTML'을 주제로 개최한 '2013 넥스컴' 행사에서 다음커뮤니케이션 윤석찬 팀장은 자사의 빅데이터 이용 사례를 소개했다.

다음은 빅데이터 분석을 위한 플랫폼인 '하둡'을 로그 분석 및 데이터 분석에 활용했다. 다음은 하루에 70TB의 로그가 발생한다.

윤석찬 팀장은 "하툽을 통해 10시간이 걸리던 로그분석이 3시간으로 단축됐고 130분 단위로 이뤄졌던 고객 정보 분석이 14분단위로 줄었다"며 "10분 단위 실시간 로그 확인이 가능해졌다"고 밝혔다.



윤 팀장은 "기존 방식에 비해 데이터 처리 속도가 향상됐고 데이터 적재기간이 증가했다"고 설명했다.

다음은 검색 광고를 위한 로그 분석에서도 하둡을 활용, 광고 및 클릭 로그 분석을 통한 타게팅을 실시했다.

기존의 분석 방식으로는 6시간이 걸렸던 1일 데이터 처리가 하둡을 통해선 1시간30분이 소요됐다는 게 윤 팀장의 설명이다.

윤 팀장은 "하둡은 데이터 처리비용이 저렴하고 대용량 처리가 가능하며 오픈 소스를 지원하는 등의 장점이 있다"며 "단 프로그래밍 방식의 변화와 내재화 비용이 발생한다"고 설명했다.

그는 "짧은 시간에 너무 많은 데이터가 추가되고 있는 '아고라'에는 데이터 입력시간이 훨씬 짧은 NoSQL을 도입했다"고 밝혔다.

NoSQL은 빅데이터에 활용되는 언어로 실시간 처리 기능을 통해 업데이트가 많은 작업에 적합한 게 특징이다.

윤 팀장은 "하둡은 배치 처리 방식이라 실시간에 적합하지 않고, NoSQL은 데이터 저장은 빠르지만 분석데이터를 걸러내기 어렵다"며 "이에 실시간 분석엔진이 등장하고 있으며 'Storm'이 대표적"이라고 설명했다.

윤 팀장은 "실시간 분석은 빅데이터 분석의 일부분이며 명확한 업무 정의가 된 경우에만 수행해야 한다"며 "기술 도입 전 정말 필요한지 확인해야 한다"고 강조했다.

/강현주기자 jjoo@inews24.com 사진 박영태기자 ds3fan@inews24.com

주요기사

IT는 아이뉴스24, 연예ㆍ스포츠는 조이뉴스24(Copyright ⓒ 아이뉴스24. 무단전재 및 재배포 금지)
IT정책 컴퓨팅 통신·미디어 과학 글로벌 디지털기기 기업 자동차 금융 유통 경제일반 게임 정치 사회 문화 생활
오늘의 주요 뉴스 l IT·시사 l 연예·스포츠 l 게임 l 오피니언
컴퓨팅 최신뉴스
지니언스, 'AWS 리인벤트 2017' 콘퍼런스 참가
시스코·인터폴, 사이버범죄 대응 '공조'
한컴, 겨울방학 '한컴 말랑말랑 캠프' 개최
카스퍼스키랩 "내년 공급망 공격 증가"
 
가장 많이 본 뉴스
IT 시사 문화 연예 스포츠 게임 칼럼
  • 아이뉴스24의 뉴스를 이메일로 받아보세요.

브랜드웹툰홈바로가기
카드뉴스 더보기 >

SPONSORED

칼럼/연재
[김국배]국방부 해킹대응 유감
[책쓰기 코치, 김이율의 포스트홀릭]..
[김동현의 NOW 도쿄]아쉽지만 쓴 보..
[민혜정]인터넷기업 규제, 땜질식 처방..
[김동현의 NOW 도쿄]도쿄돔의 '종이팩'..
프리미엄/정보

오늘 내가 읽은 뉴스

 

2018 평창
아이뉴스24 TV