Spark로 하는 고속 빅데이터 분석과 처리; 분산 클라우드 환경의 고속 클러스터 컴퓨팅

에이콘출판(주)·2015-01-02

총류
KDC 005.74

로그인하면 내 서재에 추가할 수 있어요.

책 소개

이 책은 스파크를 이용해 분산 맵리듀스(MapReduce) 스타일의 프로그램을 작성하는 방법에 대해 설명한다. 이 책은 클러스터에 잡(job)을 할당하고, 용도에 맞게 튜닝하기 위해 분산 프로그램을 효과적으로 작성하는 방법과 스파크 API 내용을 설명한다. 이 책은 다양한 환경(독립적인 하나의 머신, EC2 등)에서 스파크 클러스터를 설정하는 방법과 통신 가능한 분산 코드를 작성하기 위해 인터랙티브 셸(interactive shell)의 사용 방법을 설명한다. 인터랙티브 셸을 사용할 수 있다면, 자바, 스칼라, 파이썬을 이용해서 분산 잡을 구현하고 할당할 수 있는 방법까지 학습할 수 있다. 다음으로 인터랙티브 셸을 사용해서 빠르게 분산 프로그램의 프로토타이핑하는 방법을 살펴보고, 스파크 API를 배운다. 샤크(Shark)를 이용한 SQL과 같은 쿼리 문법을 사용하기 위해 스파크를 하이브(Hive)와 함께 사용할 수 있는 방법도 살펴보면서 RDD(Resilient Distributed Dataset)를 수정해 본다.

목차펼치기

1장 스파크 설치와 클러스터 설정 __싱글 머신에서 스파크 구동 __EC2 환경에서 스파크 구동 ____EC2 환경에서 스크립트를 이용한 스파크 구동 __탄력적 맵리듀스에서 스파크 사용 __Chef를 연동한 스파크 배치(opscode) __Mesos에서 스파크 사용 __YARN에서 구동하는 스파크 사용 __SSH를 통한 머신 집합 사용 __링크와 레퍼런스 __요약 2장 스파크 셸 사용 __텍스트 파일 로딩 __로지스틱 회귀 분석을 위한 스파크 셸 사용 __S3 데이터의 양단간 로딩 __요약 3장 스파크 앱 개발과 실행 __sbt를 이용한 스파크 프로젝트 생성 __메이븐을 이용한 스파크 잡 빌드 __기타 다른 빌드 시스템을 이용한 스파크 잡 빌드 __요약 4장 스파크컨텍스트 생성 __스칼라 __자바 __공유 자바와 스칼라 API __파이썬 __링크와 참조 __요약 5장 스파크에 데이터 로딩과 저장 __RDDs __RDD에 데이터를 로딩 __데이터 저장 __링크와 참조 __요약 6장 RDD 조작 __스칼라와 자바를 이용한 RDD 조작 ____스칼라 RDD 메소드 ____PairRDD 메소드를 결합하는 메소드 ____그밖의 PairRDD 메소드 ____DoubleRDD 메소드 ____일반 RDD 메소드 ____자바 RDD 메소드 ____스파크 자바 메소드 클래스 ______공통 자바 RDD 메소드 ____JavaPairRDD 메소드를 조합하는 메소드 ______JavaPairRDD 메소드 __파이썬을 이용한 RDD 수정 ____표준 RDD 함수 ____PairRDD 메소드 __링크와 참조 __요약 7장 샤크-하이브와 스파크의 연동 __하이브/샤크 사용 이유 __샤크 설치 __샤크 구동 __데이터 로딩 __스파크 프로그램에서 하이브 쿼리 사용 __링크와 참조 __요약 8장 테스팅 __자바와 스칼라로 테스트하기 ____테스트 가능성을 위한 코드 리팩토링 ____스파크컨텍스트의 인터렉션 테스팅 __파이썬을 이용한 테스팅 __링크와 참조 __요약 9장 팁과 요령 __로그 저장 위치 __동시 실행 제약사항 __메모리 사용과 가비지 콜렉션 __직렬화 __IDE 통합 __다른 언어로 스파크 사용 __보안에 대한 간단한 노트 __메일링 리스트 __링크와 참조 __요약

출처: 국립중앙도서관 서지정보

리뷰 남기기

로그인하면 리뷰를 남길 수 있어요.

리뷰 0개

아직 리뷰가 없어요.