BlogHide Resteemsuneedcomms (25)in hadoop • 7 years ago[DW ver.2] Hive의 execution engine으로 Spark 사용하기빅데이터 시대가 오면서, 사람들은 대용량의 데이터를 저장 및 처리할 수 있는 새로운 시스템의 필요를 느꼈습니다. 웹 로그 같은 비정형 데이터가 수없이 쌓이고 있는데, 이를 기존 RDBMS에 저장하기엔 상용 RDBMS (ex: Oracle)도 RDBMS를 설치할 스토리지도 매우 비쌌기 때문입니다. 이것을 해결하고자 나온 것이 바로 Hadoop입니다.…uneedcomms (25)in ubuntu • 7 years agoUbuntu systemd service 만들기다음과 같은 명령어를 하나의 service로 작성하려 한다. java cat conf-quickstart/druid/historical/jvm.config | xargs -cp "conf-quickstart/druid/_common:conf-quickstart/druid/historical:lib/ " io.druid.cli.Main server…uneedcomms (25)in druid • 7 years ago[DW ver.2] Druid 사용 방법Druid high-performance, column-oriented, distributed data store Quick Start 1. Prerequisites * Java 8 or higher * Linux, Mac OS X, or other Unix-like OS (Windows is not…uneedcomms (25)in cloudera • 7 years ago[DW ver.2] 물리 서버에 맞는 Spark/YARN conf 설정값 조정본 포스팅은 Cloudera Manager를 통한 HDFS, Spark, YARN, Hive 설치를 완료한 후 진행된 상황을 설명합니다. 주어진 물리 서버 환경에서 Spark, YARN, Hive의 configuration 내 주요 설정값들에 대한 설명을 하고, 이를 최적화하여 Spark job 효율을 최대화시키고자 합니다. 앞으로의 설명은…