概要 ・疑似分散モードで作成したhadoop上で、Hadoop Streamingを使用して処理をしてみる ・Hadoop Streaming： Java以外の言語でMapper・Reducerプログラムを実行する方法。 →標準入出力が扱える言語なら何でも使用できる。（今回はRuby） やり方 1.Mapper…

概要 ・疑似分散モードや完全分散モードでは、ジョブトラッカーやタスクトラッカー、ネームノード、データノードなどがデーモンとして起動する。そのため適切なノード上で、適切なサービスを起動させる必要がある。 ・サービスの起動は内部的にssh経由で実行…

概要 ・スタンドアロンモードではファイルシステムとしてローカルのファイルシステムを使うため、特別な準備を必要とせず気軽に試すことができる 前提 ・JDK、Hadoopのインストールが終わっていること（Hadoopを動かしてみる - 1（準備編）） 使い方 1.hosts…

Hadoopの動作モード ・スタンドアロンモード ・疑似分散モード ・完全分散モード 構築環境 ・OS:Centos 6.2 x86_64 ・KVM上に仮想サーバとして構築 ・2CPU 2GBメモリ 20GBHDD ※今回実施する設定は、上記各モードすべてに共通の設定となる JDK（Java SE Devel…

概要 ・AWS（Amazon Web Service）より、EMRを利用する。 ・EMRは「Amazon Elastic MapReduce」の略。莫大な量のデータを処理することができるようにするウェブサービス。 ・S3、EC2を利用して稼働する <<参考：EMRの説明>> EMRの使用方法 ・AWSコンソール …

概要 ・AWS（Amazon Web Service）より、ECを利用する。 ・EC2は「Amazon Elastic Compute Cloud」の略。AWSが提供する仮想インフラストラクチャサービス <<参考：EC2の説明>> 注意点 ・S3と同じリージョンに作成すること （同じリージョン内のデータ転送は…

概要 AWS（Amazon Web Service）より、S3を利用する。 S3は、「Amazon Simple Storage Service」の略。…これがわからんかった(-_-;) <<参考：S3の説明>> やること ・まずはバケットを作成する （バケット…ディレクトリみたいもの) 注意点 ・バケット名は「小…