Linuxが起動するまで 1.電源ON 2.BIOS CPUやメモリ、アダプタの状態確認 ↓ 各アダプタ上の組み込みOSがそれぞれの状態確認（RaidコントローラやNIC、HBAなど） ↓ 起動デバイスの先頭に書き込まれたブートストラップレコードをメモリ上に読み込んで実行する …

概要 ・疑似分散モードで作成したhadoop上で、Hadoop Streamingを使用して処理をしてみる ・Hadoop Streaming： Java以外の言語でMapper・Reducerプログラムを実行する方法。 →標準入出力が扱える言語なら何でも使用できる。（今回はRuby） やり方 1.Mapper…

概要 ・疑似分散モードや完全分散モードでは、ジョブトラッカーやタスクトラッカー、ネームノード、データノードなどがデーモンとして起動する。そのため適切なノード上で、適切なサービスを起動させる必要がある。 ・サービスの起動は内部的にssh経由で実行…

概要 ・スタンドアロンモードではファイルシステムとしてローカルのファイルシステムを使うため、特別な準備を必要とせず気軽に試すことができる 前提 ・JDK、Hadoopのインストールが終わっていること（Hadoopを動かしてみる - 1（準備編）） 使い方 1.hosts…

ssh接続をパスワードなしで接続させるスクリプト ・servers.datを作成し、中身に1行ずつsshさせたいサーバ（IPやホスト名）を記述 （ホスト名を指定する場合はhostsやDNSサーバ設定が必要） ・ssh_auth.shを実行 ssh_auth.sh ##############################…

Hadoopの動作モード ・スタンドアロンモード ・疑似分散モード ・完全分散モード 構築環境 ・OS:Centos 6.2 x86_64 ・KVM上に仮想サーバとして構築 ・2CPU 2GBメモリ 20GBHDD ※今回実施する設定は、上記各モードすべてに共通の設定となる JDK（Java SE Devel…

■ソーシャルメディアのリスクの火元・企業公式アカウント発の不適切な言動・あるバウトを含む社員や取引先などの不適切ば言動・ネットユーザ発の企業・製品などへの批判 ■個人向けソーシャルメディアガイドライン3Mガイドライン ■ケータイで撮った写真には色…

.bash_profileと.bashrcは、ユーザログイン時に実行される設定用スクリプト。 ■.bashrcの中身（CentOS 6.2）.bashrc# User specific aliases and functionsalias rm='rm -i'alias cp='cp -i'alias mv='mv -i'# Source global definitionsif [ -f /etc/bashrc…

概要 ・AWS（Amazon Web Service）より、EMRを利用する。 ・EMRは「Amazon Elastic MapReduce」の略。莫大な量のデータを処理することができるようにするウェブサービス。 ・S3、EC2を利用して稼働する <<参考：EMRの説明>> EMRの使用方法 ・AWSコンソール …

概要 ・AWS（Amazon Web Service）より、ECを利用する。 ・EC2は「Amazon Elastic Compute Cloud」の略。AWSが提供する仮想インフラストラクチャサービス <<参考：EC2の説明>> 注意点 ・S3と同じリージョンに作成すること （同じリージョン内のデータ転送は…

単語帳 ■Topic1 sawmill：製材所 modslides：がけ崩れ、地すべり possible：可能、可能性、ふさわしい threat：脅威 race：疾走する wiledfire：野火 estimated：見積り、見込み、おおよそ keep A from B-ing：AがBすることを妨げる settlers：開拓者、移住…

■継続は力なり ・1日30分 x 365日 = 10950分 = 182.5時間 = 7.6日 ■勉強の習慣 ・信念と継続だけが全能である（レイ・クロック） ■読書 ・アウトプットが少ないのはインプットの量が少ない ・面白くない、自分にとって必要ではない → 読むのをやめる ■勉強の…

概要 AWS（Amazon Web Service）より、S3を利用する。 S3は、「Amazon Simple Storage Service」の略。…これがわからんかった(-_-;) <<参考：S3の説明>> やること ・まずはバケットを作成する （バケット…ディレクトリみたいもの) 注意点 ・バケット名は「小…