Hadoop Hack Night Vol. 2に行ってきました。

ヤフー株式会社で行われたHadoop Hack Night Vol.2に行ってきました。

セキュリティについてはまだまだ。
- Hadoop with securityというのがあって、Kerberos認証を利用。
- Kerberos認証はとりあえずの実装で順次pluggableに他の認証も利用できるようにしていくらしい。
- バッチ処理になぜセキュリティが必要？
  - 認証ができるとユーザが特定できるので課金ができる。
バスケット分析に向いている。
- バスケット分析はおむつとビール。
Oozie:ビルマ語で象使いの専門職。Hadoopを扱っちゃうぞと。
Hadoopは非定型処理に向いている。
- 定型処理は人間が介在しなくてもいいもの。非定型処理は人間が介在が必要なもの。
Hadoopが注目されているのはなぜか？
- 今まで出来なかったことが出来るようになった。
- 昔はスーパーコンピューターを使うしかなかった処理ができるようになった。
Hadoopはサーバを用意するのが一番の難題
コモディティとは手に入りやすいという意味であり、決して安いサーバということではない。
シャッフルフェーズが一番のボトルネックになる。
- シャッフルフェーズは「魔法の生じるところ」らしい。