読者です 読者をやめる 読者になる 読者になる

悪あがきプログラマー

悪あがきを続けていきたい技術と書評なブログです。トレタでiOSエンジニアやってます。

Hadoop Hack Night Vol. 2に行ってきました。


ヤフー株式会社で行われたHadoop Hack Night Vol.2に行ってきました。

簡単なまとめ

  • セキュリティについてはまだまだ。
    • Hadoop with securityというのがあって、Kerberos認証を利用。
    • Kerberos認証はとりあえずの実装で順次pluggableに他の認証も利用できるようにしていくらしい。
    • バッチ処理になぜセキュリティが必要?
      • 認証ができるとユーザが特定できるので課金ができる。
  • バスケット分析に向いている。
    • バスケット分析はおむつとビール。
  • Oozie:ビルマ語で象使いの専門職。Hadoopを扱っちゃうぞと。
  • Hadoopは非定型処理に向いている。
    • 定型処理は人間が介在しなくてもいいもの。非定型処理は人間が介在が必要なもの。
  • Hadoopが注目されているのはなぜか?
    • 今まで出来なかったことが出来るようになった。
    • 昔はスーパーコンピューターを使うしかなかった処理ができるようになった。
  • Hadoopはサーバを用意するのが一番の難題
  • コモディティとは手に入りやすいという意味であり、決して安いサーバということではない。
  • シャッフルフェーズが一番のボトルネックになる。
    • シャッフルフェーズは「魔法の生じるところ」らしい。

感想

完全な初学者には難しかったです。。
多分、だ〜いぶ噛み砕いて説明して頂いてたんだとは思うんですけど、
やっぱりまずは使ってみないとわからないな〜というところでした。


確かこれに動かし方があったはず。

みてわかるクラウドマガジンvol.1 (日経BPパソコンベストムック)

日経BP出版センター
売り上げランキング: 1776
おすすめ度の平均: 4.5
5 サービスの比較
5 とっかかりによい
5 技術用語としてのクラウド解説本
4 技術者向けの良書
3 基礎的な知識を得るにはいいかも

それと象本は読まないとな。

Hadoop
Hadoop
posted with amazlet at 10.08.06
Tom White
オライリージャパン
売り上げランキング: 12099
おすすめ度の平均: 4.5
5 Hadooper必携
4 たくさんのマシンで試したい