Hadoop Conference Japan 2014に行ってきました!資料・メモ・感想など
Hadoop Conference Japan 2014に行ってきました!
見たものをざっくりまとめると:
- 大物がいっぱい来てるね(ダグさんとか太田さんとか古橋さんとか)。
- Sparkがそろそろ来そう(だけどもうちょいか)。
- Googleすごすぎ。
- Prestoめちゃくちゃ良さそう。hiveもDBも扱えるものなのね。触ってみたい。
あとでリンクが付くだろうけど資料集
Hadoop Conference Japan 2014 Tickets, Tue, Jul 8, 2014 at 10:00 AM | Eventbrite
資料などはここにアップされる予定。
USTで公開されており、リンクもあり、プレゼンが完全に見れます(事前に知ってれば・・・)。
■
[kobo][perl][pdf] kobo gloもらってpdfのメタデータをMacで加工
友達からkobo gloもらってオライリーのPDFを見ようと思ったのですが、
いやー、いろいろハマりました。。
× まず、Macのアプリがkoboに反応しません。
△ しょうがないのでwifi経由の設定?をしました。
(というか何目的で何をしているのかよくわからないのですが・・・)
△ で手持ちのPDFを入れたいけどどうやっていいのかわからないので、
microSDを買ってきてそこに入れてぶち込んでみたら、
反応ないと思いきや再起動したら読めてました。
△で見ようと思ったらタイトルが化け化けで、 ←イマココ
サイズを変更してからページ送りできなかったりしたので、
http://d.hatena.ne.jp/mashabow/20121218/1355855444
http://force4u.cocolog-nifty.com/skywalker/2010/10/exiftoolpdf-f22.html
http://www.sno.phy.queensu.ca/~phil/exiftool/
このあたりを参考にしてます。
おかしかったらまた報告します。
(というか2年も更新してなかったのか、反省)
2011出来事まとめ
明けましておめでとうございます。
忘れないように2011の出来事をざっくりまとめておきます。
- 東日本大震災
- 福島原発事故
- SNSによりアラブ諸国に革命が広がる(アラブの春:チュニジア・リビア・エジプト・イエメンなど)
- タイの水害
- ギリシャ・ユーロ不安
- スティーブ・ジョブズ死去
- ニュージーランド地震
- なでしこJapan サッカー日本女子代表FIFA優勝
- 紳助引退
- オサマ・ビン・ラディン殺害報道
- PlayStation Network約7700万件情報流出
個人的にはMacBookAirを買ったくらいでしょうか。
今年も宜しくお願いします。
Steve Jobs' 2005 Stanford Commencement Address
Steve Jobsのスピーチがあまりに素晴らしすぎてメモしておく。
英語(字幕付き)
Steve Jobs' 2005 Stanford Commencement Address - YouTube
日本語字幕付き
スティーブ・ジョブス 伝説のスピーチ 1/2 - YouTube
スティーブ・ジョブス 伝説のスピーチ 2/2 - YouTube
(スピーチのpart3から)
When I was 17, I read a quote that went something like:
"If you live each day as if it was your last, someday you'll most certainly be right."
It made an impression on me, and since then, for the past 33 years, I have looked in the mirror every morning and asked myself:
"If today were the last day of my life, would I want to do what I am about todo today?"
And whenever the answer has been "No" for too many days in a row, I know I need to change something.
他にも深い話がいっぱい。
"Stay hungry. Stay foolish."とか。
このスピーチは次の3つのパートから成ります。
1. Connecting Dots
2. About Love and Loss
3. About Death
ぜひ1度英語で聞いて欲しいです。
これを発見するきっかけになったTEDというサイトも英語学習に良さそうです。
MacOS 10.7 Lionのマウスホイールのスクロールの向きだけを直す
違和感があったマウスホイールの向きですが、トラックパッドのスクロールの向きを変えずに直すことができるソフトを見つけました。
Scroll Reverser - スクロールの方向をメニューバーから反転
Pilotmoon Blog
他のサイトにも書いてありますが、Mac OS 10.7 Lionから、iPhone等のフリックスクロールと合わせるためか、トラックパッドのスクロールの方向が変わっています。
それ自体は僕は気に入っているんですが、問題はマウスホイールの向きが連動して変わってしまうことです。
システム環境設定>トラックパッド の「スクロールの方向」のチェックをはずすと
システム環境設定>マウス の「スクロールまたは移動するときに、コンテンツを指で動かした方向に移動させる」と
連動する、またはバグなのか動作は連動してるのにチェックがおかしくなったりします。
それをこのScroll Reverserは解消してくれます。それぞれにスクロール方向を設定できます。
「Start at Login」のチェックもあり、毎回起動せずに済みそうです。
MacOSで正式に対応してくれるまでは使い続けようと思います。
ちなみにこれを見つけたのは「新しもの好きのダウンロード 〜Mac フリーソフト新着情報〜」というサイト。昔もお世話になりましたw
関連リンク:
Macを “OS 10.7 Lion” にアップデートしたら最初にビックリすることと、その対処法 | No Second
よしまさのブログ: Mac OS X 10.7:マウスホイールの動きを元通りにする
BestWare / 製品情報 / ZWheel.NET
Lion マウスホイールの上下方向をSnowleopard時代に戻す方法 | iThink
マウスホイール逆転: 亀屋BLOG
MacBookAir買いました
軽い。
本体も動きも。
あと2本指でスクロールするのがすごくいいです。放り投げられる感じが。
今はいろいろ設定+インストール中です。
Firefox +アドオン
Flash
Chrome
Twitterクライアント(今んとこSAEZURI)+Adobe Air
Java
Eclipse ←いまここ
メールとか?
いろんな意味ですべてがクラウドになってインストール不要になるといいな、と今日はほんと思いました。
Windowsに慣れきっちゃってていろいろなところで手間取ってます。
移行アシスタントが全然動かなくて参っちゃいました。たぶん手動で移行するのかな。
違和感があるところ
・ファイルを選択してEnterを押しても開かず、WindowsのF2に相当する 名前を変更モード になる。
・マウスを繋げたときのホイールの向き (←追記:2011/08/18解消)
・確認ダイアログのはい/いいえの左右
・Firefoxでマウスジェスチャー的なことをしたい。(Safariだと戻るが2本指でできる。(追記:2011/08/18))
HBase at Facebook に行ってきました
FacebookでのHbase利用について、
アーキテクトのJonathan Grayさんに来てもらって、プレゼンしてもらうという
素晴らしい会に参加しました。
http://www.zusaar.com/event/agZ6dXNhYXJyDQsSBUV2ZW50GOuRAgw
@tatsuya6502 さんによるJonathanのプレゼン資料の日本語訳
(英語資料は未公開)
- 感想
- FacebookでHiveで15-24hoursかかってた処理がPUMA(+PTail)というので10-30 secになった。衝撃的。PTailは数週間(a couple of weeks)で公開されるとのこと。
- FacebookはHBaseにかなり力を入れている。
- おそらくMySQLをやめて代わりにHBase+CacheにしてWebもバックエンドもリアルタイム化しようとしている。
- 「バッチスタイルのアプローチだったが、ストリーミングなアプローチにした」というのが印象的だった。
- 彼らの中ではHadoopはもう古いんだと思う。これからはストリーミング。日本は数年遅れてると思った。
- もしかしたらCassandraでもと思われる方が多いかもしれないが、僕はそうは思わない。おそらく全てのサービスでconsistency(一貫性)は非常に重要なので、HBaseが合う。実際にCassandraを作ったFacebookで、もうCassandraは使われてないという事実が全てを示している。
- Facebookは広告の効果測定をリアルタイム化していた。
- オープンソース化する文化って本当に素晴らしい。日本にはないものだと思った。日本も恩恵を受けてるんだから返さないとだめだと思う。
- @tatsuya6502 さんとアンケートのユースケースにもあった某CT○の翻訳が素晴らしかった。
- 普通に二次会予約しておけばよかった。
- FacebookとJonathanかっこいい!
- Jonathan Grayさんが言ってたこと
- Q&A覚書き(長いです)
Q: Scribeあたりのバッファの消失の問題をどうしているか(古橋さん[twitter@frsyuki])
A: オフセットを保持して、そこまで書けたら次のオフセットまでという方式。
Transactionの話
scribeがこけたらどうのという話題も。
Q: なぜCassandraやMySQLシャーディングじゃなかったのか?
A: consistency(一貫性)が欲しかった。
ひとつのサーバーに複数のシャードを割り当てたい。
社内にHDFSに詳しい人がたくさんいた。
Q: Pumaのボトルネックはどこでどう改善したのか?
A: Hiveでは24時間のデータを処理するのに24時間以上かかっていた。
バッチスタイルのアプローチだったが、ストリーミングなアプローチに変えたということ。
Q: MySQLをスケーラブルにっていうのはどういう風に?
A: 単純なシャーディング
レンジがどうとか(よくわからん)
Joinはアプリケーションサイド
Q: ネットワークの苦労話は?
A: DC内でネットワークパーティションがおきないこと。
Redundancy(冗長性)の確保。
上層のネットワークを10GBにした。
下は1G。
物理的に近いところにある。階をまたがない。
Q: rainbirdやverticaをなぜ使わないのか?
A: 自分で作りたいし(笑)
Q: スケーラブルなスキーマの例がなかったが
A: rowがユーザーひとりで、メッセージとか全部そこにつまってるよ
Q: どんな見積もり方法をしましたか?
A: Darkloanchと呼ばれる方法(Facebookの詳しい資料にちょっと書いてありました)。
Q: FacebookでCassandraは使われてるのですか?
CassandraのコミッターはFacebookにたくさんいますが・・・(西澤無我さん)
A: 使ってません。(ざわざわざわ・・・)
僕らが欲しかったのは
Availability
Consistency
まあ、違う用途には使えるだろう。
Q: PUMAはオープンソース?どうしても欲しいです。
A: PUMAはサービスよりの技術(的な事を言ってた)。こんな構成要素からなる。
scribe
ptail
HBase
(Caribe FS?(カリブと聞こえた))
昨日なにか発表があったよ。そこで新しい発表があったかもしれない。
ptailは数週間以内にオープンソース化されるだろう。(歓声!そして質問者握手!w)
Q: HBaseのバックアップは?(将さん)
A: 実は開発中です。
今までは2箇所に書いてた。
今は違うアプローチを取ろうとしてる。
HBaseでスナップショットを取るような
インメモリはディスクに書き出す。
HLOGを書き出すような。
Q: メジャーコンパクションのレイテンシはどう保つか
A: スプリットやコンパクション自体を少なくすればいい。
ブルームフィルターみたいので解決できる(よくわからず)。
あらかじめスプリットしておく。
TITANは自動スプリットはしてない?
Q: もしJonathanがスタートアップにいて、それでも使う?
A: 会社によると思う。
僕が起こした会社はものすごい量のデータを扱っていたので必要があると思う。
NoSQLとかの新しい技術はいいこともあるけど悪いこともある。
新しいことはできるけど、成熟してない。
Q: PUMAを使えるようになってよかった例は?
A: さまざまな効果測定がリアルタイムに。
広告のUU数とか。
ユーザーの動きがリアルタイムにわかるようになった。
- HBase & Facebookリンク集
- 「Facebookが新サービスの基盤にしたのは、MySQLでもCassandraでもなく、HBaseだった − Publickey」 http://www.publickey1.jp/blog/10/facebookmysqlcassandrahbase.html
-
- 「HBase at Facebook: The Underlying Technology of Messages :: myNoSQL」 http://nosql.mypopescu.com/post/2668434779/hbase-at-facebook-the-underlying-technology-of
-
- 「HBase « Agile Cat ― in the cloud with openness」 http://agilecat.wordpress.com/tag/hbase/
-
- 「RealtimeHadoopSigmod2011.pdf (PDF)」 http://borthakur.com/ftp/RealtimeHadoopSigmod2011.pdf
-
- 「How Facebook Is Powering Real-Time Analytics ― Cloud Computing News」 http://gigaom.com/cloud/how-facebook-is-powering-real-time-analytics/
-
- 「Facebook - Jonthan Gray - Hadoop World 2010」 http://www.slideshare.net/cloudera/h-base-in-production-at-facebook-jonthan-grayfacebookfinal
-
- 「Togetter - 「Hbase at FaceBookのまとめ」」 http://togetter.com/li/156588
-
- 「FacebookがHBaseを大規模リアルタイム処理に利用している理由(前編) − Publickey」 http://www.publickey1.jp/blog/11/facebookhbase.html