イクジニアブログ

育児 + エンジニア = イクジニア

Hadoop

Hadoop / Spark Conference Japan 2016でLTしてきた

バルミューダのトースターにはまっているにいやんです。こんばんわ。 いいですね。バルミューダ。これでパン焼くとカリフワの美味しいパンが焼けます!! ちょっとトースターとしてはお高いですが、かなりお勧め。 パンの種類によって、焼き加減調整できるの…

Cloudera World Tokyo 2015でLTしてきた

やはり、新しい職場に慣れるには時間かかるなーって感じているにいやんです。こんばんわ。 さて、職場変わったばかりなのですが、ClouderaWorldTokyoでLTしてきました。 最近は色々なとこで発表をしていきたいなーって思っていて、申し込んだらまさかの当選…

楽天から去ることになりました

毎日コーヒーが欠かせないにいやんです。 こんばんわ。 先月末で、6年半ぐらいお世話になった楽天を離れる事になりました。 入った初日は腕を怪我していて、片手しか使えない状態という、ひどい印象で入ったのですが、6年以上もの間契約を続けてくれた楽天…

CDH5.4 Hiveでwhere句が効かない現象について

うるう秒が迫ってきてビクビクしているにいやんです。こんばんわ。 とりあえず、うるう秒の時はHadoopクラスタ止めておくかな、どうしよかな・・・ 前回CDH5.4でカラムずれが起きるバグの事を書いたのですが、同じようにleft outer joinを使った際にwhere句…

CDH5.4 Hiveでのカラムずれ問題

ビールはキリン党のにいやんです。こんばんわ。 一番搾りが好きですが、プリン体がラガーの方が少ないと聞き、ラガーに浮気しようかと・・・ さてさて、先日CDH5.4のアップデート方法を書いて、特に問題なかったぜ!って思ったのですが。 後から大問題が確認…

CDH5.4 アップデート方法

CDH5.4が出たので動作検証してる最中に5.4.1が出て、うわーまだ間に合うーって動作検証してる最中に5.4.2が出て途方にくれたにいやんです。 こんばんわ。 よく見たら5.4.2は5.3以前のバージョンから5.4.1へのアップデート時のバグ対応なんで、5.4.1の人は5.4…

Presto勉強会参加してきました

GWは8連休のにいやんです。こんばんわ。 8連休だわー!コーディングはかどるわー!って思ってたらあっという間に半分終わってましたよ。 1行もコーディングしてないよorz さてさて、先日株式会社イプロス様で行われたPresto勉強会に参加してきました! Pr…

Presto 複数データソースへの接続方法

awk好きのにいやんです。こんばんわ。 awk使えば大抵の処理はいけますからね!簡単な処理はcutで。 前回ではPrestoのインストール方法を書きましたが、今回は複数のデータソースにつなぐ方法を紹介したいと思います。 PrestoではCatalogという単位でデータソ…

Presto インストール方法

Prestoの速さ、便利さに驚愕しているにいやんです。 こんばんわ。 Prestoとは簡単に言うと、HiveやCassandra,Mysqlなどにつなぐことが出来る高速なSQLクエリエンジンです。 Prestoについての概要などは以下の資料がわかりやすいと思います。 『Prestoとは何…