CDH5.4 アップデート方法 - イクジニアブログ

CDH5.4が出たので動作検証してる最中に5.4.1が出て、うわーまだ間に合うーって動作検証してる最中に5.4.2が出て途方にくれたにいやんです。

こんばんわ。

よく見たら5.4.2は5.3以前のバージョンから5.4.1へのアップデート時のバグ対応なんで、5.4.1の人は5.4.2にしなくていいのね。

よかった。。。

CDH5.4が出ましたね！！

さてさて、CDH5.4へのアップデート方法ですが、以下のサイトまたは公式サイトを参照してもらうと詳しくのってますw

5.4へのアップデート時にはHDFSのメタデータの更新が必要なので、「何それ怖い！」ってなりますが、アップデート手順にメタデータのバックアップ方法などものっていますので、この手順通りやれば大きな心配なく出来るかと。

私のとこでも上記手順で更新したのですが、更新した後に別途対応が必要になった場所が２点だけ出たので、そこの共有です。

hiveconfに関してはhivevarに変えたら使えるようになりました。

または、hiveconf ってつけるの止めて変数名だけにしてもoozieの設定変えれば動くように。

sqoopについてはシェル経由で呼ぶのはイレギュラーだったので、sqoopアクションで呼ぶようにしたら動きました。

CDH5.4にするとHive on Sparkなど魅力的な機能が盛りだくさんなので、皆さんも是非使ってみてくださいね！

-- 2015/06/12追記

上記問題の他にHiveのカラムずれ問題が発覚しました。

詳細は

を参考にしてください。