BigQuery 2021/10月のupdate情報まとめ
Google Cloud Nextでわくわくする機能が発表されましたね！！！
発表内容は以下の動画にまとまっています
まだリリースされていない主な発表としては以下のようなものなどがあります。
- BQからCloudFunctionsを呼べるように
- SlotのAutoScaling
- テキスト検索インデックス
発表された機能も含めて、それでは先月までに引き続き10月のまとめもいってみましょう！
地理関数が追加
先月に引き続き地理関数の追加です
| 関数名 | 内容 |
|---|---|
| ST_BUFFER | Returns a GEOGRAPHY that represents the buffer around the input GEOGRAPHY. |
| ST_BUFFERWITHTOLERANCE | Returns a GEOGRAPHY that represents the buffer around the input GEOGRAPHY. |
BigQueryStorageAPIの料金体系が変更になりました
networkのegress料金など、一部料金が変更になりました。 詳しい価格はこちらから確認をお願いします。
他のDWHからのマイグレーションが可能に
BigQuery Migration Serviceとして、他のDWHからのMigrationがサポートされました！(現在対応のDWHはTeradataのみ)
データの移動はDataTransferServiceを使って行い、SQLの書き換えも行ってもらえるように！
SQLの書き換えはバッチモードとInteractiveモードがあり、InteractiveモードではBQコンソール上でSQLの変換が可能となりました。
StorageAPIがWriteにも対応
StorageAPIでWriteも出来るようになりました。
Readと同じように、より高スループットでの書き込みを行うことが出来ます。
Writeのモードは３つあります
Committed mode
書き込み後すぐに読み込みが可能。streaming処理向け
Pending mode
stream上にデータを貯めておき、commitのタイミングで書き込みが可能。comittされたタイミングですべてのデータが書き込みされる。 commitするまでデータは書き込まれないので、エラー時の再実行も可能。バッチ処理向け
Buffered mode
stream上のデータを任意のタイミングでflush出来る。
基本的にCommitted modeか Pending modeを使用すれば良いと思われるが、データの細かい制御をしたい場合向けだと思われる。
それぞれのサンプルコードはこちらを参照
料金もストリーミングinsertの50%ほどとお安くなっています。
AWSやAzureのデータをBigQueryで読み込み可能に
ついにBigQuery Omniがリリースされました！(しかもGA)
こちらは別途検証をしたいと思いますが、概要としてはS3のデータを指定してBigQueryからクエリが出来ます。
BigQueryのクラスタはAWSまたはAzure上に構築されますが、ユーザは管理を必要としません。
必要な権限をあたえ、コンソールからデータソースにS3を選べばS3のデータに対してBQからクエリをすることが出来ます！
検索結果をS3にexportすることも可能です
AzureのBlobStorageに対しても使用可能とdocにはなっているのですが、私の環境ではまだコンソールにAzureの選択肢は出てきませんでした。
現状、S3のリージョンや、データのjoinなど制限事項も色々あるようですので別途検証をしたいと思っています！
カラムレベルでの暗号化が可能に
CloudKMSを使用してカラムレベルでの暗号化が可能となりました。
暗号化したカラムを読み込む際はクエリ内で、複合関数の使用が必要です。
以前からカラムレベルの権限制御は出来ましたが、暗号化も可能となったことでセキュリティのオプションが増えたと思われます。
テーブルのスナップショット
6月のupdate情報まとめで紹介したテーブルスナップショットがGAとなりました！！
10月のアップデートは以上となります。
また来月！！
