イクジニアブログ

育児 + エンジニア = イクジニア

BigQuery 2022/3月のupdate情報まとめ

今月は掲載が少し遅くなってしまいましたが引き続き3月のまとめもいってみましょう!

nii-yan.hatenablog.com

セッションが利用可能に

Preview -> GA

2021/9月にPreviewとして出たセッションがGAになりました!!

変数や一時テーブルをセッション内で使いまわすことも可能
セッションを使うかはQuerySettingsから指定が出来ます

ブラウザのタブ毎に別のセッションを貼ることが可能
2つのセッションでDeadlockがかかるような処理を行った場合はupdateをしようとした時点でエラーが出ます
セッション中にエラーが起こってもrollbackやcommitはされません

トランザクションレベルはSnapshot Isolationとなっており、トランザクションを開始した時点のスナップショットデータが読み込まれます。(ファジーリード/ファントムリードは起きない)

またpreview時点ではセッションは手動で終わらすことが出来なかったのですが、手動で終わらせることが出来る機能が追加されたり、Informationschemaでセッションの情報が見られるようにもなりました!
(こちらの追加機能についてはpreview)

外部テーブルのスキーマ指定が可能に

GA

GCSのファイルテーブルを外部テーブルとして指定する際に今まではスキーマは自動検出だったのですが、明示的にスキーマの指定を出来るようになりました。

CREATE OR REPLACE EXTERNAL TABLE mydataset.sales
(
  Region STRING,
  Quarter STRING,
  Total_Sales INT64
)
OPTIONS (
  format = 'CSV',
  uris = ['gs://mybucket/sales.csv'],
  skip_leading_rows = 1
)

ファイルに合っていないスキーマの指定をすると、テーブル作成時にエラーとなります。

slot recommenderを使用可能に

Preview

オンデマンドの課金体系の方向けに、定額料金を使った方が料金を節約できるかを確認出来るようになりました。

今まではどれぐらいslot使っているから定額料金にするにはどれぐらいslot買うべきかと自分で計算して、ある程度はエイやで決めないといけない部分があったのですが、こちらのRecommenderを使用するば買うべきslotがわかるようになります。

GoogleTrendのデータを分析可能に

Preview -> GA

2021/6にpreviewとしてでたGoogleTrendsのデータですが、GAとなりなんと日本のデータも見られるようになりました!
(preview時はusのみ)

日本のデータは以下の2テーブルに入っています

bigquery-public-data.google_trends.international_top_terms
bigquery-public-data.google_trends.international_top_rising_terms

bigquery-public-dataのプロジェクトが見られないという方は 以下の「データ追加->プロジェクトを固定->プロジェクト名を入力」から

直接 bigquery-public-data を入力して追加してください

スキーマは以下のようになっており、日本のデータが欲しい場合は country_code = "JP" で取れそうです

3月のリリースは以上となります。また来月まとめたいと思います!!