Treasure Data - Support Engineering Team blog

トレジャーデータのサポートエンジニアリングチームのブログです。

SQL(Hive/Presto)

NOT INを使うと結果がおかしい!

こんにちは、Treasure Dataサポートの伊藤です。 NOT IN を使ったときに何故か1件も抽出できないという挙動について紹介します。 NOT IN について 念の為 NOT IN の使い方について復習しましょう。 簡単でわかりやすい使い方は下記になります。 WITH dataset…

誰も心当たりのないPrestoクエリについて

こんにちは、Treasure Data サポートの伊藤です。 今回は 見覚えがないPrestoクエリが実行されている という謎について迫っていきます。 心当たりのないクエリ 謎のクエリの目的 どこから実行しされたの? なぜエラーになるの? 必要なアクション 終わりに …

条件に合致するレコード数を求めるには

はじめに こんにちは、Treasure Data サポートの伊藤です。 今回は、SQLで特定の条件に合致するレコード数をカウントする方法と、その方法のロジックについて説明します。 はじめに 色々なケースでレコード数をカウントする 条件に合致するレコードのみカウ…

Treasure Data で半角文字・全角文字を正規化する方法

Treasure Data の笠井です。 今回は Treasure Data(以下 TD) で半角文字と全角文字を正規化によってうまく扱う方法を紹介します。 結論 とりあえず結論を書きます。 Presto で正規化する場合は normalize 関数*1 を利用する。 Hive では Hivemall の関数と…

簡単にTreasure Dataのクエリ(Presto/Hive)の動作確認をするには

こんにちは、Arm Treasure Data サポートの伊藤です。 本記事は2回目のエントリーとなります。 前回はData Connectorと呼ばれる、外部サービス(AWS S3やSFTPサーバーなど)からデータをTreasure Data(TD)へインポートする際のナレッジについて説明しましたが…