Treasure Data - Support Engineering Team blog

トレジャーデータのサポートエンジニアリングチームのブログです。

2021-01-01から1年間の記事一覧

Treasure DataにおけるIDの種類とその取得方法 - その1

こんにちは、Treasure Dataサポートの伊藤です。 今回は、Treasure Dataにおける各種IDについて説明していきます。 なぜIDについて説明するのか? UserのID JobのID(Hive/Presto/Partial Delete/Result Export/Bulk Load/Bulk Import/Bulk Export) Jobとは J…

インポート時に意図していないカラムができてしまう現象の原因・回避方法

なぜこのような事象が発生するのか どのように対応すれば良いのか 未然にこの事象を防ぐには 既にカラム名_1が発生してしまった場合の対応 補足:GUI上のSourceからカラム名を変更する こんにちは。Treasure Dataサポートの佐藤です。 日頃Treasure Dataを使…

Profile APIの実装サンプル

Treasure Dataでの準備 Profile API Tokenの作成 項目解説 Workflowの確認 Profile APIの実装 td-js-sdkのインストール 初期化処理 segmentの取得処理の実装 サンプルページと実装コード 今回はProfile APIのサンプルについて解説をしていきたいと思います。…

Columnを削除したい

こんにちは、Treasure Data(以後TD)サポートの伊藤です。 TDのテーブルからColumn(列)を削除したいというリクエストを度々頂戴します。本記事では関連したナレッジなどを整理しつつ、どのように対応すれば良いのか紹介していきます。 結論 Columnを削除して…

Digdag で円周率を計算してみる

Treasure Data サポートの笠井です。 この記事は、 Treasure Data の Workflow でベースになっている Digdag を使って遊んでみたという記事です。実際に Treasure Data で Workflow を扱う上ではほぼ役に立ちません。 今回はタイトルにもある通り、モンテカ…

pytdでの意図しないデータ変換について

こんにちは、サポートの橘です。 今回はpytdを使っている際に遭遇する意図しないデータ変換の事象について解説いたします。 目次 pytdとは 事象 原因 対策 TL;DR load_table_from_dataframeを実行してDataFrameをTreasure DataにUploadすると意図しないデー…

Workflowの複雑なスケジュール設定を紹介します

※ 2022/03/14(Mon) 更新 こんにちは、Treasure Data サポートの伊藤です。 今回は、複雑なスケジュール設定をWorkflowで実現する方法について説明します。 サンプルも記載しますが、参考にされる場合は動作確認の上お使いください。 Workflowのスケジュール…

TDコンソールにログインできないときに

こんにちは。Treasure Data(以後TD)サポートの伊藤です。 今回はTDコンソールにログインできない場合の対処方法について取り上げます。 TDコンソールへログインする際の認証方法について The username/password combination is incorrect. が表示される ユー…

Something went wrong on our end エラーが発生したときに

こんにちは、Treasure Data(TD) サポートの伊藤です。 今回は、TDコンソール(ブラウザで操作するWeb UI)で稀に発生する、奇妙なエラーについて触れてみます。 Something went wrong on our end 対処方法 リロードする 他のブラウザを使う ブラウザのキャッシ…

誰も心当たりのないPrestoクエリについて

こんにちは、Treasure Data サポートの伊藤です。 今回は 見覚えがないPrestoクエリが実行されている という謎について迫っていきます。 心当たりのないクエリ 謎のクエリの目的 どこから実行しされたの? なぜエラーになるの? 必要なアクション 終わりに …

TDのデータ型について

こんにちは、Treasure Data(TD) サポートの伊藤です。 今回はクエリを扱う上で重要な要素であるデータ型について説明していきます。 データ型とは TDを利用する際のデータ型の種類 TDのデータ型 Hiveのデータ型 Prestoのデータ型 各データ型の関係 データ型…

条件に合致するレコード数を求めるには

はじめに こんにちは、Treasure Data サポートの伊藤です。 今回は、SQLで特定の条件に合致するレコード数をカウントする方法と、その方法のロジックについて説明します。 はじめに 色々なケースでレコード数をカウントする 条件に合致するレコードのみカウ…