Treasure Data - Support Engineering Team blog

トレジャーデータのサポートエンジニアリングチームのブログです。

TreasureData Tech Talk 2022 参加者受付中!

Treasure Data サポートの上加世田です。 本日はTreasure Data主催のテックイベントの宣伝です。 techplay.jp Treasure Dataでは過去に多くのテックイベントを行ってきました。 しかしコロナやコロナやコロナ・・・等の理由により、2020年の会を最後に約2年…

CustomScriptsの実行中、No such file or directory(digdagのファイルが存在しない)エラーが生じる

こんにちは。Treasure Dataサポートチームの今村です。 ローカルで実行(テスト)するとエラーとならなかったPythonのスクリプトをTreasure Workflow(Treasure DataがホストしているDigdag)上で実行すると、No such file or directory(digdagのファイルが…

Could not load private key によるジョブの失敗

こんにちは。Treasure Dataサポートチームの小嶋です。 SFTP のインポートあるいはエクスポートジョブにて、Could not load private key ~ というエラーで失敗した場合の原因と確認すべき点を紹介します。 事例 このエラーは公開鍵/秘密鍵で SFTP の認証を行…

TARGET_NOT_FOUNDによりWorkflowの実行が失敗する

こんにちは。サポートチームの大村です。 今回もWorkflowでしばしば見かけるTARGET_NOT_FOUNDについてご紹介します。 事例 まずは以下のサンプルでどのようなエラーが表示されるか確認してみましょう。 次のworkflowを作成、実行します。ただし、td_runオペ…

Workflow Landing Pageのご紹介

こんにちは。サポートチーム 大村です。 今回は2022年8月のリリースノートからWorkflowを管理しやすくしたWorkflow Landing Page機能についてご紹介したいと思います。 1. Review project and workflow hierarchy WorkflowはデータモデルとしてProjectをトッ…

NumberFormatExceptionによりファイルをインポートできない

こんにちは。Treasure Dataの小嶋です。 今回はお問合せいただくことが多い NumberFormatException というエラーについて解説します。 事例 原因 対策 カラムを文字列としてインポートするよう定義する CSVファイルを修正して数値以外の文字を取り除く 無効…

Windows環境でのREST API実行について

Windows環境でのREST API実行について こんにちは。Treasure Dataサポートチームの橘です。 Treasure DataにはREST APIが用意されており、それらを利用することで作業の自動化や工数の短縮が可能となっております。 一方でサンプルで用意されているcURLコマ…

Workflowのtdオペレータの実行でAUTHENTICATION_FAILUREが出て実行に失敗する

こんにちは。サポートチーム 大村です。 今回はWorkflowで時々見かけるAUTHENTICATION_FAILUREについて、その原因と解消方法についてご紹介します。 事例 まずは実際にどんなエラーメッセージが出るか確認していきましょう。 エラーメッセージを抜粋すると… …

Data Tanksのトラブルシューティング

こんにちは、Treasure Dataサポートの伊藤です。 今回は前回に引き続きData Tanksについて説明していきます。今回はData Tanksを使っているときに遭遇するトラブルについて解説します。 Data Tanksへ接続できない Result Export to Data Tanks がエラーで失…

カラム名が重複してるので外部サービスに出力できない

こんにちは。Treasure Data サポートの大村です。 今回はTreasure Data から外部サービスに出力する際にエラーとなる例の1つであるカラム名の重複についてご紹介していきます。 このタイプのエラーではクエリ単体で実行するとエラーにはならないのですが、そ…

Advanced Activation SchedulingをWorkflowから利用する

こんにちは。Treasure Data 大村です。 今回は7月のリリースノートからAdvanced Activation Schedulingについて紹介します。 July 2022 Release Note - Product Documentation - Treasure Data Product Documentation こちらのリリースはAudience StudioのAc…

Data Tanks 入門

こんにちは、Treasure Dataサポートの伊藤です。 本日はData Tanks について説明していこうと思います。 本記事はよくあるお問い合わせに対する説明をする前段階として概要など説明していきます。 Data Tanks とは? Data Tanks とは、オープンソースのRDBMS…

NOT INを使うと結果がおかしい!

こんにちは、Treasure Dataサポートの伊藤です。 NOT IN を使ったときに何故か1件も抽出できないという挙動について紹介します。 NOT IN について 念の為 NOT IN の使い方について復習しましょう。 簡単でわかりやすい使い方は下記になります。 WITH dataset…

Assume Roleのすすめ

みなさん、こんにちは本記事ではS3 v2コネクターにて実装されたAssume Roleでの認証について説明をしていきます。 実は6月頃からS3 v2でサポートされていたのですが、より多くの人に知ってもらい使ってもらうためにも こちらのブログでも紹介いたします。Tre…

Job の Status と同時実行数について

こんにちは、Treasure Dataサポートの伊藤です。 本記事ではJobのStatusとその同時実行数について説明していきます。 Job の Status について Jobが現在どういう状態なのかStatusによって知ることができ、具体的には下記5種類が存在します。 Status 説明 Que…

Jobの種類について

こんにちは、Treasure Dataサポートの伊藤です。 本記事では、Treasure Dataの要と言っても過言ではない Job について詳細見ていきます。 Jobとは Treasure Dataのコンポーネントとして、Jobというものがあります。 TDコンソールの Job Activities にて確認…

ワークフロー名の変更方法

こんにちは。Treasure Data サポートの小嶋です。 今回はしばしば質問を頂戴するTreasure Workflowのファイル名変更について説明します。 ワークフロー名を変更したい ワークフローとプロジェクト ワークフロー名を変更する方法(コンソールから) ワークフ…

「Email xxx@example.com is already registered」となり新規ユーザーを招待できない

こんにちは、Treasure Dataサポートの伊藤です。遅まきながら2022年になって初めての記事となります。 ユーザー招待しようとすると何故かエラーになる リージョンとアカウントとユーザー ユーザーとは アカウントとは リージョンとは 関係性 エラーの原因 対…

Treasure DataにおけるIDの種類とその取得方法 - その1

こんにちは、Treasure Dataサポートの伊藤です。 今回は、Treasure Dataにおける各種IDについて説明していきます。 なぜIDについて説明するのか? UserのID JobのID(Hive/Presto/Partial Delete/Result Export/Bulk Load/Bulk Import/Bulk Export) Jobとは J…

インポート時に意図していないカラムができてしまう現象の原因・回避方法

なぜこのような事象が発生するのか どのように対応すれば良いのか 未然にこの事象を防ぐには 既にカラム名_1が発生してしまった場合の対応 補足:GUI上のSourceからカラム名を変更する こんにちは。Treasure Dataサポートの佐藤です。 日頃Treasure Dataを使…

Profile APIの実装サンプル

Treasure Dataでの準備 Profile API Tokenの作成 項目解説 Workflowの確認 Profile APIの実装 td-js-sdkのインストール 初期化処理 segmentの取得処理の実装 サンプルページと実装コード 今回はProfile APIのサンプルについて解説をしていきたいと思います。…

Columnを削除したい

こんにちは、Treasure Data(以後TD)サポートの伊藤です。 TDのテーブルからColumn(列)を削除したいというリクエストを度々頂戴します。本記事では関連したナレッジなどを整理しつつ、どのように対応すれば良いのか紹介していきます。 結論 Columnを削除して…

Digdag で円周率を計算してみる

Treasure Data サポートの笠井です。 この記事は、 Treasure Data の Workflow でベースになっている Digdag を使って遊んでみたという記事です。実際に Treasure Data で Workflow を扱う上ではほぼ役に立ちません。 今回はタイトルにもある通り、モンテカ…

pytdでの意図しないデータ変換について

こんにちは、サポートの橘です。 今回はpytdを使っている際に遭遇する意図しないデータ変換の事象について解説いたします。 目次 pytdとは 事象 原因 対策 TL;DR load_table_from_dataframeを実行してDataFrameをTreasure DataにUploadすると意図しないデー…

Workflowの複雑なスケジュール設定を紹介します

※ 2022/03/14(Mon) 更新 こんにちは、Treasure Data サポートの伊藤です。 今回は、複雑なスケジュール設定をWorkflowで実現する方法について説明します。 サンプルも記載しますが、参考にされる場合は動作確認の上お使いください。 Workflowのスケジュール…

TDコンソールにログインできないときに

こんにちは。Treasure Data(以後TD)サポートの伊藤です。 今回はTDコンソールにログインできない場合の対処方法について取り上げます。 TDコンソールへログインする際の認証方法について The username/password combination is incorrect. が表示される ユー…

Something went wrong on our end エラーが発生したときに

こんにちは、Treasure Data(TD) サポートの伊藤です。 今回は、TDコンソール(ブラウザで操作するWeb UI)で稀に発生する、奇妙なエラーについて触れてみます。 Something went wrong on our end 対処方法 リロードする 他のブラウザを使う ブラウザのキャッシ…

誰も心当たりのないPrestoクエリについて

こんにちは、Treasure Data サポートの伊藤です。 今回は 見覚えがないPrestoクエリが実行されている という謎について迫っていきます。 心当たりのないクエリ 謎のクエリの目的 どこから実行しされたの? なぜエラーになるの? 必要なアクション 終わりに …

TDのデータ型について

こんにちは、Treasure Data(TD) サポートの伊藤です。 今回はクエリを扱う上で重要な要素であるデータ型について説明していきます。 データ型とは TDを利用する際のデータ型の種類 TDのデータ型 Hiveのデータ型 Prestoのデータ型 各データ型の関係 データ型…

条件に合致するレコード数を求めるには

はじめに こんにちは、Treasure Data サポートの伊藤です。 今回は、SQLで特定の条件に合致するレコード数をカウントする方法と、その方法のロジックについて説明します。 はじめに 色々なケースでレコード数をカウントする 条件に合致するレコードのみカウ…