Treasure Data - Support Engineering Team blog

トレジャーデータのサポートエンジニアリングチームのブログです。

2022-01-01から1年間の記事一覧

TreasureData Tech Talk 2022 参加者受付中!

Treasure Data サポートの上加世田です。 本日はTreasure Data主催のテックイベントの宣伝です。 techplay.jp Treasure Dataでは過去に多くのテックイベントを行ってきました。 しかしコロナやコロナやコロナ・・・等の理由により、2020年の会を最後に約2年…

CustomScriptsの実行中、No such file or directory(digdagのファイルが存在しない)エラーが生じる

こんにちは。Treasure Dataサポートチームの今村です。 ローカルで実行(テスト)するとエラーとならなかったPythonのスクリプトをTreasure Workflow(Treasure DataがホストしているDigdag)上で実行すると、No such file or directory(digdagのファイルが…

Could not load private key によるジョブの失敗

こんにちは。Treasure Dataサポートチームの小嶋です。 SFTP のインポートあるいはエクスポートジョブにて、Could not load private key ~ というエラーで失敗した場合の原因と確認すべき点を紹介します。 事例 このエラーは公開鍵/秘密鍵で SFTP の認証を行…

TARGET_NOT_FOUNDによりWorkflowの実行が失敗する

こんにちは。サポートチームの大村です。 今回もWorkflowでしばしば見かけるTARGET_NOT_FOUNDについてご紹介します。 事例 まずは以下のサンプルでどのようなエラーが表示されるか確認してみましょう。 次のworkflowを作成、実行します。ただし、td_runオペ…

Workflow Landing Pageのご紹介

こんにちは。サポートチーム 大村です。 今回は2022年8月のリリースノートからWorkflowを管理しやすくしたWorkflow Landing Page機能についてご紹介したいと思います。 1. Review project and workflow hierarchy WorkflowはデータモデルとしてProjectをトッ…

NumberFormatExceptionによりファイルをインポートできない

こんにちは。Treasure Dataの小嶋です。 今回はお問合せいただくことが多い NumberFormatException というエラーについて解説します。 事例 原因 対策 カラムを文字列としてインポートするよう定義する CSVファイルを修正して数値以外の文字を取り除く 無効…

Windows環境でのREST API実行について

Windows環境でのREST API実行について こんにちは。Treasure Dataサポートチームの橘です。 Treasure DataにはREST APIが用意されており、それらを利用することで作業の自動化や工数の短縮が可能となっております。 一方でサンプルで用意されているcURLコマ…

Workflowのtdオペレータの実行でAUTHENTICATION_FAILUREが出て実行に失敗する

こんにちは。サポートチーム 大村です。 今回はWorkflowで時々見かけるAUTHENTICATION_FAILUREについて、その原因と解消方法についてご紹介します。 事例 まずは実際にどんなエラーメッセージが出るか確認していきましょう。 エラーメッセージを抜粋すると… …

Data Tanksのトラブルシューティング

こんにちは、Treasure Dataサポートの伊藤です。 今回は前回に引き続きData Tanksについて説明していきます。今回はData Tanksを使っているときに遭遇するトラブルについて解説します。 Data Tanksへ接続できない Result Export to Data Tanks がエラーで失…

カラム名が重複してるので外部サービスに出力できない

こんにちは。Treasure Data サポートの大村です。 今回はTreasure Data から外部サービスに出力する際にエラーとなる例の1つであるカラム名の重複についてご紹介していきます。 このタイプのエラーではクエリ単体で実行するとエラーにはならないのですが、そ…

Advanced Activation SchedulingをWorkflowから利用する

こんにちは。Treasure Data 大村です。 今回は7月のリリースノートからAdvanced Activation Schedulingについて紹介します。 July 2022 Release Note - Product Documentation - Treasure Data Product Documentation こちらのリリースはAudience StudioのAc…

Data Tanks 入門

こんにちは、Treasure Dataサポートの伊藤です。 本日はData Tanks について説明していこうと思います。 本記事はよくあるお問い合わせに対する説明をする前段階として概要など説明していきます。 Data Tanks とは? Data Tanks とは、オープンソースのRDBMS…

NOT INを使うと結果がおかしい!

こんにちは、Treasure Dataサポートの伊藤です。 NOT IN を使ったときに何故か1件も抽出できないという挙動について紹介します。 NOT IN について 念の為 NOT IN の使い方について復習しましょう。 簡単でわかりやすい使い方は下記になります。 WITH dataset…

Assume Roleのすすめ

みなさん、こんにちは本記事ではS3 v2コネクターにて実装されたAssume Roleでの認証について説明をしていきます。 実は6月頃からS3 v2でサポートされていたのですが、より多くの人に知ってもらい使ってもらうためにも こちらのブログでも紹介いたします。Tre…

Job の Status と同時実行数について

こんにちは、Treasure Dataサポートの伊藤です。 本記事ではJobのStatusとその同時実行数について説明していきます。 Job の Status について Jobが現在どういう状態なのかStatusによって知ることができ、具体的には下記5種類が存在します。 Status 説明 Que…

Jobの種類について

こんにちは、Treasure Dataサポートの伊藤です。 本記事では、Treasure Dataの要と言っても過言ではない Job について詳細見ていきます。 Jobとは Treasure Dataのコンポーネントとして、Jobというものがあります。 TDコンソールの Job Activities にて確認…

ワークフロー名の変更方法

こんにちは。Treasure Data サポートの小嶋です。 今回はしばしば質問を頂戴するTreasure Workflowのファイル名変更について説明します。 ワークフロー名を変更したい ワークフローとプロジェクト ワークフロー名を変更する方法(コンソールから) ワークフ…

「Email xxx@example.com is already registered」となり新規ユーザーを招待できない

こんにちは、Treasure Dataサポートの伊藤です。遅まきながら2022年になって初めての記事となります。 ユーザー招待しようとすると何故かエラーになる リージョンとアカウントとユーザー ユーザーとは アカウントとは リージョンとは 関係性 エラーの原因 対…