Treasure Data - Support Engineering Team blog

トレジャーデータのサポートエンジニアリングチームのブログです。

Workflow

CustomScriptsの実行中、No such file or directory(digdagのファイルが存在しない)エラーが生じる

こんにちは。Treasure Dataサポートチームの今村です。 ローカルで実行(テスト)するとエラーとならなかったPythonのスクリプトをTreasure Workflow(Treasure DataがホストしているDigdag)上で実行すると、No such file or directory(digdagのファイルが…

TARGET_NOT_FOUNDによりWorkflowの実行が失敗する

こんにちは。サポートチームの大村です。 今回もWorkflowでしばしば見かけるTARGET_NOT_FOUNDについてご紹介します。 事例 まずは以下のサンプルでどのようなエラーが表示されるか確認してみましょう。 次のworkflowを作成、実行します。ただし、td_runオペ…

Workflow Landing Pageのご紹介

こんにちは。サポートチーム 大村です。 今回は2022年8月のリリースノートからWorkflowを管理しやすくしたWorkflow Landing Page機能についてご紹介したいと思います。 1. Review project and workflow hierarchy WorkflowはデータモデルとしてProjectをトッ…

Workflowのtdオペレータの実行でAUTHENTICATION_FAILUREが出て実行に失敗する

こんにちは。サポートチーム 大村です。 今回はWorkflowで時々見かけるAUTHENTICATION_FAILUREについて、その原因と解消方法についてご紹介します。 事例 まずは実際にどんなエラーメッセージが出るか確認していきましょう。 エラーメッセージを抜粋すると… …

Advanced Activation SchedulingをWorkflowから利用する

こんにちは。Treasure Data 大村です。 今回は7月のリリースノートからAdvanced Activation Schedulingについて紹介します。 July 2022 Release Note - Product Documentation - Treasure Data Product Documentation こちらのリリースはAudience StudioのAc…

ワークフロー名の変更方法

こんにちは。Treasure Data サポートの小嶋です。 今回はしばしば質問を頂戴するTreasure Workflowのファイル名変更について説明します。 ワークフロー名を変更したい ワークフローとプロジェクト ワークフロー名を変更する方法(コンソールから) ワークフ…

Digdag で円周率を計算してみる

Treasure Data サポートの笠井です。 この記事は、 Treasure Data の Workflow でベースになっている Digdag を使って遊んでみたという記事です。実際に Treasure Data で Workflow を扱う上ではほぼ役に立ちません。 今回はタイトルにもある通り、モンテカ…

Workflowの複雑なスケジュール設定を紹介します

※ 2022/03/14(Mon) 更新 こんにちは、Treasure Data サポートの伊藤です。 今回は、複雑なスケジュール設定をWorkflowで実現する方法について説明します。 サンプルも記載しますが、参考にされる場合は動作確認の上お使いください。 Workflowのスケジュール…

Custom Script開発手順およびデバッグ

こんにちは。Treasure Data 大村です。今回はCustom Scriptの基本的な開発手順およびデバッグについてご紹介していきたいと思います。 Custom Script開発環境構築については前回の記事(Custom Script開発準備)を参照下さい。 プログラム作成 pythonプログ…

Custom Script開発準備

こんにちは。Arm Treasure Data サポートチームの大村です。今回は最近使用される方が増えてきたように感じるCustom Scriptの開発準備についてご紹介していきたいと思います。 Custom Scriptとは Treasure Workflowから呼びだすことのできるpythonスクリプト…

Treasure Workflowのsession timeとスケジューリングについて

こんにちは。Arm Treasure Dataでサポートエンジニアとして働いています、佐藤です。 今回は少しイメージとして掴みにくい、Treasure workflowのsession timeのコンセプトに関して少し説明して行こうかと思います。 そもそもTeasure Workflowとは? Treasure…