こんにちは。テクニカルサポートチームの大村です。 今回は前回から引き続き、Monitoring Workflow導入後のデータの活用方法について紹介していきます。 前回の記事のステップを踏むことでTDオブジェクト（データベースや認証、ユーザ、ジョブ…）といったメ…
こんにちは。テクニカルサポートチームの大村です。 今回はMonitoring Workflowの導入&セットアップとしてStep By StepでMonitoring Workflowの導入&セットアップについて紹介していきます。 そもそもMonitoring WorkflowとはTDオブジェクト（Job/Authentica…
こんにちは。テクニカルサポートチームの大村です。 今回はREST APIを使ったTDオブジェクトの収集ワークフローについて、treasure-boxesのサンプルをベースにご紹介します。 github.com 今回はworkflow_monitoring ワークフローについて紹介します。 こちら…
こんにちは。テクニカルサポートチームの大村です。 今回はREST APIを使ったTDオブジェクトの収集Workflowについて、treasure-boxesのサンプルをベースにご紹介します。 github.com 今回はbasic_monitoring Workflowについて紹介します。 このWorkflowではJo…
遅過ぎますがあけましておめでとうございます。Treasure Data サポートチームの小嶋です。 恐ろしいことに2023年になって早くも1ヶ月が経ってしまいました。皆様いかがお過ごしでしょうか。 突然ですが、今回は製品に関することではなく、私が Treasure Data…
この記事では、 TD Toolbelt を利用し始めたときに起こりやすい、ログインの失敗するときのトラブルシュートについて紹介します。 ログインの失敗というのは、たとえば以下のような、 td コマンドを実行したときに発生するエラーです。 % td db:list Error: …
Treasure Data サポートの上加世田です。 本日はTreasure Data主催のテックイベントの宣伝です。 techplay.jp Treasure Dataでは過去に多くのテックイベントを行ってきました。 しかしコロナやコロナやコロナ・・・等の理由により、2020年の会を最後に約2年…
こんにちは。Treasure Dataサポートチームの今村です。 ローカルで実行（テスト）するとエラーとならなかったPythonのスクリプトをTreasure Workflow（Treasure DataがホストしているDigdag）上で実行すると、No such file or directory（digdagのファイルが…
こんにちは。Treasure Dataサポートチームの小嶋です。 SFTP のインポートあるいはエクスポートジョブにて、Could not load private key ~ というエラーで失敗した場合の原因と確認すべき点を紹介します。 事例 このエラーは公開鍵/秘密鍵で SFTP の認証を行…
こんにちは。サポートチームの大村です。 今回もWorkflowでしばしば見かけるTARGET_NOT_FOUNDについてご紹介します。 事例 まずは以下のサンプルでどのようなエラーが表示されるか確認してみましょう。 次のworkflowを作成、実行します。ただし、td_runオペ…
こんにちは。サポートチーム 大村です。 今回は2022年8月のリリースノートからWorkflowを管理しやすくしたWorkflow Landing Page機能についてご紹介したいと思います。 1. Review project and workflow hierarchy WorkflowはデータモデルとしてProjectをトッ…
こんにちは。Treasure Dataの小嶋です。 今回はお問合せいただくことが多い NumberFormatException というエラーについて解説します。 事例 原因 対策 カラムを文字列としてインポートするよう定義する CSVファイルを修正して数値以外の文字を取り除く 無効…
Windows環境でのREST API実行について こんにちは。Treasure Dataサポートチームの橘です。 Treasure DataにはREST APIが用意されており、それらを利用することで作業の自動化や工数の短縮が可能となっております。 一方でサンプルで用意されているcURLコマ…
こんにちは。サポートチーム 大村です。 今回はWorkflowで時々見かけるAUTHENTICATION_FAILUREについて、その原因と解消方法についてご紹介します。 事例 まずは実際にどんなエラーメッセージが出るか確認していきましょう。 エラーメッセージを抜粋すると… …
こんにちは、Treasure Dataサポートの伊藤です。 今回は前回に引き続きData Tanksについて説明していきます。今回はData Tanksを使っているときに遭遇するトラブルについて解説します。 Data Tanksへ接続できない Result Export to Data Tanks がエラーで失…
こんにちは。Treasure Data サポートの大村です。 今回はTreasure Data から外部サービスに出力する際にエラーとなる例の1つであるカラム名の重複についてご紹介していきます。 このタイプのエラーではクエリ単体で実行するとエラーにはならないのですが、そ…
こんにちは。Treasure Data 大村です。 今回は7月のリリースノートからAdvanced Activation Schedulingについて紹介します。 July 2022 Release Note - Product Documentation - Treasure Data Product Documentation こちらのリリースはAudience StudioのAc…
こんにちは、Treasure Dataサポートの伊藤です。 本日はData Tanks について説明していこうと思います。 本記事はよくあるお問い合わせに対する説明をする前段階として概要など説明していきます。 Data Tanks とは？ Data Tanks とは、オープンソースのRDBMS…
こんにちは、Treasure Dataサポートの伊藤です。 NOT IN を使ったときに何故か1件も抽出できないという挙動について紹介します。 NOT IN について 念の為 NOT IN の使い方について復習しましょう。 簡単でわかりやすい使い方は下記になります。 WITH dataset…
みなさん、こんにちは本記事ではS3 v2コネクターにて実装されたAssume Roleでの認証について説明をしていきます。 実は6月頃からS3 v2でサポートされていたのですが、より多くの人に知ってもらい使ってもらうためにも こちらのブログでも紹介いたします。Tre…
こんにちは、Treasure Dataサポートの伊藤です。 本記事ではJobのStatusとその同時実行数について説明していきます。 Job の Status について Jobが現在どういう状態なのかStatusによって知ることができ、具体的には下記5種類が存在します。 Status 説明 Que…
こんにちは、Treasure Dataサポートの伊藤です。 本記事では、Treasure Dataの要と言っても過言ではない Job について詳細見ていきます。 Jobとは Treasure Dataのコンポーネントとして、Jobというものがあります。 TDコンソールの Job Activities にて確認…
こんにちは。Treasure Data サポートの小嶋です。 今回はしばしば質問を頂戴するTreasure Workflowのファイル名変更について説明します。 ワークフロー名を変更したい ワークフローとプロジェクト ワークフロー名を変更する方法（コンソールから） ワークフ…
こんにちは、Treasure Dataサポートの伊藤です。遅まきながら2022年になって初めての記事となります。 ユーザー招待しようとすると何故かエラーになる リージョンとアカウントとユーザー ユーザーとは アカウントとは リージョンとは 関係性 エラーの原因 対…
こんにちは、Treasure Dataサポートの伊藤です。 今回は、Treasure Dataにおける各種IDについて説明していきます。 なぜIDについて説明するのか？ UserのID JobのID(Hive/Presto/Partial Delete/Result Export/Bulk Load/Bulk Import/Bulk Export) Jobとは J…
なぜこのような事象が発生するのか どのように対応すれば良いのか 未然にこの事象を防ぐには 既にカラム名_1が発生してしまった場合の対応 補足：GUI上のSourceからカラム名を変更する こんにちは。Treasure Dataサポートの佐藤です。 日頃Treasure Dataを使…
Treasure Dataでの準備 Profile API Tokenの作成 項目解説 Workflowの確認 Profile APIの実装 td-js-sdkのインストール 初期化処理 segmentの取得処理の実装 サンプルページと実装コード 今回はProfile APIのサンプルについて解説をしていきたいと思います。…
こんにちは、Treasure Data(以後TD)サポートの伊藤です。 TDのテーブルからColumn(列)を削除したいというリクエストを度々頂戴します。本記事では関連したナレッジなどを整理しつつ、どのように対応すれば良いのか紹介していきます。 結論 Columnを削除して…
Treasure Data サポートの笠井です。 この記事は、 Treasure Data の Workflow でベースになっている Digdag を使って遊んでみたという記事です。実際に Treasure Data で Workflow を扱う上ではほぼ役に立ちません。 今回はタイトルにもある通り、モンテカ…
こんにちは、サポートの橘です。 今回はpytdを使っている際に遭遇する意図しないデータ変換の事象について解説いたします。 目次 pytdとは 事象 原因 対策 TL;DR load_table_from_dataframeを実行してDataFrameをTreasure DataにUploadすると意図しないデー…
