Treasure Data - Support Engineering Team blog

トレジャーデータのサポートエンジニアリングチームのブログです。

Treasure Data で半角文字・全角文字を正規化する方法

Treasure Data の笠井です。 今回は Treasure Data(以下 TD) で半角文字と全角文字を正規化によってうまく扱う方法を紹介します。 結論 とりあえず結論を書きます。 Presto で正規化する場合は normalize 関数*1 を利用する。 Hive では Hivemall の関数と…

Custom Script開発準備

こんにちは。Arm Treasure Data サポートチームの大村です。今回は最近使用される方が増えてきたように感じるCustom Scriptの開発準備についてご紹介していきたいと思います。 Custom Scriptとは Treasure Workflowから呼びだすことのできるpythonスクリプト…

Treasure Workflowのsession timeとスケジューリングについて

こんにちは。Arm Treasure Dataでサポートエンジニアとして働いています、佐藤です。 今回は少しイメージとして掴みにくい、Treasure workflowのsession timeのコンセプトに関して少し説明して行こうかと思います。 そもそもTeasure Workflowとは? Treasure…

簡単にTreasure Dataのクエリ(Presto/Hive)の動作確認をするには

こんにちは、Arm Treasure Data サポートの伊藤です。 本記事は2回目のエントリーとなります。 前回はData Connectorと呼ばれる、外部サービス(AWS S3やSFTPサーバーなど)からデータをTreasure Data(TD)へインポートする際のナレッジについて説明しましたが…

Data ConnectorのJobでskipped lineがでる理由

トレジャーデータサポートの橘です。 最初のエントリーを書くことになりやや緊張しております。 このエントリーではよくお問い合わせを受ける想定よりも件数が少ない、または1件もデータがインポートされていないという事象についてお話をしたいと思います。…