RedShiftでの日時処理を行う際の注意点

こんにちは。データサイエンティスト兼、データ基盤エンジニアのshobyです。 RedShiftの日時処理、紛らわしいですよね。 今回は、RedShiftで日時処理をする際の注意点をご紹介します。 概要 現在日時取得の注意点 曜日取得の注意点 日時間隔取得の注意点 現…

S3のデータを別アカウントの別バケットにコピーする際の権限設定

こんにちは。データサイエンティスト兼、データ基盤エンジニアのshobyです。 TVISION INSIGHTSでは、本番環境と開発環境でAWSのアカウントを分けて運用しており、 時折本番ログデータを開発用S3バケットにコピーする必要が生じています。 別アカウントの別バ…

RedShiftでDECIMAL(NUMERIC)を使用する際の有効桁数について

こんにちは。データサイエンティスト兼、データ基盤エンジニアのshobyです。 皆さんは、RedShiftで小数点数を扱う際に、どのような型を使用していますか? 今回は、固定精度で小数点数を扱うことのできるDECIMAL(NUMERIC)と、その有効桁数についてご紹介し…

DataGripって、便利

はじめまして、最近TVISION INSIGHTSにジョインしたエンジニアの taross-fです。 前職ではソーシャルゲームの会社で主にC#を書いて過ごしていましたが、現在はデータベースからAWSからいろいろ触っていて、必死に楽しく日々を過ごしています。 他メンバーのp…

『継続して○○した日数』の最大値をSQLで求める

SQL

こんにちわ。データ部の長野です。 TVISION INSIGHTSのデータ部では、複雑なデータ抽出をする機会が多々あります。 今回は最近おこなった複雑なデータ抽出ロジックの1つ、 「『継続して○○した日数』の最大値」 をSQLで求める方法を紹介します! 前提 DBはRed…

WITH句で複雑な分析用SQLの可読性を上げる(RedShift)

SQL

こんにちは。データサイエンティスト兼、データ基盤エンジニアのshobyです。 皆さんはSQLを書く際に、どの程度サブクエリを使っていますか? TVISION INSIGHTSのデータチームでは、RedShiftを使用した分析のために複雑なSQLを書く必要があり、サブクエリを多…

RedShiftにユーザー定義関数を追加し、データ抽出業務を効率化する

こんにちは。データサイエンティスト、兼データ基盤エンジニアのshobyです。 今回は、データ抽出業務を効率化するために、RedShiftにユーザー定義関数を追加する方法をご紹介します。 RedShiftのユーザー定義関数 RedShiftでは、SQLもしくはPythonを使用し、…