こんにちは。データサイエンティスト兼、データ基盤エンジニアのshobyです。 皆さんは、分析結果の信頼性をどのように保証していますか？ 近年では、データの重要性が増した結果、データサイエンティストの出した分析結果を元に、大きな意思決定もされるよう…

こんにちは。データサイエンティスト兼、データ基盤エンジニアのshobyです。 皆さんは社内でどのようなSQLコーディング規約を設けていますか？ 多くのエンジニアが関わるシステムにコーディング規約が必要なように、多くのデータサイエンティストが関わる分…

こんにちは。データサイエンティスト兼、データ基盤エンジニアのshobyです。 今回は、S3に存在する生ログファイルの分析に便利なAmazon AthenaをRedashと連携する方法をご紹介します。 RedashとAthenaを連携し、生ログファイルを検証するクエリを問題に備え…

こんにちは。データサイエンティスト兼、データ基盤エンジニアのshobyです。 皆さんは「S3の生ログデータを分析してくれ」と言われた場合、どうしていますか？ ログ分析基盤に入っておらず、S3にしか存在しない生ログデータを分析するのは骨が折れる作業です…

初めまして。 データサイエンティスト兼、データ基盤エンジニアのshobyです。 突然ですが皆さんは、データウェアハウスに保存されたログデータの信頼性をどのようにチェックしていますか？ 日々追加されるログデータが分析に耐えうる品質の物かをチェックす…