2024-01-01から1年間の記事一覧

PythonテンプレートエンジンJinjaの簡易的なまとめ

はじめに PythonのテンプレートエンジンJinjaの簡易的なまとめ。 参考:Jinja, Macros, and Packages 変数 Input {% set number = 100 %} I want to write Jinja for {{ number }}! Output wow! cool! I want to write Jinja for 100! コメント Input {# こ…

読書 「ドーパミン復活早起き法」を要約する

はじめに 「ドーパミン復活早起き法」を読みました。早起きに関する本は多くありますが、本書は科学的根拠を示しながら早起きの有用性を説く点で他の本とは異なります。 想定読者は「早起きして生産的な活動に取り組みたいと思いながらも行動に移せない人」…

Tableauでデータパイプライン用のガントチャートを作る

概要 データの生成時間が分かると何かと便利です。例えばbackfillにかかる時間を見積もりやすくなったり、ボトルネックを突き止められるなどのメリットがあります。 しかしパイプラインが複数のコンポーネントで構成されていると導出は困難になります。また…

dbt公式チュートリアルdbt Fundamentalsをやってみた

はじめに dbtの公式チュートリアルであるdbt Fundamentalsを完了しました dbtの概要と、dbt Fundamentalsの感想をまとめます。 dbtとは? 引用:dbt Labs | Transform Data in Your Warehouse dbt(data build tool)はETLのTransformに焦点を当てたツールです…

Tableauで日付型のフィールドを整数に変換する

やりたいこと 日付型のフィールドを20230801のような整数に変換したい 方法 計算フィールドを作成し、以下の式を入力する。 YEAR([log_date])*10000 + MONTH([log_date])*100 + DAY([log_date]) [log_date]は日付型のフィールドを想定。 YEAR, MONTH, DAYは…

A Beginner’s Guide to Data Engineeringを読んだ

概要 データエンジニアをこれから始める人に、必ず薦める記事。データエンジニアの基本を学べるかつ、どういう世界に広がっていくのかまで、一気に学べるのでとても良い。 出典:データエンジニア道の俺のバイブル 以上のように紹介されていたA Beginner’s G…

"Functional Data Engineering — a modern paradigm for batch data processing"の要約と感想

概要 Functional Data Engineering — a modern paradigm for batch data processing | by Maxime Beauchemin | Medium https://maximebeauchemin.medium.com/functional-data-engineering-a-modern-paradigm-for-batch-data-processing-2327ec32c42a 関数型…