yomitech

SREやクラウドエンジニアが読むと良さげな本まとめ

一年半ぐらい前にアプリケーションエンジニアからSREにコンバートした筆者が、いま役に立ってるなぁっていう本を紹介します。アプリケーションコードを書いてるときは下のレイヤの技術に興味なかったんですが、改めて勉強してみると楽しいです。 コンピュータシステム クラウド全盛とはいえ、コンピュータの仕組みはおさえておくと役立ちます。コレ系の本はわりと小難しいものが多いですが、個人的に楽しく読めた本を紹介しま…

最強のデータ分析基盤を目指して～汎用的なデータ分析基盤の選定方法の提案～

概要 本記事にて、データ分析基盤の検討の進め方を記載します。データ分析基盤の概念モデルを検討した上で、それにサービスをマッピングを行い選定を行うプロセスを紹介します。 サービスを選定する際には、ガートナーなどの外部期間の評価報告レポートが参考になります。ガートナーは、特定の分野ごとにマジック・クアドラントを発表しており、製品ごとの弱点も記載されているなど参考になる情報が記載されております。最新のト…

PySpark によるデータ品質に関する処理の開発実践

概要 PySpark によるデータ品質に関する処理の開発実践について次の項目を説明する。 1. データ品質概要 2. PySpark(Python) によるデータ品質処理方法 3. データ品質処理の実績

データサイエンティストが知っておきたい！データエンジニアリング入門書５選

はじめに 筆者は、新卒でデータサイエンス関係の仕事に３年半携わったのち、２社目の現職でデータエンジニアリングに初めて触れ、本格的に取り組んでおります。 データエンジニアリングはデータサイエンスとは全く別世界で、周りが何を言っているか？さっぱりわからない時期がありました。 またデータアナリストロールでの入社だったことから、本業のデータ分析に加えデータエンジニアリングも並行して学習しないといけず、かな…