yomitech
Qiitaで紹介された技術書を、毎週月曜日にメールでお届けします。
登録確認メールをお送りします。いつでも配信停止できます。
検索結果
「データエンジニアリングの基礎」の検索結果: 1冊
データエンジニアリングの基礎
データエンジニアリングを理解しデータリテラシーを飛躍的に向上させる！ データエンジニアリングとは、組織内外で日々生成されるデータを蓄積し分析するためのデータシステムを構築し維持管理することであり、急速に注目を集めている分野です。近年ではデータエンジニアリングを支えるツールやクラウドサービスが成熟し、組織へのデータ利活用の導入は容易になりましたが、明確な指針のないままデータシステムの構築を進め...
データエンジニアリング関係の言葉の定義をまとめた（随時更新）
※ まだ執筆途中です。いつまでも公開しないと書き終えられない気がしたのでアドベントカレンダーが終わるまでには完成させたいと思います🙇♂️ 1日2つくらい頑張ります。完成版が見たい方はアドベントカレンダー終わり際に見ていただけますと助かります🙇♂️🙇♂️ 以下本文 イベントでデータエンジニアリングについて会話しているとよく言葉の定義を議論することがあります。 実際データエンジニアリング界隈の言…
AI時代に学ぶのって難しい？
はじめに こんにちは。とまと🍅好きのエンジニアです。 私はこの4月に入社して、現在、データ基盤構築という業務に取り組んでいます。 つまり世の中でいう「データエンジニア」をやっています。 しかし、実を言うと今までデータエンジニアという職種を全く知らず、配属されてから初めてその存在を知りました…。
RAG開発で実際に役立った技術書5選
はじめに 自分はここ半年ほど、社内向けのRAGパイプラインとAIエージェントの構築に取り組んでいる。最初はLangChainのドキュメントとブログ記事だけで進めていたが、検索精度が上がらない、エージェントが暴走する、デプロイ後にレイテンシが跳ね上がるといった問題に次々とぶつかった。 そのたびにネットで断片的な情報を拾い集めていたが、根本的な理解が足りないまま場当たり的に対処している感覚が拭えなかっ…
RAG・LLM本番開発に効く技術書3選
はじめに 自分はここ半年ほど、RAGパイプラインを組んで社内ドキュメント検索を改善するプロジェクトに関わっている。最初はLangChainのチュートリアルを写経して動かしていたが、いざ本番に載せようとすると壁だらけだった。検索精度が安定しない、データの前処理が属人化する、モデルの評価基準が曖昧——そんな課題にぶつかるたび、断片的なブログ記事では解決できない根本的な理解の不足を痛感した。 そこで頼っ…
【書評】データエンジニアリングの基礎 ―データプロジェクトで失敗しないために
はじめに データ基盤の話になると、いつのまにか「どのツールを使うか」という議論になりがちです。Snowflakeか BigQueryか、dbt を入れるか、Airflowか Dagsterか。もちろん重要な論点ではありますが、その手前にある「そもそも何を作ろうとしているのか」「なぜそれが必要なのか」という問いは、意外と語られないまま進んでしまいます。 本書『データエンジニアリングの基礎』は、まさに…