yomitech

Webエンジニア1年目の自分に捧げたい本・記事を超まとめ

そろそろWebエンジニア3年目の折り返しになるので、Webエンジニアとして働く中でこれまで読んできた情報たちをまとめようと思い立ちました。 エンジニア3年目の今だからこそまとめられる情報として、「エンジニア1年目の１年間で読んでおきたかったな〜。」という本と記事をまとめておきます。 まとめ始めたら楽しくなってしまい、情報量が多くなってしまった...。全部手に取るのは不可能だと思うので、サーっと目を…

Scrapyでスクレイピング（その1 準備編）

関連記事 その2 事前調査編( Gitリポジトリを作成してから空プロジェクトのコミットを行うまでの手順を簡単にまとめます。 開発環境 Ubuntu 18.04.5 LTS (Bionic Beaver)

Scrapyでスクレイピング（その2 事前調査編）

これから数回の記事に分けて、シンプルな（JavaScriptを伴わない）Webページをスクレイピングしてテキストデータと画像データの収集を行います。 すべての記事を読めば以下のことが理解できるようなものにする予定です。 スクレイピングをするにあたりどんな順番で何をすべきか Scrapyがどういう原理で動作するのか Scrapyを使ったシンプルなWebページのスクレイピング方法

Scrapyでスクレイピング（その3 Scrapy Shell編）

前回の記事( そして、PHOTO HITO( 今回の記事では以下のことを行います。 Scrapy Shellの使い方を簡単に説明します。 Scrapy Shellを使用して目的情報の抽出方法を検討する際の流れを、具体的なコードを踏まえて説明します。

Scrapyでスクレイピング（その4 Spider実行編）

Scrapyではスクレイピングの主な処理をSpiderクラスに実装します。 今回の記事ではSpiderクラスの実装方法とScrapyの実行方法を説明します。 今までの記事 Scrapyでスクレイピング（その1 準備編）( Scrapyでスクレイピング（その2 事前調査編）(

MeCabをブーストさせよう

はじめに MeCabとは日本語の形態素解析器をいいます。ここで、形態素というのは言語で意味を持つ最小単位のことです。分割された単語をベクトル化したり、各語彙の頻度を調べたりするために、最小単位に分割するモチベーションが生じます。 そもそもなぜ、形態素解析なんかやるの？っていう動機については、 とかに書かれている通り、(上記の記事では、単語の分割が形態素解析に当たります)、分割された単語をベクトル化…

【Python】RoboBrowserを使ってナナコの残高を Slack に送る

この記事はRoboBrowserを使ってWebページにログインしてクローリング - TIL( 最近、下の本を読んでいる。RoboBrowserと言うものがあるらしいので、使ってみたときのメモ Pythonクローリング&スクレイピング -データ収集・解析のための実践開発ガイド- | 加藤 耕太 |本 | 通販 | Amazon( なんか、フォームに入力したりするときには Requests で行うのは…

データ分析未経験SEがデータサイエンティストを目指す No.0 [想定ロードマップの概要]

2019/7/8 現在Kaggleのコンペに取り組んでいます。あまりアウトプットができていませんが、インプットは滞りなく進んでますので、どこかでまとめてアウトプットしたいです。 私は現在SIerで勤務していますが、将来的なキャリアアップも兼ねて2019年5月より本格的にデータサイエンティストに向けての勉強を行っています（SIerについての私の愚痴を言ってるだけの記事はこちら( 今後実際に勉強してき…