yomitech

データサイエンティスト・データエンジニアのための Python ライブラリ一覧

データ分析やデータ加工、機械学習などを行うのに便利な Python ライブラリを紹介する。 なぜ Python なのか 統計や機械学習をするなら、 R という選択肢もある。 R のデータの加工や集計、統計処理に優れた言語であり、言語標準の機能だけでかなりのことができる。機械学習のライブラリも充実しており、有力な選択肢であることは間違いない。 R と比較して Python が優れている点は、周辺エコ…

sciket-laernのiris・cancerデータセットに色々なクラス分類アルゴリズムを一気に適用してみる

動機 Pythonによる機械学習( の第2章で紹介されている、教師あり学習クラス分類アルゴリズムを実際に試してみたかったので投稿。 とりあえず動けば良いやの精神で書いているので、コードが汚い点は無視してください!(^^)! 今回実行してみた教師あり学習アルゴリズムの一覧

人工知能について学んでみた（２ヶ月）

人工知能(AI)について２ヶ月学んできました。 AI初心者のAI初心者によるAI初心者のためのAI超入門的な記事を書いてみようと思います。 人工知能に興味がある、またはこれから人工知能を学んでみようという方にとって、少しでも参考になれば幸いです。 できるだけ「Simple & Short」に書くことを心がけます。 まだまだ未熟者なので、誤った内容などがあればご指摘いただけたらと思います。

ブックマークしてあった、データサイエンスなどの記事約1年分のリンク集（2018年5月ごろまで）

- 個人的にはてぶでブックマークしていた記事、2018年5月初旬ごろまでの、AIだったり分析だったりその他のカテゴリの約1年分くらいのリンク集です。 - 読む前に、あとで読む指定していて、ブックマークに入っていたものも結構含みます。（後ではてぶコメントなど見た際に、賛否両論だった記事などもそのままです） - リンク切れチェックなどは省いたため、切れていたらご容赦ください。 - Qiitaの記事は、…

[機械学習] iris データセットを用いて scikit-learn の様々な分類アルゴリズムを試してみた

この記事で紹介させていただくこと iris データセットを用いて、scikit-learn( の様々な機械学習分類アルゴリズムを試してみた記事です。まず、 iris データセットの説明を行い、次に各分類手法を試していきます。 やっていて感じたのは、scikit-learn は入門用の教材として、とてもとっつきやすかったです。また、書籍『Python ではじめる機械学習 scikit-learn で…

Python 3 エンジニア認定基礎試験の受験記とPython教材

最近Pythonの勉強をしています。 そんな中この試験の存在を知り受験しました。 この記事では、受験記＋今までPythonの勉強に使った教材のご紹介をしたいと思います。 なおPython 3 エンジニア認定基礎試験に関しては、こちらの記事を参考にさせて頂きました。 Python 3 エンジニア認定基礎試験の勉強法と受験した感想(

機械学習に興味を持った素人がこれまで読んできた本

私は人工衛星みたいな宇宙機の開発が専門で、機械学習については完全な素人です。というか、そもそもプログラミング自体が素人。 ひょんなことから機械学習に興味を持って、これまで独学で勉強を続けているのですが、機械学習を勉強するにはどんな本がおすすめか？みたな記事をいろんな方が書いていて、大いに参考にしてきました。ですので、ひょっとして誰かの役に立つかもしれない、と思い、私がこれまで読んできた本もご紹介し…

タイタニックデータの機械学習モデル作成の流れ

この記事について この記事は、独学で書籍や Web 上の情報をみながらタイタニックデータの機械学習モデル作成を実施した内容のまとめです。以下の内容について記載しています。 前処理（欠損値の補完、型変換、binning) 様々な機械学習ライブラリでモデルを作成 交差検証

【書籍まとめ】データサイエンス初心者が1年間で読んだ本

プログラミング経験ゼロから、1年間で読んできたPython、数学、統計学、資格、機械学習、深層学習などの主な書籍をまとめています。Qiitaには別の諸先輩方が記載している書籍まとめ記事がいっぱいありますが、そもそもプログラミング自体も知らない本当の素人が試行錯誤して読んできた本をここに備忘録的にもまとめておきます。 バックグラウンド - 大学院では脳神経科学の研究室にいた生物系 - 物理、微分積分…

データ分析の学習にエンジニアへ薦めている本をまとめてみる

はじめに 仕事の都合上、データ分析未経験なエンジニアに集計や基本的なデータ分析手法を使えるように、色々教えてきました。 業務の中で教えながら進められるように工夫はしつつも覚えることが多い領域なので、ある程度は自分で勉強してもらわないといません。 その際に、おすすめしている本を紹介します。 前提として、Pythonに限らず「プログラミングを一定水準以上書ける」「大学レベルの数学が分かる」「ITパスポ…

機械学習を学んだ経験の活かし方

はじめに 機械学習をどう学んだか by 日経 xTECH ビジネスAI② Advent Calendar 2019の20日目の記事です。 第三次AIブームと言われるようになって久しいですが、私自身が2017年にいわゆるAIと呼ばれる技術群に触れてから今までどのように学んできたか、そしてその経験をどのように活かしているかまとめました。 機械学習をどう学んだか IBM Watson（2017年頃）

機械学習の書籍多いけど、どれ買えば良いの？レベル別にオススメ！！＜初心者向け＞

はじめに <img width="617" alt="スクリーンショット 2020-02-04 11.51.30.png" src=" 機械学習の書籍多いけど、どれ買えば良いのかをレベル別にオススメします。 レベルはレベル1レベル5の五段階です。 今の自分にあったレベルから書籍を選んでみて下さい。

機械学習の実装とアルゴリズムをバランス良く学べる書籍を執筆しました

scikit-learnライブラリを用いて、機械学習の実装とアルゴリズムをバランス良く学んでいただく書籍を執筆しました。 AIエンジニアを目指す人のための機械学習入門 実装しながらアルゴリズムの流れを学ぶ（電通国際情報サービス 清水琢也、小川雄太郎 、技術評論社）( 既に発売開始しています。 機械学習の ・各種アルゴリズムの実装

【最短で理解する】データ分析のためのPython基礎

はじめに Pythonを使ってデータ分析をしてみたい...とか、ゼミや研究でPythonを使うことになったけどプログラミングやったことない...という方へ。 これさえわかればとりあえず基礎は大丈夫です （多分）。知識のおさらいに使うのもありだと思います。 まず、汎用的なPythonの文法の基礎を最小限扱ってから、データ分析に用いる基本的な道具やテクニックについて記載しています。 Pythonの基本…

【初心者】プログラミング初心者が機械学習を学び始めた。

プログラミング初心者が機械学習を学び始めた。 はじめに 機械学習に全く触れたことがなかった理系修士学生です。データサイエンスという分野に興味が湧き、勉強し始めました。 いまだ初心者同然ですが、自分は最初何から手をつけていいかわからず、無駄な時間を過ごしてしまったので、そんな方の手助けになればいいなと思います。 やったこと

プログラミング初心者が機械学習を1ヶ月ガチで勉強してみた〜勉強法まとめ、勉強の記録〜

はじめに 2020年5月11日2020年6月11日までの丸々1ヶ月間、ほとんどの時間を機械学習の勉強に費やすと、どこまで到達できるかを実験したくなりこの企画を始めました。 この記事ではその勉強の記録をまとめています。 そもそもこの企画をやってみようと思ったのは、機械学習をゼロから1ヵ月間勉強し続けた結果( 自分の記事も、これから機械学習の勉強を始める際のきっかけになると幸いです。

【Python】サポートベクタマシン（SVM）を使って画素値からりんごと梨を分類

1. 概要 今回は機械学習の一種、サポートベクタマシン（英：Support Vector Machine, SVM）を使用してりんごと梨の分類を行いました。りんご、梨それぞれ10個の画像の画素値（平均値）を用いて2成分でSVMにかけることで分類出来るか調査しました。 ちなみに、SVMというのは全てのデータポイントではなく、境界付近の一部のデータポイントをピックアップして、境界を決定する手法になりま…

プログラミング初心者の学生が2年間で読んだ本の中でオススメを紹介する

目次 01. はじめに(1-はじめに) 02. ネットワーク(2-ネットワーク) 03. データベース(3-データベース) 04. セキュリティ(4-セキュリティ)

Kaggle Expertになるまで勉強したことを全て書く

はじめに こんにちは。Yuki | Kagglerです！ 先日、Shopeeコンペの順位が確定して銀メダルをいただき、晴れてCompetition Expertになることができました。区切りがいいのでここまで取り組んできたことをまとめてみました。<br ※ 6/28追記：Amazonのリンクが切れていたので貼り直しました！<br <blockquote class="twitter-tweet"<…

データサイエンス+周辺知識を勉強するために参考にしている本・教材まとめ

データサイエンティストについて調べると必要なスキルとしてエンジニアリング力、データサイエンス力、ビジネス力と言われているので、幅広く勉強するようにはしています。以下書籍、動画などもビジネス分野も含め幅広く整理してみました。まとめてみたら多すぎたので、目的に応じて少しでも誰かの参考になれば幸いです。 勉強するための本や教材を選ぶ際には、実際にデータサイエンティストやデータアナリストとして活躍されてい…

「16bitセンセーション ANOTHER LAYER」が好きなエンジニアに「マンガ ドラゴンクエストへの道」を薦めようと思ったけれど廃刊でした

Supership( はじめに もはやタイトルに本記事の全要素が詰め込まれていますが、お時間あれば最後までお付き合いください。 先日「技育祭2023【秋】で45分間の登壇を務めたので、スライド作成や発表準備の要点を残します( この登壇においていくつかの書籍を紹介させていただきました。

データ分析を最短ルートで身につける

はじめに 皆さんはデータ分析にはどのようなイメージをお持ちですか？ 「ビジネス上でのデータ分析」「データサイエンス」「機械学習(ML)やAI」など様々なイメージをお持ちの方が多いかもしれません。 データ分析は一般的に 「収集した情報の整理、加工、取捨選択を経て分析するプロセス」(

【教材まとめ】これ全部やったら流石に誰でもつよつよAIエンジニアになれる

はじめに 本記事ではAI知識ゼロから始めてAIエンジニアとして実務にチャレンジできるレベルを目指してロードマップ形式でコンテンツをまとめました。 生成AIの台頭、SakanaAIの大型資金調達やGoogleの研究者（ヒントン氏ら）のノーベル賞受賞も重なり、さらにAIへの注目が集まっている状態かと思います。 しかし初学者にとって、AIを学ぶハードルはまだまだ高いのが現状です。AIをツールとして活用す…

画像AI大全　事前学習ガイド

はじめに この記事は、画像AI大全シリーズ を読み進めるために必要な、以下の事前知識を勉強するためのおすすめの書籍・サイトを紹介します。 - Python: 関数、クラス等の文法が分かる - 数学: 高校レベルの行列、微分知識