Abnormally Distributed

統計解析担当のライフサイエンス研究者 -> データサイエンティスト@コンサル

Coursera:AI for Medicine Specializationの受講記録③

随分間が開いてしまったが、AI for Medicine Specializationの3つ目のコースも受講完了したので、レビューしておく。 Course3. AI for Medical Treatment 治療のためのAIというタイトルで、治療効果の分析の他、テキストデータの分析や機械学習モデルの解釈…

Coursera:AI for Medicine Specializationの受講記録②

AI for Medicine Specializationの2つ目のコースも受講完了したのでレビューしてみる。 Course2. AI for Medical Prognosis Prognosisは日本語だと「予後」であり、病気の今後の見通しといった意味になる。予後を予測することで、病気のリスクが分かり、予防…

Coursera:AI for Medicine Specializationの受講記録

CourseraでAI for Medicine Specializationを受講してみた。Andrew Ng先生で有名なdeeplearning.aiが提供している。 構成としては、AI for Medical Diagnosis. AI for Medical Prognosis, AI for Medical Treatmentの3つのコースからなり、受講目安時間はそ…

LDAによるトピックモデル ②gensimによる実装

前回の記事ではLDAの概要や関連手法、確率モデルについて書いた。 今回はPythonのgensimというライブラリを用いて、LDAを実践してみる。 その前に、前回触れていなかったトピックモデルの評価方法について説明する。 評価指標 LDAは教師なしモデルであり、精…

LDAによるトピックモデル ①概要と確率モデル

トピックモデルはテキストデータの潜在的意味の解析に用いられる統計モデルの総称である。 ここでは一番有名なモデルである、Latent Dirichlet Allocation (LDA)について説明する。 LDAとは 文書データをLDAで処理することで、文書のトピックの分類や、トピ…

Optunaの概要

仕事でOptunaを使う機会があったので、論文を軽く読んでまとめてみる。 arxiv.org Optunaとは OptunaはPFNが開発したハイパーパラメータのチューニングツールであり、近年、勾配ブースティングやニューラルネットワークのチューニングによく使われている。 …

説明変数のある時系列予測(状態空間モデル)

概要 時系列データは実務で取り扱う機会が多い。その際、予測対象の時系列データ(目的変数)と似たような変動をする他の時系列データ(説明変数)を手がかりに予測したい場合がある。 説明変数を用いて目的変数を予測する最も単純な方法として、線形回帰が…

Variational AutoEncoderのお気持ち

VAEの元論文を読んだ際のほぼ自分用まとめ記事。 VAE自体の分かりやすい解説記事は下記リンクを参照。 qiita.com 猫でも分かるVariational AutoEncoder from Sho Tatsuno www.slideshare.net 1. Auto-Encoding Variational Bayes (Diederik P Kingma, Max We…

EMアルゴリズムを可視化で理解

EMアルゴリズムは潜在変数を含む確率モデルのパラメータ推定に用いられる最適化手法。 有名な手法だが、あまりちゃんと理解していなかったので、PRMLで勉強してみた。 ここでは数式を書くのは辛いので、可視化でイメージを掴んでもらえればと思う。 潜在変数…

Wishart分布の可視化

ベイジアンモデリングで多次元正規分布の共分散行列の事前分布を設定することがある。 その際、よく取り上げられるのがWishart分布である。Wishart分布は多次元正規分布の精度行列(分散共分散行列の逆行列)に対する共役事前分布になることが知られている。…

「基礎からのベイズ統計学」の例を実装しながら理解する(①MH法まで)

「基礎からのベイズ統計学」で紹介された例をPythonで実装してみる。この記事は基本的には備忘録であり、書籍で詳しく解説してある部分は省略し、ポイントと実装して確認した結果のみ記載する。基礎からのベイズ統計学: ハミルトニアンモンテカルロ法による…

行列のランクが意味すること(Pythonで可視化)

最近、こちらの本を参考に、線形代数を復習している。プログラミングのための線形代数作者:和幸, 平岡,玄, 堀発売日: 2004/10/01メディア: 単行本 行列は「写像」であるという観点で、行列式、固有値などが空間上で何を意味するかを説明していて、個人的には…

2017転職活動まとめ①〜エージェント〜

初めての転職活動がほぼ終わったので、まとめてみる。 現職のメーカーTには2016年4月に入社した。入社前から元々、ちょっと違うかもなーとは思っていて、新人導入研修でこの会社無理そうだと悟った。笑 転職活動を始める、となるとまずはエージェントの登録…