こんにちは。takapy（@takapy0210）です。 本日現職での最終出社日を終え、月末まで有給休暇です。（新しい職場は3月1日入社予定） この期間を有効活用したいと思っていろいろ考えていたところ、ふとアドベントカレンダー的なものをやれば有意義に過ごせるの…

こんにちは。takapy（@takapy0210）です。 本記事もUdemyで受講した講座のまとめ記事です。（朝活頑張った） 講座はこちら 手を動かしながら2週間で学ぶ AWS 基本から応用まで RDSについて 特徴 ELBについて 特徴 ELB設計ポイント S3 特徴 利用シーン 静的コ…

こんにちは。こんばんは。takapy（@takapy0210）です。 本記事もUdemyで受講した講座のまとめ記事です。 講座はこちら 手を動かしながら2週間で学ぶ AWS 基本から応用まで AWSのネットワークの基本のキ リージョン VPC サブネット アーキテクチャ例 セキュリ…

こんにちは。こんばんは。takapy（@takapy0210）です。 環境構築で少しつまづいたので、備忘です。例のごとく、$で始まる行はコマンドです。 環境 pyenvのインストール python3.6.0のインストールでエラー 解決方法 環境 モデル：Mac book Pro 15インチ OS：…

はじめに 主成分分析（PCA）とは 固有値と寄与率と累積寄与率 固有値 寄与率 累積寄与率 cancerデータセットで主成分分析 ロジスティック回帰でテスト 標準化 学習 主成分分析で寄与率を確認 2次元まで圧縮してプロット PCAの欠点 主成分分析後のデータでロ…

本日は特徴量エンジニアリングの重要性について、scikit-learnでの簡単な実装を交えながら書いてみようと思います。 はじめに 特徴量エンジニアリング 単変量統計 検証の概要 検証 cancerデータの読み込み ノイズデータの生成 単変量特徴量選択 ロジスティッ…

udemyの下記講座でAWSの基礎を学びました。 丁寧な解説と分かりやすいスライドにより、AWSの0→1を学ぶことができ、とても勉強になりました。 手を動かしながら2週間で学ぶ AWS 基本から応用まで 本記事はそれの備忘録です。何回かに分けてまとめていこうと思…

年末〜学習している日本語口コミデータの解析について一区切り（？）ついたので、まとめてみようと思います。 はじめに データ読み込み & EDA データの読み込み EDA 前処理（欠損値、形態素解析&分かち書き、ストップワード除去） 欠損値削除 数字の扱い Mec…

本日は、TF-IDFについて簡単に勉強してみたので、それのまとめです。 TF-IDFとは Term Frequency Inverse Document Frequency TF-IDF(Term Frequency - Inverse Document Frequency)を求める scikit-learnで計算してみる TF-IDFとは Term Frequency - Invers…

前回に引き続き、後編です。 www.takapy.work 前編の簡単な復習 言語モデル 言語モデルにおけるフィードフォワード型ニューラルネットワーク（word2vec）の問題点 RNN BPTT(Backpropagation Through Time) BPTTの問題点 Truncated BPTT Truncated BPTTのミニ…

「ゼロから作るDeepLearning2」を読了しましたので、要点や自分なりの解釈をまとめておきます。 www.oreilly.co.jp まとめていたら長編になってしまったため（それってまとまってなくね？）、前編と後編に分割することにしました。 自然言語と単語の分散表現…

先日宣言しておりました下記について、エラーなども解消し無事に動くところまでできました。 www.takapy.work 自然言語処理の学習のためのデータ集めなどをしている。自分の好きなデータだとやる気が出ると思っての題材選定だが、腹しか減らん。 pic.twitter…

あけましておめでとうございます。 本日は2019年1本目の記事ということで、完全なポエムです。 2018年の簡単な振り返りと、今年2019年の目標を立てていこうと思います。 そして2019年12月31日に、その年の振り返りをする際のたたき台になれば良いかな、とい…

来年3月からMLエンジニアとして仕事をしていくわけですが、なるべく実力をつけた状態で新しい職場にいきたいので、年末年始という大型連休をどうにか有効に使えないかと考えました。 新しい職場では、まずは自然言語処理業務に関わると聞いているため、せっ…

年末年始で自然言語処理の勉強をするため、Mecabをインストールして使ってみました。 その時のインストール手順などの備忘録です。 インストール環境 インストール手順 Homebrew Mecabと辞書をインストール mecab-ipadic-NEologdをインストール Pythonバイン…

本記事は、kaggle Advent Calendar 2018の17日目の記事です。 qiita.com 何を書くか直前まで悩んでいましたが、16日に参加したAIもくもく会の中で、 機械学習に興味はあるけど、どのような手順で、何から勉強していったら良いかわからない という方が数名い…

おすすめ頂いたリーダブルコードを読了しました。 個人的に多くの知見を得ることができ、また、汎用的に利用できる知識が多くこれからのコーディングに少なからず影響を与えてくれる書籍でした。 今日はその中でも肝に命じておきたいこと、所感などまとめて…

10月8日（月）に技術書典に初めて参加してきました！ 技術書典ってなに？って方はこちら techbookfest.org なぜ参加しようと思ったか 戦利品 参加してみて 次に参加するときに注意したい点 なぜ参加しようと思ったか ある日、Twitterで 技術書展 なるエンジ…

9月6日、キカガクさん主催のイベントに参加してきました。 AI人材になるためのアクションプランとは？～転職市場の実例からイメージを掴む～ kikagaku.connpass.com 転職エージェント（AI領域）の方のお話が聞けるイベントには今年2回目の参加でしたが、多く…

現在、7月9日より開催されているkaggler-jaというslackグループのin-classコンペに参加しています。 今日はその途中経過を報告したいと思います。 また、このモデルを構築するまでに試行錯誤したことなど、最後にまとめてありますので良ければご参考になさっ…

こんばんは。 今日はクラス分類に用いることができる線形モデルを紹介します。 （ロジスティック回帰がメインです） それぞれの線形モデルの境界線を表示してみる 正則化パラメータ：Cの変更 ロジスティック回帰とcancerデータセット p.s. 第100回 甲子園大…

今日は新宿のもくもく会に参加しております。 Kaggle-jaのInClassコンペ CSV読み込みするぞー Kaggle-jaのInClassコンペ 来週の月曜日から、Kaggle-jaでInClassコンペが開催されます。 （主催者の方、準備など本当にありがとうございます） 課題は画像認識の…

本日は回帰で頻出の線形回帰とリッジ回帰についてです。 線形回帰とは リッジ回帰 L1正規化とか、L2正規化ってなんだよ スコアを比較してみる リッジ回帰のalpha値をいろいろ変更してみる 線形回帰とリッジ回帰の係数の大きさをプロットしてみる 線形回帰と…

こんばんは。 本日は、機械学習の定番とも言える、アイリスの花のクラス分類問題をk-最近傍法を用いて解いてみようと思います。 実際、アイリスの花を分類したいというモチベーションがビジネス上役に立つかと問われると微妙ですが、学習だと割り切っていき…

こんばんは。 本日はPythonの演習ということで、素数列挙プログラムを作成しました。 ソース 解説 ソース 私が作成したソースです。 おそらくちゃんと動きます。 import math # 素数判定関数 def isPrime(num): # 2未満の数字は素数ではない if num < 2: ret…

4月に受験したデータベーススペシャリストの合格発表がありました。 taxa-program.hatenablog.com 合格発表 受験勉強開始時点の自分の能力 午前試験対策 午後試験対策 勉強してみて（実務に生かせそうか） 合格発表 情報処理技術者では、WEBページへアクセス…

前回の続きです。 推奨されている重みの初期値について、まとめます。 taxa-program.hatenablog.com 重みの初期値を0にすることの危険性 Xavierの初期値 ReLU関数の場合の重み初期値〜Heの初期値〜 まとめると 重みの初期値を0にすることの危険性 正確には、…

本日は6章を学んでいきます。 この章では、ニューラルネットワークの学習においてキーとなっている 重みパラメータの更新方法 重みパラメータの初期値設定方法 の2点について重点的に学ぶことができました。 今回は重みパラメータの更新方法について、まとめ…

本日から5章に入りました。 余談ですが、現在仕事の関係で、電車で1時間ほどかかる場所へよく出張に行っています。 普段の通勤は電車に乗る時間が15分ほどなため、ゆっくり読書などはできないのですが（もちろん、時間だけが原因でなく、混雑しているのも原…

前回に引き続き、4章で学んだことを残しておきます。 今回は、MNISTデータセットを使用して、手書き数字を学習するニューラルネットワークを構築してみます。 前回までの記事はこちら taxa-program.hatenablog.com taxa-program.hatenablog.com 2層ニューラ…