こんにちは！たかぱい（@takapy0210）です。 本記事はKaggle Advent Calendar 2019の14日目の記事です。 昨日はkaggle masterのアライさんのKaggleコード遺産の記事でした！ とても参考になり、いくつか自分の遺産にも取り入れさせていただきました。 さて本…
こんにちは！たかぱい（@takapy0210）です。 本記事は、AI道場「Kaggle」への道 by 日経 xTECH ビジネスAI① Advent Calendar 2019の10日目の記事です。 今回は、最近よく使用しているCategory Encodersを動かしてみた結果をまとめてみようと思います。 Categ…
こんにちは！takapy（@takapy0210）です。 今回は、昨日（11月23日）行われた atmaCup#2に参加してきましたので、振り返りや諸々の感想などを残していければと思います。 このような経験の振り返りに関しては、YWTのフレームワークを使うと良いという噂を聞…
こんばんは。takapy（@takapy0210）です。 今日はpythonの小ネタです。 サマリ 手順 ipywidgetsのインストールとjupyterの設定 コード 最後に サマリ 下記のように、headerを固定しながら一覧をスクロールすることができます。 手順 ipywidgetsのインストー…
こんにちは。takapy（@takapy0210）です。 最近下記のような勉強会が賑わっており、論文を読む機運が高まってきているのでは？と思い始めています。 lpixel.connpass.com しかし、そもそも自分の読みたい内容の論文を探すのが難しかったり、時間がかかったり…
こんにちは。takapy（@takapy0210）です。 コンピュータで自然言語を扱う場合は、単語（文書）を何らかの形で数値表現に変換する必要があります。 単語の分散表現を得る方法の一つとして、gensimのword2vecを使うことはよくあると思うのですが、本日はGloVe…
こんばんは。takapy（@takapy0210）です。 本日はAWS Summitの初参加レポです！ 2019年 6月 12日 (水) 〜14日 (金)の3日間開催されており、自分は13日(木)に参加してきました！ 着いた！ #AWSSummit pic.twitter.com/EacyHHETlc— takapy（たかぱい） (@takap…
こんにちは。takapy（@takapy0210）です。 待ちに待った（？）GWです。今年は10連休&元号が変わるということで、若干のお祭りモードを感じます。 5月6日に「10連休何やってたんだっけ・・・」とならないように、適度に勉強もしていきたいな！と思っていたり…
こんにちは。takapy（@takapy0210）です。 今日はDockerで機械学習の環境を作成したのでそれの備忘です。 はじめに できること Dockerって何 Dockerのインストール 環境構築方法 Dockerイメージのpull コンテナの起動 補足 mecab-ipadic-neologdの使用方法 D…
こんばんは。takapy（@takapy0210）です。 本記事は、転職カウントダウンカレンダー 最終日の記事です。 （最終日と言いつつまだ埋まっていない日付があるので、これは後々埋めます） www.takapy.work いわゆる退職（転職）エントリです。 本日、2019年2月28…
こんにちは。takapy（@takapy0210）です。 本記事は、転職カウントダウンカレンダー 8日目の記事です。 www.takapy.work はじめに 第2章: UNIXコマンドの基礎 10. 行数のカウント 11. タブをスペースに置換 12. 1列目をcol1.txtに，2列目をcol2.txtに保存 13…
こんにちは。takapy（@takapy0210）です。 本記事は、転職カウントダウンカレンダー 7日目の記事です。 www.takapy.work はじめに 00. 文字列の逆順 02. 「パトカー」＋「タクシー」＝「パタトクカシーー」 03. 円周率 04. 元素記号 05. n-gram 06. 集合 07.…
こんにちは。takapy（@takapy0210）です。 本記事は、転職カウントダウンカレンダー 6日目の記事です。 www.takapy.work はじめに ランダムフォレストとは 異なる決定木を作るための2つの乱数選択 ブーストラップサンプリング 特徴量選択 簡単に図で説明 pyt…
こんにちは。takapy（@takapy0210）です。 本記事は、転職カウントダウンカレンダー 5日目の記事です。 www.takapy.work はじめに Dockerのネットワーク ブリッジネットワーク ユーザ定義のブリッジネットワークを作成する Dockerのデータ管理 volumeを使用…
こんにちは。takapy（@takapy0210）です。 本記事は、転職カウントダウンカレンダー 4日目の記事です。リフレッシュを兼ねてDocker以外の記事を挟みます。 www.takapy.work はじめに SlackのWorkspaceにIncoming Webhookを登録 AWS Simple Queue Serviceの作…
こんにちは。takapy（@takapy0210）です。 本記事は、転職カウントダウンカレンダー 3日目の記事です。 www.takapy.work はじめに Automated Build（自動ビルド）について DockerHub上での設定 自動ビルドを実行してみる 自動ビルドしたイメージをPullしてみ…
こんにちは。takapy（@takapy0210）です。 本記事は、転職カウントダウンカレンダー 2日目の記事です。 www.takapy.work はじめに ホスト型仮想化とコンテナ型仮想化の違い 仮想化のオーバーヘッド 従来の仮想化（ホスト型仮想化） コンテナ型仮想化 アプリ…
こんばんは。takapyです。 本記事は、転職カウントダウンカレンダーの1日目の記事です。 www.takapy.work 3月より入社する職場からMacを支給されたので、環境構築がてら手順の備忘をまとめておこうと思います。 python関連 Homebrew pyenv pyenvでpythonをイ…
こんばんは。takapyです。 本記事はVSCode拡張機能の備忘です。 python関連 Git関連 その他 python関連 marketplace.visualstudio.com marketplace.visualstudio.com marketplace.visualstudio.com Git関連 marketplace.visualstudio.com marketplace.visual…
こんにちは。takapy（@takapy0210）です。 本日現職での最終出社日を終え、月末まで有給休暇です。（新しい職場は3月1日入社予定） この期間を有効活用したいと思っていろいろ考えていたところ、ふとアドベントカレンダー的なものをやれば有意義に過ごせるの…
こんにちは。takapy（@takapy0210）です。 本記事もUdemyで受講した講座のまとめ記事です。（朝活頑張った） 講座はこちら 手を動かしながら2週間で学ぶ AWS 基本から応用まで RDSについて 特徴 ELBについて 特徴 ELB設計ポイント 設定手順 S3 特徴 利用シー…
こんにちは。こんばんは。takapy（@takapy0210）です。 本記事もUdemyで受講した講座のまとめ記事です。 講座はこちら 手を動かしながら2週間で学ぶ AWS 基本から応用まで AWSのネットワークの基本のキ リージョン VPC サブネット アーキテクチャ例 セキュリ…
こんにちは。こんばんは。takapy（@takapy0210）です。 環境構築で少しつまづいたので、備忘です。例のごとく、$で始まる行はコマンドです。 環境 pyenvのインストール python3.6.0のインストールでエラー 解決方法 環境 モデル：Mac book Pro 15インチ OS：…
はじめに 主成分分析（PCA）とは 固有値と寄与率と累積寄与率 固有値 寄与率 累積寄与率 cancerデータセットで主成分分析 ロジスティック回帰でテスト 標準化 学習 主成分分析で寄与率を確認 2次元まで圧縮してプロット PCAの欠点 主成分分析後のデータでロ…
本日は特徴量エンジニアリングの重要性について、scikit-learnでの簡単な実装を交えながら書いてみようと思います。 はじめに 特徴量エンジニアリング 単変量統計 検証の概要 検証 cancerデータの読み込み ノイズデータの生成 単変量特徴量選択 ロジスティッ…
udemyの下記講座でAWSの基礎を学びました。 丁寧な解説と分かりやすいスライドにより、AWSの0→1を学ぶことができ、とても勉強になりました。 手を動かしながら2週間で学ぶ AWS 基本から応用まで 本記事はそれの備忘録です。何回かに分けてまとめていこうと思…
年末〜学習している日本語口コミデータの解析について一区切り（？）ついたので、まとめてみようと思います。 はじめに データ読み込み & EDA データの読み込み EDA 前処理（欠損値、形態素解析&分かち書き、ストップワード除去） 欠損値削除 数字の扱い Mec…
本日は、TF-IDFについて簡単に勉強してみたので、それのまとめです。 TF-IDFとは Term Frequency Inverse Document Frequency TF-IDF(Term Frequency - Inverse Document Frequency)を求める scikit-learnで計算してみる TF-IDFとは Term Frequency - Invers…
前回に引き続き、後編です。 www.takapy.work 前編の簡単な復習 言語モデル 言語モデルにおけるフィードフォワード型ニューラルネットワーク（word2vec）の問題点 RNN BPTT(Backpropagation Through Time) BPTTの問題点 Truncated BPTT Truncated BPTTのミニ…
「ゼロから作るDeepLearning2」を読了しましたので、要点や自分なりの解釈をまとめておきます。 www.oreilly.co.jp まとめていたら長編になってしまったため（それってまとまってなくね？）、前編と後編に分割することにしました。 自然言語と単語の分散表現…