ギークなエンジニアを目指す男

機械学習系の知識を蓄えようとするブログ

Luigiを使って機械学習パイプラインを構築する3つのメリット

みなさんこんにちは。たかぱい(@takapy0210)です。 本エントリでは、(今更ながら)Luigiを使ってみて感じたメリットをつらつら書いています。 最後にはTitanicのコードを使って実際の機械学習パイプラインを構築してみた例も載せているので、よければ参考…

M1 Macのdocker環境にテクニカル指標計算ライブラリ「TA-Lib」をインストールする方法

みなさんこんにちは。たかぱい(@takapy0210)です 本日はM1 Macの分析コンテナ環境に株価分析ライブラリのTA-Lib*1をインストールする際に結構苦労したので、その備忘です。 Dockerfileの内容とエラー内容 こちらのサイト*2などを参考に以下のようなDockerf…

TensorFlow × HuggingFace Transformers(TFBertModel)を用いたモデルの保存時に発生するエラーの回避方法

みなさんこんにちは。たかぱい(@takapy0210)です。 本日はTensorFlow×Transformers周りでエラーに遭遇した内容とそのWAです。 環境 実装内容 エラー内容 エラーの原因 ワークアラウンド なんでこれで解消できるのか? モデルの保存方法 参考 環境 実行環境…

Google ColabとVSCodeを用いた分析環境運用方法 〜kaggle Tipsを添えて〜

こんにちは。takapy(@takapy0210)です。 本エントリは下記イベントでLTした内容の元に、補足事項やコードスニペットなどをまとめたものになります。 kaggle-friends.connpass.com ちなみに今回LTしようと思ったきっかけは以下のような出来事からだったので…

PandasからBigQueryにデータを保存する際に「Resources exceeded during query execution: UDF out of memory. ..... columns is too large」エラーが出た時の対処方法

こんにちは。takapy(@takapy0210)です。 表題の件で少し困ったので、備忘がてら記事に残しておこうと思います。 やろうとしていたこと エラー内容 該当箇所のコード work around 最後に やろうとしていたこと BigQueryのPython SDKを用いて、Pandasで読み…

【言語処理100本ノック 2020】 8章をPythonで解いた(TensorFlowを使用)

こんにちは。takapy(@takapy0210)です。 本エントリは言語処理100本ノック2020の8章を解いてみたので、それの備忘です。 簡単な解説をつけながら紹介していきます。 ネット上に掲載されている解答例はPytorchによる解法が多かったので、TensorFlowを用いて…

【言語処理100本ノック 2020】 7章をPythonで解いた

こんにちは。takapy(@takapy0210)です。 本エントリは言語処理100本ノック2020の7章を解いてみたので、それの備忘です。 簡単な解説をつけながら紹介していきます。 nlp100.github.io コードはGithubに置いてあります。 github.com 第7章: 機械学習 単語の…

【言語処理100本ノック 2020】 6章をPythonで解いた

こんにちは。takapy(@takapy0210)です。 本エントリは言語処理100本ノック2020の6章を解いてみたので、それの備忘です。 途中まで解いて放置していました()が、続きをやる機会を得たので簡単な解説をつけながら紹介していきます。 nlp100.github.io 例に…

atmaCup振り返り回でLTをしました(word2vecを利用した埋め込み分析と SWEMを用いた比較実験)

概要 2021.02.18に行われた「atmaCup#9 オンサイトデータコンペ振り返り回」*1でLTをしました。 運営の方に許可をいただいたので、発表資料を公開します。 SWEMのサンプルコード スライド中で紹介しているSWEMのコードはGithubにあげていますので、よければ…

【書籍メモ】分析者のためのデータ解釈学入門を読んだ

こんにちは。takapyです。 本日は「分析者のためのデータ解釈学入門」を読んだので、そのメモ書きです。 (完全に自分用の備忘録なので、雑になっています) 分析者のためのデータ解釈学入門 データの本質をとらえる技術作者:江崎貴裕発売日: 2020/12/15メデ…

2021年の目標と行動指針

年末に振り返りやすいように、目標や行動指針をデプロイしておきます。 早寝早起き 適度な運動 音声入力を積極的に使う 行動のログを残す 月末にその月のざっくり振り返りを行う 本を読む 分析コンペのNLP&Tableデータでメダルを取る 統計検定2級を取る 仕事…

分析コンペをチームで戦うための技術

こんにちは。takapy(@takapy0210)です。 本記事はKaggle Advent Calendar 2020 22日目の記事です。 明日は、本エントリで紹介するMoAコンペでチームを組んだsinchir0さんの予定です。 タイトルからしてとても楽しみです!(プレッシャー) qiita.com はじ…

家族としてレベルアップするために行っていること

本記事はコネヒト Advent Calendar 2020の17日目の記事です。 qiita.com こんにちは。takapy(@takapy0210)です。 急に寒くなってきましたね。 在宅勤務していると、どうしても足下が寒くなるので最近は遠赤外線デスクヒーターを買うか迷っています。 みな…

レコメンデーションに用いられるMatrix Factorization(行列分解)をTensorFlow.kerasで実装してみる

Vectorpouch - jp.freepik.com こんにちは。takapy(@takapy0210)です。 本記事はコネヒト Advent Calendar 2020の10日目の記事です。 qiita.com みなさんハイキューという漫画(アニメ)はご存知でしょうか。 高校バレーボールを題材にしたスポーツ青春漫…

Data Engineering Study #1「DWH・BIツールのこれまでとこれから」 参加ログ

こんにちは。takapy(@takapy0210)です。 今回は本日参加したイベントの備忘です。 forkwell.connpass.com どのLTもとても勉強になるイベントでした。 資料は後ほど公開されるものもあるみたいなので、公開され次第追記しようと思います。 Twitterでは #Dat…