みなさんこんにちは。たかぱい（@takapy0210）です。 本エントリでは、（今更ながら）Luigiを使ってみて感じたメリットをつらつら書いています。 最後にはTitanicのコードを使って実際の機械学習パイプラインを構築してみた例も載せているので、よければ参考…
みなさんこんにちは。たかぱい（@takapy0210）です 本日はM1 Macの分析コンテナ環境に株価分析ライブラリのTA-Lib*1をインストールする際に結構苦労したので、その備忘です。 Dockerfileの内容とエラー内容 こちらのサイト*2などを参考に以下のようなDockerf…
みなさんこんにちは。たかぱい（@takapy0210）です。 本日はTensorFlow×Transformers周りでエラーに遭遇した内容とそのWAです。 環境 実装内容 エラー内容 エラーの原因 ワークアラウンド なんでこれで解消できるのか？ モデルの保存方法 参考 環境 実行環境…
こんにちは。takapy（@takapy0210）です。 本エントリは下記イベントでLTした内容の元に、補足事項やコードスニペットなどをまとめたものになります。 kaggle-friends.connpass.com ちなみに今回LTしようと思ったきっかけは以下のような出来事からだったので…
こんにちは。takapy（@takapy0210）です。 表題の件で少し困ったので、備忘がてら記事に残しておこうと思います。 やろうとしていたこと エラー内容 該当箇所のコード work around 最後に やろうとしていたこと BigQueryのPython SDKを用いて、Pandasで読み…
こんにちは。takapy（@takapy0210）です。 本エントリは言語処理100本ノック2020の8章を解いてみたので、それの備忘です。 簡単な解説をつけながら紹介していきます。 ネット上に掲載されている解答例はPytorchによる解法が多かったので、TensorFlowを用いて…
こんにちは。takapy（@takapy0210）です。 本エントリは言語処理100本ノック2020の7章を解いてみたので、それの備忘です。 簡単な解説をつけながら紹介していきます。 nlp100.github.io コードはGithubに置いてあります。 github.com 第7章: 機械学習 単語の…
こんにちは。takapy（@takapy0210）です。 本エントリは言語処理100本ノック2020の6章を解いてみたので、それの備忘です。 途中まで解いて放置していました（）が、続きをやる機会を得たので簡単な解説をつけながら紹介していきます。 nlp100.github.io 例に…
概要 2021.02.18に行われた「atmaCup#9 オンサイトデータコンペ振り返り回」*1でLTをしました。 運営の方に許可をいただいたので、発表資料を公開します。 SWEMのサンプルコード スライド中で紹介しているSWEMのコードはGithubにあげていますので、よければ…
こんにちは。takapyです。 本日は「分析者のためのデータ解釈学入門」を読んだので、そのメモ書きです。 （完全に自分用の備忘録なので、雑になっています） 分析者のためのデータ解釈学入門 データの本質をとらえる技術作者:江崎貴裕発売日: 2020/12/15メデ…
年末に振り返りやすいように、目標や行動指針をデプロイしておきます。 早寝早起き 適度な運動 音声入力を積極的に使う 行動のログを残す 月末にその月のざっくり振り返りを行う 本を読む 分析コンペのNLP&Tableデータでメダルを取る 統計検定2級を取る 仕事…
こんにちは。takapy（@takapy0210）です。 本記事はKaggle Advent Calendar 2020 22日目の記事です。 明日は、本エントリで紹介するMoAコンペでチームを組んだsinchir0さんの予定です。 タイトルからしてとても楽しみです！（プレッシャー） qiita.com はじ…
本記事はコネヒト Advent Calendar 2020の17日目の記事です。 qiita.com こんにちは。takapy（@takapy0210）です。 急に寒くなってきましたね。 在宅勤務していると、どうしても足下が寒くなるので最近は遠赤外線デスクヒーターを買うか迷っています。 みな…
Vectorpouch - jp.freepik.com こんにちは。takapy（@takapy0210）です。 本記事はコネヒト Advent Calendar 2020の10日目の記事です。 qiita.com みなさんハイキューという漫画（アニメ）はご存知でしょうか。 高校バレーボールを題材にしたスポーツ青春漫…
こんにちは。takapy（@takapy0210）です。 今回は本日参加したイベントの備忘です。 forkwell.connpass.com どのLTもとても勉強になるイベントでした。 資料は後ほど公開されるものもあるみたいなので、公開され次第追記しようと思います。 Twitterでは #Dat…
こんにちは。takapy（@takapy0210）です。 今回はProbSpaceで開催されていた「YouTube動画視聴回数予測」コンペに参加し、その中でMLflow Trackingで実験管理を行ってみましたので、簡単に振り返りをしようと思います。 ちなみに結果はPrublic 13th → Privat…
こんにちは。たかぱい（@takapy0210）です。 本日は自然言語の可視化を手軽にできるようにしたパッケージnlplotをPyPIに公開したので、これのご紹介です。 nlplotとは？ nlplotで何ができるか 使い方 使用データ 事前準備 ストップワードの計算 N-gram bar c…
こんにちは。takapy（@takapy0210）です。 自作パッケージをPyPIにアップロードしようとしたところ簡易的なミスで数時間溶かしたので、その備忘です。 エラー内容 エラー発生時のsetup.pyの内容 解決方法 やったこと 各種パッケージのアップデート 公式の書…
Stories - jp.freepik.com こんにちは。たかぱい（@takapy0210）です。 本日はお知らせっぽい宣伝です。 Podcastをはじめました どんなことを配信するの？ なぜはじめたの？ 最後に Podcastをはじめました ご縁があり、Yagiさん（@yaginuuun）とPodcastの配…
こんにちは。takapy（@takapy0210）です。 本エントリは言語処理100本ノック 2020の4章を解いてみたので、それの備忘です。 nlp100.github.io 例によってコードはGithubに置いてあります。 github.com 第4章: 形態素解析 30. 形態素解析結果の読み込み 31. …
こんにちは。たかぱい（@takapy0210）です。 本エントリは言語処理100本ノック 2020の3章を解いてみたので、それの備忘です。 nlp100.github.io 例によってコードはGithubに置いてあります。 github.com 第3章: 正規表現 20. JSONデータの読み込み 21. カテ…
こんにちは。たかぱい（@takapy0210）です。 本エントリは言語処理100本ノック 2020の2章を解いてみたので、それの備忘です。 nlp100.github.io 例によってコードはGithubに置いてあります。 github.com 第2章: UNIXコマンド 10. 行数のカウント 11. タブを…
こんにちは。たかぱい（@takapy0210）です。 本エントリは言語処理100本ノック 2020の1章を解いてみたので、それの備忘です。 nlp100.github.io コードはGithubに置いてあります。 github.com 第1章: 準備運動 00. 文字列の逆順 01. 「パタトクカシーー」 02…
こんにちは。たかぱい（@takapy0210）です。 本日は【Python実践入門】を読了したので、それの備忘です。 はじめに 全体を通して Docstring Docstringの例 ジェネレータ、デコレータ、コンテキストマネージャー ジェネレータ 具体的な使用例 デコレータ 具体…
こんにちは！たかぱい（@takapy0210）です。 本記事はKaggle Advent Calendar 2019の14日目の記事です。 昨日はkaggle masterのアライさんのKaggleコード遺産の記事でした！ とても参考になり、いくつか自分の遺産にも取り入れさせていただきました。 さて本…
こんにちは！たかぱい（@takapy0210）です。 本記事は、AI道場「Kaggle」への道 by 日経 xTECH ビジネスAI① Advent Calendar 2019の10日目の記事です。 今回は、最近よく使用しているCategory Encodersを動かしてみた結果をまとめてみようと思います。 Categ…
こんにちは！takapy（@takapy0210）です。 今回は、昨日（11月23日）行われた atmaCup#2に参加してきましたので、振り返りや諸々の感想などを残していければと思います。 このような経験の振り返りに関しては、YWTのフレームワークを使うと良いという噂を聞…
こんばんは。takapy（@takapy0210）です。 今日はpythonの小ネタです。 サマリ 手順 ipywidgetsのインストールとjupyterの設定 コード 最後に サマリ 下記のように、headerを固定しながら一覧をスクロールすることができます。 手順 ipywidgetsのインストー…
こんにちは。takapy（@takapy0210）です。 最近下記のような勉強会が賑わっており、論文を読む機運が高まってきているのでは？と思い始めています。 lpixel.connpass.com しかし、そもそも自分の読みたい内容の論文を探すのが難しかったり、時間がかかったり…
こんにちは。takapy（@takapy0210）です。 コンピュータで自然言語を扱う場合は、単語（文書）を何らかの形で数値表現に変換する必要があります。 単語の分散表現を得る方法の一つとして、gensimのword2vecを使うことはよくあると思うのですが、本日はGloVe…