粗大メモ置き場

個人用,たまーに来訪者を意識する雑記メモ

python

PandasのApply関数を使って新しい行を複数生成する

まとめ 参考にした文献 実践例 おまけ まとめ つまるところExcelでよくやる既存の列から新たにデータ列を追加するというやつです。 ポイントを箇条書きにすると: dataframeを引数に取る関数を作ってapply()関数に入れ,axis=1で処理 2つ目以降の引数はargs…

Python/Librosaを使ってAmazonで売ってるキーボード静音化リング(O-ring)の効果を検証してみた。

概要 使った機材など メカニカルキーボードの静音化 音がどんな感じに変わるのか Python/librosa を用いて定量的に評価 mp4からwavファイルの抽出 音声を取得して波形を見る 音波形を比較する 音の発生位置を特定 発生位置をあわせて比較 周波数領域(FFT)…

Python2と3が共存しているときにpipに特定のパッケージをインストールさせる(ROS+Jupyter)

Python2と3が共存する状況 解決策 余談:Jupyter ROS Python2と3が共存する状況 大原則としてPythonは仮想環境をたてて環境をかっちり分けたほうがいいです。 また,2系も今後は廃れるので早々に抜けたほうが良いです。 その上で,ROS1を使っている場合,強…

Pythonで文章整形(改行除去)DeepL翻訳の流れを自動化させてみる

会社のプロキシを通すと諸々のサービス繋げなくて困るねという話です。 概要 DeepL翻訳を使った高速英文読解 1. TKinterを用いたGUI文章整形 2. Seleniumを用いた翻訳取得 まとめ 依存パッケージインストール コード Bug Fix TODO 概要 PythonをつかってShap…

Twintを使ってTweet情報を収集する(Python3)

前回の補足のような記事です。 概要 関連記事 Python環境でのインストールと使い方 pipを用いてインストールして実行する場合 Dockerイメージをpullして実行 Pythonで出力ファイルを確認 TweetsScraperとの比較 概要 Python上で使えるTwintパッケージを用い…

SLAM_HUBさんのTweetをスクレイピングしてmarkdown資料(Marpスライド)形式にまとめる

勢いで作りましたがまだ@slam_hubさんの許可をもらってないので場合によっては後で消します>< 許諾をいただきました。どうもありがとうございます! 概要 こうなる 工程 Twitter情報を抽出 コンテンツ作成 arxivの論文情報をスクレイピング Youtubeをスクレ…

Atcoder173反省会(Bit全探索,strからchar変換,etc)

Python使用者です。慣れたらC++の訓練所としても用いたいなぁと思ってます, Atcoder173所感 各設問の反省や学習事項 C:Bit全探索 2進数変換を用いたBit全探索 iterのリストの作り方 余談:Str から Charの変換で沼った D Atcoder173所感 atcoder.jp 数え方…

Python Numpyを用いてナップザック問題をDPで解く(Atcoder例題)

Pythonでナップザック問題どうやって解くんだっけ?というときに参照するページです。 Atcoderなどリアルタイム性が必要なときはC++かPyPyで実装すること(戒め) ナップザック問題説明 Atcoder問題例 PythonのDPコード Numpy有 PythonのDPコード Numpyなし …

anacondaを使った仮想環境上のjupyterがmoduleをimportできない問題の解決 / jupyter上で環境を切り替える

起こった問題 原因 解決策 注意点:condaとpipをまぜるな jupyter上で仮想環境を切り替えられるようにする 手順概略 ハマリぽいんと 起こった問題 condaで作った仮想環境上であるパッケージ(lightgbm)をインストールした コマンドライン上で起動したpython…

① ikawidget2のデータを使ってSplatoon2での編成を評価 ~1.データ取得と集計編~

Abstract 発売から2年半経っていますがSplatoon2を未だにやってます。ここまで長いことやったゲームは初めてでつまり神ゲーってことです。 今回はSplatoon2の編成強い弱い問題を最近遊んだ機械学習ライブラリで解き明かせないかという企画になります。(なお…

Kaggle-titanicコンペのデータを用いてRandomForest,SVM,LightGBMを試す

前回のつづきです。 (注)本記事はコンペ目的ではなく,ライブラリの使用感を確かめているところで個人メモの範疇です。 ossyaritoori.hatenablog.com 前処理やデータなど RandomForest コード 何本アンサンブルすればいいの? SVM:サポートベクターマシン…

KaggleのTitanicデータに対してsklearnの決定木を試してみる

(注)コンペ目的でない素人の備忘録です。参考になるかは不明ですがコメントは歓迎します。 Kaggleとは 勉強用としてのKaggle(Titanic) メモ:Notebookの作成 コンペから探して作成 新規作成→Notebookにあとからデータを追加 sklearnの分類木ライブラリを用…

RICOH THETA_SCで多重露光・合成をしてPixel4みたいにクリアな星空を撮りたい

はじめに 戦略 Step0: 星空を撮る Step1:多重露光を合成する Step 2 星空の回転を補正する OpenCVの既存関数による位置ずれ補正 Equirectangular画像における三次元回転 ロドリゲスの回転行列の計算 変換&重ね合わせの結果 STEP3 :自動で極北を抽出(途中…

matplotlibを用いた作図テンプレート(PDF図)

より良い記法をみつけ次第更新。こだわりポイントがある人はコメントで教えてください。 結論 折れ線プロット 写真とplotを重ねる 個々の機能について Font変更 figureのサイズなどをいじる PDFにエクスポート subplot① subplot② 参考サイト 結論 折れ線プロ…

Raspberry Pi Mouseでサーボモータ(SG90)を動かす

Raspberry Pi Mouse上でのGPIOの配線 ラズベリーパイでSG90を制御する SG90用コントローラ クラス 宣伝枠 Raspberry Pi Mouse上でのGPIOの配線 SG90はラズパイ上のGPIOポートを用いて制御しますが,ラズパイマウスではそのポートは覆い隠されてしまいます。 …

MATLABでnumpyで保存したcsvファイルを開く

結論 numpy arrayの保存 こんなデータになる MATLABでcsvを開く csvread:’,’をdelimiterにしないとおかしくなる. readtable:有能 Reference 結論 書きはじめの時は,numpyで保存したcsvがmatlabに変な感じで認識されるのを不満に思っていたのですが,途…

ROSBagから画像を抽出する(image_viewを使うべきではない気がする)

問題設定 image_viewを用いて画像をエクスポート いい点 悪い点 やっていることのメモ PythonのrosbagAPIを叩く方法(推奨) rosbagファイルから特定のメッセージを抽出 おまけ:比較用ビデオ生成コード 問題設定 実験などのデータをrosbag形式で保存して静…

Python Gmail API を用いてメールの締切を自動でリストアップする①

あらまし 目指したい理想像 Gmail APIを用いたメール抽出 APIの立ち上げ Queryとマッチングするメッセージを検索 idからメッセージの本文などを抽出 提案アルゴリズム 締切に関する語句の検索(メール検索時) 締切の日時の検索(メール内検索) まとめてデ…

OpenCVで使われる座標系の作法メモ

OpenCVの座標系 前提of前提 OpenCVで使われる回転の作法 OpenCVでの座標変換計算の数式 rvecやtvecの扱い 検証用投影プログラム OpenCVの座標系 座標系というやつはどう定義されているかが非常に重要です。 従って参照にすべきはQiitaでもなく,このブログで…

Travis CIを用いたPythonパッケージのテスト管理手順

Travis CIで何ができるのか 下準備:TravisCIへの登録とリポジトリのアクティベーション .travis.ymlの作成 ハマったこと テストが通ったら 余談:リポジトリの構造について setup.pyについて あとがき 本来は公式のチュートリアルに従うのが良いと思います…

Raspberry Pi から高精度AD/DA変換ボードを用いてAD/DA入出力

Raspberry PiでAD/DA変換をする方法 高精度AD/DA変換ボード ボードのセットアップ bcm2835 のインストール 提供されているサンプル コマンドラインからDA出力を制御する自分用ライブラリ Vcc補正用プログラム:calib 出力プログラム:dac8532_output Python…

matplotlibでアニメーションを作成,保存

一口にアニメーションといっても時間毎に図の更新がみたいだけの場合とその様子を動画に保存したい場合とがある。 閲覧用のアニメーション subplotsを用いた場合 plt.figure()でやる方法 matplotlib.animationを使って図を保存する方法 imagemagicのインスト…

Windowsを使って組み込みっぽい案件をやった話

組み込みっぽい案件とは やったこと Pythonスクリプトをbatから実行 管理者権限が必要な操作をbatでやる例 Boot時に特定のプログラムを実行する 管理者権限が不要の時 管理者権限が必要の時 その他の作業 UltraVNCを用いたファイル操作 Windowsの自動更新をO…

Homography行列の分解 OpenCV Python

はじめに:Homography 行列の推定とか cv2.decomposeHomographyMat 解を絞る条件 サンプルコード 解の絞り方,その他の手法などについて OpenCVは便利なんですが不十分な情報や古い情報,ニセの情報がネット上に多すぎます. 基本的に公式のサイトを見ような…

Keras & Tensorflow (GPU有)の環境構築 on Windows with Anaconda

GPU付きのPC買ったので試したくなりますよね。 ossyaritoori.hatenablog.com 事前準備 入れるもの CUDA関係のインストール Anacondaのインストール Tensorflowのインストール 仮想環境の構築 インストール 動作確認 出会ったエラー達 Tensorflow編 CUDNNのPA…

PythonでYoutube動画検索

以下を参照。 Google API Python Clientを使ってYouTube Data APIv3をいじる - Qiita APIを許可する パッケージ導入 サンプルコード もう少し詳細な説明 APIを許可する Google Cloud Platformにアクセスして,新しいプロジェクトを作成。 Youtube Data APIを…

Numpy Center of Mass,行列の重心点を求める

簡単なプログラムですがこれがなかなか見つからないので残しておきます。 重心点は中心からの距離を測っています。 中心点から見た重心 def CenterOfGravity(mat): hei,wid = mat.shape Tile=np.arange(wid,dtype=float)-(wid-1.0)/2.0 Tx = np.tile(Tile,[h…

Python Computation Time Mesurement Class(Pythonでプログラムの実行時間を測る方法)

Computation time measuring is important issue for most programmers. Pythonで実行時間を測って可視化したい時があるかと思います。 Basis (原理) My class (作成したクラス) How to Use import Usage pyplotlibに関する覚書 Basis (原理) Many fun…

Python 配列の形式メモ

c++とPythonを行ったり来たりしていると頭が混乱してきます。 どれがどれ? 各々の違い listのlist的表現 初期化と要素へのアクセス list tuple dict 2次元配列とかの対処 各種変換 tuple と list 相互変換 numpy arrayとlist 相互変換 参考になりそうなサイ…

にゃーんAAジェネレータ

にゃーん。 にゃ? にゃ にゃ? ーーーーーーーーーーーー んん にんに ーー ーーーーーーーーーーーー に にゃににににに にににゃゃゃにに にににににににに ーーーーー ーーーーーーーーーーーー にーゃ ににゃににゃに ー にゃゃににに ににゃに にに に…