やった！
たった今、ずっと教科書代わりにしていた『退屈なことはPythonにやらせよう』をやり終えました！
長かった……10ヶ月もかけてしまいました……
この本はPythonをゼロから構造的に勉強するものではなく、Pythonをちょっとした業務効率化に使うための、なんちゃって本です。秀丸のマクロやエクセルの関数の簡単なのみたいなものです。
そんなレベルの本に10ヶ月は、さすがにかけすぎですよね？
でも、562ページもある超分厚い本なので、
やっつけた！ という満足感はすごいです。
最後の最後に出てきた演習問題で作るプログラムがクソ of クソで、この本の真髄を表現しているようで笑いました。
なんと、「マウスを10秒おきに動かして、スクリーンセーバーの起動を阻止し、Slackなどであたかもオンラインにいるかのように見せかける」というものだったのです。
|
エヴァのネタバレを防ぐためにも、SNSなぞ見ずにいつものようにPythonの勉強、というか、なかなか終わらない例の簡単なはずの教科書『退屈なことはPythonにやらせよう』をやっています。
でも、今回は頭がこんがらがった。やけに難しかった。
お題は簡単で、「エクセルファイルを、シートごとに、csvファイルに変換する」なのだけど、手順がやたら面倒くさい。
まず、以下をやります。これはまあ普通。
1. ディレクトリからエクセルファイルだけ抜き出す
2. エクセルファイルからシートを取り出す
で、本当はここで「シートのデータをcsvに変換！」ってやってしまいたいのだけど、それができない。
代わりに、こうやります。
続きを読む "Excel→csvがやたら面倒だったけど、SNS見てエヴァのネタバレに遭遇するよりはマシなのでやり込んだ【Python勉強中】" »
|
先日、期間限定の無料講座「社会人のためのデータサイエンス入門」を短期集中で終わらせた話をしましたが、同時に京都大学による期間限定の無料講座「統計の入門」も短期集中で取り組んでいまして、こちらも先ほど終わらせました。簡易テストも100点でホッとしました。
両方とも、確か無料は3月15日までだったはず。集中すれば今からでも終わらせられるし、途中まででも価値あるので、興味ある方はぜひチャレンジしてみてください。
で、「統計の入門」を終えた感想ですが、統計についてどのくらいわかったかというと……
|
総務省が無料で期間限定公開している「社会人のためのデータサイエンス入門」完了。
むっちゃ楽しかった！ 将来的にはPythonでデータ分析して遊びたい僕なのだけど、そのための地ならしという意味で良かった。
4週間のコースだけど、実質1週間弱で終わる内容だし、3/16で無料公開は終了しちゃうので、気になる人はダッシュではじめてみてください。
それにしてもe-Stat。
すごいんだけどどうなのこれ？！という感じで面白い。
統計局が出している、政府統計をまとめて見れるサイトなんだけど、統計データを加工したりグラフにしたりする機能もあって、ちょっとしたエクセルみたいなことになっている。
エクセルっぽいところも、よくできてはいるんだけど、帯に短し襷に長しな場面もあるので、触れば触るほど、「データを自由にダウンロードさせて、あとはエクセルなりGoogleスプレッドシートなりに任せれば良いのでは？」という気持ちがムクムクと膨らんでくる。
でも、「データが置いてあるだけでは、おもてなし精神などが足りない！」と説得した人がいたんだろうなあ……「外国製の表計算アプリに頼ってはならないのです！」とか力説したのかもしれない。
なるほどこれが税金の使い方というやつか、と、このサービス作成を受注した会社のプレゼン能力に脱帽しながら、でも楽しいのでポチポチ触ってます。
興味ある方は、統計ダッシュボードあたりからいじってみてください。これだけのデータがこれだけアクセスしやすくなってるんだ、統計局すごい！ という気にもなるし、触れば触るほど「こんな機能あるんだ！ すごい！ すごいんだけど……実装する必要って……？？」と、これまた楽しい気分になれます。
|
時間があるときにチビチビと続けているPythonの勉強。
プログラミングについては、だいぶ前にちょっと触ったきり放ってしまい、ほとんど無知なので、実質これが最初に覚えるプログラミング言語になります。
今までずっと、仕事として関係はしてきたので、なんというか、概念としてわかっていることは結構あるのですが、それでも、実際に自分で手を動かしてコーディングすると、毎回新鮮な発見の連続で、とても楽しいです。
そんな日々の、とある一日についての記録でございます。
|
PythonからExcelを操作するopenpyxlっていうモジュールの機能が、コンパクトにまとまってるっぽいのですが、どう考えても秒で忘れそうなので、いろいろな機能を一度に実行するスクリプトを書きました。
printばかりでダルいですが、コードを見ると、チートシートみたいになっていて、機能が一望できるという。
もしお困りの方がいたらご活用くださいー
|
3週間近くもここで使っちまったよ……
Pythonの勉強用に使っている本『退屈なことはPythonにやらせよう』ですが、11章「Webスクレイピング」のところでは、実習として出てくるものが、ことごとく教科書通りに実行できません。
エンコードが必要だったり、Webスクレイピング基本禁止だったり、例外がおおく止まることが多かったりして、本筋と違うところで悩みまります。
勉強のために工夫して悩むのは悪いことではないと思うのですが、最後のメール自動送信の演習で、思い通りにいかずいろいろ調べた挙句、「Gmailは基本的にはWebスクレイピングを禁止している。APIを使うべし」ということがわかり、あーもういいや、と思いました。
APIの使い方はまだよくわからないけど、わかったら、またこの演習に戻ってくることにします。
Webスクレイピングは、便利そうだけど、なんか地雷を踏みそうなので、いったんここまでにしとこうかな。
参考までに、書いたスクリプト一覧を置いておきます。
|
これは主に、『退屈なことはPythonにやらせよう』11章のmapIt.pyでつまづいている人のための記事です。
続きを読む "webbrowser.openでブラウザに渡す日本語が文字化けする場合はurllib.parseを使う【Python勉強中】" »
|
年末年始のお休みに入りました。仕事がないとPythonがはかどりますね。最近「もしかして、自分がやりたいことを実現するのはPythonではなくReactやnode.jsなのでは？」という不安が頭をよぎっているのですが、どんな言語であっても、一定のレベルまでマスターすることには意味があるはずです。たぶん。
なにより、楽しいので別にいいです。
なのですが、このたび、はじめて挫折することにしました。
|
忙しさにかまけて、最近全然Pythonできてなかったので、久しぶりに触れた！とテンションがあがり、ついカッとなって、3つほどスクリプトを書いてしまいました。楽しかった！
まあ例の本の演習問題を解いただけなのですが、特に最初のは実際に役立ちまして、さっそくDropBoxの整理に使わせていただきました。便利！
|
こんな状況に悩む方はとてつもなく少ないと思いますが、例えば以下のような連番のtsファイルが手元にあるとして、
sample.000000.ts
sample.000001.ts
sample.000002.ts
sample.000003.ts
sample.000004.ts
sample.000005.ts
これを順番につなげてひとつのmp4にしたい場合、ffmpeg（homebrewでインストールした）で順番間違えずにつなげるためのPythonスクリプトです。
tsファイルをつなぎ合わせてひとつのmp4にする：gist.github.com
なんのことやらさっぱり、という方がほとんどだと思うのですが、これは実は自分的には記念碑的スクリプトでして。
実は、はじめて書いた、実際に仕事で使うPythonスクリプトなのです！
これ！
続きを読む "【はじめて書いた実用Python記念！】連番の複数のtsファイルをffmpegで一気につなげてmp4ファイルにする" »
|
どうやらPythonは文字やファイルの操作が得意ということらしく（まだよく実感できない）、いつもの「退屈なことはPythonにやらせよう」の中に、「米国式日付を欧州式日付に変更する」という演習がありました。
週末のプログラミングのお勉強として、さて、と、とりかかろうとしたのですが、1行目でつまづきます。こう書いてあるのです。
カレントディレクトリで米国式日付をファイル名に持つすべてのファイルを探す。
それって、そもそも、名前が日付形式のファイルがたくさんないといけないってこと？
どのくらい？
100個、くらい……？
手動では面倒くさすぎて作れない！
無理！
というわけで、まずは「名前が日付形式のファイルを大量に作る」ことにとりかかりました。
続きを読む "バグみたいな動きだけど正常。名前に日付が入っているダミーファイルを大量生成【退屈なことはPythonにやらせよう9.3用】" »
|
だいたい金曜の夜ですかね、Pythonの勉強できるの。
まあ今年は土曜も仕事が入っているので、週末というわけではないのですが……
ところで、先ほど、とあるフォルダの中のテキストファイル（ファイル名が.txtで終わるファイル）の一覧を作ろうと思って、こんな風に書いたのです。
|
久しぶりにたっぷりとPythonの勉強に時間をさけました。
やはり30分とかを小刻みにやるより、じっくり3時間くらいやった方が理解度早いような気がします。
とはいえ、「3時間を作る」ために待っているといつまで経っても物事が進まないので、悩ましいですが。
で、いつものように、全く進まない「退屈なことはPythonにやらせよう」に取り組んでいたのですが……
8章に、「各都道府県の県庁所在地」のテストのカンニング防止のために、生徒ごとに違う問題集を作るという、妙なストーリー性のある演習があるのですが、この演習の一番最初が「各都道府県の県庁所在地の辞書を手書き」なのです。
そんな面倒臭いことやってられない！
|
先日こんなツイートを見かけて、
今日から新しい現場だったんだけれど、そこの新人が
— かぐやん💻フリーランスSE (@KAGUYA_HOE) September 1, 2020
・公務員やめてプログラマーに
・３０歳オーバー
・Javaはやりたく無い
・データサイエンティストになりたい
・Pythonやりたい
なんなんだ、最近、どこの現場も、こんなのばっかなのか？？
急にPythonから入ってプログラミングしだす素人……
データを扱えるようになりたい素人……
まさに僕のことじゃん……
と、少し恥ずかしくなりました。こんにちはいちるです。
さて、そんな僕は、いま、山のどの辺にいるかというと、
いまだにforとかifとかwhileとかの間をうろうろしています。
いやね、違うんですよ。
初心者向けTellus学習コース終わったあとで、何しようかと思った結果、結局、『退屈なことはPythonにやらせよう』をやることにしたんですよね。
この本は、機械学習でもなんでもなく、単にスクリプトとしてPythonを使おう、という本です。
そういうのも一度通っておいた方がいいかなって。
で、ゼロからまた勉強し直しみたいになっているのと、紙のページめくるのがちょっとダルいのと、すごく忙しくなってきたのと、暑いのとで、勉強の進みがノロノロとしているわけですよ。
なので、進歩は全くしていないのですが……
このくらいの「数当てゲーム」なら、何も見ないでも書けるようになりました。
|
今更ながらに、改めて、TrueとFalseが難しい。「今どっち？」ってなります。
例えばこういうときこんがらがりますね。
【コード】
https://gist.github.com/kotoripiyopiyo/cd8ad49ae6e200c328a1e61543dda803
上半分は「空文字はFalse」のルールに基づいたもの。
not空文字がTrueになるから、実行して、空行を送ると、再度「名前を入力してください：」と聞かれます。
でも直感的には……というか、直感が働かず、「ん？ ん？」ってなります。
|
round()という、四捨五入っぽいことをする関数をいじっていて、不思議な結果に気付きました。
具体的にいうと、
round(10.50001)
11
なのに、
round(10.50000000000000000000000000001)
10
なのです。
どうやら、何桁目くらいからか、結果が変わる様子。
同じ計算をしているのに。
そこで、こんなコードを書いて、何桁目から11が10になるのか、調べようとしました。
【コード】 https://gist.github.com/kotoripiyopiyo/64598757885cae50537d870d424198d1#file-gistfile1-txt
しかし……
結果は想像の斜め上をいくものでした。こんな感じ。
|
超頑張った！ 久々に自分に感動しました。
何に感動したか？
自分で決めた目標、「『Tellus×TechAcademy初心者向け Tellus 学習コース』で、Pythonと機械学習の基礎をゼロから勉強する」をやり遂げたことです。
そもそもプログラミングを今さらやろうと思ったのには、いくつか理由がありました。
|
追記：本記事がレバテック・キャリアの「触ってみて初めてわかった！Python学習を実践するブログ6選」という記事に掲載されました。感謝！
こういうgifアニメを作ったのです。
最初は配列とかfor文とか使って、短く書こうと思いました。
しかし、プログラミングに詳しい人も詳しくない人も何を言ってるかわからないと思いますが、配列の中に配列を入れることができず、何を試してエラーが出て……
むなしく1時間2時間3時間と過ぎていき……
結果、悔し涙に頬を濡らしながら、格好良くまとめるのは諦めて、ダサすぎますが全部普通に書くというコードにしました。
どれだけダサかったか？ こんな感じです。上から順番に1行ずつ実行されるだけ、というレベルのダサさ。
https://github.com/kotoripiyopiyo/python/issues/7#issue-653340988（コード部分45行）
モヤモヤを抱えながら寝て、起きて、しばらくすると、友人のCHEEBOWさんから、
「同じ処理をしている部分を関数にまとめてみるとよいのかも」
という、天啓のようなアドバイスをいただきまして。
関数にまとめる！！！
すっかり忘れてた！ そういえばそんなこと、教科書の最初の方に書いてあった！
|
なんかもにょもにょいじってたらできた……
今回は、こんな画像をPythonで作りました。オリジナルのロケット画像を、赤だけにしたり、白黒にしたりして、くっつけて並べた感じです。
いつもの「Tellus×TechAcademy 初心者向け Tellus 学習コース」で学びました。でも以下のコード、なんか繰り返しに見えるところが多かったので、for文でまとめられないかなーと、この1週間ほどあれこれいじってたんですよね。
|
機械学習の勉強はじめてからどのくらい経ったかな……いまだに全くわけがわかりません。
なにか必要な知識が根本的に足りてないのだと思うのですが、何が足りないのかもわからないという塩梅でして、わからないまま、いつもの「Tellus×TechAcademy 初心者向け Tellus 学習コース」で写経したり戻ったり、はたまた「Pythonではじめる機械学習」という本を買って、分厚いなぁ、開くのダルいなぁ、pdfとかでくれないかなぁ、と思いながら、まだ一度も開いてなかったりしています。
そんな中、少しはオリジナリティを出そうと、今回は「日本の人口予測」というのをやってみました。
RESAS（地域経済分析システム）の人口推移のデータをダウンロードしてきて、utf-8に変換して、それを読み込ませます。
本当は、2100年くらいまでの人口予測をしたかったのですが、テストデータがない場合にどうやって予測を作るのかわからなかったので（本当に何もわからない）、現状は、以下のようなことをやっています。
あまりにも意味がなくてモヤりますが、まあ今の地力がこんなもんということで……
もちと勉強したら、今回作った学習データを元に、2200年くらいまでの日本の人口予測を出したいと思います。
あとちょっとだと思うんだけどなー。時間が足りない……
コードは以下の通り。相変わらず「preで空行入れると、以下全部1行空けになってしまう」ので、空行を空けておらず見にくくてすみません……
https://gist.github.com/kotoripiyopiyo/b12c191a4d09649f726b045bafbf8a81
最後のグラフが結果でございます。
赤が予測。青が実数。
|
相変わらず、「Tellus×TechAcademy 初心者向け Tellus 学習コース」で、とりまPythonの基礎を学習し続けている僕です。
素晴らしい学習教材です。シンプルなのが僕に向いてます。
今回、ついに成し遂げました……
前回やった、イマイチ腑に落ちなかった前回のPythonプログラム「曜日別に、年代ごとのコロナ陽性者数を出す」について、かんいちさんから、
「pivot_tableとreindexを使えばできるんじゃないか？」
|
機械学習があまりに難しかったので、一歩戻ってみることにしました。
何ができるだろう…
そういえば、csvデータを取り込むのと、グラフ書くのは勉強したから、公開されているコロナのデータをグラフにできるのではないか！？
そう思って、元データは「東京都 新型コロナウイルス陽性患者発表詳細」を使って、何かそれっぽい集計をしてみることにしました。
その後が挫折につぐ挫折。
続きを読む "【Python】コロナの曜日別の東京の患者数をグラフに出してみた（挫折に挫折を繰り返した妥協の産物として）" »
|
ざっくりと「AIしたい」という気分だけがあるまま、どこから手を出していいか分からないので、手近なものを無作為に食べてみて、続けられるやつを続けてみる、という戦略をとってみました。
残ったのは「Tellus×TechAcademy初心者向け Tellus 学習コース」。静的htmlだったのと、僕的にわかりやすい文章だったのが決め手。
どうも最初は、Pythonをある程度いじれるようならないといけないらしい。
ということで、この1ヶ月ほど、空き時間に少しずつPythonのお勉強をしていました。
|
for文って、どんな言語を習っても最初に学ぶものなんだけど、whileに比べて全然腑に落ちてないので、今回無理やり使って練習しました。
まずは以下のように、図とその図のRGBの値をグラフ表示してから、
|
教科書の写経じゃない、自分で考えたコードその２ができました。その１とやり方はたいして変わっていないのですが、やはり自分で書いたものは可愛いものです。
まあ、いくつも作って慣れてくると、こうやってブログに書くほど興奮するほどでもなくなるのでしょうね……GitHubのissuesにでも残しておこうかしら……
今回書いたのは、「図を並べる」というヤツです。
|
最近、プログラミングを勉強しています。
なぜか？ 『シン・ニホン』を読んだ影響もあるのですが、そもそも自分の中にずっとくすぶっていた「これはできるようになりたい」リストの中の1つだからです。
このまま一生プログラミングを学ばずにいくのか？ と考えたとき、使うあてはないけど、今からやろうと思い立った次第です。
選んだ言語はPython。機械学習やAIといったことに興味があるので、簡単にですが調べた結果、この言語がいいのかなと思いました。あんまり考えていません。勘です。
いま使っている教材は、「Tellus×TechAcademy初心者向け Tellus 学習コース」というヤツです。無料で、とてもわかりやすく丁寧に書かれています。ありがたや……
|
公私共にむっちゃ忙しくて猫の頭でもいいから借りたいところなのですが、こういうときに限って、今までの流れと違うものを見たり聞いたりやったりしたくなる性質でして。
というわけで、改めてPhthonを勉強し直すことにしました。というか動画のディープラーニングをやりたい。でも、どこからどう手をつけていいかわからないので、まあ急ぐ話でもないし、地道に一歩ずつ行こうか、と思い立った次第です。
|