AWS Glueのチュートリアル
自分でやってみたのに何も記録しないのもムズムズするのでここに適当に書く.
まずクローラ(Crawler)を作成. これでどこかからデータをあさってくる.
そのクローラが漁ってきた情報について, データベースにテーブルとして記録されている. テーブルのもつ情報としては, カラム名とかデータ型とか.
実際のデータをこのデータベースに保存しているわけではない...と思う.
あくまでメタデータだけ.クローラが漁ったデータを加工するジョブを作成.
チュートリアルでは, カラムを3つ削った上で, ファイルの形式をcsvからparquetに変換した.
カラムマッピングで行き先から外すだけだが, これでどれだけ細かい加工でできるんだろうか.
最終的にジョブを実行すると, parquet形式に変換されたファイルが指定したS3バケットにずらりと並んでいた.
とまあ, とりあえず頭でさっとまとめて吐き出してみた.
中身が全くないのはご愛嬌.
内容も正しいか全くわからん.
もっと調べたいけど今はそんな元気ないな...
前回も貼った参考URL:
ふー...
仕事であまりにもイライラしてきたので, 仕事で関わる人間をボロクソに言うために仕事の勉強もやったるわと一瞬思った1日.
とりあえず仕事でワードが出てくるAWS Glueのチュートリアルに挑戦してみる.
クローラ(Crawler)
データストアに接続して, スキーマ情報を抽出, メタデータを自動的にAWS Glue データカタログに格納する.
全然わからん.
スキーマって何を指すんだ.どーせPostgreSQLでいうスキーマとは違うんだろ.
...しかしスキーマっていう言葉はいまいちPostgreSQLでも表現が難しい. なんというか, スキーマという言葉自体が割とふんわりしている.
Glueのチュートリアル途中で戻ったりするとコメントの吹き出しでなくなるんやな...
自分のアカウントのパスか他のアカウントのパスをクロールするかは, あとから変更できないっぽい.
ていうか全然GlueのCrawlerが動かないの草. チュートリアルで指示されたとおりに作ってもs3バケットのアクセス権がないとか言われる.
なんでやねん.
--> RegionがTokyoになっていたから. N.Virginiaじゃないとだめでした...
tableができたところを一旦確認. これはテーブルじゃなくてメタデータテーブルなのか?
メタデータテーブルってそもそも何だ? テーブルの情報(カラムとか,そのデータ型とか)を持ったテーブルでいいのか?
こういう用語は微妙に説明がないので困る.
うーん.
もはや文章になっていない.
だが整理された文章を残すほどの気力はない.
今日はここまでにしとくか...
追記:
いくつかのURLをまた続きをするときのために残しておこう.
AWS再入門ブログリレー AWS Glue編 | DevelopersIO
https://dev.classmethod.jp/articles/aws-glue-tutorial/#lets-get-started-tutorial
RE:6月の目標
あっという間に6月も終わってしまった. 先月に申し訳程度に立てた目標についてふりかってみる:
目標(ピアノ)
Invention No.5の22小節まで練習する.
ちゃんと達成. それどころか最後まで指が通るようになった.
ただ通しでミスなくは到底押せないので, まだまだ練習はいるけれど.
それでもしっかり目標は達成できた. 優.
目標(数学)
今読んでるテキストの3章を読む.
こちらも一応達成. とりあえず平均とかの計算を軽く触ってみた.
でも今具体的に何やったか思い出そうとしたら思い出せなかったので死にそうな気分である.
本当に達成にしていいのか?
一応目は通したし, 実際手を動かして内容も写経したりしてはいる...
物事を「理解する」ということに対しては達成度合いの評価が難しい.
可.
目標(その他)
今読んでいる「実力も運のうち 能力主義は正義か?」 の5章を読む.
達成ならず. 5章はちょっと長すぎた.
内容も少し考えないといけないので, 上2つと平行していくのはちょっと無理があったみたい.
少しづつ読み進めてはいるので, 今月こそ5章読み終えます.
不可.
とりあえずピアノがちゃんと達成できてるのが嬉しい.
ちょっとずつ自信をつけていくしかない.
こういうのは勢いが大事.
今書いてるこれも, 今書いた勢いで最後まで更新しないと, 実際に更新されるのが大分あとになってしまう.
なんかもうちょっと書きたいことがある気もするけど, 今回はここまで.
書きたかったら後で追記しよう(しないやつ).
6月の目標
はや6月も終わりだが, 残り10日でできそうな目標をとりあえずセットする.
5月はアホな案件に巻き込まれて糞忙しかったが, 4月に立てた目標は大体達成できた.
そして簡易でも目標をセットして積み上げたほうが生きてた感じがする.
こういう記録付けが過去を作るってことだ.
目標(ピアノ)
Invention No.5の22小節まで練習する.
4月の目標が19小節目なので, ほとんど進んでないのだが, 5月6月とほとんど弾いてないので, これでできるかどうかくらい.
ちゃんと練習すればいけるはずなので, 頑張れ自分.
目標(数学)
今読んでるテキストの3章を読む.
これは10日あれば十分できるはずだが, 数学なので突然止まるかもしれない.
コツコツやればきっとできる. 負けるな自分.
目標(その他)
今読んでいる「実力も運のうち 能力主義は正義か?」 の5章を読む.
これもただ読めばいいってもんじゃないので, 正直できるか自信はない.
案外ページ数も多いし.
ただペースメーカーとしてのこの目標を設定しておくことに意義はあるはずだ.
こういう積み上げを重ねることで, 生を実感できる...はず.
いけいけ自分. 戦え自分.
お前何時起きよ?
つい題名を田舎のヤンキー風に書いてみてしまった。
何時に起きよう。 おそらく睡眠に難ある人にとって永遠の課題である。 知らんけど。
今まで7時40分起きだったが、これだと帰りがちょっと遅くなる(フレックスのため)ので7時起きを今週は実践していた。 だが昨日からどうにもやる気がでない。 食事のせいかもしれないがとにかくやる気が出ない。 睡眠不足の兆候が割とあったので、とりあえずそっちを改善することに。
というわけで今日は7時30分に起きることに。 とりあえず今のところ調子は悪くない。 １時間も経ってないが。 私が寝るのは起床から16時間後なので、23時半。実際は車の通りが減るまで待つことになるので、24時直前だろうか。 はてさて、今日はどうなることやら。
そういえばここを使って睡眠と自分の体調をモニターするのはいい案かもしれない。 まあ、やらんだろうな。。。
目標(April, 2021)
3月があまりにも無為だったので、低くていいので目標を文字に起こすことにする。
ピアノ
可... invention no.5を半分まで進める 良...上を全部進める 優...上を全部進めて、さらにノーミスレベルまでマスターする
機械学習
可...テキストの7章(CNNのところ)を読む 良...上をやって、さらに知人のやってるkaggleコンペでコードを書いて貢献する 優...上を全部やって、そのまとめ記事をここに書く
数学
可...テキストの9章を読む(読むだけ) 良...テキストの9章を、自分でノートに書いて理解する 優...上をやって、まとめ記事をここに書く
いったいどれだけ達成できるやら。 あとちょっとやれば達成くらいのひっくい目標だが、あとちょっとをやらない人なので...
