ビッグデータの世界で注目を集めるファイルフォーマットの一つがParquet。データを圧縮させて保持するだけでなく、読み込みやデータの抽出で高いパフォーマンスも誇ります。MATLABでもR2019aからparquetreadとparquetDatastoreなどが登場しましたが、圧縮形式に注意が必要です。
データサイエンスのビジネス用の書籍として役立つ日立製作所のLumada データサイエンスチームが書いたデータ分析の教科書。サンプルコードもあるのですが、うまく行かないつまづきどころもいくつかあります。ファイルのダウンロードやフォルダー置き場などを解説していきます。
テキストの登場頻度を可視化するワードクラウド。Pythonのwordcloudモジュールには、画像に合わせてテキストの色や形をプロットさせるスタイルを指定できます。ここでは公式サンプルのアリスの画像から、カスタム画像(オシドリの鳥)に合わせたプロットまでを紹介します。
地理空間を含むポリゴンデータが複数ある際に、ポリゴンの外郭を求める方法をMATLABのコードで紹介します。R2023a時点ではMapping Toolboxでそのままできないので、地理テーブルをgeotable2tableでテーブルに変換しMATLAB本体のunionを使うのがミソです。
地理空間情報のポリゴンの中にあるか外にあるかを判定したいとき、MATLABではMapping ToolboxのR2022aで導入されたisinterior関数で簡単に計算できるようになりました。国勢調査の東京都のポリゴンを使って動かすコードの説明も付けています。
シェープファイルを読み取って可視化するのって、プログラミングだと以外と面倒だったりしますが、MATLABではMapping Toolboxが非常に強力です。政府統計データ窓口のe-Statから国勢調査のシェープファイルをダウンロードして、可視化するまでの手順を示します。
データサイエンティストでもプログラマーでもシステム開発者でも、処理のエラー分析や実行環境の改善をおこなう上で、コンピュータの基礎は必要なスキルと言っても過言ではないでしょう。ここでは私の新人研修時代に使った「コンピュータシステムの基礎」の思い出や情報処理技術者試験についてまとめています。
コロナ禍で在宅ワークになった方も多いと思いますが、気になるのは健康状態。この記事ではiPhoneとApple Watchでのヘルスケアデータを使って健康状態を解析する事例を紹介しています。コロナ前後での歩数の傾向分析、在宅ワークで運動量を増やすための工夫について書いています。
最近の投稿
【iPhone】15 Pro Maxの0.5倍の超広角、5倍の光学ズームレンズの写りの違い2024/01/07
【MATLAB】Parquetファイルの読み込み・書き込みは圧縮形式に注意2023/07/28
【情報処理技術者試験】コツをつかめば難しくない、システムアーキテクト試験の対策2023/07/16
【MATLAB】FileProviderを使ってWebサーバーにファイルをアップロード2023/05/28
日立の「データ分析の教科書」の4.6節のテキスト解析のサンプルを実施して躓いたところ2023/05/09
【Python】wordcloudで画像に合わせてカスタムスタイルでワードクラウド作成2023/05/03
【MATLAB】複数の地理空間ポリゴンの外郭を取得する方法2023/04/20
【AWS】LightsailのWordPressをWP Migrationで移行2023/04/17