ビッグデータの世界で注目を集めるファイルフォーマットの一つがParquet。データを圧縮させて保持するだけでなく、読み込みやデータの抽出で高いパフォーマンスも誇ります。MATLABでもR2019aからparquetreadとparquetDatastoreなどが登場しましたが、圧縮形式に注意が必要です。
データサイエンスのビジネス用の書籍として役立つ日立製作所のLumada データサイエンスチームが書いたデータ分析の教科書。サンプルコードもあるのですが、うまく行かないつまづきどころもいくつかあります。ファイルのダウンロードやフォルダー置き場などを解説していきます。
テキストの登場頻度を可視化するワードクラウド。Pythonのwordcloudモジュールには、画像に合わせてテキストの色や形をプロットさせるスタイルを指定できます。ここでは公式サンプルのアリスの画像から、カスタム画像(オシドリの鳥)に合わせたプロットまでを紹介します。
地理空間を含むポリゴンデータが複数ある際に、ポリゴンの外郭を求める方法をMATLABのコードで紹介します。R2023a時点ではMapping Toolboxでそのままできないので、地理テーブルをgeotable2tableでテーブルに変換しMATLAB本体のunionを使うのがミソです。
地理空間情報のポリゴンの中にあるか外にあるかを判定したいとき、MATLABではMapping ToolboxのR2022aで導入されたisinterior関数で簡単に計算できるようになりました。国勢調査の東京都のポリゴンを使って動かすコードの説明も付けています。
シェープファイルを読み取って可視化するのって、プログラミングだと以外と面倒だったりしますが、MATLABではMapping Toolboxが非常に強力です。政府統計データ窓口のe-Statから国勢調査のシェープファイルをダウンロードして、可視化するまでの手順を示します。
データサイエンティストでもプログラマーでもシステム開発者でも、処理のエラー分析や実行環境の改善をおこなう上で、コンピュータの基礎は必要なスキルと言っても過言ではないでしょう。ここでは私の新人研修時代に使った「コンピュータシステムの基礎」の思い出や情報処理技術者試験についてまとめています。
コロナ禍で在宅ワークになった方も多いと思いますが、気になるのは健康状態。この記事ではiPhoneとApple Watchでのヘルスケアデータを使って健康状態を解析する事例を紹介しています。コロナ前後での歩数の傾向分析、在宅ワークで運動量を増やすための工夫について書いています。
最近の投稿
【iPhone】15 Pro Maxの0.5倍の超広角、5倍の光学ズームレンズの写りの違い2024/01/07
【MATLAB】Parquetファイルの読み込み・書き込みは圧縮形式に注意2023/07/28
【情報処理技術者試験】コツをつかめば難しくない、システムアーキテクト試験の対策2023/07/16
【MATLAB】FileProviderを使ってWebサーバーにファイルをアップロード2023/05/28
日立の「データ分析の教科書」の4.6節のテキスト解析のサンプルを実施して躓いたところ2023/05/09
【Python】wordcloudで画像に合わせてカスタムスタイルでワードクラウド作成2023/05/03
【MATLAB】複数の地理空間ポリゴンの外郭を取得する方法2023/04/20
【AWS】LightsailのWordPressをWP Migrationで移行2023/04/17
人気の記事
ソニーのミラーレスカメラ「α7iv」でAPS-Cクロップをするには？ミラーレスのフルサイズカメラでAPS-C相当サイズの撮影ができます。1.5倍にズーム率が上がる？と思って試してみましたが、画像サイズが小さくので、解像...
【Apple Watch】ずっとONになっている位置情報を止めるにはApple Watchを使い始めたら、ペアリングしたiPhoneの位置情報サービスがずっとONになっていませんか？位置情報がずっと有効だとバッテリーの...
【Apple Watch】ヘルスケアデータをエクスポートして色々といじれるようになるまでApple Watchのヘルスケアデータをエクスポート 以前の記事でApple Watchについて書きました。会社の景品でいただいてから、毎日装着して...
extra data after last expected columnエラーPostgreSQLでCSVをCOPYしようとすると 前回の記事でPostgreSQLの「データの中に引用符のない復帰記号がありました」エラーについて...
【AWS】EC2インスタンスでAlmaLinuxを使う手順CentOSの代替として注目されているLinuxがAlmaLinux。Red Hat Enterprise Linux (RHEL)と互換性があり商用...
頼む、JDBCのバージョンとJDBCドライバーのバージョンを勘違いしないでデータベースに頼れる存在のJDBCドライバー データベースにアクセスするとき、JDBCドライバーを使うことが多いと思います。データベースによってはC+...
商用で使える日本全国の都道府県ポリゴンShapefileは？意外と無い、商用で使える都道府県のポリゴン 先月の記事に東京都のポリゴンデータ(Shapefile)を使った地図描画を紹介しました。 そのときは東京都...
PostgreSQLの「データの中に引用符のない復帰記号がありました」エラーの対処法PostgreSQLにNYCタクシーデータのCSVをインポート ビッグデータ解析の練習として、アメリカ、ニューヨークのタクシーデータをこちらのサイトか...