ビッグデータの世界で注目を集めるファイルフォーマットの一つがParquet。データを圧縮させて保持するだけでなく、読み込みやデータの抽出で高いパフォーマンスも誇ります。MATLABでもR2019aからparquetreadとparquetDatastoreなどが登場しましたが、圧縮形式に注意が必要です。
MATLABでWebサーバーに対してファイルアップロードしたいとき、意外と情報が無くて苦戦したので備忘録を作りました。webwriteでは困難なのでmatlab.net.httpのFileProviderを使うと簡単にできました。Node.jsのサーバーで動作確認もしてみます。
データサイエンスのビジネス用の書籍として役立つ日立製作所のLumada データサイエンスチームが書いたデータ分析の教科書。サンプルコードもあるのですが、うまく行かないつまづきどころもいくつかあります。ファイルのダウンロードやフォルダー置き場などを解説していきます。
テキストの登場頻度を可視化するワードクラウド。Pythonのwordcloudモジュールには、画像に合わせてテキストの色や形をプロットさせるスタイルを指定できます。ここでは公式サンプルのアリスの画像から、カスタム画像(オシドリの鳥)に合わせたプロットまでを紹介します。
地理空間を含むポリゴンデータが複数ある際に、ポリゴンの外郭を求める方法をMATLABのコードで紹介します。R2023a時点ではMapping Toolboxでそのままできないので、地理テーブルをgeotable2tableでテーブルに変換しMATLAB本体のunionを使うのがミソです。
地理空間情報のポリゴンの中にあるか外にあるかを判定したいとき、MATLABではMapping ToolboxのR2022aで導入されたisinterior関数で簡単に計算できるようになりました。国勢調査の東京都のポリゴンを使って動かすコードの説明も付けています。
AWSクラウドに構築したAlmaLinuxにMATLAB環境を構築する手順を説明します。インストーラーを使わずにMPMコマンドを使ってコマンドラインでMATLABをインストールし、必要なAlmaLinuxのパッケージをdnfで追加していく手順を順に紹介します。
※2022/11/28 更新：R2022bで直接スレッドワーカー数を指定可能に。MATLABの並列処理で、R2020aから使えるようになったスレッドベースの並列プール。ワーカー数を指定するオプションがなく、デフォルトでは物理コア数と同じ数のワーカーが立ち上がりますが、あることでワーカー数を指定できるようになります。
PythonのWebフレームワークとして人気のDjango(ジャンゴ)。本格的なWebアプリを構築するためにフルスタックの機能が提供されています。NodeJSのExpressの開発経験がある立場としてDjango初挑戦の感想を書きました。インストールからクイックスタートのサンプルアプリの作成とブラウザでの確認までです。
最近の投稿
【iPhone】15 Pro Maxの0.5倍の超広角、5倍の光学ズームレンズの写りの違い2024/01/07
【MATLAB】Parquetファイルの読み込み・書き込みは圧縮形式に注意2023/07/28
【情報処理技術者試験】コツをつかめば難しくない、システムアーキテクト試験の対策2023/07/16
【MATLAB】FileProviderを使ってWebサーバーにファイルをアップロード2023/05/28
日立の「データ分析の教科書」の4.6節のテキスト解析のサンプルを実施して躓いたところ2023/05/09
【Python】wordcloudで画像に合わせてカスタムスタイルでワードクラウド作成2023/05/03
【MATLAB】複数の地理空間ポリゴンの外郭を取得する方法2023/04/20
【AWS】LightsailのWordPressをWP Migrationで移行2023/04/17
人気の記事
ソニーのミラーレスカメラ「α7iv」でAPS-Cクロップをするには？ミラーレスのフルサイズカメラでAPS-C相当サイズの撮影ができます。1.5倍にズーム率が上がる？と思って試してみましたが、画像サイズが小さくので、解像...
【Apple Watch】ずっとONになっている位置情報を止めるにはApple Watchを使い始めたら、ペアリングしたiPhoneの位置情報サービスがずっとONになっていませんか？位置情報がずっと有効だとバッテリーの...
extra data after last expected columnエラーPostgreSQLでCSVをCOPYしようとすると 前回の記事でPostgreSQLの「データの中に引用符のない復帰記号がありました」エラーについて...
商用で使える日本全国の都道府県ポリゴンShapefileは？意外と無い、商用で使える都道府県のポリゴン 先月の記事に東京都のポリゴンデータ(Shapefile)を使った地図描画を紹介しました。 そのときは東京都...
【NodeJS】Webサーバーをエラーで止めない方法NodeJSでWebサーバーを立てると フロントエンドでJavaScriptやTypeScriptを使っていると、バックエンドもJavaScriptで...
【MATLAB】スレッドベースの並列プールの並列ワーカー数を指定する方法※2022/11/28 更新：R2022bで直接スレッドワーカー数を指定可能に。MATLABの並列処理で、R2020aから使えるようになったスレッドベ...
【Apple Watch】ヘルスケアデータをエクスポートして色々といじれるようになるまでApple Watchのヘルスケアデータをエクスポート 以前の記事でApple Watchについて書きました。会社の景品でいただいてから、毎日装着して...
【AWS】EC2インスタンスでAlmaLinuxを使う手順CentOSの代替として注目されているLinuxがAlmaLinux。Red Hat Enterprise Linux (RHEL)と互換性があり商用...