Python備忘録 python:numpyの構造とサンプルN行を出力
numpyの構造とサンプルN行を出力NumPyのバイナリファイル（.npy / .npz）のデータ構造（メタデータ）とサンプルのN行を、変数指定したパスから読み込んで確認するためのPythonコードです。.npyの場合単一のNumPy配列が...
Python備忘録 Python備忘録 python:CSVからpandas不使用で高速にparquet作成
目的巨大なFXのヒストリカルデータや、TickデータのCSV（GBサイズ）を高速分析するために、バイナリのparquet化。その後Numpyやbinファイルを作って解析するサンプルデータ※今回ヘッダなしのTickデータを使用。カラム構造：t...
LINUXコマンド Linux：指定ディレクトリ内のCSV・テキストをマージするコマンド
1. ヘッダーありCSVをマージ（2番目以降のヘッダーは除去）各子ディレクトリ内にあるCSVファイルを結合。1番目のファイルのヘッダー（1行目）だけを残し、2番目以降のファイルのヘッダーは自動的にスキップして1つのファイルに出力します。aw...