原因究明できていないため、参考までとしてください。
Accessの2GB制限と実際に投入できるデータサイズに対する実証および考察です。
ことの経緯
社内SE作業で、10,000件×10,000件の組み合わせデータを作成する必要があり、Excelではできず、Accessに頼ることにしました。
Excelにある2つのシート(各10,000件)をAccessへインポート
その後、クエリで2つのテーブルをCROSS JOINで新テーブルへINTO(1億件INSERT)
すると、謎のエラー。
accdbファイルを見ると、2GBを超えていました。Accessは2GBまでしかサポートしていないため、エラーとなったようです。
「ま～データ多いからな～」と思いつつ、今はMySQLへリンクテーブル張ってそこへ流し込んでいる段階なのですが、時間があるのでこの記事を書く事にしました。
2GBって何バイト？
改めて計算したところ、20億バイト。
これがテーブル定義なので、20Byte × 1億 件 でざっくり計算しても超えてしまいますね。
なので、母数を減らすことにしました。
10,000件 × 2,500件
これであれば、500MBに収まる試算です
でも同じエラーが出るよ？？？
レコードの容量計算を行うための情報収集。ディスクのブロックサイズによって利用されるディスク領域が異なる。と。NTFSの情報を参照します。
fsutil fsinfo ntfsinfo c:
4096と出ました。つまり、4KB
今回の直接の原因にはならなそうです。
ここまでで一旦まとめ
今回の作業の目的はマトリックスデータを作って利用することであり、Accessを使ってどうこうという事ではなかったため、これ以上の深追いはしないことにしました。考えられることとしては
１）Access内部で一時領域にディスクを利用していてそれでオーバーする
２）テーブルのインデックスなど、付加情報も容量見積に入れる必要あり
３）SELECT INTO (つまり手抜き)なので、結果作成されるテーブルのフィールド型が想定と違う？ →その後データ件数を減らして実証しましたが、想定通り、元のテーブルの型を引き継いでいました
あたりが考えられますが、その詳細については今後必要に応じて調べていこうと思います
0 件のコメント:
コメントを投稿