numpy.dtype サイズ不一致エラーの解決方法

問題概要

MATLABからPythonモジュール（spaCyモデル）を呼び出す際に、以下のエラーが発生します：

ValueError: numpy.dtype size changed, may indicate binary incompatibility. 
Expected 96 from C header, got 88 from PyObject.

発生条件:

• Python 3.9環境でNumPy 2.0.0を使用
• MATLAB（py.final_output.text_recognizer経由）からPython関数を呼び出し
• 依存ライブラリ（特にpandas）がNumPy 2.0と互換性がない

関連するコード:

# Python側コード
import spacy
def text_recognizer(model_path, text):
    nlp = spacy.load(model_path)  # ここでエラー発生

% MATLAB側コード
pyOut = py.final_output.text_recognizer(model_path, text);

エラーの意味

このエラーは、NumPyのC拡張モジュールとPythonオブジェクト間でデータ型サイズが一致しないことを示しています。NumPy 2.0.0のリリース（2024年6月）により破壊的変更が導入され、pandas等の依存ライブラリが追従できていない状態です。

根本原因

2024年6月にリリースされたNumPy 2.0.0には後方互換性のない変更が含まれています。多くのライブラリ（特にpandas）はNumPy 1.x系に依存しており、「バイナリ非互換性」エラーの直接的な原因となっています。

注意点

pip install numpy --upgradeで最新版をインストールした場合、間接的に依存するpandas等が非互換状態になります。特にMATLAB-Python連携では環境設定が複雑化します。

解決方法

方法1: NumPyをダウングレード（推奨）

状況: pandas等の互換性問題が解決していない場合
手順:

pip install numpy==1.26.4

効果:

• pandasを含む既存ライブラリとの互換性を確保
• 現在最も安定した長期サポート（LTS）バージョンのNumPy

バージョン指定の重要性

requirements.txtで明示的なバージョン指定をすることで再発防止：

numpy==1.26.4
spacy==3.7.4
pandas==2.2.2  # pandas 2.2以降はNumPy>=2に対応

方法2: pandasを最新版に更新

状況: プロダクトで最新技術を積極採用可能な場合
条件: pandas 2.2.0以上が必須（NumPy 2.x対応）

pip install --upgrade pandas

確認コマンド:

import numpy as np
import pandas as pd
print(f"NumPy: {np.__version__}, Pandas: {pd.__version__}")
# 期待出力: NumPy: 2.0.x, Pandas: 2.2.x

方法3: 環境リセット（環境固有の問題が疑われる場合）

状況: 複数バージョンのNumPyが混在している場合

# NumPy関連ファイルを完全削除
site_packages=$(python -c "from distutils.sysconfig import get_python_lib; print(get_python_lib())")
rm -rf "${site_packages}"/numpy*

# クリーンインストール
pip install --force-reinstall numpy==1.26.4

注意

グローバル環境では非推奨。仮想環境（venv/conda）使用時に限定してください。

MATLAB連携時の追加対策

1. Python環境再起動

   % MATLABでPython環境をリセット
   pyenv restart

2. パス設定の確認

   % sys.pathを出力して検証
   py.sys.path

根本解決への推奨アプローチ

1. 現状最も安定した方法

pip install numpy==1.26.4 pandas==2.2.2

2. 将来性を考慮した方法
プロジェクトの依存関係全体をNumPy 2.x対応へ移行：

pip install --upgrade pandas spacy

移行判断のポイント

• pandas 2.2以上が必須
• scikit-learn, matplotlib等の他ライブラリがNumPy 2.x対応済みか確認

技術的背景

項目	内容
変更点	NumPy 2.0でdtypeの内部表現変更
影響範囲	C拡張を使用する全ライブラリ
解決時期	pandas 2.2.0 (2025年2月リリース) で正式対応
根本原因	ヘッダファイル(.h)とPythonオブジェクト間のサイズ不一致

検証済み環境

• Python: 3.9.18

• MATLAB: R2023a以降

• 安定組み合わせ例:

  numpy==1.26.4
  pandas==1.5.3
  spacy==3.7.2

• 最新組み合わせ例:

  numpy==2.0.0
  pandas==2.2.0
  spacy==3.7.4