CSV文字化けをPythonで前処理する｜非エンジニアの実務ログ

UnicodeDecodeError: 'utf-8' codec can't decode byte 0x82 in position 1: invalid start byte

#!/usr/bin/env python3
"""csv2utf-8-sig.py

目的:
- プロジェクト配下のCSVを読み取り、UTF-8 with BOM（utf-8-sig）に正規化して `result/` に出力する。

仕様:
- 入力フォルダはデフォルトで `data/`。
- ただし `data/` が存在しない、またはCSVが見つからない場合はプロジェクト直下（このpyと同階層）を探す。
- 読み込みは複数エンコーディングを順に試す（utf-8-sig/utf-8/cp932/shift_jis/euc_jp/latin1）。
- 出力は常に utf-8-sig。

使い方:
  python csv2utf-8-sig.py
  python csv2utf-8-sig.py --in ./some_folder --out ./result
"""

from __future__ import annotations

import argparse
from pathlib import Path


ENCODINGS_TO_TRY = [
    "utf-8-sig",
    "utf-8",
    "cp932",       # Windows日本語（Shift_JIS系）
    "shift_jis",
    "euc_jp",
    "latin1",      # 最後の手段（壊れないが文字化けの可能性あり）
]


def read_text_with_fallback(path: Path) -> tuple[str, str]:
    """複数エンコーディングを試してテキストとして読む。

    Returns:
        (text, used_encoding)

    Raises:
        UnicodeDecodeError: どのencodingでも読めない場合
    """
    last_err: Exception | None = None

    # まずはバイトで読み込む（改行コード/文字コードの揺れ対策）
    data = path.read_bytes()

    for enc in ENCODINGS_TO_TRY:
        try:
            text = data.decode(enc)
            return text, enc
        except UnicodeDecodeError as e:
            last_err = e
            continue

    # どうしてもダメなら replace で強制（失敗はしないが、文字は壊れる可能性あり）
    # ※ ここまで来るのは稀。運用上はこのログを見て元CSVを確認する。
    text = data.decode("cp932", errors="replace")
    return text, "cp932(errors=replace)"


def normalize_csvs(input_dir: Path, output_dir: Path) -> int:
    """input_dir 内のCSVを utf-8-sig に変換して output_dir に出力する。"""
    output_dir.mkdir(parents=True, exist_ok=True)

    csv_paths = sorted([p for p in input_dir.glob("*.csv") if p.is_file()])

    converted = 0
    for src in csv_paths:
        text, used_enc = read_text_with_fallback(src)
        dst = output_dir / src.name
        dst.write_text(text, encoding="utf-8-sig", newline="")
        print(f"OK  : {src.name}  ({used_enc} -> utf-8-sig) -> {dst}")
        converted += 1

    return converted


def main() -> None:
    script_dir = Path(__file__).resolve().parent

    parser = argparse.ArgumentParser(description="Convert CSV(s) to UTF-8 with BOM (utf-8-sig) and write to result/")
    parser.add_argument("--in", dest="in_dir", default=str(script_dir / "data"), help="Input directory (default: ./data)")
    parser.add_argument("--out", dest="out_dir", default=str(script_dir / "result"), help="Output directory (default: ./result)")
    args = parser.parse_args()

    in_dir = Path(args.in_dir).resolve()
    out_dir = Path(args.out_dir).resolve()

    # 1) デフォルト data/ を試す
    tried_dirs: list[Path] = []

    if in_dir.exists() and in_dir.is_dir():
        tried_dirs.append(in_dir)
        converted = normalize_csvs(in_dir, out_dir)
        if converted > 0:
            print(f"\nDone: converted {converted} file(s). Output: {out_dir}")
            return
        else:
            print(f"INFO: No CSV found in {in_dir}")
    else:
        print(f"INFO: Input dir not found: {in_dir}")

    # 2) data/ が無い or 空なら、プロジェクト直下（このpyと同階層）を試す
    fallback_dir = script_dir
    if fallback_dir not in tried_dirs:
        converted = normalize_csvs(fallback_dir, out_dir)
        if converted > 0:
            print(f"\nDone: converted {converted} file(s). Output: {out_dir}")
            return

    # ここまで来たら、どこにもCSVが無い
    print("\nNG  : CSV file not found.")
    print(f"      Put .csv files in {in_dir} or {script_dir}, then run again.")


if __name__ == "__main__":
    main()