三端一套算法——旦阅的整体架构

/** 章节标题：整行匹配，行首允许少量空白 */
const RE_CHAPTER = /^\s*(?:序章|序言|楔子|引子|前言|后记|尾声|终章|尾章|番外|外传|作品相关|正文|大结局|Chapter\s*[0-9IVXLCivxlc]{1,6}[^\n]{0,30}|CHAPTER\s*[0-9IVXLCivxlc]{1,6}[^\n]{0,30}|第[0-9零一二三四五六七八九十百千万壹贰叁肆伍陆柒捌玖拾佰仟两]{1,12}[章节回卷幕篇集部][^\n]{0,40}|[0-9]{1,4}[、.．][^\n]{0,40})\s*$/

/** 单行最长 50 字，超过就不可能是标题 */
const MAX_TITLE_LINE = 50
/** 无章节时每节字符数 */
const FALLBACK_SIZE = 4000

private static readonly Regex ReChapter = new(
    @"^\s*(?:序章|序言|楔子|引子|前言|后记|尾声|终章|尾章|番外|外传|作品相关|正文|大结局|" +
    @"Chapter\s*[0-9IVXLCivxlc]{1,6}[^\n]{0,30}|CHAPTER\s*[0-9IVXLCivxlc]{1,6}[^\n]{0,30}|" +
    @"第[0-9零一二三四五六七八九十百千万壹贰叁肆伍陆柒捌玖拾佰仟两]{1,12}[章节回卷幕篇集部][^\n]{0,40}|" +
    @"[0-9]{1,4}[、.．][^\n]{0,40})\s*$",
    RegexOptions.Compiled | RegexOptions.CultureInvariant);

public const int MaxTitleLine = 50;
public const int FallbackSize = 4000;

/** 过近的候选合并（避免正文里的误命中把一章切碎） */
function filterMarks(marks : Chapter[]) : Chapter[] {
    const out : Chapter[] = []
    for (let i = 0; i < marks.length; i++) {
        const m = marks[i]
        if (out.length > 0) {
            const prev = out[out.length - 1]
            if (m.start - prev.start < 120) continue   // 相邻候选间隔 < 120 字 → 丢弃后者
        }
        out.push(m)
    }
    return out
}

// 章节太少或平均每章太短，说明这本书没有章节结构
if (marks.length < 2 || (marks.length < 3 && len / marks.length < 900)) {
    return splitByLength(text)   // 兜底：按 4000 字一节，并尽量对齐到换行
}

① 前 3 字节 BOM → UTF-8 / UTF-16LE / UTF-16BE
② 零字节占比 > 25% → 无 BOM 的 UTF-16（再看奇偶位定 LE/BE）
③ 严格 UTF-8 合法性校验（逐字节验证续字节范围）
④ 都不成立 → GB18030（GBK/GB2312 的超集，兜底最稳）

public static bool IsStrictUtf8(ReadOnlySpan<byte> bytes)
{
    var i = 0;
    while (i < bytes.Length)
    {
        var b = bytes[i];
        if (b < 0x80) { i++; continue; }

        int extra;
        byte lo;
        byte hi;
        // 首字节决定"后面跟几个字节"以及"第一个续字节的合法范围"
        if (b is >= 0xC2 and <= 0xDF) { extra = 1; lo = 0x80; hi = 0xBF; }
        else if (b == 0xE0) { extra = 2; lo = 0xA0; hi = 0xBF; }
        else if (b is >= 0xE1 and <= 0xEC) { extra = 2; lo = 0x80; hi = 0xBF; }
        else if (b == 0xED) { extra = 2; lo = 0x80; hi = 0x9F; }   // 挡住 UTF-16 代理区
        else if (b is >= 0xEE and <= 0xEF) { extra = 2; lo = 0x80; hi = 0xBF; }
        else if (b == 0xF0) { extra = 3; lo = 0x90; hi = 0xBF; }
        else if (b is >= 0xF1 and <= 0xF3) { extra = 3; lo = 0x80; hi = 0xBF; }
        else if (b == 0xF4) { extra = 3; lo = 0x80; hi = 0x8F; }
        else return false;   // 0x80~0xC1、0xF5~0xFF 在 UTF-8 里非法

        if (i + extra >= bytes.Length) return true;   // 采样末尾被截断：放过
        var first = bytes[i + 1];
        if (first < lo || first > hi) return false;
        for (var k = 2; k <= extra; k++)
        {
            var c = bytes[i + k];
            if (c < 0x80 || c > 0xBF) return false;
        }
        i += extra + 1;
    }
    return true;
}

1. 去掉开头的 BOM（U+FEFF）
2. 行尾统一为 \n（先 \r\n → \n，再 \r → \n）
3. 去掉首尾的 ASCII 空白与换行（空格 / 制表 / 换行；不含全角空格）
4. 编码为 UTF-8（无 BOM），求 MD5 → 小写十六进制

public static string Normalize(string text)
{
    if (string.IsNullOrEmpty(text)) return string.Empty;
    var s = text;
    if (s[0] == '\uFEFF') s = s[1..];              // 去 BOM
    s = s.Replace("\r\n", "\n").Replace('\r', '\n'); // 行尾归一
    return s.Trim(' ', '\t', '\n');                 // 去首尾空白
}

var pendingCr = false;

void Feed(ReadOnlySpan<byte> span)
{
    foreach (var b in span)
    {
        if (pendingCr)
        {
            pendingCr = false;
            sink.Push(0x0A);          // 上一个 CR 补一个 LF
            if (b == 0x0A) continue;  // CRLF：当前字节已被消费
        }
        if (b == 0x0D) { pendingCr = true; continue; }  // CR 先挂起，等下一个字节
        sink.Push(b);
    }
}

public void Push(byte b)
{
    if (!_started)
    {
        if (IsTrim(b)) return;      // 首部裁剪：直接丢
        _started = true;
        Emit(b);
        return;
    }

    if (IsTrim(b))
    {
        _pending[_pendingLen++] = b;   // 尾部空白：先暂存，不知道是不是真结尾
        return;
    }

    FlushPending();                 // 后面还有正文 → 之前暂存的空白其实是正文的一部分
    Emit(b);
}

// readLine() 本身就把 \r\n / \r / \n 都当行分隔，行与行之间补 \n
// —— 恰好等价于「行尾归一」，不必自己写跨块回看逻辑

node scripts/bookkey_ref.mjs --selftest          # 先自检脚本本身
node scripts/bookkey_ref.mjs D:/books/某本书.txt  # 与手机端日志里的 key 比对

# 桌面端自检工具
dotnet run --project tools/EggBook.Verify -- selftest   # 9573 项
dotnet run --project tools/EggBook.Verify -- fingerprint 某本书.txt http://localhost:5121