Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
Show all changes
35 commits
Select commit Hold shift + click to select a range
e24c0d8
feat: 新增 DbParameterValue,参数携带列元数据供方言类型化
MarvelTiter Sep 15, 2026
862742a
feat: 新增参数绑定能力接口 IDatabaseParameterBinder,json 序列化下沉方言
MarvelTiter Sep 15, 2026
b21472a
refactor: 从 IDatabaseAdapter 剥离可选能力接口,新增能力探测助手
MarvelTiter Sep 15, 2026
5182041
feat: DbParameterReader 支持结构化参数并按方言绑定器类型化
MarvelTiter Sep 15, 2026
f91d0ce
feat: Insert 与批处理链路取消 json 列预序列化
MarvelTiter Sep 15, 2026
ed0b50c
fix: UpdateColumns 仅登记更新列,json 列不再被合并为整列赋值
MarvelTiter Sep 15, 2026
f4786d6
feat: 表达式解析支持 json 列,JsonQuery/JsonSet 保持裸列名
MarvelTiter Sep 15, 2026
dbc9f74
feat: 新增 SqlFn.N() 显式 Unicode 前缀,移除 Coalesce 隐式 N
MarvelTiter Sep 15, 2026
bb1cc55
feat: PostgreSQL 参数绑定按驱动类型化,json 列处理对齐
MarvelTiter Sep 15, 2026
6d42931
feat: SqlServer 参数绑定按值形状分流,json 列处理对齐
MarvelTiter Sep 15, 2026
6c3e29a
feat: MySql 参数绑定与 json 列整列更新对齐
MarvelTiter Sep 15, 2026
c3f2eb3
feat: Sqlite 参数绑定与 json 列处理对齐
MarvelTiter Sep 15, 2026
c3343a4
feat: Dameng 参数绑定与 json 列处理对齐
MarvelTiter Sep 15, 2026
b10d01a
feat: KingbaseES 参数绑定按驱动类型化,json 列处理对齐
MarvelTiter Sep 15, 2026
0de2918
feat: Oracle json 列适配——整列赋值、JSON() 解析与 CLOB 绑定
MarvelTiter Sep 15, 2026
9a7d43a
test: json 列用例集中迁移,删除各 provider 分散的 JsonTest
MarvelTiter Sep 15, 2026
7265117
test: 新增集中式 json 列执行用例与数据模型
MarvelTiter Sep 15, 2026
20e5989
test: 补充 json 列 SqlGenerate 用例并适配既有用例
MarvelTiter Sep 15, 2026
7903308
docs: 更新版本日志与工作记忆
MarvelTiter Sep 15, 2026
b5d455b
feat: json 读取路径按末级成员形状分流
MarvelTiter Sep 17, 2026
e19cc1d
fix: json 类型作为投影目标时按第 0 列反序列化
MarvelTiter Sep 17, 2026
f64f022
test: 补充 json 复合末级投影用例与 SQL 探针
MarvelTiter Sep 17, 2026
0960de9
docs: 更新工作记忆(json 复合末级读取与投影形状)
MarvelTiter Sep 17, 2026
cd7856c
chore: 更新测试数据库
MarvelTiter Sep 17, 2026
2063922
docs: 记录全量回归结果与分批提交清单
MarvelTiter Sep 17, 2026
690a14f
fix: KingbaseES 整列 json 更新改为列直接赋值
MarvelTiter Sep 17, 2026
2df7d3f
test: JsonSet 用例的 PG 格式分支纳入 KingbaseES
MarvelTiter Sep 17, 2026
9782074
fix: KingbaseES provider 注册的 DbBaseType 由 Oracle 修正为 KingbaseEs
MarvelTiter Sep 17, 2026
7e73f33
docs: 记录 KingbaseES 实例接入与 json 用例修复
MarvelTiter Sep 17, 2026
b45b329
fix: KingbaseES 字符串列带 Length 声明时改用 VARCHAR(n)
MarvelTiter Sep 17, 2026
d3a4b53
test: 接入 KingbaseES 测试项目
MarvelTiter Sep 17, 2026
bc258eb
docs: 记录 KingbaseES 建表长度约束修复与测试项目接入
MarvelTiter Sep 17, 2026
aaa5956
feat: 达梦 json 读取路径按末级成员形状分流
MarvelTiter Sep 17, 2026
4771c70
test: 删除达梦项目中重复的 SelectResult 测试类
MarvelTiter Sep 17, 2026
39a54b8
docs: 记录达梦 DDL 性能归因与测试基础设施
MarvelTiter Sep 17, 2026
File filter

Filter by extension

Filter by extension


Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
8 changes: 8 additions & 0 deletions .workbuddy/memory/2026-09-08.md
Original file line number Diff line number Diff line change
@@ -0,0 +1,8 @@
# 2026-09-08

## BulkCopy 支持/实现盘点
- 入口: `ExpressionContextExtension`(src/LightORM/Extension) `Db.Ado.BulkCopy<T>(IEnumerable<T>)`(实体→DataTable, 过滤 IsNotMapped/IsAggregated/IsNavigate, bool 列存 object + adapter.HandleBooleanValueForBulkCopy) + `BulkCopy(DataTable)` → `IDatabaseProvider.BulkCopy(DataTable)`。
- 实现: SqlServer(SqlBulkCopy+KeepIdentity, bool→"true"/"false")、MySql(MySqlConnector MySqlBulkCopy, 要求连接串含 allowloadlocalinfile, 并执行 SET GLOBAL local_infile=1)、Oracle(OracleBulkCopy UseInternalTransaction)、Dameng(DmBulkCopy) 已实现; KingbaseES(NotImplementedException)、PostgreSQL/Sqlite(NotSupportedException) 未实现。
- 一致性差异: 事务模型不一(Oracle 走内部事务, 其余显式 BeginTransaction); bool 转换默认基类 "1"/"0"(仅 SqlServer override 为 "true"/"false"); 均自行建连/关闭绕过 AOP 拦截器; BulkCopyTimeout 固定 120。
- 测试: LightORMTest 基类仅 1 用例(删表 + BulkCopy 20 条 User, 不校验结果), SqlServer/MySql/Oracle/Dameng/PostgreSQL 有派生; KingbaseES/Sqlite 无测试; PostgreSQL 有测试类但 Provider 抛 NotSupportedException(README 亦注明不支持)。
- README: "SqlServer/MySql/Oracle/Dameng 支持, PostgreSQL/SQLite 不支持", 未提及 KingbaseES。
139 changes: 139 additions & 0 deletions .workbuddy/memory/2026-09-09.md

Large diffs are not rendered by default.

70 changes: 70 additions & 0 deletions .workbuddy/memory/2026-09-10.md
Original file line number Diff line number Diff line change
@@ -0,0 +1,70 @@
# 2026-09-10 LightORM 工作日志

## json 列"整列更新 / JsonSet 路径更新"解析问题定位 (用户要求: 先别动代码, 只分析)

### 用户给出的方向
- 问题: 解析 json 列无法处理 **json 全列更新** 或 **json 路径更新**。
- 修复位置: `ExpressionResolver.VisitMember` 解析到 json 列时必须调用 `HandleJsonColumn`。
- 当 `Indexer == null` 或 `Members.Count == 0` 时, 既可能是整列更新, 也可能是 json 路径更新(调用 `SqlFn.JsonSet`)。

### 已核实的代码事实 (PG only)
- `src/LightORM/Utils/ExpressionResolver.cs:520-533` json 分支守卫:
`if (col.IsJsonColumn && !specificHandleJson) { var index = GetResolvedIndex(); ResolvedMembers.Add(col.PropertyName); if (index.HasValue || Members.Count > 0) { ...HandleJsonColumn...; return null; } }`
→ **index 无值 且 Members 为空时不调用 HandleJsonColumn**, 直接落到 line 547-560 普通列路径, 只 `Sql.AppendEmphasis(col.ColumnName)` → `result.SqlString` = 裸列名 `"DATA"`。
(git diff 显示该守卫刚由"两段 if"合并为 `index.HasValue || Members.Count > 0`, 新增了"带索引也走 HandleJsonColumn")
- `specificHandleJson` 仅由 `JsonQuery` 置位: ExpressionResolver.cs:307-312 `if (exp.Method.Name == "JsonQuery") specificHandleJson = true;` → **JsonSet 未置位**。
- 整列更新落点: `UpdateBuilder.cs:82-85` 对 json 列 `UpdateSpecific.Add(col.PropertyName, result.SqlString)`(直接存 result.SqlString, 期望它是"完整赋值"); 构建时 `UpdateBuilder.cs:289-291` `sb.Append(fieldSql)` 直接拼 → 得到 `SET "DATA"` (缺 `= @p`)。对比非 json 列 line 88 显式拼 `= @prefix`。
- PG `HandleJsonColumn` 已实现两种 Update 语义 (CustomPostgreSQL.cs:75-134):
- `context.HasIndexInfo()` 为 true → `col = JSONB_SET(col::JSONB, '{路径}', @Prop::JSONB)` (路径更新)
- false → `col = @Prop::JSONB` (整列更新, CustomPostgreSQL.cs:129-133)
`HasIndexInfo()` = `Members.Count > 0 || Members.Any(i => i.IndexValue.HasValue)` (JsonColumnContext.cs:15-18)。
- PG `JsonSet` resolver (PostgreSQLMethodResolver.cs:210-238) 自己会 `Visit(Arguments[0]); " = "; "JSONB_SET("; Visit(Arguments[0]); "::JSONB"; ...` → 即"列实参"期待是**裸列名**, 且它自己发 `col =` 和 JSONB_SET。

### 结论 / 待确认的修复方案
- 空分支的三种形态: (1) 整列更新 `Set(j=>j.Data, obj)` 需要 `col = @Prop::JSONB`; (2) `SqlFn.JsonSet(j.Data, path, v)` 的列实参需要**保持裸列名**(由 PG.JsonSet 自己拼赋值, 否则双重赋值 `"DATA" = @Data::JSONB = JSONB_SET(...)`); (3) Select/Where 裸引用 `j.Data` 应保持裸列名。
- 方案: (a) VisitMember 在 `!index.HasValue && Members.Count == 0` 且 `SqlType == SqlPartial.Update` 时也调用 HandleJsonColumn; (b) 同时把 `JsonSet` 纳入 `specificHandleJson = true`(与 JsonQuery 一致)以免 (a) 误伤 JsonSet 的列实参; (c) 限定 Update 以免 Select/Where 裸引用被包成 `("DATA")`。
- 未动代码, 等用户确认方向。

### 环境备注
- 沿用: dotnet 命令需 `env APPDATA=... PROGRAMDATA=... "ProgramFiles=..." "ProgramFiles(x86)=..." dotnet ...`; 日志重定向到文件读取。

### json 整列/路径更新修复 (仅 PG; 用户: UpdateColumns 也走 Update 分支, SetNull 走 SetNullMembers; 其他 provider 稍后)
- 根因: ExpressionResolver.VisitMember 中 json 列分支当 `index 无值 && Members 为空` 时直接落普通列路径 → 输出裸列名; UpdateBuilder 整列 json 走 UpdateSpecific.Add(prop, result.SqlString) 要求 result.SqlString 是完整赋值 → 生成 `SET "DATA"` 缺 `= @p`。
- 改动1 `ExpressionResolver.VisitMethodCall`(~306): JsonQuery 与 JsonSet 都置 specificHandleJson=true (用 isSpecificJson 局部变量, resolve 后恢复)。作用: JsonSet 的列实参保持裸列名, 避免被 VisitMember 的新整列分支二次包装成 `col=@p = JSONB_SET(...)`。
- 改动2 `ExpressionResolver.VisitMember`(~536): 空分支条件加 `|| Options.SqlType == SqlPartial.Update` → Update 下整列引用也调用 HandleJsonColumn。仅限 Update(Select/Where/Insert 裸引用 json 列语义不变)。
- 改动3 `CustomPostgreSQL.HandleJsonColumn` 整列分支(~127): 补 `context.Sql.Append(Prefix)` → `"DATA" = @Data::JSONB`(原来漏 @, 生成 `= Data::JSONB`)。
- 编译: core 全 TFM + PG net462/net8.0/net10.0 均 0 错误。
- Sqlite 冒烟(--filter ~Json): 15 通过 / 3 失败。整列 UPDATE 现在生成合法 SQL `SET \`DATA\`=JSON_SET(\`DATA\`,'$',@Data),...`(修复前为非法 `SET \`DATA\`,...`)。剩 3 失败(NestedPath_Update / WholeColumn_Update / TestJsonUpdateAsync)均为 Sqlite json 更新"值被双引号/双重编码"的方言问题(修复前同样失败, 非回归); JsonColumn_JsonSet_Update 现通过。
- 注意: 改动2 是框架级, 影响所有 provider 的 Update 整列 json; 非 PG 方言 HandleJsonColumn 空分支行为(如 Sqlite JSON_SET(col,'$',@v) )待后续按各自能力复核。更新入口依赖 build 阶段 UpdateBuilder:289-297 序列化 + binder 类型化闭环(无需改 UpdateBuilder)。

## 补 UpdateColumns / SetNull / Set(col,null) 用例 (用户: 补上这几个测试用例)
- 新增 3 个用例 (`test/LightORMTest/ResultTest/ExecutionTest.JsonColumnCases.cs`):
- `JsonColumn_UpdateColumns_Update`: `Db.Update(entity).UpdateColumns(j => j.Data)`(实体带值, 基线下标 102), 断言 Data 整列替换生效且 Obj/Arr/Lst 不变。
- `JsonColumn_SetNull_Update`: `Db.Update<T>().SetNull(j => j.Data).Where(Id==102)` → 走 SetNullMembers, 生成 `col = NULL`。
- `JsonColumn_SetNullValue_Update`: `Set(j => j.Data, null)` → 与 SetNull 等价, 同走 SetNullMembers。
- Sqlite 结果: SetNull / SetNullValue **通过**; UpdateColumns **失败** → `System.Data.SQLite.SQLiteException: Insufficient parameters supplied`, 生成 `UPDATE ... SET \`DATA\` = JSON_SET(\`DATA\`,'$',@Data) WHERE (ID=@Id)`, 参数只有 Id, **缺 @Data**。
- 根因: UpdateColumns 的 ExpressionInfo 无 AdditionalParameter → UpdateBuilder.HandleResult 走 else 分支 `UpdateSpecific.Add(prop, result.SqlString)`; 构建时 (UpdateBuilder ~287) `UpdateSpecific` 命中即 append 并 `continue`, **不像普通列那样回退到 TargetObject 取值** → json 列永远拿不到参数。
- 修复 `src/LightORM/Builder/UpdateBuilder.cs` (~289, UpdateSpecific 分支): 把 json 列的参数回填从"仅当 DbParameters 已有值"扩展为: 有值→序列化(JsonSet/Set 路径); 无值且 `TargetObject != null`→`c.GetValue(TargetObject)` 后序列化(UpdateColumns 路径)。与普通列的 TargetObject 回退语义对齐。
- 修复后 Sqlite: `Data - {"Name":"ColsData",...}` 参数已绑定, `Insufficient parameters` 消失; 新失败变为反序列化 `JsonException: The JSON value could not be converted to ... JsonData | BytePositionInLine: 94` —— 即 **Sqlite 方言 json 更新双编码**(JSON_SET(col,'$',@text) 把 JSON 文本当字符串再包一层), 与已知失败 NestedPath_Update / WholeColumn_Update 同源。
- Sqlite JsonColumn* 最终: 7 通过 / 3 失败(NestedPath_Update, WholeColumn_Update, UpdateColumns_Update), 3 个失败全部是 Sqlite 方言双编码, 非本次框架改动引入。
- 编译: core 全 TFM 0 错误; PG test 项目 0 错误。
- 未做: 多列 `UpdateColumns(j => new { j.Data, j.Obj })` 未覆盖 —— VisitNew 会把两列 SQL 累积进同一 result.SqlString 并由 Members[0] 存进 UpdateSpecific, 疑似会拼出畸形 SQL, 待用户确认是否需要处理。
- 更新 `doc/版本日志.md` v2026.09.10 条目。

## UpdateColumns json 列最终修法 (推翻上一节的 UpdateSpecific 兜底方案)
- 用户: "补充测试用例" → 补 `JsonColumn_UpdateColumns_MultiColumns_Update`(Data+Obj 两列)。
- 多列实测畸形 SQL: `SET \`DATA\`=JSON_SET(...,@Data), \`OBJ\`=JSON_SET(...,@Obj), \`OBJ\`=@Obj` —— 根因: `VisitNew` 把多列赋值累积进同一个 `result.SqlString`, 而 `HandleResult` 只按 `Members[0]`(Data) 存进 UpdateSpecific, 其它成员又走普通列路径重复生成。
- **最终方案(已落地)**: 给 UpdateColumns 的 ExpressionInfo 打标记, 让它按"纯列选择"处理。
1. `src/LightORM/Models/SpecificValue.cs`: 新增 `internal class UpdateColumnsFlags`(私有构造 + `Instance`, 仿 `GroupingSetsFlags`)。
2. `UpdateProvider.UpdateColumns<TUpdate>`: `new ExpressionInfo(SqlResolveOptions.Update, columns, additionalParameter: UpdateColumnsFlags.Instance)`。
3. `UpdateBuilder.HandleResult`: Update 分支新增 `else if (expInfo.AdditionalParameter is UpdateColumnsFlags) { Members.AddRange(result.Members); }` —— 忽略解析出的整列赋值 SqlString, 只登记成员。
4. 回退上一节在 `ToSqlString` 的 `UpdateSpecific` json 列为 TargetObject 兜底的改动(已无必要, 恢复原样)。
- 效果: json 列在 UpdateColumns 下走普通列路径 → `col = @p`, 值由主流程 `c.GetValue(TargetObject)` + 序列化 + `DbParameterValue(col, json)` 交给方言 binder 类型化(PG → jsonb)。不需要 `::JSONB` 转换, 也不走 `JSON_SET`。
- **为什么不用枚举方案**: 曾考虑让 UpdateColumns 用未使用的 `SqlPartial.UpdatePartial` 区分(枚举值确认全库无引用), 但 `ExpressionExtensions.Resolve` 的缓存键是 `CacheKey(SqlAction, Hash, NestedLevel)` **不含 SqlPartial**, `j => j.Data` 在 Set 与 UpdateColumns 下 hash 相同 → 会串缓存, 故放弃。标记走 AdditionalParameter, 不触碰解析器与缓存。
- 验证:
- Sqlite `--filter "~Update|~Json"`: 36 用例 / 33 通过 / 3 失败。`JsonColumn_UpdateColumns_Update`、`JsonColumn_UpdateColumns_MultiColumns_Update`、`SetNull`、`Set(col,null)`、`Update_Columns_Test`、`UpdateTest`、`Update_Batch` 全部通过。
- 剩余 3 失败=`JsonColumn_NestedPath_Update` / `JsonColumn_WholeColumn_Update` / `TestJsonUpdateAsync`, 全是 Sqlite 走 `JSON_SET` 的**双重编码**(json 文本被再包一层字符串), 与本次改动无关。线索: Sqlite `HandleJsonColumn` 整列分支用 `JSON_SET(col,'$',@p)` 是错的, 应该直接 `col = @p`(UpdateColumns 用普通列路径就是 `= @p`, 读回正常)。
- PG SQL 生成(SqlGenerate 不需要真库): `UPDATE JSON_TEST SET JSON_DATA = @Json WHERE (ID = @Id)`, 参数 `Json - {"Name":"ColsName",...}`; 多列 → `JSON_DATA = @Json, JSON_DATA_ELEMENT = @JsonObject`, 无重复列。
- 编译: core 全 TFM 0 错误; PG 测试项目 0 错误。
- 新增 SQL 生成用例 `test/LightORMTest/SqlGenerate/UpdateSql_Json.cs`: `UpdateColumnsJsonField` / `UpdateColumnsMultiJsonField`(仅 Console.WriteLine, 与文件既有风格一致; 需 `using System.Text.Json.Nodes;`)。
- 环境: PowerShell 工具本次全程无输出(疑似失效), 改用 bash + `export APPDATA=... && env "ProgramFiles=..." dotnet ... > file 2>&1` 重定向读文件; `--no-build` 只在目标项目本次 build 过后才可用(共享 LightORMTest.dll 会过期)。
Loading
Loading