Repository navigation
数据库参数重构 - #43
Merged
Hidden character warning
The head ref may contain hidden characters: "\u6570\u636e\u5e93\u53c2\u6570\u91cd\u6784"
Merged
数据库参数重构#43
Conversation
- 新增 readonly record struct DbParameterValue(ITableColumnInfo? Column, object? Value), 并提供 NoColumn(value) 便捷构造,用于 Where/常量等无列语义的参数 - ISqlBuilder.DbParameters 与 SqlBuilder.DbParameters 由 Dictionary<string, object> 改为 Dictionary<string, DbParameterValue> - SqlBuilder 中用户裸参数字典、集合展开、边界替换三条路径统一包装为 NoColumn 参数 - DeleteBuilder 主键参数改为携带列元数据,使方言可在绑定阶段按其类型语义处理
- 新增 IDatabaseParameterBinder.BindParameter(IDataParameter, ITableColumnInfo?, object?): 方言可完全接管参数类型与值的设置;返回 false 表示未接管,由框架按 CLR 类型默认推断 - CustomDatabaseAdapter 实现该接口并给出默认 json 绑定:json 列的原始 CLR 值经 JsonParameterHelper.Serialize 序列化后以 DbType.String 下发,各方言继承即得 - 新增 JsonParameterHelper:统一 json 序列化(走框架配置的 ILightJsonHelper), 并提供 IsCompositeJsonValue 判定值在 JSON 中是复合文档还是标量,供方言决定 是否需要 JSON()/JSON_QUERY() 之类的解析包装 - HandleJsonParameter 及 JsonColumnParameterContext、ActionType 标记 Obsolete, 保留空实现仅为不破坏第三方 adapter,框架内不再调用
- 将 DbCommandInit 剥离为 IDbCommandInitializer:仅 Oracle 等少数方言需要, 按接口隔离原则从 IDatabaseAdapter 移出 - 将 ReturnIdentitySql 剥离为 IReturnIdentity:由 SqlServer/MySql/Sqlite/Dameng 声明实现, Oracle/PostgreSQL/KingbaseES 不再需要空桩 - 新增 AdapterCapability.TryGet<TCapability>,穿透 ScopedDatabaseAdapter 装饰器直达真实适配器 - ScopedDatabaseAdapter 暴露 Inner 供能力探测钻取,并移除上述两项转发; Paging 参数类型由 ISelectSqlBuilder 改为具体的 SelectBuilder,ISelectSqlBuilder 接口随之移除 - SqlAdo 与 OrignalSqlExecutor.Prepare 改为能力探测方式调用命令初始化 (adapter is IDbCommandInitializer),并把适配器本身而非 Prefix 传给参数绑定 - SelectBuilder 不再实现已移除的 ISelectSqlBuilder
- HandleDbParameter 改收 IDatabaseAdapter,按参数形态分流:结构化字典 Dictionary<string, DbParameterValue>、裸字典 Dictionary<string, object>、对象/实体(编译 reader) - 新增统一建参入口 CreateParameterValue:先交给方言绑定器(IDatabaseParameterBinder), 未接管时回退到原有的 CLR 类型推断逻辑,保证第三方 adapter 行为不变 - 新增 AddParameterOnce:同名参数已存在时不重复添加,避免批量/多段 SQL 场景参数冲突 - readObjectToDic 缓存路径的参数同样包装为无列元数据参数
- InsertBuilder 移除 json 列的预先 Serialize 与 HandleJsonParameter 调用,json 列与普通列 统一生成 "列 = @参数";原始 CLR 值与列元数据交由方言绑定器序列化并按驱动类型化 - BatchSqlInfo 暴露 IsJsonColumn;ToDictionaryParameters 保持原始 CLR 值并携带列元数据, 且 json 列的静态值不再被跳过(json 无法作为 SQL 字面量渲染,必须走参数下发) - CustomDatabaseExtensions 的静态值渲染分支对 json 列放行至参数路径 - BatchActionHelper.additionalParameters 类型改为 Dictionary<string, DbParameterValue> - InsertProvider 调试输出按实际绑定值展示(json 列显示序列化后的文本),便于核对
- 新增 UpdateColumnsFlags 表达式标记,UpdateProvider.UpdateColumns 注册表达式时携带该标记 - UpdateBuilder 识别标记后只登记待更新成员,值取自更新实体:解析阶段为 json 列生成的 整列赋值(如 "DATA"=@DaTa::JSONB)不再作为 SET 片段使用,避免多列被合并进同一条赋值 SQL - 清理 UpdateBuilder 中已废弃的 json 列/特定值处理注释代码
- VisitMethodCall 对 SqlFn.JsonQuery / SqlFn.JsonSet 置 specificHandleJson,使其列实参保持 裸列名,避免 Update 场景被 VisitMember 误包装成整列赋值 —— 二者自身会拼接完整表达式 (如 json_col ->> path、col = JSONB_SET(col, ...)) - VisitMember 的 json 列分支增加 Update 判定:整列引用(Set/UpdateColumns 等无索引无成员路径) 也必须交由方言 HandleJsonColumn 生成 "col = @p",否则会退化成裸列名导致 UPDATE 缺少赋值; Select/Where/Insert 中裸引用仍保持列/参数名语义 - JsonColumnContext 新增 HasIndexInfo(),供方言判断是否存在索引或成员路径
- 新增 SqlFn.N(this string?) 扩展方法,配合 BaseSqlMethodResolver.N 生成 N'content' - 移除 Coalesce 对 string 兜底值自动追加的隐式 N 前缀,改由用户按需显式调用 N()
- 覆写 BindParameter:json 列序列化后以 NpgsqlDbType.Jsonb 下发,使 INSERT/UPDATE 无需依赖驱动对 TEXT 的推断,避免 json 被双重编码 - DateTime 按 Kind 区分类型:Utc 用 NpgsqlDbType.TimestampTz,其余用 Timestamp, 避免交由框架按 DbType.DateTime 兜底时被推断为带时区类型 - json 列读取按末级成员类型分流 -> 与 ->> 并补 cast,路径更新走 JSONB_SET, 整列更新为 "col" = @p::JSONB - InsertOrUpdate 链路对齐新参数模型
- 覆写 BindParameter:复合值(对象/数组)序列化为 JSON 文本并以 JSON_QUERY(@p) 包装下发, 标量传原生 CLR 值 —— SQL Server 对标量 JSON 文本会抛 Msg 13609,故必须按值形状分流 - 新增 IsCompositeLeaf 辅助判定末级成员是否为复合类型 - 自增主键回读改为实现 IReturnIdentity(SCOPE_IDENTITY()) - InsertOrUpdate 链路对齐新参数模型
- 覆写 BindParameter,json 列参数以 CAST(?p AS JSON) 显式解析为 JSON 值 - json 列整列更新统一为 "列 = ?p":规避 JSON_SET 首参为 NULL 时整体返回 NULL, 导致列被置空后再也无法写回的值静默丢失 - InsertOrUpdate 链路对齐新参数模型
- 覆写 BindParameter,json 列序列化后经 JSON(@p) 包装,使文本参数按 JSON 而非字面量解析 - 自增主键回读改为实现 IReturnIdentity(LAST_INSERT_ROWID()) - InsertOrUpdate 链路对齐新参数模型
- 覆写 BindParameter,json 列序列化后以 CAST(:p AS JSON) 解析;实测对字符串/对象/数组/ 数字/布尔/null 均正确,无需按标量/复合分流 - 自增主键回读改为实现 IReturnIdentity(SELECT @@IDENTITY) - InsertOrUpdate 链路对齐新参数模型
- 覆写 BindParameter:json 列以 KdbndpDbType.Jsonb 下发 - DateTime 按 Kind 区分类型:Utc 用 TimestampTz,其余用 Timestamp, 与 PostgreSQL 同源(Kdbndp 为 Npgsql 分支),避免驱动把参数推断为带时区类型 - InsertOrUpdate 链路对齐新参数模型
- HandleJsonColumn 按 HasIndexInfo() 分流:无索引/成员路径时生成整列直接赋值 "col" = :p, 不再无条件使用 JSON_TRANSFORM(col, SET '$' = :p) —— 该函数对 NULL 输入返回 NULL, 列原值为空时值会静默丢失(与已修的 MySQL JSON_SET 同类问题) - 路径更新的值参数改用 JSON(:p) 包装:框架下发的是序列化后的 JSON 文本,不经 JSON() 会被按字符串写入导致双重编码;与 PG 的 @p::JSONB、Sqlite 的 JSON(@p) 语义对齐 - 覆写 BindParameter:json 列序列化后以 OracleDbType.Clob 绑定,规避 VARCHAR2 的 4000 字节上限 - InsertOrUpdate 链路对齐新参数模型
- 删除 LightORMTest 主项目与六个 provider 测试项目下各自维护的 ResultTest/JsonTest.cs, 这些用例内容重复且各方言实现不一致,统一改由集中式用例承载
- 新增 ExecutionTest.JsonColumnCases:覆盖 json 列整列读写、路径更新(JsonSet)、 嵌套成员与数组索引读取等,供各方言统一执行与断言 - 新增 JsonExecTestModel 作为 json 用例的数据模型
- InsertSql_Json 与 UpdateSql_Json 补充 json 列整列赋值用例(此前缺失,而它正是 Oracle 出问题的路径),并核对各方言生成的 SQL 与参数 - 新增 Dameng 的 Insert/Update json 语句生成用例,补齐该方言的 SQL 快照 - TestBase 修复返回值类型并适配参数化改造 - 调整 DbParameterReadTest、ExecutionTest.GroupAggregateCases、ExecutionTest.InitData、 SqlServer ExecutionTest、Oracle CreateTableTest 以适配新参数模型 - 更新测试数据库 test.db
Oracle / SqlServer 的 JSON_VALUE 只返回标量, 取 json 路径下的对象/数组返回 NULL (投影一个嵌套对象会读回空对象 / null)。新增 JsonParameterHelper.IsCompositeJsonLeaf, 在生成期按表达式结构与列元数据判定末级是否为复合文档, 是则改用 JSON_QUERY 取 JSON 文档文本交由读取侧反序列化; 末级为标量仍用 JSON_VALUE。 判定只看结构不看运行时值, 与表达式缓存兼容; 无法判定的索引路径按标量处理, 保持 既有语义。Oracle 21c XE 与 SQLite 实库用例通过。
投影到 json 列类型本身(如 ToListAsync(j => j.Data.NestJson), 目标类型即 JsonData)时, 该查询只 SELECT 一列, 但非匿名目标类型会走 CreateCustomEntity 的"按列名匹配"逻辑, 为 JsonData 找不到对应列, reader 退化成 new JsonData() 空对象(匿名投影因走 CreateAnonymous 命中 ContainsJsonType 分支而正常)。 改为在 CreateCustomEntity 开头判定目标类型是否 json 列类型(ContainsJsonType), 是则 读第 0 列并按目标类型反序列化。ContainsJsonType 查的是 JsonMaps(只注册 [LightJsonMap] 的列类型), 实体类型不在其中, 故不影响普通实体映射。顺带修正 CreateCustomEntiry 拼写。
JsonColumn_CompositeMember_Projection 同时覆盖匿名投影(new { N = j.Data.NestJson })
与非匿名目标类型(j.Data.NestJson)两种形状, 末级分别为嵌套对象 / 数组元素 / List 元素,
用于验证 Oracle / SqlServer 在复合末级下走 JSON_QUERY。SelectSql_Json 新增只打印不连库
的 SQL 探针; Oracle 测试配置关闭 UseUnicodeString。
记录 Oracle 读取路径按末级形状分流 JSON_VALUE / JSON_QUERY、投影形状(匿名与非匿名 目标类型均支持)两条结论, 以及各方言复合末级 SQL 的实测矩阵与未验证项。
SQLite 全量回归(167 用例 150 通过 / 17 失败, 与改动前一致)后产生的数据快照。
HandleJsonColumn 的 UPDATE 分支只实现了路径写法, 整列更新(无成员路径/无索引)也生成
JSONB_SET(col::JSONB,'{}',@p::JSONB), 而 Kingbase 对空路径不替换整个文档 —— 列非空时值
静默写不进去, 列已为 NULL 时 JSONB_SET 又整体返回 NULL(同 MySQL 的 JSON_SET NULL 陷阱)。
补上 PostgreSQL 里已有的 HasIndexInfo() 二分: 整列 → "col" = @prop::JSONB, 有路径/索引
→ 原 JSONB_SET 逻辑。三种 json 列(对象/数组/List)整列更新与"由 NULL 写回"用例由失败转为
通过, 实测 KingbaseES V9 全量 100 用例 99 通过, json 18/18。
DbBaseType 是 record(按 Name 值相等), Kingbase 的 Name 为 "KingbaseES", 故
DbType == DbBaseType.PostgreSQL 恒为 false, 该用例一直落进默认分支, 把 PG/Kingbase
同源的路径 '{City,Name}' 写成 '$.City.Name'、值写成裸文本, 导致 22P02 invalid input
syntax for type json。改为按 DbType.Name 判断。
IoCExtension 里 SetDatabase 传的是 DbBaseType.Oracle, 会让 ResolveContext 按 Oracle 方言解析; 改为 KingbaseESProvider.KingbaseEs, 并把 KingbaseES 测试项目登记进 slnx。
新增实例信息(容器 kes, 端口 54321, database_mode=oracle 且不影响 json)、 JSONB_SET 空路径陷阱、DbBaseType 为 record 导致 PG 分支漏判的测试写法。
FormatType.TransformType 对 string 一律兜底成 TEXT, 而 BuildColumn 只给 含 "CHAR" 或 NUMERIC 的类型追加长度, 于是 [LightColumn(Length = n)] 的长度约束 在库里静默丢失(列实际是无限长 TEXT)。 补一条 TEXT + Length 的分支, 生成 VARCHAR(n)。依赖该约束触发回滚的 Transaction_Atomicity_Test(向 Length=128 的 USER_NAME 插 500 字符)由失败转为通过, KingbaseES 全量 99 用例 99 通过。
新增 test/LightORMTest.KingbaseES(net10.0 + MSTest 4.0.2, 引用 KingbaseES provider 与共享 LightORMTest), 与 Oracle 子项目同构: - GlobalUsings.cs : ConnectString 指向 docker 容器 kes(端口 54321) - MSTestSettings.cs : 方法级并行, Workers=1 - ResultTest/ExecutionTest.cs : 继承共享 ExecutionTest, 覆写 DbType 为 KingbaseESProvider.KingbaseEs bin/obj/TestResults 由 .gitignore 覆盖。全量 99 用例 99 通过。
- BuildColumn 的 TEXT+Length → VARCHAR(n) 修复与 Transaction_Atomicity_Test 的因果关系 - test/LightORMTest.KingbaseES 结构、DbBaseType 用 KingbaseEs、全量 99/99 - MEMORY.md 补长期结论: KingbaseES 字符串列一律映射 TEXT, Length 约束需在建表层补回
对齐 Oracle / SqlServer 的处理: JSON_VALUE 只返回标量, 取 json 路径下的对象/数组会得到 NULL。新增 Query 常量(Binary 后端 JSONB_QUERY / 文本后端 JSON_QUERY), 读取分支据此在 JSON_VALUE / JSON_QUERY 之间选择, 判定复用 JsonParameterHelper.IsCompositeJsonLeaf。 注: 该分支改动尚未在达梦实库上跑过 json 用例(用户确认达梦暂不追)。
SelectResult 与 ResultTest/ExecutionTest 都继承共享 ExecutionTest(100 个用例), 等于把整套 共享套件跑两遍, 达梦项目因此发现 270 个用例(其它方言 100~194)。删除后仅保留一份。 注: PostgreSQL / SqlServer 项目下存在同样的重复类, 本次未动。
- 达梦每条 DDL 恒定 ~25ms(与语句内容无关) ⇒ 每条自带提交/落盘; 批量化不可行 (`;` 多语句被拒 / 匿名块 EXECUTE IMMEDIATE 慢 ~7 倍), 唯一手段是减少 DDL 条数。 - DamengTableHandler 逐条 yield vs PG 系每表 yield 一次的差异, 以及 InitData 的 [TestInitialize] 全量重建 schema 是每个用例的秒级底噪来源。 - 六台测试容器端口与各方言 --list-tests 用例数。
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
目标
一、参数绑定层重构(本分支主线)
Dictionary<string, object>改为结构化的DbParameterValue(ITableColumnInfo? Column, object? Value),从
SqlBuilder一路贯通到绑定阶段;ISqlBuilder.DbParameters与DbParameterReader全线改为新类型。IDatabaseParameterBinder:方言可在绑定阶段依据列元数据施加驱动特有类型(PG →
jsonb、DateTime 按Kind选timestamp/timestamptz等)。CustomDatabaseAdapter提供默认 json 实现,第三方适配器继承即得;返回 false 时回退原 CLR 推断逻辑。
IDatabaseAdapter剥离为能力接口:IDbCommandInitializer(OracleBindByName等)、IReturnIdentity(自增回读),调用点用新增的AdapterCapability.TryGet<T>()探测,失败给出明确「不支持」提示。IDatabaseAdapter.HandleJsonParameter(标[Obsolete],框架内不再调用,保留以免破坏第三方 adapter)。二、json 列跨方言统一
col = @p(PG 系带::JSONB/ MySQL 与 SQLite 由驱动解析)——修掉 MySQLJSON_SET(NULL,…)、达梦
JSON_SET(NULL,…)这类「列被置空后再也写不回」的静默丢值。@p::JSONB、SQLiteJSON(@p)、MySQLCAST(?p AS JSON)、达梦
CAST(:p AS JSON)、SqlServer 复合值JSON_QUERY(@p)/标量传原生值、OracleJSON(:p)。JsonParameterHelper.IsCompositeJsonLeaf):Oracle / SqlServer / 达梦 的JSON_VALUE只返回标量,末级为对象/数组时改用JSON_QUERY。判定只看表达式结构与列元数据、不看运行时值,与
Resolve的表达式缓存兼容。ToListAsync(j => j.Data!.NestJson)这类非匿名目标类型此前会读回空对象,现按第 0 列反序列化(
ContainsJsonType只认[LightJsonMap]列类型,不误伤实体映射)。三、顺带修复
SqlFn.N()显式 Unicode 前缀,移除Coalesce的隐式 N。UpdateColumns只登记更新列,不再把 json 列合并成整列赋值(修掉参数缺失与重复赋值)。// TODO排除);批量参数同样走DbParameterValue。DbBaseType由Oracle修正为KingbaseEs(此前会让ResolveContext按 Oracle 方言解析)。string + Length生成VARCHAR(n)(原先一律TEXT,长度约束静默丢失)。TestBase.DisplayParameter因System.Type成员抛异常而覆盖原始 SQL 异常的问题。四、测试
test/LightORMTest/ResultTest/ExecutionTest.JsonColumnCases.cs(+583),删除 5 个 provider 下分散的
JsonTest.cs。test/LightORMTest.KingbaseES子项目;删除 Dameng 中重复继承共享套件的SelectResult。SqlGenerate/*_Json),便于核对各方言生成结果。升级注意(破坏性)
ISqlBuilder.DbParameters值类型变更 → 直接访问该字典的代码需改用DbParameterValue.Value。IDatabaseAdapter.DbCommandInit/ReturnIdentitySql,需改实现IDbCommandInitializer/IReturnIdentity;HandleJsonParameter已废弃。IDatabaseParameterBinder以获得 json 列的一致行为。测试结果
已知遗留
JSONBackend.Binary在本机 DM8 上不可用(JSONB_VALUE不存在、JSONB_SET拒绝'$.a'路径),请用默认 Text 后端。JSON_QUERY分流尚未实库验证(用户确认暂不追)。