From e24c0d8db243cc9ddd0a066579348d4eacfe3f2c Mon Sep 17 00:00:00 2001 From: MarvelTiter_yaoqinglin Date: Tue, 15 Sep 2026 19:49:17 +0800 Subject: [PATCH 01/35] =?UTF-8?q?feat:=20=E6=96=B0=E5=A2=9E=20DbParameterV?= =?UTF-8?q?alue=EF=BC=8C=E5=8F=82=E6=95=B0=E6=90=BA=E5=B8=A6=E5=88=97?= =?UTF-8?q?=E5=85=83=E6=95=B0=E6=8D=AE=E4=BE=9B=E6=96=B9=E8=A8=80=E7=B1=BB?= =?UTF-8?q?=E5=9E=8B=E5=8C=96?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - 新增 readonly record struct DbParameterValue(ITableColumnInfo? Column, object? Value), 并提供 NoColumn(value) 便捷构造,用于 Where/常量等无列语义的参数 - ISqlBuilder.DbParameters 与 SqlBuilder.DbParameters 由 Dictionary 改为 Dictionary - SqlBuilder 中用户裸参数字典、集合展开、边界替换三条路径统一包装为 NoColumn 参数 - DeleteBuilder 主键参数改为携带列元数据,使方言可在绑定阶段按其类型语义处理 --- src/LightORM/Builder/DeleteBuilder.cs | 2 +- src/LightORM/Builder/SqlBuilder.cs | 12 ++- src/LightORM/Interfaces/ISqlBuilder.cs | 98 ++++++++++++------------- src/LightORM/Models/DbParameterValue.cs | 23 ++++++ 4 files changed, 81 insertions(+), 54 deletions(-) create mode 100644 src/LightORM/Models/DbParameterValue.cs diff --git a/src/LightORM/Builder/DeleteBuilder.cs b/src/LightORM/Builder/DeleteBuilder.cs index 2bd475a..c0ee6d3 100644 --- a/src/LightORM/Builder/DeleteBuilder.cs +++ b/src/LightORM/Builder/DeleteBuilder.cs @@ -200,7 +200,7 @@ public override string ToSqlString(IDatabaseAdapter database) { continue; } - DbParameters.Add(col.PropertyName, col.GetValue(TargetObject)!); + DbParameters.Add(col.PropertyName, new DbParameterValue(col, col.GetValue(TargetObject)!)); if (!first) { sql.Append(" AND "); diff --git a/src/LightORM/Builder/SqlBuilder.cs b/src/LightORM/Builder/SqlBuilder.cs index af88fa3..c9b0c85 100644 --- a/src/LightORM/Builder/SqlBuilder.cs +++ b/src/LightORM/Builder/SqlBuilder.cs @@ -16,7 +16,7 @@ internal abstract partial class SqlBuilder : ISqlBuilder public TableInfo MainTable => SelectedTables[0]; public List SelectedTables { get; set; } = []; public int SelectedTableCount => SelectedTables.Count; - public Dictionary DbParameters { get; } = []; + public Dictionary DbParameters { get; } = []; public List Where { get; set; } = []; public object? TargetObject { get; set; } public HashSet ResolvedValues { get; set; } = []; @@ -32,7 +32,11 @@ public void TryAddParameters< if (value is null) return; if (value is Dictionary dic) { - DbParameters.TryAddDictionary(dic); + // 用户裸参数字典: 无列元数据, 绑定阶段按 CLR 默认推断 + foreach (var item in dic) + { + DbParameters[item.Key] = new DbParameterValue(null, item.Value); + } } else { @@ -74,7 +78,7 @@ internal void HandleSqlParameters(StringBuilder sql, IDatabaseAdapter database) foreach (var e in ema) { var pn = $"{item.Name}_{arrIndex}"; - DbParameters[pn] = e; + DbParameters[pn] = new DbParameterValue(null, e); values.Add(database.AttachPrefix(pn)); arrIndex++; } @@ -85,7 +89,7 @@ internal void HandleSqlParameters(StringBuilder sql, IDatabaseAdapter database) { var succ = sql.ReplaceWithBoundaryCheck(item.Name, database.AttachPrefix(item.Name)); if (succ) - DbParameters[item.Name] = item.Value; + DbParameters[item.Name] = new DbParameterValue(null, item.Value); } } } diff --git a/src/LightORM/Interfaces/ISqlBuilder.cs b/src/LightORM/Interfaces/ISqlBuilder.cs index 82a830b..cc1e680 100644 --- a/src/LightORM/Interfaces/ISqlBuilder.cs +++ b/src/LightORM/Interfaces/ISqlBuilder.cs @@ -1,54 +1,54 @@ using LightORM.Implements; +using LightORM.Models; -namespace LightORM.Interfaces -{ - public interface ISqlBuilder - { - ///// - ///// 数据库类型 - ///// - //DbBaseType DbType { get; set; } - /// - /// 表达式 - /// - internal ExpressionInfoProvider Expressions { get; } - /// - /// SELECT 或者 JOIN 的表 - /// - List SelectedTables { get; set; } - /// - /// 实体信息 - /// - TableInfo MainTable { get; } - //List OtherTables { get; } - //ITableEntityInfo[] AllTables { get; } - /// - /// 参数信息 - /// - Dictionary DbParameters { get; } - /// - /// 是否参数化 - /// - internal bool? IsParameterized { get; set; } - bool? QuoteIdentifiers { get; set; } +namespace LightORM.Interfaces; - /// - /// 到Sql字符串 - /// - /// - string ToSqlString(IDatabaseAdapter database); - } +public interface ISqlBuilder +{ + ///// + ///// 数据库类型 + ///// + //DbBaseType DbType { get; set; } + /// + /// 表达式 + /// + internal ExpressionInfoProvider Expressions { get; } + /// + /// SELECT 或者 JOIN 的表 + /// + List SelectedTables { get; set; } + /// + /// 实体信息 + /// + TableInfo MainTable { get; } + //List OtherTables { get; } + //ITableEntityInfo[] AllTables { get; } + /// + /// 参数信息(值为携带列元数据的 , 无列参数其 Column 为 null) + /// + Dictionary DbParameters { get; } + /// + /// 是否参数化 + /// + internal bool? IsParameterized { get; set; } + bool? QuoteIdentifiers { get; set; } - internal interface ISelectSqlBuilder : ISqlBuilder - { - //int PageIndex { get; set; } - //int PageSize { get; set; } - int Skip { get; set; } - int Take { get; set; } - object? AdditionalValue { get; set; } - string? GroupBy { get; set; } - List OrderBy { get; set; } - HashSet OrderByMembers { get; set; } - HashSet SelectedMembers { get; set; } - } + /// + /// 到Sql字符串 + /// + /// + string ToSqlString(IDatabaseAdapter database); } + +//internal interface ISelectSqlBuilder : ISqlBuilder +//{ +// //int PageIndex { get; set; } +// //int PageSize { get; set; } +// int Skip { get; set; } +// int Take { get; set; } +// object? AdditionalValue { get; set; } +// string? GroupBy { get; set; } +// List OrderBy { get; set; } +// HashSet OrderByMembers { get; set; } +// HashSet SelectedMembers { get; set; } +//} diff --git a/src/LightORM/Models/DbParameterValue.cs b/src/LightORM/Models/DbParameterValue.cs new file mode 100644 index 0000000..0fc1d6f --- /dev/null +++ b/src/LightORM/Models/DbParameterValue.cs @@ -0,0 +1,23 @@ +using LightORM.Interfaces; + +namespace LightORM.Models; + +/// +/// SqlBuilder.DbParameters 字典中携带的结构化参数值。 +/// +/// 表示该参数对应的列元数据(可空): 写入 Insert/Update/Delete 列值时一般都有, +/// 而 Where 表达式/常量等参数通常没有(传 null)。参数绑定阶段把 交给数据库方言 +/// (实现 的适配器), 使其能针对列语义施加驱动特有的类型设置 +/// (如 PostgreSQL json 列设为 NpgsqlDbType.Jsonb); 没有列信息或方言未接管时, 回退到 CLR 类型默认推断。 +/// +/// +public readonly record struct DbParameterValue(ITableColumnInfo? Column, object? Value) +{ + /// + /// 便捷构造"无列元数据"的参数(Column = null), 用于 Where/常量等不需要列语义的参数。 + /// 需要携带列语义(供方言类型化, 如 pg 的 jsonb)时请使用 new DbParameterValue(column, value)。 + /// + public static DbParameterValue NoColumn(object? value) => new(null, value); + + public override string ToString() => Value?.ToString() ?? "NULL"; +} From 862742a04f1a86ecee767b640aeb6f60d682add6 Mon Sep 17 00:00:00 2001 From: MarvelTiter_yaoqinglin Date: Tue, 15 Sep 2026 19:49:19 +0800 Subject: [PATCH 02/35] =?UTF-8?q?feat:=20=E6=96=B0=E5=A2=9E=E5=8F=82?= =?UTF-8?q?=E6=95=B0=E7=BB=91=E5=AE=9A=E8=83=BD=E5=8A=9B=E6=8E=A5=E5=8F=A3?= =?UTF-8?q?=20IDatabaseParameterBinder=EF=BC=8Cjson=20=E5=BA=8F=E5=88=97?= =?UTF-8?q?=E5=8C=96=E4=B8=8B=E6=B2=89=E6=96=B9=E8=A8=80?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - 新增 IDatabaseParameterBinder.BindParameter(IDataParameter, ITableColumnInfo?, object?): 方言可完全接管参数类型与值的设置;返回 false 表示未接管,由框架按 CLR 类型默认推断 - CustomDatabaseAdapter 实现该接口并给出默认 json 绑定:json 列的原始 CLR 值经 JsonParameterHelper.Serialize 序列化后以 DbType.String 下发,各方言继承即得 - 新增 JsonParameterHelper:统一 json 序列化(走框架配置的 ILightJsonHelper), 并提供 IsCompositeJsonValue 判定值在 JSON 中是复合文档还是标量,供方言决定 是否需要 JSON()/JSON_QUERY() 之类的解析包装 - HandleJsonParameter 及 JsonColumnParameterContext、ActionType 标记 Obsolete, 保留空实现仅为不破坏第三方 adapter,框架内不再调用 --- .../Implements/CustomDatabaseAdapter.cs | 36 +++++++++++---- .../Interfaces/IDatabaseParameterBinder.cs | 26 +++++++++++ src/LightORM/Utils/JsonParameterHelper.cs | 44 +++++++++++++++++++ 3 files changed, 97 insertions(+), 9 deletions(-) create mode 100644 src/LightORM/Interfaces/IDatabaseParameterBinder.cs create mode 100644 src/LightORM/Utils/JsonParameterHelper.cs diff --git a/src/LightORM/Implements/CustomDatabaseAdapter.cs b/src/LightORM/Implements/CustomDatabaseAdapter.cs index e8bc068..769f52d 100644 --- a/src/LightORM/Implements/CustomDatabaseAdapter.cs +++ b/src/LightORM/Implements/CustomDatabaseAdapter.cs @@ -5,7 +5,7 @@ namespace LightORM.Implements; -internal abstract class CustomDatabaseAdapter : IDatabaseAdapter +internal abstract class CustomDatabaseAdapter : IDatabaseAdapter, IDatabaseParameterBinder { public abstract string Prefix { get; } public abstract string Emphasis { get; } @@ -67,12 +67,7 @@ protected virtual IEnumerable AddAdditionalKeyWords() return []; } - public virtual void Paging(ISelectSqlBuilder builder, StringBuilder sql) - { - throw new NotSupportedException(); - } - - public virtual void ReturnIdentitySql(StringBuilder sql) + public virtual void Paging(SelectBuilder builder, StringBuilder sql) { throw new NotSupportedException(); } @@ -141,9 +136,32 @@ public virtual void HandleJsonColumn(JsonColumnContext context) throw new NotSupportedException(); } - public virtual void HandleJsonParameter(JsonColumnParameterContext context) { } + /// + /// 默认参数绑定: json 列的原始 CLR 值在此序列化为 JSON 文本, 以字符串参数下发。 + /// + /// 框架把 json 列参数的"原始值 + 列元数据"交到这里, 方言可覆盖本方法以: + /// · 施加驱动特有的 json 类型(如 PostgreSQL 的 NpgsqlDbType.Jsonb); + /// · 按值形状区分绑定方式(如 SqlServer 复合值传 JSON 文本、标量传原生 CLR 值)。 + /// + /// 返回 false 表示未接管, 由框架按 CLR 类型做默认推断。 + /// + public virtual bool BindParameter(IDataParameter parameter, ITableColumnInfo? column, object? value) + { + if (column?.IsJsonColumn == true && value is not null) + { + parameter.DbType = DbType.String; + parameter.Value = JsonParameterHelper.Serialize(value); + return true; + } + return false; + } - public virtual void DbCommandInit(DbCommand dbCommand) { } + /// + /// [历史兼容] 已由 取代, 框架内不再调用。 + /// 保留空实现仅为不破坏第三方覆写; 新实现请改用 IDatabaseParameterBinder。 + /// + [Obsolete("已由 IDatabaseParameterBinder 取代, 框架内不再调用; 请改为实现 IDatabaseParameterBinder.")] + public virtual void HandleJsonParameter(JsonColumnParameterContext context) { } public virtual void HandleSelectGroupBySegment(SelectContext context) { diff --git a/src/LightORM/Interfaces/IDatabaseParameterBinder.cs b/src/LightORM/Interfaces/IDatabaseParameterBinder.cs new file mode 100644 index 0000000..740f4d0 --- /dev/null +++ b/src/LightORM/Interfaces/IDatabaseParameterBinder.cs @@ -0,0 +1,26 @@ +using System.Data; + +namespace LightORM.Interfaces; + +/// +/// 数据库方言的参数绑定接口(可选实现)。 +/// +/// 通用参数绑定(DbParameterReader)只知道 CLR 值, 无法表达数据库特有的类型语义 +/// (如 PostgreSQL 的 jsonb、xml、数组、时间戳精度等)。实现本接口的数据库适配器可在绑定阶段 +/// 依据 与值, 施加驱动特有的类型设置。 +/// +/// +public interface IDatabaseParameterBinder +{ + /// + /// 尝试接管参数的类型与值设置。 + /// + /// 由 DbCommand.CreateParameter() 创建、已设置 ParameterName 的参数, 可强转为当前驱动的具体参数类型。 + /// 参数对应的列元数据; Where 等无列参数为 null。 + /// 参数值(可能为 null)。 + /// + /// true 表示方言已完全接管(需自行设置参数类型与 Value); + /// false 表示未接管, 由框架按 CLR 类型做默认推断(原逻辑兜底)。 + /// + bool BindParameter(IDataParameter parameter, ITableColumnInfo? column, object? value); +} diff --git a/src/LightORM/Utils/JsonParameterHelper.cs b/src/LightORM/Utils/JsonParameterHelper.cs new file mode 100644 index 0000000..7fba9ed --- /dev/null +++ b/src/LightORM/Utils/JsonParameterHelper.cs @@ -0,0 +1,44 @@ +namespace LightORM.Utils; + +/// +/// json 列参数绑定的公共辅助。 +/// +/// 框架(Builder/批量参数收集)不再对 json 列参数做预先序列化, 而是把原始 CLR 值连同列元数据 +/// 交给数据库方言的 。本类为各方言提供统一的序列化, 以及 +/// "值在 JSON 中是复合文档(对象/数组)还是标量"的判定 —— 方言据此决定 SQL 侧是否需要驱动特有的 +/// 解析包装, 例如 SQLite 的 JSON(@p)、SqlServer 复合值的 JSON_QUERY(@p)。 +/// +/// +public static class JsonParameterHelper +{ + /// + /// 按框架配置的 把值序列化为 JSON 文本。 + /// + /// 注意: 这是"JSON 值语义"的序列化, string 会得到带引号的 JSON 字符串(如 "abc"), + /// 与方言中 SqlFn.JsonSet(参数为用户原始值、不走此处)的语义不同。 + /// + /// + public static string Serialize(object? value) => ExpressionSqlOptions.Instance.Value.GetJsonHandler().Serialize(value); + + /// + /// 判断该 CLR 类型在 JSON 中表示的是"复合文档"(对象/数组), 而不是标量。 + /// 无法确定时(如 object/接口)按标量处理 —— 标量绑定(传原生值)是更安全的默认。 + /// + public static bool IsCompositeJsonValue(Type type) + { + var t = Nullable.GetUnderlyingType(type) ?? type; + if (t.IsPrimitive || t.IsEnum) return false; + // object/接口等无法判定具体形状的静态类型按标量处理: 标量绑定(传原生值)是更安全的默认。 + if (t == typeof(object)) return false; + if (t == typeof(string) || t == typeof(char) || t == typeof(decimal) || t == typeof(Guid) + || t == typeof(DateTime) || t == typeof(DateTimeOffset) || t == typeof(TimeSpan) + || t == typeof(byte[]) || t == typeof(Uri) || t == typeof(Version)) + { + return false; + } + return true; + } + + /// + public static bool IsCompositeJsonValue(object? value) => value is not null && IsCompositeJsonValue(value.GetType()); +} From b21472ac1679f2771c0faac24ce6d5690d7993dd Mon Sep 17 00:00:00 2001 From: MarvelTiter_yaoqinglin Date: Tue, 15 Sep 2026 19:49:22 +0800 Subject: [PATCH 03/35] =?UTF-8?q?refactor:=20=E4=BB=8E=20IDatabaseAdapter?= =?UTF-8?q?=20=E5=89=A5=E7=A6=BB=E5=8F=AF=E9=80=89=E8=83=BD=E5=8A=9B?= =?UTF-8?q?=E6=8E=A5=E5=8F=A3=EF=BC=8C=E6=96=B0=E5=A2=9E=E8=83=BD=E5=8A=9B?= =?UTF-8?q?=E6=8E=A2=E6=B5=8B=E5=8A=A9=E6=89=8B?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - 将 DbCommandInit 剥离为 IDbCommandInitializer:仅 Oracle 等少数方言需要, 按接口隔离原则从 IDatabaseAdapter 移出 - 将 ReturnIdentitySql 剥离为 IReturnIdentity:由 SqlServer/MySql/Sqlite/Dameng 声明实现, Oracle/PostgreSQL/KingbaseES 不再需要空桩 - 新增 AdapterCapability.TryGet,穿透 ScopedDatabaseAdapter 装饰器直达真实适配器 - ScopedDatabaseAdapter 暴露 Inner 供能力探测钻取,并移除上述两项转发; Paging 参数类型由 ISelectSqlBuilder 改为具体的 SelectBuilder,ISelectSqlBuilder 接口随之移除 - SqlAdo 与 OrignalSqlExecutor.Prepare 改为能力探测方式调用命令初始化 (adapter is IDbCommandInitializer),并把适配器本身而非 Prefix 传给参数绑定 - SelectBuilder 不再实现已移除的 ISelectSqlBuilder --- src/LightORM/Builder/AdapterCapability.cs | 27 +++++++++++++++++++ src/LightORM/Builder/ScopedDatabaseAdapter.cs | 16 ++++------- src/LightORM/Builder/SelectBuilder.cs | 2 +- src/LightORM/Interfaces/IDatabaseAdapter.cs | 11 +++++--- .../Interfaces/IDbCommandInitializer.cs | 15 +++++++++++ src/LightORM/Interfaces/IReturnIdentity.cs | 14 ++++++++++ .../SqlExecutor/OrignalSqlExecutor.Prepare.cs | 14 +++++++--- src/LightORM/SqlExecutor/SqlAdo.cs | 14 +++++++--- 8 files changed, 90 insertions(+), 23 deletions(-) create mode 100644 src/LightORM/Builder/AdapterCapability.cs create mode 100644 src/LightORM/Interfaces/IDbCommandInitializer.cs create mode 100644 src/LightORM/Interfaces/IReturnIdentity.cs diff --git a/src/LightORM/Builder/AdapterCapability.cs b/src/LightORM/Builder/AdapterCapability.cs new file mode 100644 index 0000000..7be3c0d --- /dev/null +++ b/src/LightORM/Builder/AdapterCapability.cs @@ -0,0 +1,27 @@ +using LightORM.Interfaces; + +namespace LightORM.Builder; + +/// +/// 适配器可选能力(能力接口)探测助手。 +/// 穿透 装饰器直达真实实现, +/// 便于调用点用 TryGet<TCapability>(database, out var cap) 判断方言是否具备某特化能力。 +/// 不支持的方言探测失败即返回 false,调用点据此给出明确的"不支持"提示。 +/// +internal static class AdapterCapability +{ + public static bool TryGet(IDatabaseAdapter adapter, out TCapability? capability) + where TCapability : class + { + for (var current = adapter; current is not null; current = current is ScopedDatabaseAdapter scope ? scope.Inner : null) + { + if (current is TCapability typed) + { + capability = typed; + return true; + } + } + capability = null; + return false; + } +} diff --git a/src/LightORM/Builder/ScopedDatabaseAdapter.cs b/src/LightORM/Builder/ScopedDatabaseAdapter.cs index 28bf213..63813e8 100644 --- a/src/LightORM/Builder/ScopedDatabaseAdapter.cs +++ b/src/LightORM/Builder/ScopedDatabaseAdapter.cs @@ -5,6 +5,9 @@ namespace LightORM.Builder; internal class ScopedDatabaseAdapter(IDatabaseAdapter inner, bool quote) : IDatabaseAdapter { + /// 被装饰的真实适配器,供能力接口(type-cast)探测钻取时使用。 + internal IDatabaseAdapter Inner => inner; + public string Prefix => inner.Prefix; public string Emphasis => inner.Emphasis; @@ -19,11 +22,6 @@ public void AddKeyWord(IEnumerable keyworks) inner.AddKeyWord(keyworks); } - public void DbCommandInit(DbCommand dbCommand) - { - inner.DbCommandInit(dbCommand); - } - public string FormatBooleanValue(bool value) { return inner.FormatBooleanValue(value); @@ -54,6 +52,7 @@ public void HandleJsonColumn(JsonColumnContext context) inner.HandleJsonColumn(context); } + [Obsolete("已由 IDatabaseParameterBinder 取代, 仅为实现 IDatabaseAdapter 接口而保留转发.")] public void HandleJsonParameter(JsonColumnParameterContext context) { inner.HandleJsonParameter(context); @@ -69,16 +68,11 @@ public bool IsKeyWord(string keyWork) return inner.IsKeyWord(keyWork); } - public void Paging(ISelectSqlBuilder builder, StringBuilder sql) + public void Paging(SelectBuilder builder, StringBuilder sql) { inner.Paging(builder, sql); } - public void ReturnIdentitySql(StringBuilder sql) - { - inner.ReturnIdentitySql(sql); - } - public string RewriteParameterReferences(string sql, string prefix) => inner.RewriteParameterReferences(sql, prefix); void IDatabaseAdapter.HandleBatchInsert(BatchActionContext> context) => inner.HandleBatchInsert(context); diff --git a/src/LightORM/Builder/SelectBuilder.cs b/src/LightORM/Builder/SelectBuilder.cs index a8e01b1..c9c3754 100644 --- a/src/LightORM/Builder/SelectBuilder.cs +++ b/src/LightORM/Builder/SelectBuilder.cs @@ -19,7 +19,7 @@ internal struct SelectInsert(string tableName, string columns) internal readonly record struct TagInfo(string Message, string? FilePath, string? CallMember, int? LineNumber, bool WithCallSite); -internal partial class SelectBuilder : SqlBuilder, ISelectSqlBuilder +internal partial class SelectBuilder : SqlBuilder { //public SelectBuilder() //{ diff --git a/src/LightORM/Interfaces/IDatabaseAdapter.cs b/src/LightORM/Interfaces/IDatabaseAdapter.cs index c713bbb..bd80df3 100644 --- a/src/LightORM/Interfaces/IDatabaseAdapter.cs +++ b/src/LightORM/Interfaces/IDatabaseAdapter.cs @@ -17,13 +17,11 @@ public interface IDatabaseAdapter /// 单次语句构建是否使用标识引用符号 /// bool? QuoteIdentifiers { get; set; } - void DbCommandInit(DbCommand dbCommand); ///// ///// 获取删除语句的模板,将提供两个参数,{0} 表示表名,{1} 表示别名 ///// //string DeleteTemplate { get; } - internal void Paging(ISelectSqlBuilder builder, StringBuilder sql); - void ReturnIdentitySql(StringBuilder sql); + internal void Paging(SelectBuilder builder, StringBuilder sql); //void HandleBooleanValue(StringBuilder sql, bool value); string FormatBooleanValue(bool value); string FormatDateTimeValue(DateTime value); @@ -36,6 +34,13 @@ public interface IDatabaseAdapter string HandleMultipleQuerySql(string[] sqls, Dictionary parameters); string RewriteParameterReferences(string sql, string prefix); void HandleJsonColumn(JsonColumnContext context); + + /// + /// [历史兼容] 曾用于为 JSON 列参数在 SQL 占位符上补 ::json/::jsonb 及做值序列化。 + /// 已被 取代(参数携带列元数据后由方言在绑定阶段类型化)。 + /// 保留仅为不破坏第三方自定义 adapter; 新实现请改用 IDatabaseParameterBinder。 + /// + [Obsolete("已由 IDatabaseParameterBinder 取代, 框架内不再调用; 请改为实现 IDatabaseParameterBinder.")] void HandleJsonParameter(JsonColumnParameterContext context); internal void HandleSelectGroupBySegment(SelectContext context); diff --git a/src/LightORM/Interfaces/IDbCommandInitializer.cs b/src/LightORM/Interfaces/IDbCommandInitializer.cs new file mode 100644 index 0000000..d9fbda9 --- /dev/null +++ b/src/LightORM/Interfaces/IDbCommandInitializer.cs @@ -0,0 +1,15 @@ +using System.Data.Common; + +namespace LightORM.Interfaces +{ + /// + /// [可选能力接口] 方言在创建 DbCommand 后、绑定参数之前,对命令做专属初始化(如 Oracle 的 BindByName / LONGFetchSize)。 + /// 该特化仅 Oracle 等少数方言需要,故按 ISP 从 中剥离。 + /// 框架在准备命令时经能力探测(adapter is IDbCommandInitializer)按需调用; + /// 不具备该能力的适配器可完全不实现,不影响其它方言路径。 + /// + public interface IDbCommandInitializer + { + void DbCommandInit(DbCommand dbCommand); + } +} diff --git a/src/LightORM/Interfaces/IReturnIdentity.cs b/src/LightORM/Interfaces/IReturnIdentity.cs new file mode 100644 index 0000000..ffd7e92 --- /dev/null +++ b/src/LightORM/Interfaces/IReturnIdentity.cs @@ -0,0 +1,14 @@ +using System.Text; + +namespace LightORM.Interfaces +{ + /// + /// [可选能力接口] 方言是否能把"自增主键回读"语句拼接到 INSERT 语句末尾(如 SqlServer 的 SCOPE_IDENTITY()、MySql/Dameng 的 @@IDENTITY、Sqlite 的 LAST_INSERT_ROWID())。 + /// 仅具备该特化的方言(SqlServer/MySql/Dameng/Sqlite)声明并实现; + /// Oracle/PostgreSQL/KingbaseES 等不具备,框架在使用 时经能力探测(type-cast)判断,转换失败即明确报"不支持"。 + /// + public interface IReturnIdentity + { + void ReturnIdentitySql(StringBuilder sql); + } +} diff --git a/src/LightORM/SqlExecutor/OrignalSqlExecutor.Prepare.cs b/src/LightORM/SqlExecutor/OrignalSqlExecutor.Prepare.cs index 28d165d..ad53130 100644 --- a/src/LightORM/SqlExecutor/OrignalSqlExecutor.Prepare.cs +++ b/src/LightORM/SqlExecutor/OrignalSqlExecutor.Prepare.cs @@ -44,12 +44,15 @@ private CommandResult PrepareCommand(CommandType commandType, SqlExecuteContext conn.Open(); } var command = conn.CreateCommand(); - Provider.DatabaseAdapter.DbCommandInit(command); + if (Provider.DatabaseAdapter is IDbCommandInitializer initializer) + { + initializer.DbCommandInit(command); + } if (context != null) { command.Transaction = context.Transaction; } - et.HandleDbParameter(Provider.DatabaseAdapter.Prefix, command); + et.HandleDbParameter(Provider.DatabaseAdapter, command); return new(command, conn, needToReturn, false); } @@ -83,7 +86,10 @@ private async Task PrepareCommandAsync(CommandType commandType, S } var command = conn.CreateCommand(); - Provider.DatabaseAdapter.DbCommandInit(command); + if (Provider.DatabaseAdapter is IDbCommandInitializer asyncInitializer) + { + asyncInitializer.DbCommandInit(command); + } if (context != null) { @@ -96,7 +102,7 @@ private async Task PrepareCommandAsync(CommandType commandType, S // var action = DbParameterReader.GetDbParameterReader(Database.DatabaseAdapter.Prefix, commandText, dbParameters.GetType()); // action?.Invoke(command, dbParameters); //} - et.HandleDbParameter(Provider.DatabaseAdapter.Prefix, command); + et.HandleDbParameter(Provider.DatabaseAdapter, command); return new(command, conn, needToReturn, false); } diff --git a/src/LightORM/SqlExecutor/SqlAdo.cs b/src/LightORM/SqlExecutor/SqlAdo.cs index 49aac78..16584cf 100644 --- a/src/LightORM/SqlExecutor/SqlAdo.cs +++ b/src/LightORM/SqlExecutor/SqlAdo.cs @@ -64,12 +64,15 @@ private PrepareResult PrepareCommand(CommandType commandType, SqlExecuteContext } var command = conn.CreateCommand(); command.CommandType = commandType; - Provider.DatabaseAdapter.DbCommandInit(command); + if (Provider.DatabaseAdapter is IDbCommandInitializer initializer) + { + initializer.DbCommandInit(command); + } if (Connection.Transaction is not null) { command.Transaction = Connection.Transaction; } - et.HandleDbParameter(Provider.DatabaseAdapter.Prefix, command); + et.HandleDbParameter(Provider.DatabaseAdapter, command); return new(command, false); } @@ -90,13 +93,16 @@ private async Task PrepareCommandAsync(CommandType commandType, S var command = conn.CreateCommand(); command.CommandType = commandType; - Provider.DatabaseAdapter.DbCommandInit(command); + if (Provider.DatabaseAdapter is IDbCommandInitializer initializer2) + { + initializer2.DbCommandInit(command); + } if (Connection.Transaction is not null) { command.Transaction = Connection.Transaction; } - et.HandleDbParameter(Provider.DatabaseAdapter.Prefix, command); + et.HandleDbParameter(Provider.DatabaseAdapter, command); return new(command, false); } #endregion From 5182041483ba3fbdfcfc40e51fafb1d50e9c314e Mon Sep 17 00:00:00 2001 From: MarvelTiter_yaoqinglin Date: Tue, 15 Sep 2026 19:49:24 +0800 Subject: [PATCH 04/35] =?UTF-8?q?feat:=20DbParameterReader=20=E6=94=AF?= =?UTF-8?q?=E6=8C=81=E7=BB=93=E6=9E=84=E5=8C=96=E5=8F=82=E6=95=B0=E5=B9=B6?= =?UTF-8?q?=E6=8C=89=E6=96=B9=E8=A8=80=E7=BB=91=E5=AE=9A=E5=99=A8=E7=B1=BB?= =?UTF-8?q?=E5=9E=8B=E5=8C=96?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - HandleDbParameter 改收 IDatabaseAdapter,按参数形态分流:结构化字典 Dictionary、裸字典 Dictionary、对象/实体(编译 reader) - 新增统一建参入口 CreateParameterValue:先交给方言绑定器(IDatabaseParameterBinder), 未接管时回退到原有的 CLR 类型推断逻辑,保证第三方 adapter 行为不变 - 新增 AddParameterOnce:同名参数已存在时不重复添加,避免批量/多段 SQL 场景参数冲突 - readObjectToDic 缓存路径的参数同样包装为无列元数据参数 --- src/LightORM/Cache/DbParameterReader.cs | 216 ++++++++++++++---------- 1 file changed, 123 insertions(+), 93 deletions(-) diff --git a/src/LightORM/Cache/DbParameterReader.cs b/src/LightORM/Cache/DbParameterReader.cs index faa9cf4..eb00a91 100644 --- a/src/LightORM/Cache/DbParameterReader.cs +++ b/src/LightORM/Cache/DbParameterReader.cs @@ -13,9 +13,9 @@ internal static class DbParameterReader private readonly record struct DbTypeInfo(object? FinalValue, DbType Type); private readonly record struct UnderlyingTypeInfo(bool IsNullable, bool IsEnum); - private static readonly ConcurrentDictionary> cacheReaders = []; - private static readonly ConcurrentDictionary>> readObjectToDicCache = []; - public static void HandleDbParameter(this SqlExecuteContext context, string prefix, DbCommand command) + private static readonly ConcurrentDictionary> cacheReaders = []; + private static readonly ConcurrentDictionary>> readObjectToDicCache = []; + public static void HandleDbParameter(this SqlExecuteContext context, IDatabaseAdapter adapter, DbCommand command) { if (string.IsNullOrWhiteSpace(context.Sql)) return; command.CommandText = context.Sql; @@ -23,21 +23,31 @@ public static void HandleDbParameter(this SqlExecuteContext context, string pref var dbParameters = context.Parameter; if (dbParameters is not null && dbParameters is not NullDbParameter) { - var action = GetDbParameterReader(context.Sql!, prefix, context.ParameterType); - action?.Invoke(command, dbParameters); + switch (dbParameters) + { + case Dictionary valueDic: + // 结构化参数: 携带列元数据, 供数据库方言做类型化 + BindDictionary(command, adapter, valueDic); + break; + case Dictionary objDic: + // 裸参数字典(无列信息): 按 CLR 默认推断 + BindDictionary(command, adapter, objDic); + break; + default: + // 对象/实体参数路径 + var action = GetDbParameterReader(context.Sql!, adapter.Prefix, context.ParameterType); + action?.Invoke(command, dbParameters, adapter); + break; + } } } - public static Action GetDbParameterReader(string commandText, string prefix, + public static Action GetDbParameterReader(string commandText, string prefix, #if NET8_0_OR_GREATER [DynamicallyAccessedMembers(DynamicallyAccessedMemberTypes.PublicProperties)] #endif Type paramaterType) { - if (paramaterType == typeof(Dictionary)) - { - return ReadDictionary; - } Certificate cer = new(commandText, prefix, paramaterType); return cacheReaders.GetOrAdd(cer, key => CreateReader(key.DbPrefix, key.Sql, key.ParameterType)); } @@ -46,7 +56,7 @@ public static void MergeObjectToDictionary< #if NET8_0_OR_GREATER [DynamicallyAccessedMembers(DynamicallyAccessedMemberTypes.PublicProperties)] #endif - T>(string prefix, string sql, T? value, Dictionary dic) + T>(string prefix, string sql, T? value, Dictionary dic) { if (value is null) { @@ -54,7 +64,14 @@ public static void MergeObjectToDictionary< } if (value is Dictionary d) { - dic.TryAddDictionary(d); + foreach (var item in d) + { + if (dic.ContainsKey(item.Key)) + { + throw new LightOrmException($"查询参数:{item.Key} 重复"); + } + dic.Add(item.Key, new DbParameterValue(null, item.Value)); + } return; } var cer = new Certificate(sql, prefix, typeof(T)); @@ -62,66 +79,108 @@ public static void MergeObjectToDictionary< func.Invoke(value, dic); } - private static void ReadDictionary(IDbCommand cmd, object obj) + private static void BindDictionary(IDbCommand cmd, IDatabaseAdapter adapter, Dictionary dic) { - var dic = (Dictionary)obj; foreach (var item in dic) { - if (item.Value is IDbDataParameter exitingParameter) - { - cmd.Parameters.Add(exitingParameter); - continue; - } - var p = cmd.CreateParameter(item.Key); - var value = item.Value; - var (finalValue, dbType) = GetDbTypeAndValue(value); - p.DbType = dbType; - p.Value = finalValue; - cmd.Parameters.Add(p); + var p = CreateParameterValue(cmd, adapter, item.Key, item.Value.Column, item.Value.Value); + AddParameterOnce(cmd, p); } + } - static DbTypeInfo GetDbTypeAndValue(object? value) + private static void BindDictionary(IDbCommand cmd, IDatabaseAdapter adapter, Dictionary dic) + { + foreach (var item in dic) { - if (value == null) + var p = CreateParameterValue(cmd, adapter, item.Key, null, item.Value); + AddParameterOnce(cmd, p); + } + } + + /// + /// 将参数加入命令集合; 同名参数已存在时不再重复添加。 + /// + private static void AddParameterOnce(IDbCommand cmd, IDbDataParameter parameter) + { + if (string.IsNullOrEmpty(parameter.ParameterName)) + { + cmd.Parameters.Add(parameter); + return; + } + if (!cmd.Parameters.Contains(parameter.ParameterName)) + { + cmd.Parameters.Add(parameter); + } + } + + /// + /// 统一的建参入口: 字典路径与对象(CreateReader)路径都经由本方法。 + /// 只负责创建/返回参数(不负责加入集合), 加入集合由调用方统一完成。 + /// 先交给数据库方言()处理; 方言未接管时回退到 CLR 默认推断(原逻辑兜底)。 + /// + private static IDbDataParameter CreateParameterValue(IDbCommand cmd, IDatabaseAdapter adapter, string name, ITableColumnInfo? column, object? value) + { + if (value is IDbDataParameter exitingParameter) + { + if (string.IsNullOrEmpty(exitingParameter.ParameterName)) { - return new(null, DbType.Object); + exitingParameter.ParameterName = name; } - var t = value.GetType(); - var underlying = Nullable.GetUnderlyingType(t) ?? t; - if (t.IsEnum) + return exitingParameter; + } + var p = cmd.CreateParameter(); + p.ParameterName = name; + if (adapter is IDatabaseParameterBinder binder && binder.BindParameter(p, column, value)) + { + return p; + } + var (finalValue, dbType) = GetDbTypeAndValue(value); + p.DbType = dbType; + p.Value = finalValue; + return p; + } + + static DbTypeInfo GetDbTypeAndValue(object? value) + { + if (value == null) + { + return new(null, DbType.Object); + } + var t = value.GetType(); + var underlying = Nullable.GetUnderlyingType(t) ?? t; + if (t.IsEnum) + { + var enumType = Enum.GetUnderlyingType(underlying); + var converted = Convert.ChangeType(value, enumType); + if (!typeMapDbType.TryGetValue(enumType, out var dbType)) { - var enumType = Enum.GetUnderlyingType(underlying); - var converted = Convert.ChangeType(value, enumType); - if (!typeMapDbType.TryGetValue(enumType, out var dbType)) - { - dbType = DbType.Object; - } - return new(converted, dbType); + dbType = DbType.Object; } - else + return new(converted, dbType); + } + else + { + if (!typeMapDbType.TryGetValue(underlying, out var dbType)) { - if (!typeMapDbType.TryGetValue(underlying, out var dbType)) - { - dbType = DbType.Object; - } - return new(value, dbType); + dbType = DbType.Object; } + return new(value, dbType); } } - static readonly MethodInfo createParameterMethodInfo = typeof(IDbCommand).GetMethod("CreateParameter")!; static readonly MethodInfo listAddMethodInfo = typeof(IList).GetMethod("Add")!; + static readonly MethodInfo createParameterValueMethod = typeof(DbParameterReader).GetMethod(nameof(CreateParameterValue), BindingFlags.NonPublic | BindingFlags.Static)!; static readonly MethodInfo dictionaryAdd = typeof(DbParameterReader).GetMethod(nameof(TryAdd), BindingFlags.NonPublic | BindingFlags.Static)!; - static void TryAdd(Dictionary dic, string key, object value) + static void TryAdd(Dictionary dic, string key, object value) { - dic.TryAdd(key, value); + dic.TryAdd(key, new DbParameterValue(null, value)); } #if NET8_0_OR_GREATER [DynamicDependency(DynamicallyAccessedMemberTypes.All, typeof(IDataParameter))] [UnconditionalSuppressMessage("Trimming", "IL2026", Justification = "已通过DynamicDependency配置")] #endif - public static Action CreateReader(string prefix, string commandText, + public static Action CreateReader(string prefix, string commandText, #if NET8_0_OR_GREATER [DynamicallyAccessedMembers(DynamicallyAccessedMemberTypes.PublicProperties)] #endif @@ -135,11 +194,12 @@ public static Action CreateReader(string prefix, string comm * cmd.Parameters.Add(p); * } */ - // (cmd, obj) => + // (cmd, obj, adapter) => PropertyInfo parameterCollection = typeof(IDbCommand).GetProperty("Parameters")!; ParameterExpression cmdExp = Expression.Parameter(typeof(IDbCommand), "cmd"); ParameterExpression objExp = Expression.Parameter(typeof(object), "obj"); + ParameterExpression adapterExp = Expression.Parameter(typeof(IDatabaseAdapter), "adapter"); var objType = parameterType; //TODO 优化 var props = ExtractParameter(prefix, commandText, objType.GetProperties()); @@ -154,18 +214,9 @@ public static Action CreateReader(string prefix, string comm ]; foreach (PropertyInfo prop in props) { - // cmd.CreateParameter() + // temp = DbParameterReader.CreateParameterValue(cmd, adapter, "propName", null, (object)value) var (IsNullable, IsEnum) = GetUnderlyingType(prop.PropertyType, out var realType); - // temp = cmd.CreateParameter() - var pAssign = Expression.Assign( - tempExp, - Expression.Call(cmdExp, createParameterMethodInfo)); - // temp.ParameterName = prop.Name - var nameAssignExp = Expression.Assign( - Expression.Property(tempExp, nameof(IDbDataParameter.ParameterName)), - Expression.Constant(prop.Name, typeof(string))); - var propAccess = Expression.Property(paramExp, prop); Expression finalValueExp; if (IsNullable && IsEnum) @@ -174,7 +225,6 @@ public static Action CreateReader(string prefix, string comm var isNull = Expression.Equal(propAccess, Expression.Constant(null, prop.PropertyType)); finalValueExp = Expression.Condition( isNull, - //Expression.Convert(Expression.Default(prop.PropertyType), typeof(object)), Expression.Constant(null, typeof(object)), Expression.Convert(Expression.Convert(propAccess, realType), typeof(object)) ); @@ -189,32 +239,24 @@ public static Action CreateReader(string prefix, string comm finalValueExp = Expression.Convert(propAccess, typeof(object)); } - var valueExp = Expression.Property(tempExp, nameof(IDbDataParameter.Value)); - - // temp.Value = p.PropertyValue - var valueAssignExp = Expression.Assign( - Expression.Property(tempExp, nameof(IDbDataParameter.Value)), - finalValueExp); - if (!typeMapDbType.TryGetValue(realType, out var dbType)) - { - dbType = DbType.Object; - } + var callHelper = Expression.Convert( + Expression.Call(createParameterValueMethod, + cmdExp, + adapterExp, + Expression.Constant(prop.Name, typeof(string)), + Expression.Constant(null, typeof(ITableColumnInfo)), + finalValueExp), + typeof(IDataParameter)); + var pAssign = Expression.Assign(tempExp, callHelper); - //temp.DbType = dbType; - var dbTypeAssignExp = Expression.Assign( - Expression.Property(tempExp, nameof(IDbDataParameter.DbType)), - Expression.Constant(dbType, typeof(DbType))); // cmd.Parameters.Add(temp) var addToList = Expression.Call(Expression.Property(cmdExp, parameterCollection), listAddMethodInfo, tempExp); body.Add(pAssign); - body.Add(nameAssignExp); - body.Add(valueAssignExp); - body.Add(dbTypeAssignExp); body.Add(addToList); } var block = Expression.Block([tempExp, p1], body); - var lambda = Expression.Lambda>(block, cmdExp, objExp); + var lambda = Expression.Lambda>(block, cmdExp, objExp, adapterExp); return lambda.Compile(); @@ -238,14 +280,14 @@ static UnderlyingTypeInfo GetUnderlyingType(Type t, out Type realType) } } - public static Action> CreateObjectToDictionary(string prefix, string commandText, + public static Action> CreateObjectToDictionary(string prefix, string commandText, #if NET8_0_OR_GREATER [DynamicallyAccessedMembers(DynamicallyAccessedMemberTypes.PublicProperties)] #endif Type type) { var pExp = Expression.Parameter(typeof(object), "p"); - var dicExp = Expression.Parameter(typeof(Dictionary), "dic"); + var dicExp = Expression.Parameter(typeof(Dictionary), "dic"); var realParam = Expression.Variable(type, "value"); var assign = Expression.Assign(realParam, Expression.Convert(pExp, type)); List blockBody = [ @@ -261,7 +303,7 @@ public static Action> CreateObjectToDictionar blockBody.Add(add); } var block = Expression.Block([realParam], blockBody); - var lambda = Expression.Lambda>>(block, pExp, dicExp); + var lambda = Expression.Lambda>>(block, pExp, dicExp); return lambda.Compile(); } @@ -277,18 +319,6 @@ private static IEnumerable ExtractParameter(string prefix, string } } - private static IDbDataParameter CreateParameter(this IDbCommand cmd, string parameterName) - { - if (cmd.Parameters.Contains(parameterName)) - return (IDbDataParameter)cmd.Parameters[parameterName]; - else - { - var p = cmd.CreateParameter(); - p.ParameterName = parameterName; - return p; - } - } - readonly static Dictionary typeMapDbType = new(20) { [typeof(byte)] = DbType.Byte, From f91d0ce556fe4857aa23db285ad3f02fd72e2c79 Mon Sep 17 00:00:00 2001 From: MarvelTiter_yaoqinglin Date: Tue, 15 Sep 2026 19:49:26 +0800 Subject: [PATCH 05/35] =?UTF-8?q?feat:=20Insert=20=E4=B8=8E=E6=89=B9?= =?UTF-8?q?=E5=A4=84=E7=90=86=E9=93=BE=E8=B7=AF=E5=8F=96=E6=B6=88=20json?= =?UTF-8?q?=20=E5=88=97=E9=A2=84=E5=BA=8F=E5=88=97=E5=8C=96?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - InsertBuilder 移除 json 列的预先 Serialize 与 HandleJsonParameter 调用,json 列与普通列 统一生成 "列 = @参数";原始 CLR 值与列元数据交由方言绑定器序列化并按驱动类型化 - BatchSqlInfo 暴露 IsJsonColumn;ToDictionaryParameters 保持原始 CLR 值并携带列元数据, 且 json 列的静态值不再被跳过(json 无法作为 SQL 字面量渲染,必须走参数下发) - CustomDatabaseExtensions 的静态值渲染分支对 json 列放行至参数路径 - BatchActionHelper.additionalParameters 类型改为 Dictionary - InsertProvider 调试输出按实际绑定值展示(json 列显示序列化后的文本),便于核对 --- src/LightORM/Builder/InsertBuilder.cs | 47 ++++++++++--------- src/LightORM/Extension/BatchActionHelper.cs | 7 +-- .../Extension/BatchSqlInfoExtensions.cs | 11 +++-- .../Extension/CustomDatabaseExtensions.cs | 4 +- src/LightORM/Models/BatchSqlInfo.cs | 1 + src/LightORM/Providers/InsertProvider.cs | 8 +++- 6 files changed, 47 insertions(+), 31 deletions(-) diff --git a/src/LightORM/Builder/InsertBuilder.cs b/src/LightORM/Builder/InsertBuilder.cs index 53c3915..bd613f1 100644 --- a/src/LightORM/Builder/InsertBuilder.cs +++ b/src/LightORM/Builder/InsertBuilder.cs @@ -18,7 +18,7 @@ public void AddMember(string member, object? value) Members.Add(member); if (value is not null) { - DbParameters.TryAdd(member, value); + DbParameters.TryAdd(member, new DbParameterValue(null, value)); } } @@ -36,7 +36,7 @@ protected override void HandleResult(IDatabaseAdapter database, ExpressionInfo e { var member = result.Members![0]; Members.Add(member); - DbParameters.Add(member, v.Value); + DbParameters.Add(member, new DbParameterValue(null, v.Value)); } } } @@ -129,7 +129,8 @@ public override string ToSqlString(IDatabaseAdapter database) for (int i = 0; i < insertColumns.Length; i++) { ITableColumnInfo? item = insertColumns[i]; - if (!DbParameters.TryGetValue(item.PropertyName, out object? val)) + object? val; + if (!DbParameters.TryGetValue(item.PropertyName, out var paramEntry)) { if (TargetObject is null) { @@ -148,7 +149,11 @@ public override string ToSqlString(IDatabaseAdapter database) if (val is null) continue; } - DbParameters.Add(item.PropertyName, val); + DbParameters.Add(item.PropertyName, new DbParameterValue(item, val)); + } + else + { + val = paramEntry.Value; } //columns.AppendEmphasis(item.ColumnName, database); //columns.Append(','); @@ -162,22 +167,11 @@ public override string ToSqlString(IDatabaseAdapter database) } else { - // 处理JSON列的插入 - if (item.IsJsonColumn) - { - var jsonHandler = ExpressionSqlOptions.Instance.Value.GetJsonHandler(); - var jsonString = jsonHandler.Serialize(val); - DbParameters[item.PropertyName] = jsonString; - //values.WithPrefix(item.PropertyName, database); - // TODO 暂时做法,兼容postgresql,在后面追加::JSONB - columnValueMap.Add(item, new(database.AttachEmphasis(item.ColumnName), database.AttachPrefix(item.PropertyName))); - database.HandleJsonParameter(new(ActionType.Parameterized, item, null, columnValueMap, DbParameters)); - } - else - { - //values.WithPrefix(item.PropertyName, database); - columnValueMap.Add(item, new(database.AttachEmphasis(item.ColumnName), database.AttachPrefix(item.PropertyName))); - } + // json 列与普通列一致, 以 "列 = @参数" 插入; 参数值保持原始 CLR 值, + // 由方言的 IDatabaseParameterBinder 在绑定阶段序列化并按驱动类型化(如 PostgreSQL 的 jsonb), + // 框架不再在此预先序列化为 JSON 文本。 + //values.WithPrefix(item.PropertyName, database); + columnValueMap.Add(item, new(database.AttachEmphasis(item.ColumnName), database.AttachPrefix(item.PropertyName))); } //values.Append(','); } @@ -205,8 +199,17 @@ public override string ToSqlString(IDatabaseAdapter database) if (IsReturnIdentity) { sb.Append(';'); - //sb.Append(database.ReturnIdentitySql()); - database.ReturnIdentitySql(sb); + // 自增主键回读属可选能力: 仅 SqlServer/MySql/Sqlite/Dameng 支持; + // 其余方言(Oracle/PG/KingbaseES)能力探测失败时在此明确报"不支持", 而非 base 空桩。 + if (AdapterCapability.TryGet(database, out var identity)) + { + identity!.ReturnIdentitySql(sb); + } + else + { + throw new NotSupportedException( + $"数据库适配器 {database.GetType().Name} 不支持 ReturnIdentity(自增主键回读)。支持方: SqlServer / MySql / Sqlite / Dameng。"); + } } } diff --git a/src/LightORM/Extension/BatchActionHelper.cs b/src/LightORM/Extension/BatchActionHelper.cs index f633361..1e612ed 100644 --- a/src/LightORM/Extension/BatchActionHelper.cs +++ b/src/LightORM/Extension/BatchActionHelper.cs @@ -27,7 +27,7 @@ public static List GenBatchInfos(this ITableColumnInfo[] column , T[] datas , IDatabaseAdapter database , int limit = 2000 - , Dictionary? additionalParameters = null) + , Dictionary? additionalParameters = null) { var list = new List(); var verions = columns.Count(c => c.IsVersionColumn); @@ -68,10 +68,11 @@ public static List GenBatchInfos(this ITableColumnInfo[] column } return list; - static bool GetValue(ITableColumnInfo col, object target, Dictionary? additionalParameters, out object? value) + static bool GetValue(ITableColumnInfo col, object target, Dictionary? additionalParameters, out object? value) { - if (additionalParameters != null && additionalParameters.TryGetValue(col.PropertyName, out value)) + if (additionalParameters != null && additionalParameters.TryGetValue(col.PropertyName, out var parameterValue)) { + value = parameterValue.Value; return true; } value = col.GetValue(target); diff --git a/src/LightORM/Extension/BatchSqlInfoExtensions.cs b/src/LightORM/Extension/BatchSqlInfoExtensions.cs index 5775d70..5994074 100644 --- a/src/LightORM/Extension/BatchSqlInfoExtensions.cs +++ b/src/LightORM/Extension/BatchSqlInfoExtensions.cs @@ -2,16 +2,19 @@ { internal static class BatchSqlInfoExtensions { - public static Dictionary ToDictionaryParameters(this BatchSqlInfo info) + public static Dictionary ToDictionaryParameters(this BatchSqlInfo info) { - Dictionary values = []; + Dictionary values = []; foreach (var row in info.RowParameters) { foreach (var col in row) { if (col.Value == null) continue; - if (col.IsStaticValue) continue; - values.Add(col.ValueName, col.Value); + // 静态值(batch 下由 additionalParameters 提供的同一值)通常直接内联进 SQL 而不下发参数, + // 但 json 列无法作为字面量渲染(见 AppendSimpleColumnValueExpression), 仍需以参数下发。 + if (col.IsStaticValue && !col.IsJsonColumn) continue; + // 参数值保持原始 CLR 值(含 json 列), 序列化/驱动类型化交由方言的 IDatabaseParameterBinder。 + values.Add(col.ValueName, new(col.Column, col.Value)); } } return values; diff --git a/src/LightORM/Extension/CustomDatabaseExtensions.cs b/src/LightORM/Extension/CustomDatabaseExtensions.cs index 9b84b94..2f0a3f9 100644 --- a/src/LightORM/Extension/CustomDatabaseExtensions.cs +++ b/src/LightORM/Extension/CustomDatabaseExtensions.cs @@ -114,7 +114,9 @@ internal void AppendSimpleColumnValueExpression(SimpleColumn col, IDatabaseAdapt sql.Append("NULL"); return; } - if (col.IsStaticValue) + // json 列无法渲染为 SQL 字面量(FormatStaticValue 不支持 json 类型), 统一以参数下发; + // 参数值在 ToDictionaryParameters 中序列化, 再由方言 binder 类型化。 + if (col.IsStaticValue && !col.IsJsonColumn) { var v = FormatStaticValue(database, col.Value!); sql.Append(v); diff --git a/src/LightORM/Models/BatchSqlInfo.cs b/src/LightORM/Models/BatchSqlInfo.cs index a011281..88f7895 100644 --- a/src/LightORM/Models/BatchSqlInfo.cs +++ b/src/LightORM/Models/BatchSqlInfo.cs @@ -11,6 +11,7 @@ internal readonly record struct SimpleColumn(ITableColumnInfo Column public bool IsVersion => Column.IsVersionColumn; public string PropName => Column.PropertyName; public string ColumnName => Column.ColumnName; + public bool IsJsonColumn => Column.IsJsonColumn; } //internal record BatchParameters(ITableColumnInfo Column, List Parameters); diff --git a/src/LightORM/Providers/InsertProvider.cs b/src/LightORM/Providers/InsertProvider.cs index 027c3a7..5fa2c85 100644 --- a/src/LightORM/Providers/InsertProvider.cs +++ b/src/LightORM/Providers/InsertProvider.cs @@ -271,7 +271,13 @@ public string ToSqlWithParameters() item.ForEach(row => { if (row.IsStaticValue) return; - sb.AppendLine($"--------{row.ValueName} - {row.Value}"); + // json 列在参数下发前会被序列化为 JSON 文本, 这里按实际绑定值显示, 便于核对 + var value = row.Value; + if (row.IsJsonColumn && value is not null) + { + value = JsonParameterHelper.Serialize(value); + } + sb.AppendLine($"--------{row.ValueName} - {value}"); }); } } From ed0b50c621143e01aff04a01de7661ffebce32d3 Mon Sep 17 00:00:00 2001 From: MarvelTiter_yaoqinglin Date: Tue, 15 Sep 2026 19:49:33 +0800 Subject: [PATCH 06/35] =?UTF-8?q?fix:=20UpdateColumns=20=E4=BB=85=E7=99=BB?= =?UTF-8?q?=E8=AE=B0=E6=9B=B4=E6=96=B0=E5=88=97=EF=BC=8Cjson=20=E5=88=97?= =?UTF-8?q?=E4=B8=8D=E5=86=8D=E8=A2=AB=E5=90=88=E5=B9=B6=E4=B8=BA=E6=95=B4?= =?UTF-8?q?=E5=88=97=E8=B5=8B=E5=80=BC?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - 新增 UpdateColumnsFlags 表达式标记,UpdateProvider.UpdateColumns 注册表达式时携带该标记 - UpdateBuilder 识别标记后只登记待更新成员,值取自更新实体:解析阶段为 json 列生成的 整列赋值(如 "DATA"=@Data::JSONB)不再作为 SET 片段使用,避免多列被合并进同一条赋值 SQL - 清理 UpdateBuilder 中已废弃的 json 列/特定值处理注释代码 --- src/LightORM/Builder/UpdateBuilder.cs | 95 +++++++----------------- src/LightORM/Models/SpecificValue.cs | 15 ++++ src/LightORM/Providers/UpdateProvider.cs | 10 ++- 3 files changed, 51 insertions(+), 69 deletions(-) diff --git a/src/LightORM/Builder/UpdateBuilder.cs b/src/LightORM/Builder/UpdateBuilder.cs index 8e1ff03..1f9d8d3 100644 --- a/src/LightORM/Builder/UpdateBuilder.cs +++ b/src/LightORM/Builder/UpdateBuilder.cs @@ -46,7 +46,7 @@ public void AddMember(string member, object? value) Members.Add(member); if (value is not null) { - DbParameters.TryAdd(member, value); + DbParameters.TryAdd(member, new DbParameterValue(null, value)); } } protected override void HandleResult(IDatabaseAdapter database, ExpressionInfo expInfo, ExpressionResolvedResult result) @@ -63,9 +63,11 @@ protected override void HandleResult(IDatabaseAdapter database, ExpressionInfo e * IExpUpdate SetNull(Expression> exp) => 指定设置为Null的字段,可单个,可多个 * IExpUpdate Set(Expression> exp, TField value) => 使用value设置指定单个字段的值 * + * AdditionalParameter为UpdateColumnsFlags的情况 + * IExpUpdate UpdateColumns(Expression> columns) => 指定更新的字段,可单个,可多个 + * * AdditionalParameter为Null的情况 * IExpUpdate Set(Expression> exp) => 使用BinaryExpression设置单个字段的值 - * IExpUpdate UpdateColumns(Expression> columns) => 指定更新的字段,可单个,可多个 */ if (result.Members?.Count > 0) { @@ -87,10 +89,20 @@ protected override void HandleResult(IDatabaseAdapter database, ExpressionInfo e { UpdateSpecific.Add(col.PropertyName, $"{result.SqlString} = {database.AttachPrefix(col.PropertyName)}"); } - DbParameters.Add(col.PropertyName, v.Value); + DbParameters.Add(col.PropertyName, new DbParameterValue(col, v.Value)); Members.Add(col.PropertyName); } } + else if (expInfo.AdditionalParameter is UpdateColumnsFlags) + { + /* + * UpdateColumns(Expression> columns) + * 只声明要更新的列, 值取自更新实体(TargetObject), 主流程会为每列统一生成 "col = @col"。 + * 这里只需登记成员; 解析阶段为 json 列生成的整列赋值(如 "DATA"=@Data::JSONB)不作为 SET 片段使用, + * 否则多列会被合并进同一条赋值 SQL。json 列的值在主流程序列化后由方言绑定为对应类型。 + */ + Members.AddRange(result.Members); + } else { if (col.IsJsonColumn || result.SqlString?.Contains('=') == true) @@ -105,46 +117,6 @@ protected override void HandleResult(IDatabaseAdapter database, ExpressionInfo e { throw new LightOrmException("未解析到属性"); } - //if (expInfo.AdditionalParameter is null) - //{ - // // 从UpdateProvider的代码来看,使用SqlFn.JsonSet或者调用SetNull,一定是进入这个分支 - // if (result.Members?.Count == 1 && result.SqlString is not null) - // { - // // TODO 需要优化 - // var col = GetColumn(MainTable, result.Members[0]); - // if (col.IsJsonColumn) - // { - // UpdateSpecific.Add(result.Members[0], result.SqlString); - // DbParameters.Add(result.Members[0], BadValue.Instance); - // } - // } - // Members.AddRange(result.Members); - //} - //else if (expInfo.AdditionalParameter is SpecificValue v) - //{ - // if (v.Value is null) - // { - // SetNullMembers.AddRange(result.Members); - // } - // else - // { - // if (result.Members?.Count > 1) - // { - // var last = result.Members[result.Members.Count - 1]; - // var col = MainTable.GetColumnInfo(last); - // if (col.IsJsonColumn) - // { - // UpdateSpecific.Add(col.PropertyName, result.SqlString); - // DbParameters.Add(col.PropertyName, v.Value); - // Members.Add(last); - // return; - // } - // } - // var member = result.Members![0]; - // Members.Add(member); - // DbParameters.Add(member, v.Value); - // } - //} } else if (expInfo.ResolveOptions.SqlType == SqlPartial.UpdateVersionColumn) { @@ -172,15 +144,12 @@ private void CreateUpdateBatchSql(IDatabaseAdapter database) return; } - // TODO 批量更新对JSON列处理 - + // 批量更新的列集合。json 列同样纳入: 批量场景下没有 json 路径表达式(Values/Set 都只提供整列值), + // 因此 json 列与普通列一致按 "col = CASE WHEN 主键 = @p THEN @val ... END" 整列赋值, + // 参数值在 ToDictionaryParameters 中序列化为 JSON 文本后由方言 binder 类型化(如 pg 的 jsonb)。 var columns = MainTable.TableEntityInfo.Columns .Where(col => { - if (col.IsJsonColumn) - { - return false; - } // 如果 IgnoreMembers 非空,排除被忽略的列 if (IgnoreMembers.Count > 0 && IgnoreMembers.Contains(col.PropertyName)) return false; @@ -240,7 +209,7 @@ public override string ToSqlString(IDatabaseAdapter database) { var val = item.GetValue(TargetObject!); if (val == null) continue; - DbParameters.Add(item.PropertyName, val); + DbParameters.Add(item.PropertyName, new DbParameterValue(item, val)); Where.Add($"({database.AttachEmphasis(item.ColumnName)} = {database.AttachPrefix(item.PropertyName)})"); //WhereMembers.Add(item.PropertyName); } @@ -268,7 +237,7 @@ public override string ToSqlString(IDatabaseAdapter database) { var val = item.GetValue(TargetObject); if (val == null) continue; - DbParameters.Add(item.PropertyName, val); + DbParameters.Add(item.PropertyName, new DbParameterValue(item, val)); Members.Add(item.PropertyName); } } @@ -289,15 +258,14 @@ public override string ToSqlString(IDatabaseAdapter database) if (UpdateSpecific.TryGetValue(c.PropertyName, out var fieldSql)) { sb.Append(fieldSql); - if (c.IsJsonColumn) - { - database.HandleJsonParameter(new(ActionType.ParameterValue, c, sb, null, DbParameters, ExpressionSqlOptions.Instance.Value.GetJsonHandler())); - } + // 表达式更新路径(JSONB_SET 等): 参数值在 HandleResult 阶段已以原始 CLR 值登记, + // 序列化与驱动类型化交由方言的 IDatabaseParameterBinder 处理。 sb.AppendLine(","); continue; } // 处理一般列 - valueFounded = DbParameters.TryGetValue(c.PropertyName, out var value); + valueFounded = DbParameters.TryGetValue(c.PropertyName, out var valueEntry); + object? value = valueFounded ? valueEntry.Value : null; if (!valueFounded) { if (TargetObject is not null) @@ -317,17 +285,10 @@ public override string ToSqlString(IDatabaseAdapter database) else { sb.WithPrefix(c.PropertyName, database); - if (c.IsJsonColumn) - { - // TODO 暂时做法,兼容postgresql,在后面追加::JSONB - database.HandleJsonParameter(new(ActionType.Parameterized, c, sb, null, DbParameters, ExpressionSqlOptions.Instance.Value.GetJsonHandler())); - var jsonHandler = ExpressionSqlOptions.Instance.Value.GetJsonHandler(); - var jsonString = jsonHandler.Serialize(value); - DbParameters[c.PropertyName] = jsonString; - } if (!valueFounded) { - DbParameters.Add(c.PropertyName, value!); + // 参数值保持原始 CLR 值; json 列的序列化与驱动类型化交由方言的 IDatabaseParameterBinder。 + DbParameters.Add(c.PropertyName, new DbParameterValue(c, value)); } } @@ -379,8 +340,8 @@ private void HandleVersionColumn(StringBuilder sb, IDatabaseAdapter database) } var oldVersion = GetOldVersionValue(); var newVersion = VersionPlus(oldVersion); - DbParameters.Add($"{versionColumn.PropertyName}_n", newVersion); - DbParameters.TryAdd(versionColumn.PropertyName, oldVersion); + DbParameters.Add($"{versionColumn.PropertyName}_n", new DbParameterValue(versionColumn, newVersion)); + DbParameters.TryAdd(versionColumn.PropertyName, new DbParameterValue(versionColumn, oldVersion)); // 处理版本列 sb.AppendEmphasis(versionColumn.ColumnName, database); diff --git a/src/LightORM/Models/SpecificValue.cs b/src/LightORM/Models/SpecificValue.cs index c3a84db..960d0ca 100644 --- a/src/LightORM/Models/SpecificValue.cs +++ b/src/LightORM/Models/SpecificValue.cs @@ -5,3 +5,18 @@ internal struct SpecificValue //public string? Path { get; set; } public object? Value { get; set; } } + +/// +/// UpdateColumns<TUpdate>(Expression<Func<T, TUpdate>>) 的表达式标记。 +/// +/// 它只声明"要更新哪些列", 值取自更新实体(TargetObject), 因此 json 列也按普通列处理(col = @p), +/// 由方言的参数绑定负责类型化, 不做整列 JSON 赋值封装(否则多列会被合并进同一条赋值 SQL)。 +/// +/// +internal class UpdateColumnsFlags +{ + private UpdateColumnsFlags() + { + } + public static readonly UpdateColumnsFlags Instance = new(); +} diff --git a/src/LightORM/Providers/UpdateProvider.cs b/src/LightORM/Providers/UpdateProvider.cs index 5fe7b31..a7411ba 100644 --- a/src/LightORM/Providers/UpdateProvider.cs +++ b/src/LightORM/Providers/UpdateProvider.cs @@ -226,7 +226,7 @@ public IExpUpdate UpdateColumns(Expression> columns) public IExpUpdate UpdateColumns(Expression> columns) { - sqlBuilder.Expressions.Add(new ExpressionInfo(SqlResolveOptions.Update, columns)); + sqlBuilder.Expressions.Add(new ExpressionInfo(SqlResolveOptions.Update, columns, additionalParameter: UpdateColumnsFlags.Instance)); return this; } @@ -321,7 +321,13 @@ public string ToSqlWithParameters() item.ForEach(row => { if (row.IsStaticValue) return; - sb.AppendLine($"--------{row.ValueName} - {row.Value}"); + // json 列在参数下发前会被序列化为 JSON 文本, 这里按实际绑定值显示, 便于核对 + var value = row.Value; + if (row.IsJsonColumn && value is not null) + { + value = JsonParameterHelper.Serialize(value); + } + sb.AppendLine($"--------{row.ValueName} - {value}"); }); } } From f4786d6333d29383bad0cc9003d1aad7a8a0317a Mon Sep 17 00:00:00 2001 From: MarvelTiter_yaoqinglin Date: Tue, 15 Sep 2026 19:49:35 +0800 Subject: [PATCH 07/35] =?UTF-8?q?feat:=20=E8=A1=A8=E8=BE=BE=E5=BC=8F?= =?UTF-8?q?=E8=A7=A3=E6=9E=90=E6=94=AF=E6=8C=81=20json=20=E5=88=97?= =?UTF-8?q?=EF=BC=8CJsonQuery/JsonSet=20=E4=BF=9D=E6=8C=81=E8=A3=B8?= =?UTF-8?q?=E5=88=97=E5=90=8D?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - VisitMethodCall 对 SqlFn.JsonQuery / SqlFn.JsonSet 置 specificHandleJson,使其列实参保持 裸列名,避免 Update 场景被 VisitMember 误包装成整列赋值 —— 二者自身会拼接完整表达式 (如 json_col ->> path、col = JSONB_SET(col, ...)) - VisitMember 的 json 列分支增加 Update 判定:整列引用(Set/UpdateColumns 等无索引无成员路径) 也必须交由方言 HandleJsonColumn 生成 "col = @p",否则会退化成裸列名导致 UPDATE 缺少赋值; Select/Where/Insert 中裸引用仍保持列/参数名语义 - JsonColumnContext 新增 HasIndexInfo(),供方言判断是否存在索引或成员路径 --- src/LightORM/Models/JsonColumnContext.cs | 23 ++++++++++++++---- src/LightORM/Utils/ExpressionResolver.cs | 30 ++++++++++++++++-------- 2 files changed, 38 insertions(+), 15 deletions(-) diff --git a/src/LightORM/Models/JsonColumnContext.cs b/src/LightORM/Models/JsonColumnContext.cs index c0436fe..a24e033 100644 --- a/src/LightORM/Models/JsonColumnContext.cs +++ b/src/LightORM/Models/JsonColumnContext.cs @@ -1,4 +1,5 @@ -using System.Text; +using System; +using System.Text; namespace LightORM.Models; @@ -11,8 +12,16 @@ public readonly record struct JsonColumnContext(ITableColumnInfo Column public ResolveContext Context => Resolver.Context; public SqlResolveOptions Options => Resolver.Options; + public bool HasIndexInfo() + { + return Members.Count > 0 || Members.Any(i => i.IndexValue.HasValue); + } } +/// +/// [历史兼容] 已由 取代。 +/// +[Obsolete("已由 IDatabaseParameterBinder 取代, 请改为实现 IDatabaseParameterBinder.")] public enum ActionType { /// @@ -35,25 +44,29 @@ internal readonly record struct SelectContext(SelectBuilder Builder , IDatabaseAdapter ScopedAdapter , string Ident); -internal readonly record struct UpsertContext(SqlBuilder Builder, StringBuilder Sql, Dictionary ColumnValueMap, Dictionary Parameters, bool IgnoreWhenMap, IDatabaseAdapter ScopedAdapter); +internal readonly record struct UpsertContext(SqlBuilder Builder, StringBuilder Sql, Dictionary ColumnValueMap, Dictionary Parameters, bool IgnoreWhenMap, IDatabaseAdapter ScopedAdapter); internal readonly record struct BatchActionContext(SqlBuilder Builder , ITableColumnInfo[] TargetColumns , List Batchs - , Dictionary Parameters + , Dictionary Parameters , IDatabaseAdapter ScopedAdapter); internal readonly record struct BatchActionContext(TBuilder Builder , ITableColumnInfo[] TargetColumns , List Batchs - , Dictionary Parameters + , Dictionary Parameters , IDatabaseAdapter ScopedAdapter) where TBuilder : SqlBuilder; +/// +/// [历史兼容] 的入参类型, 随其一并弃用。 +/// +[Obsolete("已由 IDatabaseParameterBinder 取代, 请改为实现 IDatabaseParameterBinder.")] public readonly record struct JsonColumnParameterContext(ActionType ActionType , ITableColumnInfo Column , StringBuilder? Sql = null , Dictionary? ColumnValueMap = null - , Dictionary? Parameters = null + , Dictionary? Parameters = null , ILightJsonHelper? JsonHelper = null , object? Value = null) { diff --git a/src/LightORM/Utils/ExpressionResolver.cs b/src/LightORM/Utils/ExpressionResolver.cs index 5ca7670..d461995 100644 --- a/src/LightORM/Utils/ExpressionResolver.cs +++ b/src/LightORM/Utils/ExpressionResolver.cs @@ -12,7 +12,7 @@ namespace LightORM; internal static class ExpressionExtensions { - private readonly record struct CacheKey(SqlAction SqlAction, ulong Hash, int NestedLevel); + private readonly record struct CacheKey(SqlAction SqlAction, ulong Hash, int NestedLevel); private static readonly ConcurrentDictionary expressionResolvedResultCache = new(); public static ExpressionResolvedResult Resolve(this Expression? expression, SqlResolveOptions options, ResolveContext context) { @@ -147,7 +147,7 @@ public ReadOnlyCollection? Parameters MemberInitExpression => Visit(VisitMemberInit((MemberInitExpression)expression)), MemberExpression => Visit(VisitMember((MemberExpression)expression)), ConstantExpression => Visit(VisitConstant((ConstantExpression)expression)), - + _ => null }; } @@ -304,12 +304,20 @@ Indexer GetResolvedIndex(bool shouldReset = true) return exp.Arguments[0]; } Members.Clear(); - if (exp.Method.Name == "JsonQuery") + // JsonQuery / JsonSet 的列实参必须保持"裸列名":它们自身会拼接完整的 + // 查询/赋值表达式(如 json_col ->> path、col = JSONB_SET(col, ...))。 + // 若不加此标记,VisitMember 会在 Update 场景把该列实参误包装成整列赋值。 + var isSpecificJson = exp.Method.Name == nameof(SqlFn.JsonQuery) + || exp.Method.Name == nameof(SqlFn.JsonSet); + if (isSpecificJson) { specificHandleJson = true; } MethodResolver.Resolve(this, exp); - specificHandleJson = false; + if (isSpecificJson) + { + specificHandleJson = false; + } } return null; } @@ -334,7 +342,7 @@ Indexer GetResolvedIndex(bool shouldReset = true) var member = exp.Members![i]; var arg = exp.Arguments[i]; var curCount = ResolvedMembers.Count; - + //ResolvedMembers.Add(exp.Members[i].Name); Visit(arg); if (Options.SqlType == SqlPartial.Select) @@ -522,12 +530,14 @@ static MemberExpression SafeCreateProperty(Expression expression, string propert // 处理Json属性 var index = GetResolvedIndex(); ResolvedMembers.Add(col.PropertyName); - if (index.HasValue) - { - Members.Push(new(null!) { IndexValue = index }); - } - if (Members.Count > 0) + // Update 场景下, 即使没有索引/成员路径(即整列引用, 如 Set(j => j.Data, obj) 或 + // UpdateColumns(j => j.Data)), 也必须交给方言生成整列赋值表达式(col = @p::jsonb), + // 否则会退化成裸列名, 使生成的 UPDATE 缺少 " = @p"。 + // 仅限 Update: Select/Where/Insert 中裸引用 json 列仍需保持列/参数名语义。 + if (index.HasValue || Members.Count > 0 || Options.SqlType == SqlPartial.Update) { + if (index.HasValue) + Members.Push(new(null!) { IndexValue = index }); Context.Database.HandleJsonColumn(new(col, this, Members, table)); Members.Clear(); return null; From dbc9f7437a1967c1f61e036bb5c35ce2f26d43b1 Mon Sep 17 00:00:00 2001 From: MarvelTiter_yaoqinglin Date: Tue, 15 Sep 2026 19:49:37 +0800 Subject: [PATCH 08/35] =?UTF-8?q?feat:=20=E6=96=B0=E5=A2=9E=20SqlFn.N()=20?= =?UTF-8?q?=E6=98=BE=E5=BC=8F=20Unicode=20=E5=89=8D=E7=BC=80=EF=BC=8C?= =?UTF-8?q?=E7=A7=BB=E9=99=A4=20Coalesce=20=E9=9A=90=E5=BC=8F=20N?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - 新增 SqlFn.N(this string?) 扩展方法,配合 BaseSqlMethodResolver.N 生成 N'content' - 移除 Coalesce 对 string 兜底值自动追加的隐式 N 前缀,改由用户按需显式调用 N() --- src/LightORM/Implements/BaseSqlMethodResolver.cs | 11 ++++++----- src/LightORM/Utils/SqlFn.cs | 6 ++++++ 2 files changed, 12 insertions(+), 5 deletions(-) diff --git a/src/LightORM/Implements/BaseSqlMethodResolver.cs b/src/LightORM/Implements/BaseSqlMethodResolver.cs index 539f370..347bc66 100644 --- a/src/LightORM/Implements/BaseSqlMethodResolver.cs +++ b/src/LightORM/Implements/BaseSqlMethodResolver.cs @@ -59,6 +59,12 @@ public void Resolve(IExpressionResolver resolver, MethodCallExpression expressio action.Invoke(resolver, expression); } + public virtual void N(IExpressionResolver resolver, MethodCallExpression expression) + { + resolver.Sql.Append('N'); + resolver.Visit(expression.Arguments[0]); + } + public virtual void Format(IExpressionResolver resolver, MethodCallExpression expression) { if (expression.Arguments.Count == 0) @@ -394,11 +400,6 @@ public virtual void Coalesce(IExpressionResolver resolver, MethodCallExpression resolver.Visit(methodCall.Arguments[i]); resolver.Sql.Append(','); } - var type = fallbackValue.Type; - if (type == typeof(string)) - { - resolver.Sql.Append('N'); - } resolver.Visit(fallbackValue); resolver.Sql.Append(')'); } diff --git a/src/LightORM/Utils/SqlFn.cs b/src/LightORM/Utils/SqlFn.cs index 2197dac..a04912f 100644 --- a/src/LightORM/Utils/SqlFn.cs +++ b/src/LightORM/Utils/SqlFn.cs @@ -2,6 +2,12 @@ public static partial class SqlFn { + /// + /// 生成 N'content' + /// + /// + /// + public static string N(this string? content) => content ?? string.Empty; /// /// Column IN ('value1', 'value2', 'value3' ...) /// From bb1cc55557ed4b1519cef335b30cbda92886474b Mon Sep 17 00:00:00 2001 From: MarvelTiter_yaoqinglin Date: Tue, 15 Sep 2026 19:49:40 +0800 Subject: [PATCH 09/35] =?UTF-8?q?feat:=20PostgreSQL=20=E5=8F=82=E6=95=B0?= =?UTF-8?q?=E7=BB=91=E5=AE=9A=E6=8C=89=E9=A9=B1=E5=8A=A8=E7=B1=BB=E5=9E=8B?= =?UTF-8?q?=E5=8C=96=EF=BC=8Cjson=20=E5=88=97=E5=A4=84=E7=90=86=E5=AF=B9?= =?UTF-8?q?=E9=BD=90?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - 覆写 BindParameter:json 列序列化后以 NpgsqlDbType.Jsonb 下发,使 INSERT/UPDATE 无需依赖驱动对 TEXT 的推断,避免 json 被双重编码 - DateTime 按 Kind 区分类型:Utc 用 NpgsqlDbType.TimestampTz,其余用 Timestamp, 避免交由框架按 DbType.DateTime 兜底时被推断为带时区类型 - json 列读取按末级成员类型分流 -> 与 ->> 并补 cast,路径更新走 JSONB_SET, 整列更新为 "col" = @p::JSONB - InsertOrUpdate 链路对齐新参数模型 --- .../CustomPostgreSQL.InsertOrUpdate.cs | 4 +- .../CustomPostgreSQL.cs | 138 ++++++++++-------- 2 files changed, 81 insertions(+), 61 deletions(-) diff --git a/src/Providers/LightORM.Providers.PostgreSQL/CustomPostgreSQL.InsertOrUpdate.cs b/src/Providers/LightORM.Providers.PostgreSQL/CustomPostgreSQL.InsertOrUpdate.cs index 7577504..4354ace 100644 --- a/src/Providers/LightORM.Providers.PostgreSQL/CustomPostgreSQL.InsertOrUpdate.cs +++ b/src/Providers/LightORM.Providers.PostgreSQL/CustomPostgreSQL.InsertOrUpdate.cs @@ -51,10 +51,10 @@ void OnConflict() continue; if (kv.Key.IsVersionColumn) { - var oldVersion = context.Parameters[kv.Key.PropertyName]; + var oldVersion = context.Parameters[kv.Key.PropertyName].Value; var newVersion = SqlBuilder.VersionPlus(oldVersion); var verionName = $"{kv.Key.PropertyName}_n"; - context.Parameters[verionName] = newVersion; + context.Parameters[verionName] = new DbParameterValue(kv.Key, newVersion); sb.Append(' '); sb.Append(kv.Value.Column).Append(" = ").WithPrefix(verionName, database).Append(','); } diff --git a/src/Providers/LightORM.Providers.PostgreSQL/CustomPostgreSQL.cs b/src/Providers/LightORM.Providers.PostgreSQL/CustomPostgreSQL.cs index 9bfd1a8..09be119 100644 --- a/src/Providers/LightORM.Providers.PostgreSQL/CustomPostgreSQL.cs +++ b/src/Providers/LightORM.Providers.PostgreSQL/CustomPostgreSQL.cs @@ -1,8 +1,13 @@ -using LightORM.Extension; +using LightORM.Builder; +using LightORM.Extension; using LightORM.Implements; using LightORM.Interfaces; using LightORM.Models; using LightORM.Providers.PostgreSQL.Utils; +using LightORM.Utils; +using Npgsql; +using NpgsqlTypes; +using System.Data; using System.Reflection; using System.Text; @@ -16,7 +21,7 @@ internal sealed partial class CustomPostgreSQL(ISqlMethodResolver methodResolver public override string Prefix => "@"; public override string Emphasis => "\"\""; - public override void Paging(ISelectSqlBuilder builder, StringBuilder sql) + public override void Paging(SelectBuilder builder, StringBuilder sql) { // PostgreSQL 使用 LIMIT 和 OFFSET 进行分页 sql.AppendLine(); @@ -38,83 +43,98 @@ public override void HandleDateValue(StringBuilder sql, DateTime dateTime) sql.Append("', 'YYYY-MM-DD HH24:MI:SS')"); } - public override void HandleJsonParameter(JsonColumnParameterContext context) + /// + /// 方言参数绑定: 参数携带列元数据时按列语义做类型化。 + /// json 列: 参数值保持原始 CLR 值(框架不再预先序列化), 在此序列化为 JSON 文本并声明为 jsonb, + /// 使 INSERT/UPDATE 无需依赖驱动对 TEXT 的推断(Npgsql 直接按 jsonb 解析, 不会双重编码)。 + /// 未接管(返回 false)时由框架按 CLR 类型默认推断。 + /// + public override bool BindParameter(IDataParameter parameter, ITableColumnInfo? column, object? value) { - if (context.ActionType == ActionType.Parameterized) + if (column?.IsJsonColumn == true && parameter is NpgsqlParameter np) { - context.UpdateMapEntry(e => - { - return e with { Value = $"{e.Value}::JSON" }; - }); + np.NpgsqlDbType = NpgsqlDbType.Jsonb; + np.Value = value is null ? null : JsonParameterHelper.Serialize(value); + return true; } - else if (context.ActionType == ActionType.ParameterValue && context.Parameters is not null && context.Column is not null) + + // CLR DateTime 在 LightORM 中默认映射为 PostgreSQL 的 timestamp without time zone(见 Utils.FormatType.TransformType)。 + // 若交由框架按 DbType.DateTime 兜底绑定, Npgsql 会把参数推断为 timestamp with time zone, + // 从而拒绝 Kind=Local 的 DateTime(仅支持 UTC)。此处按 Kind 显式类型化(Kind 感知): + // · Utc 值 → timestamptz(带时区): Npgsql 原生接受 UTC, 保留服务端时区语义(历史行为); + // · Local/Unspecified 值 → 无时区 timestamp: 按墙上时间字面写入, 与自建 no-tz 列一致。 + // 避免"一律无时区"令 Kind=Utc 触发反向抛错(Cannot write DateTime with Kind=UTC to timestamp without time zone)。 + if (value is DateTime dateTime && parameter is NpgsqlParameter npTime) { - if (!context.Parameters.TryGetValue(context.Column.PropertyName, out var value)) - { - value = context.Value; - } - if (value is null) return; - if (context.JsonHelper is not null) - { - var json = context.JsonHelper.Serialize(value); - context.Parameters[context.Column.PropertyName] = json; - } - else - { - context.Parameters[context.Column.PropertyName] = $"\"{value}\""; - } + npTime.NpgsqlDbType = dateTime.Kind == DateTimeKind.Utc ? NpgsqlDbType.TimestampTz : NpgsqlDbType.Timestamp; + npTime.Value = dateTime; + return true; } + + return false; } public override void HandleJsonColumn(JsonColumnContext context) { if (context.Options.SqlType == SqlPartial.Update) { - context.Sql.AppendEmphasis(context.Column.ColumnName, this); - context.Sql.Append(" = "); - context.Sql.Append("JSONB_SET"); - context.Sql.Append('('); - if (context.Options.RequiredTableAlias) - { - context.Sql.Append(context.Table.Alias); - context.Sql.Append('.'); - } - context.Sql.AppendEmphasis(context.Column.ColumnName, this); - context.Sql.Append("::JSONB"); - context.Sql.Append(",'{"); - while (context.Members.Count > 0) + if (context.HasIndexInfo()) { - var current = context.Members.Pop(); - if (current.Member is not null) + context.Sql.AppendEmphasis(context.Column.ColumnName, this); + context.Sql.Append(" = "); + context.Sql.Append("JSONB_SET"); + context.Sql.Append('('); + if (context.Options.RequiredTableAlias) { - context.Sql.Append(current.Member.Name); + context.Sql.Append(context.Table.Alias); + context.Sql.Append('.'); } - if (current.IndexValue.HasValue) + context.Sql.AppendEmphasis(context.Column.ColumnName, this); + context.Sql.Append("::JSONB"); + context.Sql.Append(",'{"); + while (context.Members.Count > 0) { - current.IndexValue.Format(i => + var current = context.Members.Pop(); + if (current.Member is not null) { - if (i.IsIntValue) - { - context.Sql.Append(i.IntValue); - } - else if (i.IsStringValue) + context.Sql.Append(current.Member.Name); + } + if (current.IndexValue.HasValue) + { + current.IndexValue.Format(i => { - context.Sql.Append(i.StringValue); - } + if (i.IsIntValue) + { + context.Sql.Append(i.IntValue); + } + else if (i.IsStringValue) + { + context.Sql.Append(i.StringValue); + } + context.Sql.Append(','); + }); + context.Sql.RemoveLast(1); + } + if (context.Members.Count > 0) + { context.Sql.Append(','); - }); - context.Sql.RemoveLast(1); - } - if (context.Members.Count > 0) - { - context.Sql.Append(','); + } } + context.Sql.Append("}',"); + context.Sql.Append(Prefix); + context.Sql.Append(context.Column.PropertyName); + context.Sql.Append("::JSONB"); + context.Sql.Append(')'); + } + else + { + // 整列更新: "col" = @Prop::JSONB (参数按列元数据绑定为 jsonb) + context.Sql.AppendEmphasis(context.Column.ColumnName, this); + context.Sql.Append(" = "); + context.Sql.Append(Prefix); + context.Sql.Append(context.Column.PropertyName); + context.Sql.Append("::JSONB"); } - context.Sql.Append("}',"); - context.Sql.Append(Prefix); - context.Sql.Append(context.Column.PropertyName); - context.Sql.Append("::JSONB"); - context.Sql.Append(')'); } else { From 6d42931fd4e7aea5eb73c025358dfacd908ae6f0 Mon Sep 17 00:00:00 2001 From: MarvelTiter_yaoqinglin Date: Tue, 15 Sep 2026 19:49:42 +0800 Subject: [PATCH 10/35] =?UTF-8?q?feat:=20SqlServer=20=E5=8F=82=E6=95=B0?= =?UTF-8?q?=E7=BB=91=E5=AE=9A=E6=8C=89=E5=80=BC=E5=BD=A2=E7=8A=B6=E5=88=86?= =?UTF-8?q?=E6=B5=81=EF=BC=8Cjson=20=E5=88=97=E5=A4=84=E7=90=86=E5=AF=B9?= =?UTF-8?q?=E9=BD=90?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - 覆写 BindParameter:复合值(对象/数组)序列化为 JSON 文本并以 JSON_QUERY(@p) 包装下发, 标量传原生 CLR 值 —— SQL Server 对标量 JSON 文本会抛 Msg 13609,故必须按值形状分流 - 新增 IsCompositeLeaf 辅助判定末级成员是否为复合类型 - 自增主键回读改为实现 IReturnIdentity(SCOPE_IDENTITY()) - InsertOrUpdate 链路对齐新参数模型 --- .../CustomSqlServerAdapter.InsertOrUpdate.cs | 4 +- .../CustomSqlServerAdapter.cs | 78 +++++++++++++++++-- 2 files changed, 73 insertions(+), 9 deletions(-) diff --git a/src/Providers/LightORM.Providers.SqlServer/CustomSqlServerAdapter.InsertOrUpdate.cs b/src/Providers/LightORM.Providers.SqlServer/CustomSqlServerAdapter.InsertOrUpdate.cs index f004f0a..8245e38 100644 --- a/src/Providers/LightORM.Providers.SqlServer/CustomSqlServerAdapter.InsertOrUpdate.cs +++ b/src/Providers/LightORM.Providers.SqlServer/CustomSqlServerAdapter.InsertOrUpdate.cs @@ -20,10 +20,10 @@ public override void HandleInsertOrUpdate(UpsertContext context) sb.Append(e.Value).Append(" AS ").Append(e.Column).Append(','); if (c.IsVersionColumn) { - var oldVersion = context.Parameters[c.PropertyName]; + var oldVersion = context.Parameters[c.PropertyName].Value; var newVersion = SqlBuilder.VersionPlus(oldVersion); var verionName = $"{c.PropertyName}_n"; - context.Parameters[verionName] = newVersion; + context.Parameters[verionName] = new DbParameterValue(c, newVersion); sb.Append(' '); sb.WithPrefix(verionName, database).Append(" AS ").Append(verionName).Append(','); } diff --git a/src/Providers/LightORM.Providers.SqlServer/CustomSqlServerAdapter.cs b/src/Providers/LightORM.Providers.SqlServer/CustomSqlServerAdapter.cs index 982fe25..c7791db 100644 --- a/src/Providers/LightORM.Providers.SqlServer/CustomSqlServerAdapter.cs +++ b/src/Providers/LightORM.Providers.SqlServer/CustomSqlServerAdapter.cs @@ -1,19 +1,23 @@ -using LightORM.Extension; +using LightORM.Builder; +using LightORM.Extension; using LightORM.Implements; using LightORM.Interfaces; using LightORM.Models; +using LightORM.Utils; +using System.Data; +using System.Reflection; using System.Text; namespace LightORM.Providers.SqlServer; #pragma warning disable CS9113 // 参数未读。 -internal sealed partial class CustomSqlServerAdapter(SqlServerVersion version, ISqlMethodResolver methodResolver, SqlServerTableOptions tableOptions) : CustomDatabaseAdapter(methodResolver) +internal sealed partial class CustomSqlServerAdapter(SqlServerVersion version, ISqlMethodResolver methodResolver, SqlServerTableOptions tableOptions) : CustomDatabaseAdapter(methodResolver), IReturnIdentity { public SqlServerVersion Version { get; } = version; public override string Prefix => "@"; public override string Emphasis => "[]"; - public override void Paging(ISelectSqlBuilder builder, StringBuilder sql) + public override void Paging(SelectBuilder builder, StringBuilder sql) { if (Version == SqlServerVersion.Over2012) { @@ -63,7 +67,7 @@ public override string HandleBooleanValueForBulkCopy(bool value) { return value ? "true" : "false"; } - public override void ReturnIdentitySql(StringBuilder sql) => sql.Append("SELECT SCOPE_IDENTITY()"); + public void ReturnIdentitySql(StringBuilder sql) => sql.Append("SELECT SCOPE_IDENTITY()"); public override void HandleDateValue(StringBuilder sql, DateTime dateTime) { @@ -73,10 +77,41 @@ public override void HandleDateValue(StringBuilder sql, DateTime dateTime) sql.Append("', 120)"); } + /// + /// SqlServer json 列参数绑定。 + /// + /// SqlServer 没有"把 JSON 文本解析为 JSON 值"的函数: JSON_MODIFY 的第三参数若为 nvarchar + /// 会被当作字符串写入(双重编码), 只有 JSON_QUERY(...) 的结果才具备 JSON 语义。因此按值形状区分: + /// · 复合值(对象/数组) → 序列化为 JSON 文本下发, SQL 侧以 JSON_QUERY(@p) 包装; + /// · 标量值 → 不接管(返回 false), 由框架按 CLR 类型以原生值下发, JSON_MODIFY 可正确写入。 + /// + /// + public override bool BindParameter(IDataParameter parameter, ITableColumnInfo? column, object? value) + { + if (column?.IsJsonColumn == true && JsonParameterHelper.IsCompositeJsonValue(value)) + { + parameter.DbType = DbType.String; + parameter.Value = JsonParameterHelper.Serialize(value); + return true; + } + return false; + } + public override void HandleJsonColumn(JsonColumnContext context) { if (context.Options.SqlType == SqlPartial.Update) { + // 无索引、无路径成员的 json 列引用 = 整列替换(如 Set(j => j.Data, obj))。 + // JSON_MODIFY 的路径参数不接受 '$'(报 Unsupported JSON path),须按整列赋值处理, + // 与 PG(`"DATA" = @Data::JSONB`)、Sqlite(`col = @p`) 的整列分支保持一致。 + if (!context.HasIndexInfo()) + { + context.Sql.AppendEmphasis(context.Column.ColumnName, this); + context.Sql.Append(" = "); + context.Sql.Append(Prefix); + context.Sql.Append(context.Column.PropertyName); + return; + } context.Sql.AppendEmphasis(context.Column.ColumnName, this); context.Sql.Append(" = "); context.Sql.Append("JSON_MODIFY"); @@ -93,11 +128,13 @@ public override void HandleJsonColumn(JsonColumnContext context) } context.Sql.AppendEmphasis(context.Column.ColumnName, this); context.Sql.Append(",'$"); + MemberInfo? leafMember = null; while (context.Members.Count > 0) { var mi = context.Members.Pop(); if (mi.Member is not null) { + leafMember = mi.Member; context.Sql.Append('.'); context.Sql.Append(mi.Member.Name); } @@ -126,12 +163,39 @@ public override void HandleJsonColumn(JsonColumnContext context) context.Sql.Append('\''); if (context.Options.SqlType == SqlPartial.Update) { - // 更新还有第三个参数 + // 路径更新的第三参数: 值形状由路径末端成员的类型推断(生成期已知, 由表达式结构决定, 与表达式缓存兼容)。 + // 复合值(对象/数组)必须以 JSON_QUERY(@p) 包装, JSON_MODIFY 才会按 JSON 写入; + // 标量值直接以原生 CLR 值下发(JSON_MODIFY 对标量原生值可正确写入)。 context.Sql.Append(','); - context.Sql.Append(Prefix); - context.Sql.Append(context.Column.PropertyName); + if (IsCompositeLeaf(leafMember)) + { + context.Sql.Append("JSON_QUERY("); + context.Sql.Append(Prefix); + context.Sql.Append(context.Column.PropertyName); + context.Sql.Append(')'); + } + else + { + context.Sql.Append(Prefix); + context.Sql.Append(context.Column.PropertyName); + } } // 结束 context.Sql.Append(')'); } + + /// + /// 判断 json 路径末端成员的类型是否表示复合 JSON 文档(对象/数组)。 + /// 无法判定(纯索引路径、object 等)按标量处理, 与 binder 的保守策略保持一致。 + /// + private static bool IsCompositeLeaf(MemberInfo? member) + { + var type = member switch + { + PropertyInfo p => p.PropertyType, + FieldInfo f => f.FieldType, + _ => null + }; + return type is not null && JsonParameterHelper.IsCompositeJsonValue(type); + } } From 6c3e29a0a182a4c7441bdae238f2e5a7f9e7b36e Mon Sep 17 00:00:00 2001 From: MarvelTiter_yaoqinglin Date: Tue, 15 Sep 2026 19:49:48 +0800 Subject: [PATCH 11/35] =?UTF-8?q?feat:=20MySql=20=E5=8F=82=E6=95=B0?= =?UTF-8?q?=E7=BB=91=E5=AE=9A=E4=B8=8E=20json=20=E5=88=97=E6=95=B4?= =?UTF-8?q?=E5=88=97=E6=9B=B4=E6=96=B0=E5=AF=B9=E9=BD=90?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - 覆写 BindParameter,json 列参数以 CAST(?p AS JSON) 显式解析为 JSON 值 - json 列整列更新统一为 "列 = ?p":规避 JSON_SET 首参为 NULL 时整体返回 NULL, 导致列被置空后再也无法写回的值静默丢失 - InsertOrUpdate 链路对齐新参数模型 --- .../CustomMySqlAdapter.InertOrUpdate.cs | 4 ++-- .../CustomMySqlAdapter.cs | 22 +++++++++++++++---- 2 files changed, 20 insertions(+), 6 deletions(-) diff --git a/src/Providers/LightORM.Providers.MySql/CustomMySqlAdapter.InertOrUpdate.cs b/src/Providers/LightORM.Providers.MySql/CustomMySqlAdapter.InertOrUpdate.cs index 60a8367..8b2f307 100644 --- a/src/Providers/LightORM.Providers.MySql/CustomMySqlAdapter.InertOrUpdate.cs +++ b/src/Providers/LightORM.Providers.MySql/CustomMySqlAdapter.InertOrUpdate.cs @@ -83,10 +83,10 @@ void BuildSource() sb.Append(','); if (item.Key.IsVersionColumn) { - var oldVersion = context.Parameters[item.Key.PropertyName]; + var oldVersion = context.Parameters[item.Key.PropertyName].Value; var newVersion = SqlBuilder.VersionPlus(oldVersion); var verionName = $"{item.Key.PropertyName}_n"; - context.Parameters[verionName] = newVersion; + context.Parameters[verionName] = new DbParameterValue(item.Key, newVersion); sb.WithPrefix(verionName, database).Append(" AS ").Append(verionName); sb.Append(','); } diff --git a/src/Providers/LightORM.Providers.MySql/CustomMySqlAdapter.cs b/src/Providers/LightORM.Providers.MySql/CustomMySqlAdapter.cs index a6f6ad8..24d8f37 100644 --- a/src/Providers/LightORM.Providers.MySql/CustomMySqlAdapter.cs +++ b/src/Providers/LightORM.Providers.MySql/CustomMySqlAdapter.cs @@ -8,12 +8,12 @@ namespace LightORM.Providers.MySql; #pragma warning disable CS9113 // 参数未读。 -internal sealed partial class CustomMySqlAdapter(ISqlMethodResolver methodResolver, MySqlTableOptions tableOptions) : CustomDatabaseAdapter(methodResolver) +internal sealed partial class CustomMySqlAdapter(ISqlMethodResolver methodResolver, MySqlTableOptions tableOptions) : CustomDatabaseAdapter(methodResolver), IReturnIdentity { internal static readonly CustomMySqlAdapter Instance = new(new MySqlMethodResolver(), new()); public override string Prefix => "?"; public override string Emphasis => "``"; - public override void Paging(ISelectSqlBuilder builder, StringBuilder sql) + public override void Paging(SelectBuilder builder, StringBuilder sql) { sql.AppendLine($"LIMIT {builder.Skip}, {builder.Take}"); } @@ -50,7 +50,7 @@ public override void HandleSelectGroupBySegment(SelectContext context) } } } - public override void ReturnIdentitySql(StringBuilder sql) => sql.Append("SELECT @@IDENTITY"); + public void ReturnIdentitySql(StringBuilder sql) => sql.Append("SELECT @@IDENTITY"); public override void HandleDateValue(StringBuilder sql, DateTime dateTime) { @@ -66,6 +66,16 @@ public override void HandleJsonColumn(JsonColumnContext context) { context.Sql.AppendEmphasis(context.Column.ColumnName, this); context.Sql.Append(" = "); + // 无索引、无路径成员(如 Set(j => j.Data, obj)) = 整列替换, 走列直接赋值。 + // 不能用 JSON_SET(col,'$',val) 代替: MySQL 的 JSON 函数在首参为 NULL 时整体返回 NULL, + // 列原本为空时整列写回会被静默丢弃(实测确认)。参数已是 JSON 文本, 写入 JSON 列时 MySQL 会自动解析, + // 与 Sqlite / SqlServer / Dameng / PG 的整列分支保持一致。 + if (!context.HasIndexInfo()) + { + context.Sql.Append(Prefix); + context.Sql.Append(context.Column.PropertyName); + return; + } context.Sql.Append("JSON_SET"); context.Sql.Append('('); if (context.Options.RequiredTableAlias) @@ -77,9 +87,13 @@ public override void HandleJsonColumn(JsonColumnContext context) context.Sql.Append(",'$"); BuildJsonPath(); context.Sql.Append("',"); - // 更新还有第三个参数 + // 更新还有第三个参数: 参数值是框架序列化后的 JSON 文本, 而 JSON_SET 会把字符串参数按 + // JSON 字符串字面量处理、不会解析为 JSON 值, 直接使用会双重编码(存成 "\"abc\""); + // 故须 CAST(... AS JSON) 显式解析, 与 PG 的 @p::JSONB / Sqlite 的 JSON(@p) 语义对齐。 + context.Sql.Append("CAST("); context.Sql.Append(Prefix); context.Sql.Append(context.Column.PropertyName); + context.Sql.Append(" AS JSON)"); // 结束 context.Sql.Append(')'); } From c3f2eb3747b1654f248ac214699f8eb5bf36583c Mon Sep 17 00:00:00 2001 From: MarvelTiter_yaoqinglin Date: Tue, 15 Sep 2026 19:49:51 +0800 Subject: [PATCH 12/35] =?UTF-8?q?feat:=20Sqlite=20=E5=8F=82=E6=95=B0?= =?UTF-8?q?=E7=BB=91=E5=AE=9A=E4=B8=8E=20json=20=E5=88=97=E5=A4=84?= =?UTF-8?q?=E7=90=86=E5=AF=B9=E9=BD=90?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - 覆写 BindParameter,json 列序列化后经 JSON(@p) 包装,使文本参数按 JSON 而非字面量解析 - 自增主键回读改为实现 IReturnIdentity(LAST_INSERT_ROWID()) - InsertOrUpdate 链路对齐新参数模型 --- .../CustomSqliteAdapter.InsertOrUpdate.cs | 4 +-- .../CustomSqliteAdapter.cs | 35 +++++++++++-------- 2 files changed, 23 insertions(+), 16 deletions(-) diff --git a/src/Providers/LightORM.Providers.Sqlite/CustomSqliteAdapter.InsertOrUpdate.cs b/src/Providers/LightORM.Providers.Sqlite/CustomSqliteAdapter.InsertOrUpdate.cs index 8b11e71..d7597b7 100644 --- a/src/Providers/LightORM.Providers.Sqlite/CustomSqliteAdapter.InsertOrUpdate.cs +++ b/src/Providers/LightORM.Providers.Sqlite/CustomSqliteAdapter.InsertOrUpdate.cs @@ -44,10 +44,10 @@ public override void HandleInsertOrUpdate(UpsertContext context) continue; if (kv.Key.IsVersionColumn) { - var oldVersion = context.Parameters[kv.Key.PropertyName]; + var oldVersion = context.Parameters[kv.Key.PropertyName].Value; var newVersion = SqlBuilder.VersionPlus(oldVersion); var verionName = $"{kv.Key.PropertyName}_n"; - context.Parameters[verionName] = newVersion; + context.Parameters[verionName] = new DbParameterValue(kv.Key, newVersion); sb.Append(' '); sb.Append(kv.Value.Column).Append(" = ").WithPrefix(verionName, database).Append(','); } diff --git a/src/Providers/LightORM.Providers.Sqlite/CustomSqliteAdapter.cs b/src/Providers/LightORM.Providers.Sqlite/CustomSqliteAdapter.cs index 58c5c15..9a2ab67 100644 --- a/src/Providers/LightORM.Providers.Sqlite/CustomSqliteAdapter.cs +++ b/src/Providers/LightORM.Providers.Sqlite/CustomSqliteAdapter.cs @@ -1,4 +1,5 @@ -using LightORM.Extension; +using LightORM.Builder; +using LightORM.Extension; using LightORM.Implements; using LightORM.Interfaces; using LightORM.Models; @@ -6,7 +7,7 @@ namespace LightORM.Providers.Sqlite; -internal sealed partial class CustomSqliteAdapter(ISqlMethodResolver methodResolver, SqliteTableOptions options) : CustomDatabaseAdapter(methodResolver) +internal sealed partial class CustomSqliteAdapter(ISqlMethodResolver methodResolver, SqliteTableOptions options) : CustomDatabaseAdapter(methodResolver), IReturnIdentity { /// /// 测试用 @@ -14,11 +15,11 @@ internal sealed partial class CustomSqliteAdapter(ISqlMethodResolver methodResol internal readonly static CustomSqliteAdapter TestInstance = new(new SqliteMethodResolver(new()), new()); public override string Prefix => "@"; public override string Emphasis => "``"; - public override void Paging(ISelectSqlBuilder builder, StringBuilder sql) + public override void Paging(SelectBuilder builder, StringBuilder sql) { sql.AppendLine($"LIMIT {builder.Skip}, {builder.Take}"); } - public override void ReturnIdentitySql(StringBuilder sql) => sql.Append("SELECT LAST_INSERT_ROWID()"); + public void ReturnIdentitySql(StringBuilder sql) => sql.Append("SELECT LAST_INSERT_ROWID()"); public override void HandleDateValue(StringBuilder sql, DateTime dateTime) { @@ -31,6 +32,14 @@ public override void HandleJsonColumn(JsonColumnContext context) { if (context.Options.SqlType == SqlPartial.Update) { + if (!context.HasIndexInfo()) + { + context.Sql.AppendEmphasis(context.Column.ColumnName, this); + context.Sql.Append(" = "); + context.Sql.Append(Prefix); + context.Sql.Append(context.Column.PropertyName); + return; + } context.Sql.AppendEmphasis(context.Column.ColumnName, this); context.Sql.Append(" = "); context.Sql.Append(Set); @@ -48,10 +57,6 @@ public override void HandleJsonColumn(JsonColumnContext context) } context.Sql.AppendEmphasis(context.Column.ColumnName, this); context.Sql.Append(",'$"); - //if (context.Column.JsonRootType == JsonRootType.Object) - //{ - // context.Sql.Append('.'); - //} while (context.Members.Count > 0) { var mi = context.Members.Pop(); @@ -77,20 +82,22 @@ public override void HandleJsonColumn(JsonColumnContext context) } }); } - //if (context.Members.Count > 0) - //{ - // context.Sql.Append('.'); - //} } context.Sql.Append('\''); if (context.Options.SqlType == SqlPartial.Update) { - // 更新还有第三个参数 - context.Sql.Append(','); + // 更新还有第三个参数。 + // 参数值是框架序列化后的 JSON 文本(如 "abc" / {"a":1}), + // 而 SQLite 的 json_set/jsonb_set 对 TEXT 参数按"字符串字面量"处理、不会解析 JSON, + // 直接使用会导致双重编码(存成 "\"abc\"")、读取带多余引号; + // 故须经 JSON() 显式解析为 JSON 值,与 PG 的 @p::JSONB 语义对齐。 + context.Sql.Append(",JSON("); context.Sql.Append(Prefix); context.Sql.Append(context.Column.PropertyName); + context.Sql.Append(')'); } // 结束 context.Sql.Append(')'); + } } From c3343a4bc111fa7a71659941783394cb91a77768 Mon Sep 17 00:00:00 2001 From: MarvelTiter_yaoqinglin Date: Tue, 15 Sep 2026 19:49:53 +0800 Subject: [PATCH 13/35] =?UTF-8?q?feat:=20Dameng=20=E5=8F=82=E6=95=B0?= =?UTF-8?q?=E7=BB=91=E5=AE=9A=E4=B8=8E=20json=20=E5=88=97=E5=A4=84?= =?UTF-8?q?=E7=90=86=E5=AF=B9=E9=BD=90?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - 覆写 BindParameter,json 列序列化后以 CAST(:p AS JSON) 解析;实测对字符串/对象/数组/ 数字/布尔/null 均正确,无需按标量/复合分流 - 自增主键回读改为实现 IReturnIdentity(SELECT @@IDENTITY) - InsertOrUpdate 链路对齐新参数模型 --- .../CustomDamengAdapter.InsertOrUpdate.cs | 4 +-- .../CustomDamengAdapter.cs | 25 ++++++++++++++----- 2 files changed, 21 insertions(+), 8 deletions(-) diff --git a/src/Providers/LightORM.Providers.Dameng/CustomDamengAdapter.InsertOrUpdate.cs b/src/Providers/LightORM.Providers.Dameng/CustomDamengAdapter.InsertOrUpdate.cs index 7ccb1ec..2cd9257 100644 --- a/src/Providers/LightORM.Providers.Dameng/CustomDamengAdapter.InsertOrUpdate.cs +++ b/src/Providers/LightORM.Providers.Dameng/CustomDamengAdapter.InsertOrUpdate.cs @@ -20,10 +20,10 @@ public override void HandleInsertOrUpdate(UpsertContext context) sb.Append(e.Value).Append(" AS ").Append(e.Column).Append(','); if (c.IsVersionColumn) { - var oldVersion = context.Parameters[c.PropertyName]; + var oldVersion = context.Parameters[c.PropertyName].Value; var newVersion = SqlBuilder.VersionPlus(oldVersion); var verionName = $"{c.PropertyName}_n"; - context.Parameters[verionName] = newVersion; + context.Parameters[verionName] = new DbParameterValue(c, newVersion); sb.Append(' '); sb.WithPrefix(verionName, database).Append(" AS ").Append(verionName).Append(','); } diff --git a/src/Providers/LightORM.Providers.Dameng/CustomDamengAdapter.cs b/src/Providers/LightORM.Providers.Dameng/CustomDamengAdapter.cs index c970db5..07967e5 100644 --- a/src/Providers/LightORM.Providers.Dameng/CustomDamengAdapter.cs +++ b/src/Providers/LightORM.Providers.Dameng/CustomDamengAdapter.cs @@ -1,4 +1,5 @@ -using LightORM.Extension; +using LightORM.Builder; +using LightORM.Extension; using LightORM.Implements; using LightORM.Interfaces; using LightORM.Models; @@ -6,19 +7,19 @@ namespace LightORM.Providers.Dameng; -internal sealed partial class CustomDamengAdapter(ISqlMethodResolver methodResolver, DamengTableOptions tableOptions) : CustomDatabaseAdapter(methodResolver) +internal sealed partial class CustomDamengAdapter(ISqlMethodResolver methodResolver, DamengTableOptions tableOptions) : CustomDatabaseAdapter(methodResolver), IReturnIdentity { internal static readonly CustomDamengAdapter TestInstance = new CustomDamengAdapter(new DamengMethodResolver(new()), new()); public override string Prefix => ":"; public override string Emphasis => "\"\""; - public override void Paging(ISelectSqlBuilder builder, StringBuilder sql) + public override void Paging(SelectBuilder builder, StringBuilder sql) { sql.Insert(0, $"SELECT ROWNUM as ROWNO, SubMax.* FROM (\n"); sql.AppendLine($") SubMax WHERE ROWNUM <= {builder.Skip + builder.Take}"); sql.Insert(0, "SELECT * FROM (\n"); sql.AppendLine($") SubMin WHERE SubMin.ROWNO > {builder.Skip}"); } - public override void ReturnIdentitySql(StringBuilder sql) => sql.Append("SELECT @@IDENTITY"); + public void ReturnIdentitySql(StringBuilder sql) => sql.Append("SELECT @@IDENTITY"); string Extract => tableOptions.JSONBackend == JSONBackend.Binary ? "JSONB_VALUE" : "JSON_VALUE"; string Set => tableOptions.JSONBackend == JSONBackend.Binary ? "JSONB_SET" : "JSON_SET"; @@ -26,6 +27,14 @@ public override void HandleJsonColumn(JsonColumnContext context) { if (context.Options.SqlType == SqlPartial.Update) { + if (!context.HasIndexInfo()) + { + context.Sql.AppendEmphasis(context.Column.ColumnName, this); + context.Sql.Append(" = "); + context.Sql.Append(Prefix); + context.Sql.Append(context.Column.PropertyName); + return; + } context.Sql.AppendEmphasis(context.Column.ColumnName, this); context.Sql.Append(" = "); context.Sql.Append(Set); @@ -75,10 +84,14 @@ public override void HandleJsonColumn(JsonColumnContext context) context.Sql.Append('\''); if (context.Options.SqlType == SqlPartial.Update) { - // 更新还有第三个参数 - context.Sql.Append(','); + // 达梦按 SQL 参数类型的规则把 JSON_SET 的第三参数转成 JSON 值: + // varchar -> JSON 字符串(原样, 不解析), number -> JSON 数字, 故 varchar 会被当字面量 + // 框架下发的是序列化后的 JSON 文本(string -> "string"), 必须显式 CAST 成 JSON 才会按 JSON 值解析。 + // 实测 CAST(:p AS JSON) 对 字符串/对象/数组/数字/布尔/null 均正确, 无需按标量/复合分流。 + context.Sql.Append(",CAST("); context.Sql.Append(Prefix); context.Sql.Append(context.Column.PropertyName); + context.Sql.Append(" AS JSON)"); } // 结束 context.Sql.Append(')'); From b10d01a67974af0505a4c631b7f0dbed690024f3 Mon Sep 17 00:00:00 2001 From: MarvelTiter_yaoqinglin Date: Tue, 15 Sep 2026 19:49:55 +0800 Subject: [PATCH 14/35] =?UTF-8?q?feat:=20KingbaseES=20=E5=8F=82=E6=95=B0?= =?UTF-8?q?=E7=BB=91=E5=AE=9A=E6=8C=89=E9=A9=B1=E5=8A=A8=E7=B1=BB=E5=9E=8B?= =?UTF-8?q?=E5=8C=96=EF=BC=8Cjson=20=E5=88=97=E5=A4=84=E7=90=86=E5=AF=B9?= =?UTF-8?q?=E9=BD=90?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - 覆写 BindParameter:json 列以 KdbndpDbType.Jsonb 下发 - DateTime 按 Kind 区分类型:Utc 用 TimestampTz,其余用 Timestamp, 与 PostgreSQL 同源(Kdbndp 为 Npgsql 分支),避免驱动把参数推断为带时区类型 - InsertOrUpdate 链路对齐新参数模型 --- .../CustomKingbaseESAdapter.InsertOrUpdate.cs | 8 +-- .../CustomKingbaseESAdapter.cs | 55 ++++++++++--------- 2 files changed, 34 insertions(+), 29 deletions(-) diff --git a/src/Providers/LightORM.Providers.KingbaseES/CustomKingbaseESAdapter.InsertOrUpdate.cs b/src/Providers/LightORM.Providers.KingbaseES/CustomKingbaseESAdapter.InsertOrUpdate.cs index 4f4e396..68938ce 100644 --- a/src/Providers/LightORM.Providers.KingbaseES/CustomKingbaseESAdapter.InsertOrUpdate.cs +++ b/src/Providers/LightORM.Providers.KingbaseES/CustomKingbaseESAdapter.InsertOrUpdate.cs @@ -51,10 +51,10 @@ void OnConflict() continue; if (kv.Key.IsVersionColumn) { - var oldVersion = context.Parameters[kv.Key.PropertyName]; - var newVersion = SqlBuilder.VersionPlus(oldVersion); - var verionName = $"{kv.Key.PropertyName}_n"; - context.Parameters[verionName] = newVersion; + var oldVersion = context.Parameters[kv.Key.PropertyName].Value; + var newVersion = SqlBuilder.VersionPlus(oldVersion); + var verionName = $"{kv.Key.PropertyName}_n"; + context.Parameters[verionName] = new DbParameterValue(kv.Key, newVersion); sb.Append(' '); sb.Append(kv.Value.Column).Append(" = ").WithPrefix(verionName, database).Append(','); } diff --git a/src/Providers/LightORM.Providers.KingbaseES/CustomKingbaseESAdapter.cs b/src/Providers/LightORM.Providers.KingbaseES/CustomKingbaseESAdapter.cs index c2fd64d..46b4f6a 100644 --- a/src/Providers/LightORM.Providers.KingbaseES/CustomKingbaseESAdapter.cs +++ b/src/Providers/LightORM.Providers.KingbaseES/CustomKingbaseESAdapter.cs @@ -1,22 +1,27 @@ -using LightORM.Extension; +using Kdbndp; +using KdbndpTypes; +using LightORM.Builder; +using LightORM.Extension; using LightORM.Implements; using LightORM.Interfaces; using LightORM.Models; using LightORM.Providers.KingbaseES.Utils; +using LightORM.Utils; +using System.Data; using System.Reflection; using System.Text; namespace LightORM.Providers.KingbaseES; #pragma warning disable CS9113 // 参数未读。 -internal sealed partial class CustomKingbaseESAdapter(ISqlMethodResolver methodResolver, KingbaseESTableOptions tableOptions) : CustomDatabaseAdapter(methodResolver) +internal sealed partial class CustomKingbaseESAdapter(ISqlMethodResolver methodResolver, KingbaseESTableOptions tableOptions) : CustomDatabaseAdapter(methodResolver), IDatabaseParameterBinder { internal readonly static CustomKingbaseESAdapter Instance = new(new KingbaseESMethodResolver(), new()); public override string Prefix => "@"; public override string Emphasis => "\"\""; - public override void Paging(ISelectSqlBuilder builder, StringBuilder sql) + public override void Paging(SelectBuilder builder, StringBuilder sql) { // PostgreSQL 使用 LIMIT 和 OFFSET 进行分页 sql.AppendLine(); @@ -38,33 +43,33 @@ public override void HandleDateValue(StringBuilder sql, DateTime dateTime) sql.Append("', 'YYYY-MM-DD HH24:MI:SS')"); } - public override void HandleJsonParameter(JsonColumnParameterContext context) + /// + /// 方言参数绑定: 与 PostgreSQL 同源, 参数携带列元数据时按列语义做类型化。 + /// json 列: 参数值保持原始 CLR 值(框架不再预先序列化), 在此序列化为 JSON 文本并声明为 jsonb。 + /// 未接管(返回 false)时由框架按 CLR 类型默认推断。 + /// + public override bool BindParameter(IDataParameter parameter, ITableColumnInfo? column, object? value) { - if (context.ActionType == ActionType.Parameterized) + if (column?.IsJsonColumn == true && parameter is KdbndpParameter kp) { - //context.Sql.Append("::JSON"); - context.UpdateMapEntry(e => - { - return e with { Value = $"{e.Value}::JSON" }; - }); + kp.KdbndpDbType = KdbndpDbType.Jsonb; + kp.Value = value is null ? null : JsonParameterHelper.Serialize(value); + return true; } - else if (context.ActionType == ActionType.ParameterValue && context.Parameters is not null && context.Column is not null) + + // 与 PostgreSQL 同源(Kdbndp 为 Npgsql 分支): CLR DateTime 在 LightORM 中默认映射为 + // 无时区 timestamp(见 Utils.FormatType)。若交由框架按 DbType.DateTime 兜底, Kdbndp 会把参数 + // 推断为 timestamp with time zone 并拒绝 Kind=Local 的 DateTime。此处按 Kind 显式类型化(Kind 感知): + // · Utc 值 → timestamptz(带时区): 驱动原生接受 UTC, 保留服务端时区语义(历史行为); + // · Local/Unspecified 值 → 无时区 timestamp: 按墙上时间字面写入, 与自建 no-tz 列一致。 + if (value is DateTime dateTime && parameter is KdbndpParameter kpTime) { - if (!context.Parameters.TryGetValue(context.Column.PropertyName, out var value)) - { - value = context.Value; - } - if (value is null) return; - if (context.JsonHelper is not null) - { - var json = context.JsonHelper.Serialize(value); - context.Parameters[context.Column.PropertyName] = json; - } - else - { - context.Parameters[context.Column.PropertyName] = $"\"{value}\""; - } + kpTime.KdbndpDbType = dateTime.Kind == DateTimeKind.Utc ? KdbndpDbType.TimestampTz : KdbndpDbType.Timestamp; + kpTime.Value = dateTime; + return true; } + + return false; } public override void HandleJsonColumn(JsonColumnContext context) From 0de29185d1a4a75bac8f6eb5fb5c182d80a48d23 Mon Sep 17 00:00:00 2001 From: MarvelTiter_yaoqinglin Date: Tue, 15 Sep 2026 19:49:58 +0800 Subject: [PATCH 15/35] =?UTF-8?q?feat:=20Oracle=20json=20=E5=88=97?= =?UTF-8?q?=E9=80=82=E9=85=8D=E2=80=94=E2=80=94=E6=95=B4=E5=88=97=E8=B5=8B?= =?UTF-8?q?=E5=80=BC=E3=80=81JSON()=20=E8=A7=A3=E6=9E=90=E4=B8=8E=20CLOB?= =?UTF-8?q?=20=E7=BB=91=E5=AE=9A?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - HandleJsonColumn 按 HasIndexInfo() 分流:无索引/成员路径时生成整列直接赋值 "col" = :p, 不再无条件使用 JSON_TRANSFORM(col, SET '$' = :p) —— 该函数对 NULL 输入返回 NULL, 列原值为空时值会静默丢失(与已修的 MySQL JSON_SET 同类问题) - 路径更新的值参数改用 JSON(:p) 包装:框架下发的是序列化后的 JSON 文本,不经 JSON() 会被按字符串写入导致双重编码;与 PG 的 @p::JSONB、Sqlite 的 JSON(@p) 语义对齐 - 覆写 BindParameter:json 列序列化后以 OracleDbType.Clob 绑定,规避 VARCHAR2 的 4000 字节上限 - InsertOrUpdate 链路对齐新参数模型 --- .../CustomOracleAdapter.InsertOrUpdate.cs | 4 +- .../CustomOracleAdapter.cs | 46 +++++++++++++++++-- 2 files changed, 43 insertions(+), 7 deletions(-) diff --git a/src/Providers/LightORM.Providers.Oracle/CustomOracleAdapter.InsertOrUpdate.cs b/src/Providers/LightORM.Providers.Oracle/CustomOracleAdapter.InsertOrUpdate.cs index 08a7eb8..3a81530 100644 --- a/src/Providers/LightORM.Providers.Oracle/CustomOracleAdapter.InsertOrUpdate.cs +++ b/src/Providers/LightORM.Providers.Oracle/CustomOracleAdapter.InsertOrUpdate.cs @@ -20,10 +20,10 @@ public override void HandleInsertOrUpdate(UpsertContext context) sb.Append(e.Value).Append(" AS ").Append(e.Column).Append(','); if (c.IsVersionColumn) { - var oldVersion = context.Parameters[c.PropertyName]; + var oldVersion = context.Parameters[c.PropertyName].Value; var newVersion = SqlBuilder.VersionPlus(oldVersion); var verionName = $"{c.PropertyName}_n"; - context.Parameters[verionName] = newVersion; + context.Parameters[verionName] = new DbParameterValue(c, newVersion); sb.Append(' '); sb.WithPrefix(verionName,database).Append(" AS ").Append(verionName).Append(','); } diff --git a/src/Providers/LightORM.Providers.Oracle/CustomOracleAdapter.cs b/src/Providers/LightORM.Providers.Oracle/CustomOracleAdapter.cs index b2d907c..da94e2b 100644 --- a/src/Providers/LightORM.Providers.Oracle/CustomOracleAdapter.cs +++ b/src/Providers/LightORM.Providers.Oracle/CustomOracleAdapter.cs @@ -1,4 +1,5 @@ -using LightORM.Extension; +using LightORM.Builder; +using LightORM.Extension; using LightORM.Implements; using LightORM.Interfaces; using LightORM.Models; @@ -11,13 +12,13 @@ namespace LightORM.Providers.Oracle; #pragma warning disable CS9113 // 参数未读。 -internal sealed partial class CustomOracleAdapter(ISqlMethodResolver methodResolver, OracleTableOptions tableOptions) : CustomDatabaseAdapter(methodResolver) +internal sealed partial class CustomOracleAdapter(ISqlMethodResolver methodResolver, OracleTableOptions tableOptions) : CustomDatabaseAdapter(methodResolver), IDbCommandInitializer { internal readonly static CustomOracleAdapter Instance = new(new OracleMethodResolver(), new()); public override string Prefix => ":"; public override string Emphasis => "\"\""; - public override void DbCommandInit(DbCommand dbCommand) + public void DbCommandInit(DbCommand dbCommand) { if (dbCommand is OracleCommand oracleCommand) { @@ -28,7 +29,7 @@ public override void DbCommandInit(DbCommand dbCommand) } } - public override void Paging(ISelectSqlBuilder builder, StringBuilder sql) + public override void Paging(SelectBuilder builder, StringBuilder sql) { sql.Insert(0, $"SELECT ROWNUM as ROWNO, SubMax.* FROM (\n"); sql.AppendLine($") SubMax WHERE ROWNUM <= {builder.Skip + builder.Take}"); @@ -67,14 +68,43 @@ public override string HandleMultipleQuerySql(string[] sqls, Dictionary j.Data, obj))。 + // 不能走 JSON_TRANSFORM(col, SET '$' = :p): + // 1) JSON_TRANSFORM 对 NULL 输入返回 NULL, 列原值为空时值会静默丢失(与已修的 MySQL JSON_SET 同类); + // 2) SET '$' 的文本参数被当作 JSON 字符串写入, 会双重编码。 + // 与 PG / Sqlite / SqlServer / MySQL / Dameng 的整列分支保持一致, 直接列赋值。 + if (!context.HasIndexInfo()) + { + context.Sql.AppendEmphasis(context.Column.ColumnName, this); + context.Sql.Append(" = "); + context.Sql.Append(Prefix); + context.Sql.Append(context.Column.PropertyName); + return; + } context.Sql.AppendEmphasis(context.Column.ColumnName, this); context.Sql.Append(" = "); + // JSON_TRANSFORM 是 Oracle 21c 引入的路径级更新函数(19c 及以前只有整文档合并的 JSON_MERGEPATCH)。 context.Sql.Append("JSON_TRANSFORM"); - //context.Sql.Append("JSON_MERGEPATCH"); context.Sql.Append('('); if (context.Options.RequiredTableAlias) { @@ -86,9 +116,15 @@ public override void HandleJsonColumn(JsonColumnContext context) BuildJsonPath(); context.Sql.Append('\''); context.Sql.Append('='); + // 值参数须经 JSON() 构造器按 JSON 解析: JSON_TRANSFORM 的 SET 右值若是文本, Oracle 会按 + // "JSON 字符串"写入(而非解析), 而框架下发的参数是序列化后的 JSON 文本(如 "abc" / {"a":1}), + // 直接赋值会双重编码(存成 "\"abc\"")、读回带多余引号。 + // 与 SQLite 的 JSON(@p)、PG 的 @p::JSONB 语义对齐; 由 OracleMethodResolver 处理。 + context.Sql.Append("JSON("); context.Sql.Append(Prefix); context.Sql.Append(context.Column.PropertyName); context.Sql.Append(')'); + context.Sql.Append(')'); } else { From 9a7d43ae6f1589e0ef1b3d9d4c15b4aaa32bd1dc Mon Sep 17 00:00:00 2001 From: MarvelTiter_yaoqinglin Date: Tue, 15 Sep 2026 19:50:05 +0800 Subject: [PATCH 16/35] =?UTF-8?q?test:=20json=20=E5=88=97=E7=94=A8?= =?UTF-8?q?=E4=BE=8B=E9=9B=86=E4=B8=AD=E8=BF=81=E7=A7=BB=EF=BC=8C=E5=88=A0?= =?UTF-8?q?=E9=99=A4=E5=90=84=20provider=20=E5=88=86=E6=95=A3=E7=9A=84=20J?= =?UTF-8?q?sonTest?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - 删除 LightORMTest 主项目与六个 provider 测试项目下各自维护的 ResultTest/JsonTest.cs, 这些用例内容重复且各方言实现不一致,统一改由集中式用例承载 --- .../ResultTest/JsonTest.cs | 14 --- .../LightORMTest.MySql/ResultTest/JsonTest.cs | 14 --- .../ResultTest/JsonTest.cs | 14 --- .../ResultTest/JsonTest.cs | 36 ------ .../ResultTest/JsonTest.cs | 13 -- .../ResultTest/JsonTest.cs | 13 -- test/LightORMTest/ResultTest/JsonTest.cs | 118 ------------------ 7 files changed, 222 deletions(-) delete mode 100644 test/LightORMTest.Dameng/ResultTest/JsonTest.cs delete mode 100644 test/LightORMTest.MySql/ResultTest/JsonTest.cs delete mode 100644 test/LightORMTest.Oracle/ResultTest/JsonTest.cs delete mode 100644 test/LightORMTest.PostgreSQL/ResultTest/JsonTest.cs delete mode 100644 test/LightORMTest.SqlServer/ResultTest/JsonTest.cs delete mode 100644 test/LightORMTest.Sqlite/ResultTest/JsonTest.cs delete mode 100644 test/LightORMTest/ResultTest/JsonTest.cs diff --git a/test/LightORMTest.Dameng/ResultTest/JsonTest.cs b/test/LightORMTest.Dameng/ResultTest/JsonTest.cs deleted file mode 100644 index 7fae53e..0000000 --- a/test/LightORMTest.Dameng/ResultTest/JsonTest.cs +++ /dev/null @@ -1,14 +0,0 @@ - -namespace LightORMTest.Dameng.ResultTest; - -[TestClass] -public class JsonTest : LightORMTest.ResultTest.JsonTest -{ - public override DbBaseType DbType => DatabaseType.Dameng; - - protected override void Configura(IExpressionContextSetup option) - { - option.UseDameng(ConnectString.Value); - option.UseInterceptor(); - } -} \ No newline at end of file diff --git a/test/LightORMTest.MySql/ResultTest/JsonTest.cs b/test/LightORMTest.MySql/ResultTest/JsonTest.cs deleted file mode 100644 index cb4cf48..0000000 --- a/test/LightORMTest.MySql/ResultTest/JsonTest.cs +++ /dev/null @@ -1,14 +0,0 @@ - -namespace LightORMTest.MySql.ResultTest; - -[TestClass] -public class JsonTest : LightORMTest.ResultTest.JsonTest -{ - public override DbBaseType DbType => DbBaseType.MySql; - - protected override void Configura(IExpressionContextSetup option) - { - option.UseMySql(ConnectString.Value); - option.UseInterceptor(); - } -} \ No newline at end of file diff --git a/test/LightORMTest.Oracle/ResultTest/JsonTest.cs b/test/LightORMTest.Oracle/ResultTest/JsonTest.cs deleted file mode 100644 index ddd6f4d..0000000 --- a/test/LightORMTest.Oracle/ResultTest/JsonTest.cs +++ /dev/null @@ -1,14 +0,0 @@ - -namespace LightORMTest.Oracle.ResultTest; - -[TestClass] -public class JsonTest : LightORMTest.ResultTest.JsonTest -{ - public override DbBaseType DbType => DbBaseType.Oracle; - - protected override void Configura(IExpressionContextSetup option) - { - option.UseOracle(ConnectString.Value); - option.UseInterceptor(); - } -} \ No newline at end of file diff --git a/test/LightORMTest.PostgreSQL/ResultTest/JsonTest.cs b/test/LightORMTest.PostgreSQL/ResultTest/JsonTest.cs deleted file mode 100644 index 038313d..0000000 --- a/test/LightORMTest.PostgreSQL/ResultTest/JsonTest.cs +++ /dev/null @@ -1,36 +0,0 @@ - -using LightORMTest.Models; - -namespace LightORMTest.PostgreSQL.ResultTest; - -[TestClass] -public class JsonTest : LightORMTest.ResultTest.JsonTest -{ - public override DbBaseType DbType => DbBaseType.PostgreSQL; - - protected override void Configura(IExpressionContextSetup option) - { - option.UsePostgreSQL(ConnectString.Value); - option.UseInterceptor(); - } - - [TestMethod] - public override async Task TestJsonUpdateAsync() - { - await Db.Update().Set(j => SqlFn.JsonSet(j.JsonObject, "{City,Name}", "\"NewName\"")).Where(j => j.Id == 1).ExecuteAsync(TestContext.CancellationToken); - - var updated = await Db.Select().Where(j => j.Id == 1).FirstAsync(TestContext.CancellationToken); - Assert.IsNotNull(updated); - Assert.AreEqual("NewName", updated.JsonObject["City"]!["Name"]!.GetValue()); - - var name = "NewName"; - - await Db.Update().Set(j => j.Json!.NestJson!.Name, name).Where(j => j.Id == 5).ExecuteAsync(TestContext.CancellationToken); - - var nestJsonNameNew = await Db.Select().Where(j => j.Id == 5).ToListAsync(j => j.Json!.NestJson!.Name, TestContext.CancellationToken); - - Assert.HasCount(1, nestJsonNameNew); - Assert.AreEqual("NewName", nestJsonNameNew[0]); - } - -} \ No newline at end of file diff --git a/test/LightORMTest.SqlServer/ResultTest/JsonTest.cs b/test/LightORMTest.SqlServer/ResultTest/JsonTest.cs deleted file mode 100644 index ea74ea0..0000000 --- a/test/LightORMTest.SqlServer/ResultTest/JsonTest.cs +++ /dev/null @@ -1,13 +0,0 @@ -namespace LightORMTest.SqlServer.ResultTest; - -[TestClass] -public class JsonTest : LightORMTest.ResultTest.JsonTest -{ - public override DbBaseType DbType => DbBaseType.SqlServer; - - protected override void Configura(IExpressionContextSetup option) - { - option.UseSqlServer(LightORM.Providers.SqlServer.SqlServerVersion.V1, ConnectString.Value); - option.UseInterceptor(); - } -} \ No newline at end of file diff --git a/test/LightORMTest.Sqlite/ResultTest/JsonTest.cs b/test/LightORMTest.Sqlite/ResultTest/JsonTest.cs deleted file mode 100644 index dab7cd4..0000000 --- a/test/LightORMTest.Sqlite/ResultTest/JsonTest.cs +++ /dev/null @@ -1,13 +0,0 @@ -namespace LightORMTest.Sqlite.ResultTest; - -[TestClass] -public class JsonTest : LightORMTest.ResultTest.JsonTest -{ - public override DbBaseType DbType => DbBaseType.Sqlite; - - protected override void Configura(IExpressionContextSetup option) - { - option.UseSqlite(ConnectString.Value); - option.UseInterceptor(); - } -} \ No newline at end of file diff --git a/test/LightORMTest/ResultTest/JsonTest.cs b/test/LightORMTest/ResultTest/JsonTest.cs deleted file mode 100644 index bc2b1fe..0000000 --- a/test/LightORMTest/ResultTest/JsonTest.cs +++ /dev/null @@ -1,118 +0,0 @@ -using System.Text.Json.Nodes; - -namespace LightORMTest.ResultTest; - -public class JsonTest : TestBase -{ - private static JsonTestModel CreateJsonModel(int i) - { - var jsonString = $$""" - { - "Id": {{i}}, - "Name": "Hello{{i}}", - "Age": {{18 + i}}, - "Role": "Admin{{i}}", - "Values": [{{1 * i}}, {{2 * i}}, {{3 * i}}], - "City": { - "Name": "Dongguan{{i}}" - } - } - """; - var testJson = new JsonData() - { - Name = $"World{i}", - Value = 20 + i, - NestArray = [new() { Name = $"Nest Array{i}", Value = 30 + i }], - NestList = [new() { Name = $"Nest List{i}", Value = 40 + i }], - NestJson = new() { Name = $"Nest Object{i}", Value = 50 + i } - }; - return new JsonTestModel() - { - Id = i, - Json = testJson, - JsonArray = [testJson], - JsonList = [testJson], - JsonObject = System.Text.Json.JsonSerializer.Deserialize(jsonString)! - }; - } - [TestInitialize] - public async Task PrepareJsonDataAsync() - { - try - { - await Db.CreateMainDbScoped().CreateTableAsync(cancellationToken: TestContext.CancellationToken); - } - catch (Exception) - { - - } - await Db.Delete().FullDelete().ExecuteAsync(TestContext.CancellationToken); - await Db.Insert(CreateJsonModel(1)).ExecuteAsync(TestContext.CancellationToken); - await Db.Insert(CreateJsonModel(2)).ExecuteAsync(TestContext.CancellationToken); - await Db.Insert(CreateJsonModel(3)).ExecuteAsync(TestContext.CancellationToken); - await Db.Insert(CreateJsonModel(4)).ExecuteAsync(TestContext.CancellationToken); - await Db.Insert(CreateJsonModel(5)).ExecuteAsync(TestContext.CancellationToken); - //db.Delete().FullDelete().Execute(); - } - - [TestMethod] - public async Task TestJsonSelectAsync() - { - var model = await Db.Select().Where(j => j.Json!.Value == 22).ToListAsync(TestContext.CancellationToken); - Assert.HasCount(1, model); - Assert.IsNotNull(model[0].Json); - Assert.AreEqual("World2", model[0].Json!.Name); - - var list = await Db.Select().Where(j => j.Json!.Value == 22).ToListAsync(j => new - { - j.Id, - j.Json, - }, TestContext.CancellationToken); - Assert.HasCount(1, list); - Assert.IsNotNull(list[0].Json); - Assert.AreEqual("World2", list[0].Json!.Name); - - var dto = await Db.Select().Where(j => j.Json!.Value == 22).ToListAsync(j => new JsonTestModelDto() - { - Id = j.Id, - Json = j.Json, - }, TestContext.CancellationToken); - Assert.HasCount(1, dto); - Assert.IsNotNull(dto[0].Json); - Assert.AreEqual("World2", dto[0].Json!.Name); - - var jsonObject = await Db.Select().Where(j => j.JsonObject["City"]!["Name"]!.GetValue() == "Dongguan3").FirstAsync(TestContext.CancellationToken); - Assert.IsNotNull(jsonObject); - Assert.AreEqual(21, jsonObject.JsonObject["Age"]!.GetValue()); - - var jsonObjectArr = await Db.Select().Where(j => j.JsonObject["Values"]![1]!.GetValue() == 8).FirstAsync(TestContext.CancellationToken); - Assert.IsNotNull(jsonObjectArr); - Assert.AreEqual(22, jsonObjectArr.JsonObject["Age"]!.GetValue()); - - var nestJsonName = await Db.Select().Where(j => j.Id == 5).ToListAsync(j => j.Json!.NestJson!.Name, TestContext.CancellationToken); - - Assert.HasCount(1, nestJsonName); - Assert.AreEqual("Nest Object5", nestJsonName[0]); - } - - [TestMethod] - public virtual async Task TestJsonUpdateAsync() - { - await Db.Update().Set(j => SqlFn.JsonSet(j.JsonObject, "$.City.Name", "NewName")) - .Where(j => j.Id == 1).ExecuteAsync(TestContext.CancellationToken); - - var updated = await Db.Select().Where(j => j.Id == 1).FirstAsync(TestContext.CancellationToken); - Assert.IsNotNull(updated); - Assert.AreEqual("NewName", updated.JsonObject["City"]!["Name"]!.GetValue()); - - await Db.Update().Set(j => j.Json!.NestJson!.Name, "NewName") - .Where(j => j.Id == 5).ExecuteAsync(TestContext.CancellationToken); - - var nestJsonNameNew = await Db.Select().Where(j => j.Id == 5).ToListAsync(j => j.Json!.NestJson!.Name, TestContext.CancellationToken); - - Assert.HasCount(1, nestJsonNameNew); - Assert.AreEqual("NewName", nestJsonNameNew[0]); - } - - public required TestContext TestContext { get; set; } -} From 7265117d53bc376a6d22a76490adc6427b109c1e Mon Sep 17 00:00:00 2001 From: MarvelTiter_yaoqinglin Date: Tue, 15 Sep 2026 19:50:08 +0800 Subject: [PATCH 17/35] =?UTF-8?q?test:=20=E6=96=B0=E5=A2=9E=E9=9B=86?= =?UTF-8?q?=E4=B8=AD=E5=BC=8F=20json=20=E5=88=97=E6=89=A7=E8=A1=8C?= =?UTF-8?q?=E7=94=A8=E4=BE=8B=E4=B8=8E=E6=95=B0=E6=8D=AE=E6=A8=A1=E5=9E=8B?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - 新增 ExecutionTest.JsonColumnCases:覆盖 json 列整列读写、路径更新(JsonSet)、 嵌套成员与数组索引读取等,供各方言统一执行与断言 - 新增 JsonExecTestModel 作为 json 用例的数据模型 --- test/LightORMTest/Models/JsonExecTestModel.cs | 31 + .../ExecutionTest.JsonColumnCases.cs | 537 ++++++++++++++++++ 2 files changed, 568 insertions(+) create mode 100644 test/LightORMTest/Models/JsonExecTestModel.cs create mode 100644 test/LightORMTest/ResultTest/ExecutionTest.JsonColumnCases.cs diff --git a/test/LightORMTest/Models/JsonExecTestModel.cs b/test/LightORMTest/Models/JsonExecTestModel.cs new file mode 100644 index 0000000..af33ddd --- /dev/null +++ b/test/LightORMTest/Models/JsonExecTestModel.cs @@ -0,0 +1,31 @@ +using System.Text.Json.Nodes; + +namespace LightORMTest.Models; + +/// +/// ExecutionTest 的 json 列专用表:覆盖 json 对象 / 数组 / List / JsonObject 四类 json 列的写入与读回验证。 +/// 语义对齐 : Data/Arr/Lst 存强类型 , +/// Obj 存任意 JsonObject 文档(含 City/Values 等结构, 用于字符串索引/数组索引/JsonSet 等 JsonTest 已覆盖场景)。 +/// +[LightTable(Name = "JSON_EXEC_TEST")] +public class JsonExecTestModel +{ + [LightColumn(Name = "ID", PrimaryKey = true, Comment = "主键ID")] + public int Id { get; set; } + + [LightColumn(Name = "DATA", Comment = "json对象")] + [LightJsonMap] + public JsonData? Data { get; set; } + + [LightColumn(Name = "ARR", Comment = "json数组")] + [LightJsonMap] + public JsonData[]? Arr { get; set; } + + [LightColumn(Name = "LST", Comment = "json列表")] + [LightJsonMap] + public List? Lst { get; set; } + + [LightColumn(Name = "OBJ", Comment = "JsonObject文档")] + [LightJsonMap] + public JsonObject Obj { get; set; } = null!; +} diff --git a/test/LightORMTest/ResultTest/ExecutionTest.JsonColumnCases.cs b/test/LightORMTest/ResultTest/ExecutionTest.JsonColumnCases.cs new file mode 100644 index 0000000..dffb390 --- /dev/null +++ b/test/LightORMTest/ResultTest/ExecutionTest.JsonColumnCases.cs @@ -0,0 +1,537 @@ +using System.Text.Json.Nodes; + +namespace LightORMTest.ResultTest; + +/// +/// ExecutionTest 的 json 列用例分部:以 覆盖原 已验证的全部 json 场景 +/// (json 值 Where / JsonObject 字符串与数组索引 Where / json 投影与深层投影 / SqlFn.JsonSet 更新 / 嵌套导航路径 Set 更新), +/// 并额外覆盖 JsonTest 未覆盖的整列 json Set 替换。 +/// 表(JSON_EXEC_TEST)与基线数据由 InitData.cs 的 InitDatas 统一 drop+create+seed,测试方法不再自建表。 +/// 说明: json 更新能力因库而异(如 Sqlite 不支持 json 更新),与 JsonTest 行为一致,不支持的库直接抛异常即可。 +/// +public partial class ExecutionTest +{ + private static JsonData CreateNestedJsonData(int id) + { + return new JsonData() + { + Name = $"World{id}", + Value = 20 + id, + NestArray = [new() { Name = $"Nest Array{id}", Value = 30 + id }], + NestList = [new() { Name = $"Nest List{id}", Value = 40 + id }], + NestJson = new() { Name = $"Nest Object{id}", Value = 50 + id } + }; + } + + private static JsonExecTestModel CreateJsonExecModel(int id) + { + var nested = CreateNestedJsonData(id); + return new JsonExecTestModel() + { + Id = id, + Data = nested, + Arr = [nested, new() { Name = $"Second{id}", Value = 60 + id }], + Lst = [new() { Name = $"List{id}", Value = 70 + id }], + // 语义对齐 JsonTest 的 JsonObject 文档: 含 City(嵌套)/Values(数组)/Age/Role, 供字符串索引、数组索引、JsonSet 场景使用 + Obj = new JsonObject + { + ["City"] = new JsonObject { ["Name"] = $"Dongguan{id}" }, + ["Values"] = new JsonArray { id, id * 2, id * 3 }, + ["Age"] = 18 + id, + ["Role"] = $"Admin{id}" + } + }; + } + + /// + /// 由 InitDatas 调用:清空 JSON_EXEC_TEST 后写入固定基线行(Id=100/101/102)。 + /// + private async Task InitJsonDataAsync() + { + await Db.Insert(CreateJsonExecModel(100)).TagWith("初始化数据").ExecuteAsync(TestContext.CancellationToken); + await Db.Insert(CreateJsonExecModel(101)).TagWith("初始化数据").ExecuteAsync(TestContext.CancellationToken); + await Db.Insert(CreateJsonExecModel(102)).TagWith("初始化数据").ExecuteAsync(TestContext.CancellationToken); + } + + /// + /// Insert 整列写 json → Select 整实体读回,断言四类 json 列(含深层嵌套与 Obj 文档)完整往返。 + /// + [TestMethod] + public async Task JsonColumn_Insert_ReadBack() + { + var m = await Db.Select() + .Where(j => j.Id == 100) + .FirstAsync(TestContext.CancellationToken); + Assert.IsNotNull(m); + Assert.IsNotNull(m.Data); + Assert.AreEqual("World100", m.Data!.Name); + Assert.AreEqual(120, m.Data.Value); + Assert.IsNotNull(m.Data.NestJson); + Assert.AreEqual("Nest Object100", m.Data.NestJson!.Name); + Assert.IsNotNull(m.Arr); + Assert.HasCount(2, m.Arr!); + Assert.AreEqual("Second100", m.Arr![1].Name); + Assert.IsNotNull(m.Lst); + Assert.HasCount(1, m.Lst!); + Assert.AreEqual("List100", m.Lst![0].Name); + Assert.AreEqual("Dongguan100", m.Obj["City"]!["Name"]!.GetValue()); + Assert.AreEqual(118, m.Obj["Age"]!.GetValue()); + } + + /// + /// json 对象列标量值作 Where(对应 JsonTest: Where(j.Json!.Value == …))。 + /// + [TestMethod] + public async Task JsonColumn_JsonValue_Where() + { + var model = await Db.Select() + .Where(j => j.Data!.Value == 121) + .ToListAsync(TestContext.CancellationToken); + Assert.HasCount(1, model); + Assert.IsNotNull(model[0].Data); + Assert.AreEqual("World101", model[0].Data!.Name); + Assert.AreEqual(101, model[0].Id); + } + + /// + /// JsonObject 字符串索引与数组索引作 Where(对应 JsonTest: j.JsonObject["City"]["Name"] / j.JsonObject["Values"][1])。 + /// + [TestMethod] + public async Task JsonColumn_JsonObject_IndexWhere() + { + // 字符串索引 + var byCity = await Db.Select() + .Where(j => j.Obj["City"]!["Name"]!.GetValue() == "Dongguan102") + .FirstAsync(TestContext.CancellationToken); + Assert.IsNotNull(byCity); + Assert.AreEqual(102, byCity!.Id); + Assert.AreEqual(120, byCity.Obj["Age"]!.GetValue()); + + // 数组索引 (Values[1] = id*2) + var byValueArr = await Db.Select() + .Where(j => j.Obj["Values"]![1]!.GetValue() == 202) + .FirstAsync(TestContext.CancellationToken); + Assert.IsNotNull(byValueArr); + Assert.AreEqual(101, byValueArr!.Id); + Assert.AreEqual(119, byValueArr.Obj["Age"]!.GetValue()); + } + + /// + /// json 投影:整 json 对象投影到匿名类型,以及 json 深层导航字段投影(对应 JsonTest 的投影用例)。 + /// + [TestMethod] + public async Task JsonColumn_Projection() + { + // 投影整 json 对象(匿名) + var list = await Db.Select() + .Where(j => j.Id == 101) + .ToListAsync(j => new { j.Id, j.Data }, TestContext.CancellationToken); + Assert.HasCount(1, list); + Assert.IsNotNull(list[0].Data); + Assert.AreEqual("World101", list[0].Data!.Name); + + // 投影 json 深层字段 (Data.NestJson.Name) + var nestName = await Db.Select() + .Where(j => j.Id == 100) + .ToListAsync(j => j.Data!.NestJson!.Name, TestContext.CancellationToken); + Assert.HasCount(1, nestName); + Assert.AreEqual("Nest Object100", nestName[0]); + } + + /// + /// SqlFn.JsonSet 更新 JsonObject 嵌套路径(对应 JsonTest: Set(j => SqlFn.JsonSet(j.JsonObject, "$.City.Name", "NewName")))。 + /// PostgreSQL 的 JsonSet 路径/值格式与其它库不同,按 DbType 分支处理。 + /// + [TestMethod] + public async Task JsonColumn_JsonSet_Update() + { + if (DbType == DbBaseType.PostgreSQL) + { + await Db.Update() + .Set(j => SqlFn.JsonSet(j.Obj, "{City,Name}", "\"NewName\"")) + .Where(j => j.Id == 100) + .ExecuteAsync(TestContext.CancellationToken); + } + else + { + await Db.Update() + .Set(j => SqlFn.JsonSet(j.Obj, "$.City.Name", "NewName")) + .Where(j => j.Id == 100) + .ExecuteAsync(TestContext.CancellationToken); + } + + var updated = await Db.Select() + .Where(j => j.Id == 100) + .FirstAsync(TestContext.CancellationToken); + Assert.IsNotNull(updated); + Assert.AreEqual("NewName", updated!.Obj["City"]!["Name"]!.GetValue()); + } + + /// + /// 嵌套导航路径 Set 更新强类型 json 子字段(对应 JsonTest: Set(j => j.Json!.NestJson!.Name, "NewName"))。 + /// + [TestMethod] + public async Task JsonColumn_NestedPath_Update() + { + await Db.Update() + .Set(j => j.Data!.NestJson!.Name, "NewNest") + .Where(j => j.Id == 101) + .ExecuteAsync(TestContext.CancellationToken); + + var updated = await Db.Select() + .Where(j => j.Id == 101) + .ToListAsync(j => j.Data!.NestJson!.Name, TestContext.CancellationToken); + Assert.HasCount(1, updated); + Assert.AreEqual("NewNest", updated[0]); + } + + /// + /// 路径 Set 写入复合值(对象):验证方言按 JSON 解析方式写入而非当字符串字面量 + /// (Sqlite JSON(@p) / SqlServer JSON_QUERY(@p) / PG @p::JSONB), + /// 读回应仍是对象而非被序列化后的 JSON 字符串。 + /// + [TestMethod] + public async Task JsonColumn_CompositePath_Set_Update() + { + await Db.Update() + .Set(j => j.Data!.NestJson, new JsonData { Name = "CompositeNest", Value = 77 }) + .Where(j => j.Id == 101) + .ExecuteAsync(TestContext.CancellationToken); + + var updated = await Db.Select() + .Where(j => j.Id == 101) + .FirstAsync(TestContext.CancellationToken); + Assert.IsNotNull(updated); + Assert.IsNotNull(updated!.Data!.NestJson); + Assert.AreEqual("CompositeNest", updated.Data.NestJson!.Name); + Assert.AreEqual(77, updated.Data.NestJson.Value); + // 同列其它路径与其它 json 列不受影响 + Assert.AreEqual("World101", updated.Data.Name); + Assert.IsNotNull(updated.Arr); + } + + /// + /// 路径 Set 的值类型覆盖:数字标量与数组索引路径(字符串)写回的往返验证。 + /// 参数值统一按 JSON 文本序列化(如 4321 / "ArrItem1"),方言须按 JSON 解析后再写入, + /// 否则会被当成普通字符串字面量导致双重编码(读回多一层引号)。 + /// + [TestMethod] + public async Task JsonColumn_ScalarAndIndexPath_Set_Update() + { + await Db.Update() + .Set(j => j.Data!.Value, 4321) + .Set(j => j.Arr![1].Name, "ArrItem1") + .Where(j => j.Id == 102) + .ExecuteAsync(TestContext.CancellationToken); + + var updated = await Db.Select() + .Where(j => j.Id == 102) + .FirstAsync(TestContext.CancellationToken); + Assert.IsNotNull(updated); + Assert.AreEqual(4321, updated!.Data!.Value); + Assert.AreEqual("ArrItem1", updated.Arr![1].Name); + // 未触及的字段/列保持不变 + Assert.AreEqual("World102", updated.Data.Name); + Assert.AreEqual("Dongguan102", updated.Obj["City"]!["Name"]!.GetValue()); + } + + /// + /// Update 整列替换 json(对象/JsonObject/List):JsonTest 未覆盖,作为 ExecutionTest json 的补充覆盖。 + /// + [TestMethod] + public async Task JsonColumn_WholeColumn_Update() + { + var newData = new JsonData() { Name = "Replaced", Value = 999 }; + var newObj = new JsonObject { ["Name"] = "ReplacedNode", ["Age"] = 1 }; + await Db.Update() + .Set(j => j.Data, newData) + .Set(j => j.Obj, newObj) + .Set(j => j.Lst, new List() { new() { Name = "OnlyItem", Value = 1 } }) + .Where(j => j.Id == 100) + .ExecuteAsync(TestContext.CancellationToken); + + var m = await Db.Select() + .Where(j => j.Id == 100) + .FirstAsync(TestContext.CancellationToken); + Assert.IsNotNull(m); + Assert.IsNotNull(m.Data); + Assert.AreEqual("Replaced", m.Data!.Name); + Assert.AreEqual(999, m.Data.Value); + Assert.IsNull(m.Data.NestJson); + Assert.AreEqual("ReplacedNode", m.Obj["Name"]!.GetValue()); + Assert.IsNotNull(m.Lst); + Assert.HasCount(1, m.Lst!); + Assert.AreEqual("OnlyItem", m.Lst![0].Name); + // 未被更新的列应保持不变 + Assert.IsNotNull(m.Arr); + Assert.HasCount(2, m.Arr!); + } + + /// + /// 整列赋值必须能覆盖 NULL 现状:先 SetNull 把 json 列置空, 再整列写回对象。 + /// 该场景用于约束方言不得用"路径函数"实现整列更新(如 MySQL 的 + /// JSON_SET(col,'$',val) 在首参为 NULL 时整体返回 NULL, 会静默写不进值), + /// 须与 Sqlite/SqlServer/Dameng/PG 一样走列直接赋值。 + /// + [TestMethod] + public async Task JsonColumn_WholeColumn_Update_FromNull() + { + // 1) 先把基线行 101 的 Data 置 NULL + await Db.Update() + .SetNull(j => j.Data) + .Where(j => j.Id == 101) + .ExecuteAsync(TestContext.CancellationToken); + + var nulled = await Db.Select() + .Where(j => j.Id == 101) + .FirstAsync(TestContext.CancellationToken); + Assert.IsNotNull(nulled); + Assert.IsNull(nulled!.Data); + + // 2) 由 NULL 整列写回对象, 必须真正落库 + await Db.Update() + .Set(j => j.Data, new JsonData() { Name = "FromNull", Value = 5 }) + .Where(j => j.Id == 101) + .ExecuteAsync(TestContext.CancellationToken); + + var m = await Db.Select() + .Where(j => j.Id == 101) + .FirstAsync(TestContext.CancellationToken); + Assert.IsNotNull(m); + Assert.IsNotNull(m!.Data); + Assert.AreEqual("FromNull", m.Data!.Name); + Assert.AreEqual(5, m.Data.Value); + // 其它 json 列不受影响 + Assert.IsNotNull(m.Arr); + Assert.HasCount(2, m.Arr!); + Assert.AreEqual("Dongguan101", m.Obj["City"]!["Name"]!.GetValue()); + } + + /// + /// UpdateColumns 指定更新的 json 列(整列引用, 无索引/无成员路径):值取自更新实体, + /// 未列入的列必须保持不变。对应 UpdateBuilder.HandleResult 中 AdditionalParameter 为 null 的 Update 分支。 + /// + [TestMethod] + public async Task JsonColumn_UpdateColumns_Update() + { + // 基于基线行 102 构造更新实体, 仅指定 Data 列参与更新 + var entity = CreateJsonExecModel(102); + entity.Data = new JsonData() { Name = "ColsData", Value = 777 }; + entity.Obj = new JsonObject { ["Name"] = "ColsNode", ["Age"] = 5 }; + await Db.Update(entity) + .UpdateColumns(j => j.Data) + .ExecuteAsync(TestContext.CancellationToken); + + var m = await Db.Select() + .Where(j => j.Id == 102) + .FirstAsync(TestContext.CancellationToken); + Assert.IsNotNull(m); + Assert.IsNotNull(m.Data); + Assert.AreEqual("ColsData", m.Data!.Name); + Assert.AreEqual(777, m.Data.Value); + // 未列入更新列的 Obj/Arr/Lst 应保持基线值 + Assert.AreEqual("Dongguan102", m.Obj["City"]!["Name"]!.GetValue()); + Assert.IsNotNull(m.Arr); + Assert.HasCount(2, m.Arr!); + Assert.IsNotNull(m.Lst); + Assert.AreEqual("List102", m.Lst![0].Name); + } + + /// + /// UpdateColumns 一次指定多个 json 列(整列引用):验证多成员场景下每列都能正确生成赋值与参数绑定。 + /// + [TestMethod] + public async Task JsonColumn_UpdateColumns_MultiColumns_Update() + { + // 基于基线行 101 构造更新实体, Data 与 Obj 两列同时参与更新 + var entity = CreateJsonExecModel(101); + entity.Data = new JsonData() { Name = "MultiData", Value = 111 }; + entity.Obj = new JsonObject { ["Name"] = "MultiNode", ["Age"] = 7 }; + await Db.Update(entity) + .UpdateColumns(j => new { j.Data, j.Obj }) + .ExecuteAsync(TestContext.CancellationToken); + + var m = await Db.Select() + .Where(j => j.Id == 101) + .FirstAsync(TestContext.CancellationToken); + Assert.IsNotNull(m); + Assert.IsNotNull(m.Data); + Assert.AreEqual("MultiData", m.Data!.Name); + Assert.AreEqual(111, m.Data.Value); + Assert.AreEqual("MultiNode", m.Obj["Name"]!.GetValue()); + Assert.AreEqual(7, m.Obj["Age"]!.GetValue()); + // 未列入更新列的 Arr/Lst 应保持基线值 + Assert.IsNotNull(m.Arr); + Assert.HasCount(2, m.Arr!); + Assert.IsNotNull(m.Lst); + Assert.AreEqual("List101", m.Lst![0].Name); + } + + /// + /// SetNull(整列引用) 将 json 列置 NULL:走 SetNullMembers 分支, 生成 col = NULL。 + /// + [TestMethod] + public async Task JsonColumn_SetNull_Update() + { + await Db.Update() + .SetNull(j => j.Data) + .Where(j => j.Id == 102) + .ExecuteAsync(TestContext.CancellationToken); + + var m = await Db.Select() + .Where(j => j.Id == 102) + .FirstAsync(TestContext.CancellationToken); + Assert.IsNotNull(m); + Assert.IsNull(m.Data); + // 其它 json 列不受影响 + Assert.IsNotNull(m.Arr); + Assert.AreEqual("Dongguan102", m.Obj["City"]!["Name"]!.GetValue()); + } + + /// + /// Set(json 列, null) 显式赋 null:与 SetNull 等价, 同样落到 SetNullMembers 分支。 + /// + [TestMethod] + public async Task JsonColumn_SetNullValue_Update() + { + await Db.Update() + .Set(j => j.Data, null) + .Where(j => j.Id == 102) + .ExecuteAsync(TestContext.CancellationToken); + + var m = await Db.Select() + .Where(j => j.Id == 102) + .FirstAsync(TestContext.CancellationToken); + Assert.IsNotNull(m); + Assert.IsNull(m.Data); + Assert.AreEqual("Dongguan102", m.Obj["City"]!["Name"]!.GetValue()); + } + + /// + /// 批量 Insert json 列:一次插入多行, 每行 json 参数独立(Data_0/Data_1...), + /// 断言多行 json 整列写入均可完整读回。批量场景下 json 列只可能是"整列赋值"。 + /// + [TestMethod] + public async Task JsonColumn_BatchInsert_ReadBack() + { + var rows = new[] { CreateJsonExecModel(200), CreateJsonExecModel(201) }; + var effect = await Db.Insert(rows) + .TagWith("批量json插入") + .ExecuteAsync(TestContext.CancellationToken); + Assert.AreEqual(2, effect); + + var list = await Db.Select() + .Where(j => j.Id == 200 || j.Id == 201) + .ToListAsync(TestContext.CancellationToken); + Assert.HasCount(2, list); + + var m200 = list.Single(j => j.Id == 200); + Assert.IsNotNull(m200.Data); + Assert.AreEqual("World200", m200.Data!.Name); + Assert.AreEqual(220, m200.Data.Value); + Assert.AreEqual("Nest Object200", m200.Data.NestJson!.Name); + Assert.IsNotNull(m200.Arr); + Assert.HasCount(2, m200.Arr!); + Assert.AreEqual("Second200", m200.Arr![1].Name); + Assert.IsNotNull(m200.Lst); + Assert.AreEqual("List200", m200.Lst![0].Name); + Assert.AreEqual("Dongguan200", m200.Obj["City"]!["Name"]!.GetValue()); + Assert.AreEqual(218, m200.Obj["Age"]!.GetValue()); + + var m201 = list.Single(j => j.Id == 201); + Assert.IsNotNull(m201.Data); + Assert.AreEqual("World201", m201.Data!.Name); + Assert.AreEqual(221, m201.Data.Value); + // 每行参数不得串号: 201 行必须是自己的文档 + Assert.AreEqual("Dongguan201", m201.Obj["City"]!["Name"]!.GetValue()); + Assert.IsNotNull(m201.Lst); + Assert.AreEqual("List201", m201.Lst![0].Name); + } + + /// + /// 批量 Update json 列(整列赋值):一次更新多行, 生成 col = CASE WHEN 主键 = @p THEN @val ... END, + /// 断言多行 json 均按各自实体更新, 且互不串值。 + /// + [TestMethod] + public async Task JsonColumn_BatchUpdate_WholeColumns() + { + await Db.Insert([CreateJsonExecModel(210), CreateJsonExecModel(211)]) + .TagWith("批量json更新-准备数据") + .ExecuteAsync(TestContext.CancellationToken); + + var e210 = CreateJsonExecModel(210); + e210.Data = new JsonData() { Name = "Batch210", Value = 2100 }; + e210.Obj = new JsonObject { ["Name"] = "Node210", ["Age"] = 20 }; + var e211 = CreateJsonExecModel(211); + e211.Data = new JsonData() { Name = "Batch211", Value = 2110 }; + e211.Obj = new JsonObject { ["Name"] = "Node211", ["Age"] = 21 }; + + var effect = await Db.Update([e210, e211]) + .TagWith("批量json更新") + .ExecuteAsync(TestContext.CancellationToken); + Assert.AreEqual(2, effect); + + var list = await Db.Select() + .Where(j => j.Id == 210 || j.Id == 211) + .ToListAsync(TestContext.CancellationToken); + Assert.HasCount(2, list); + + var m210 = list.Single(j => j.Id == 210); + Assert.IsNotNull(m210.Data); + Assert.AreEqual("Batch210", m210.Data!.Name); + Assert.AreEqual(2100, m210.Data.Value); + Assert.AreEqual("Node210", m210.Obj["Name"]!.GetValue()); + Assert.AreEqual(20, m210.Obj["Age"]!.GetValue()); + // 未显式改动的 json 列(Arr/Lst)仍应按实体整列写入 + Assert.IsNotNull(m210.Arr); + Assert.AreEqual("Second210", m210.Arr![1].Name); + Assert.IsNotNull(m210.Lst); + Assert.AreEqual("List210", m210.Lst![0].Name); + + var m211 = list.Single(j => j.Id == 211); + Assert.IsNotNull(m211.Data); + Assert.AreEqual("Batch211", m211.Data!.Name); + Assert.AreEqual(2110, m211.Data.Value); + Assert.AreEqual("Node211", m211.Obj["Name"]!.GetValue()); + Assert.AreEqual(21, m211.Obj["Age"]!.GetValue()); + } + + /// + /// 批量 Insert-Or-Update(upsert) json 列:同主键二次写入触发 UPDATE 分支 + /// (方言生成 DO UPDATE SET col = EXCLUDED.col), 断言 json 列被覆盖为新值。 + /// + [TestMethod] + public async Task JsonColumn_BatchInsertOrUpdate_WholeColumns() + { + await Db.Insert([CreateJsonExecModel(220), CreateJsonExecModel(221)]) + .TagWith("批量json upsert-准备数据") + .ExecuteAsync(TestContext.CancellationToken); + + var e220 = CreateJsonExecModel(220); + e220.Data = new JsonData() { Name = "Upsert220", Value = 2200 }; + e220.Obj = new JsonObject { ["Name"] = "UpsertNode220", ["Age"] = 30 }; + var e221 = CreateJsonExecModel(221); + e221.Data = new JsonData() { Name = "Upsert221", Value = 2210 }; + e221.Obj = new JsonObject { ["Name"] = "UpsertNode221", ["Age"] = 31 }; + + var effect = await Db.Insert([e220, e221]) + .OrUpdate() + .TagWith("批量json upsert") + .ExecuteAsync(TestContext.CancellationToken); + // MySQL 的 ON DUPLICATE KEY UPDATE 命中已有行时受影响行数按 2 计(插入 1/更新 2), + // 与 ExecutionTest 中其它 upsert 用例保持一致的分支断言。 + if (DbType == DbBaseType.MySql) + Assert.AreEqual(4, effect); + else + Assert.AreEqual(2, effect); + + var list = await Db.Select() + .Where(j => j.Id == 220 || j.Id == 221) + .ToListAsync(TestContext.CancellationToken); + Assert.HasCount(2, list); + Assert.AreEqual("Upsert220", list.Single(j => j.Id == 220).Data!.Name); + Assert.AreEqual("UpsertNode220", list.Single(j => j.Id == 220).Obj["Name"]!.GetValue()); + Assert.AreEqual("Upsert221", list.Single(j => j.Id == 221).Data!.Name); + Assert.AreEqual("UpsertNode221", list.Single(j => j.Id == 221).Obj["Name"]!.GetValue()); + } +} From 20e5989c59d21eddde17036d8141b6ff4081f27d Mon Sep 17 00:00:00 2001 From: MarvelTiter_yaoqinglin Date: Tue, 15 Sep 2026 19:50:10 +0800 Subject: [PATCH 18/35] =?UTF-8?q?test:=20=E8=A1=A5=E5=85=85=20json=20?= =?UTF-8?q?=E5=88=97=20SqlGenerate=20=E7=94=A8=E4=BE=8B=E5=B9=B6=E9=80=82?= =?UTF-8?q?=E9=85=8D=E6=97=A2=E6=9C=89=E7=94=A8=E4=BE=8B?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - InsertSql_Json 与 UpdateSql_Json 补充 json 列整列赋值用例(此前缺失,而它正是 Oracle 出问题的路径),并核对各方言生成的 SQL 与参数 - 新增 Dameng 的 Insert/Update json 语句生成用例,补齐该方言的 SQL 快照 - TestBase 修复返回值类型并适配参数化改造 - 调整 DbParameterReadTest、ExecutionTest.GroupAggregateCases、ExecutionTest.InitData、 SqlServer ExecutionTest、Oracle CreateTableTest 以适配新参数模型 - 更新测试数据库 test.db --- test.db | Bin 376832 -> 376832 bytes .../SqlGenerate/InsertSql_Json.cs | 13 +++ .../SqlGenerate/UpdateSql_Json.cs | 13 +++ test/LightORMTest.Oracle/CreateTableTest.cs | 9 +- .../ResultTest/ExecutionTest.cs | 10 ++- .../ReadParameter/DbParameterReadTest.cs | 14 ++-- .../ExecutionTest.GroupAggregateCases.cs | 49 +++++++---- .../ResultTest/ExecutionTest.InitData.cs | 29 +++++++ .../SqlGenerate/InsertSql_Json.cs | 28 +++++++ .../SqlGenerate/UpdateSql_Json.cs | 77 +++++++++++++++++- test/LightORMTest/TestBase.cs | 34 +++++--- 11 files changed, 241 insertions(+), 35 deletions(-) create mode 100644 test/LightORMTest.Dameng/SqlGenerate/InsertSql_Json.cs create mode 100644 test/LightORMTest.Dameng/SqlGenerate/UpdateSql_Json.cs diff --git a/test.db b/test.db index 9dbfe3c9b4da69fcf94dac525e3058ebbcae935c..da9d8376ed578393352dc61c3c93a09347051f9c 100644 GIT binary patch delta 4625 zcmeHKUu+ab7~j3!``hl#2^U4b z%+9yp_szH8{Jy#0%nT1#3=dblw{*dWV+_M|lGZ_56T>_|J1)rr(XM`DmteZWEadp{ z9V-nSpL07hESK%;z*o6HGTCIaxuUw7eQRhSxuv(eH5LhP4sHkrHphdpIQ`}fM1u|S zpex?c7z(-)v@!9lU~`dQqNOR}Y6-`K&B3TE9ErQa?V*s%C27{ChIm856%TIE4ES4{ z%@B>^&uvaF6pQEkNMkGM7vYe_ZYI&H1zUCQ3b%~2n3_#wZVZzvGvBn>9Sk@JJ_Z@^ z3h)6(&h47D8>&oLs9eDsv4=c){4#lRI8*r?Yrx0Ilf^$(uCbqCz%_6c{6dC*4bJ4A z>N^G+Y}^udpu2wn`b`DVXDo>{0cy9y~p$FuKHdi<> zbgamImJY+E5(9n!N5CM60SE;9Z}uts0sC%y#4Zuu(s zaW`whCyvXk8BY_93EL(`GQHK4Vij*=oGYDx6$EP=gx={7KDvD9oy+@=PLEBIcMswq zhX*GSnflSmRb=YtCehLZ47dS)2h-p@_z`>qz5u7dCnTx&!2y!QAjnuaC));*T&@YI zOcS6@6=0oJ6KXA*P-E5vzey8(MosYYn&9CyK{l8uMg&0}IXgYD$-AUkmda7AsPb~ySGM)u9 zN~l&a!%igo_>LTOL|JJRWIJul+sj4**)>_TM+_%-c8m4m`t7d zLY$m&14>r|@w$Jaw9XGFzQ4hHaOF*rHu&;}fa9@*^}3`&^0Dr%=~PknwQ5$&Hx|4? z+xrLTRO(cp%pNhYec*MmzTn!FPWAK*CR2+0kcLRVSih0HOI|OO{C>De5*vCHm^`(T z7)|#oAU1UE+^&up1+SI@8A16T$ViqY5%0ZS2`H^k#=CAs1xkl^-RN-8gFUi>e4t1x z%Q$=6{Rjc)LQ8+vpZ~0<2wK{wM)fHTt>UhSmb^NP;_=;CX0bh5d}MpK$cna^=vxsniZB%eqZk_9FGrtk=~b_0X)> zX&b(BXl|qe_{iTv;x(R9-sBOhvry$dR;<8%B7V20;IK*7MgIh8Ee=VC)TzZziUx6i?z0h^b1K_ fpfx~xrInLbrpb2FEB3p-%2*|ab1JdUcsTVhIJ`$( delta 4655 zcmds5dvH|M8Q*))-Mn{i5_UHv+DVp&6hp4(b)TJ4A_9U)o?t+%MiK`sl7OJoPBkn+ z!Z=#JEONBcs^chhw1g0Cz*bAFwo^Nz_$V^d87EdqoY87Jtvc%1e&_CHNit*Gzx<<_ zoV{o6_nq(ieebioV@Jh~9ToRimDe5)g+l9Kt%kJ})-U}9Gy-ppA8m=`jfKk5nE!*h zgUQl1G&qJXKn1H7wYKPsnimfi=YLsHS`^aX(huoB)>rFTFDm&Q7~d=D*%jT{5(y>y zwue+5L>7cLZoaL3)5ebE!rAM;g}FP^LkA?Jq=wtd{^w;&5^ke$5!DP)|y-i0+^?W8NEybu( z4HR0+>D=B_{+!!$o-B=`WZ#8p z zCs-XOb=ayQ*dva|T!Wj$dQe42O!EBdXA~{Qo!*OyF@fnlO zQq!=gg-x-gN0n#0MEh)18_RLnp2-YOZPztLszZyZsm+1(vPm428xD2FCjwPS4VO;V zV0)Arl(-HT!`qS6uxXkG(=%KfnCppf7`&^v|Z7D zT@b8}Ktu*ahJ!hV3n+*vdqs<@sr7+~j1I|wr3i;POptd`LQUN$29BsK6R|AaG+gXp z*Ab~96(ZIiaGY0xJ?t2kW7?L?7-^>;*LY3?cRdagK!oVNPl>B*QzChG!VjQ0%(`o*x`|_tffpcWm}rj#u~<9R)eK}{!*Yr3h$ahAG^N%A84=551mI-gO2@#A zk_k_>ap~&}-SId!m}ObEDFzY+fr z876iuF??K$1K_Lw3pWR6K=&aH0r!e&+!a%06U(p}5mwKEUu54V%i-O=SJ1=q?qcqI4m>AJiY1ow+#?q78RM%3E zVp*QhW!gUi-EFC*-yjki8l(cXsqnw2#rJnBTAy}<0!xL34r(`OI93~aBBVdAFNuBt z7mrIKZ$!37D#gr4(Rb$e=Qrp5Gw;E?Md81N9|~WgeXQ-(O!N-wMTUAx-KNe|exqEk zsG%p)$2=|TBY%ix?bQzZYc##Mh=Kq?7HP!Bd|RCGTgdy6mH*C8(M zPic9@88R^(D7S_sY67kCmx`t(nz{dwrWFNLNEPminscZ^^_S#mpp!YC38T)jAd`px zsKyjukQcIoK`*lb6$Ff0qPr)n_bWA{SDuEVVNhd^i!@hNE%>bJrF1{g8oc{e?LabSN+fLk>00 zK?#ZY>ntRR7^oB`FLb~Y7eb%+FAV_cfkF~ACdcMf)a-^1-0X`jzt?JG*s04Pf?ENH z#CI8I0bRG-HBn%N9#vj<}FMfzjS1pFn$r z$qr)*DjXUY*z8UiMksg;MidP6?$wPqRza@ zgkb_zpwMs}d@|mt8RgQbfQlguI2f?mAdj1xCDTJ5wj^NF;+zY=7DlJfb8=xK*#@_; zjm7ZG5-giUg8K`2l2~HPeb9f_`ZPy_b_)I7k?EQ_216NgJPOKKkWh|e!EGQg0#72r zJ;8JxilIB~)Z(J)nTb?`gVZy@M90PeAq=++Ukq=^*}&vfg5tKABTntn5=z|!7NEe) zPYkC+A_uGBjIyP&LmFN>DQy9iuXEXOth6PyO&^K!zA13GxZf?(e8kqRk% zQ3e(9T$XgbMFdWhnqJ2{q4jhBKF8F{GhhZ^33UK||xpPqA z+^{e+ArJ#nwD5q{+u$S>Jb9WDy(se+GPKNK&2rdjzbJ8xgveoLq5`9k}b zz{?d~ocTeLj$yA4t6m1p7`By!xUw<)THSJZa}}%=S*qkHhb4cdiNY#@RSZjhNh%ahQ@DC) KeN*^noBs`O%mv;6 diff --git a/test/LightORMTest.Dameng/SqlGenerate/InsertSql_Json.cs b/test/LightORMTest.Dameng/SqlGenerate/InsertSql_Json.cs new file mode 100644 index 0000000..0b73184 --- /dev/null +++ b/test/LightORMTest.Dameng/SqlGenerate/InsertSql_Json.cs @@ -0,0 +1,13 @@ +namespace LightORMTest.Dameng.SqlGenerate; + +[TestClass] +public class InsertSql_Json : LightORMTest.SqlGenerate.InsertSql_Json +{ + public override DbBaseType DbType => DatabaseType.Dameng; + + protected override void Configura(IExpressionContextSetup option) + { + option.UseDameng(ConnectString.Value); + option.UseInterceptor(); + } +} diff --git a/test/LightORMTest.Dameng/SqlGenerate/UpdateSql_Json.cs b/test/LightORMTest.Dameng/SqlGenerate/UpdateSql_Json.cs new file mode 100644 index 0000000..db5f410 --- /dev/null +++ b/test/LightORMTest.Dameng/SqlGenerate/UpdateSql_Json.cs @@ -0,0 +1,13 @@ +namespace LightORMTest.Dameng.SqlGenerate; + +[TestClass] +public class UpdateSql_Json : LightORMTest.SqlGenerate.UpdateSql_Json +{ + public override DbBaseType DbType => DatabaseType.Dameng; + + protected override void Configura(IExpressionContextSetup option) + { + option.UseDameng(ConnectString.Value); + option.UseInterceptor(); + } +} diff --git a/test/LightORMTest.Oracle/CreateTableTest.cs b/test/LightORMTest.Oracle/CreateTableTest.cs index 7ff170f..7c2f0db 100644 --- a/test/LightORMTest.Oracle/CreateTableTest.cs +++ b/test/LightORMTest.Oracle/CreateTableTest.cs @@ -7,7 +7,14 @@ public class CreateTableTest : LightORMTest.CreateTableTest protected override void Configura(IExpressionContextSetup option) { - option.UseOracle(ConnectString.Value); + option.UseOracle(option => + { + option.MasterConnectionString = ConnectString.Value; + option.ConfigureOracle(o => + { + o.UseUnicodeString = false; + }); + }); option.UseInterceptor(); } } diff --git a/test/LightORMTest.SqlServer/ResultTest/ExecutionTest.cs b/test/LightORMTest.SqlServer/ResultTest/ExecutionTest.cs index c721e71..eb684c1 100644 --- a/test/LightORMTest.SqlServer/ResultTest/ExecutionTest.cs +++ b/test/LightORMTest.SqlServer/ResultTest/ExecutionTest.cs @@ -7,7 +7,15 @@ public class ExecutionTest : LightORMTest.ResultTest.ExecutionTest protected override void Configura(IExpressionContextSetup option) { - option.UseSqlServer(LightORM.Providers.SqlServer.SqlServerVersion.V1, ConnectString.Value); + option.UseSqlServer(LightORM.Providers.SqlServer.SqlServerVersion.Over2017, ConnectString.Value); + //option.UseSqlServer(LightORM.Providers.SqlServer.SqlServerVersion.V1, o => + //{ + // o.MasterConnectionString = ConnectString.Value; + // o.ConfiguraSqlServer(t => + // { + // t.UseUnicodeString = false; + // }); + //}); option.UseInterceptor(); } } diff --git a/test/LightORMTest/ReadParameter/DbParameterReadTest.cs b/test/LightORMTest/ReadParameter/DbParameterReadTest.cs index bd02a9f..1831ce5 100644 --- a/test/LightORMTest/ReadParameter/DbParameterReadTest.cs +++ b/test/LightORMTest/ReadParameter/DbParameterReadTest.cs @@ -1,4 +1,6 @@ using LightORM.Cache; +using LightORM.Interfaces; +using LightORM.Models; using System.Data; using System.Data.SQLite; @@ -22,13 +24,13 @@ public void ReadAnonymousTypeToDic() Age2 = 11, Name2 = "Marvel2" }; - Dictionary dic = []; + Dictionary dic = []; DbParameterReader.MergeObjectToDictionary("@", "@Date, @Age, @Name", p1, dic); DbParameterReader.MergeObjectToDictionary("@", "@Age2, @Name2", p2, dic); Assert.HasCount(5, dic); - Assert.IsTrue((DateTime)dic["Date"] == p1.Date); - Assert.AreEqual(p1.Age, (int)dic["Age"]); - Assert.AreEqual(p1.Name, (string)dic["Name"]); + Assert.IsTrue((DateTime)dic["Date"].Value! == p1.Date); + Assert.AreEqual(p1.Age, (int)dic["Age"].Value!); + Assert.AreEqual(p1.Name, (string)dic["Name"].Value!); } enum TestE { @@ -55,8 +57,8 @@ public void ReadAnonymousTypeParameter() }; using var conn = new SQLiteConnection("Data Source=:memory:;Version=3;New=True;"); var cmd = conn.CreateCommand(); - Action? dic = DbParameterReader.GetDbParameterReader("@Date, @Age, @Name, @Level1, @Level2, @Type1, @Type2, @Type_3", "@", p1.GetType()); - dic(cmd, p1); + Action? dic = DbParameterReader.GetDbParameterReader("@Date, @Age, @Name, @Level1, @Level2, @Type1, @Type2, @Type_3", "@", p1.GetType()); + dic(cmd, p1, null!); foreach (SQLiteParameter item in cmd.Parameters) { Console.WriteLine($"{item.ParameterName} => {item.DbType} => {item.Value}"); diff --git a/test/LightORMTest/ResultTest/ExecutionTest.GroupAggregateCases.cs b/test/LightORMTest/ResultTest/ExecutionTest.GroupAggregateCases.cs index 8892598..51b5dde 100644 --- a/test/LightORMTest/ResultTest/ExecutionTest.GroupAggregateCases.cs +++ b/test/LightORMTest/ResultTest/ExecutionTest.GroupAggregateCases.cs @@ -43,7 +43,7 @@ public async Task Group_CountDistinct_Test() var list = await Db.Select() .GroupBy(s => s.Region) .ToListAsync(g => new { Region = g.Group, Products = g.CountDistinct(g.Tables.Product) }, TestContext.CancellationToken); - Assert.AreEqual(7, list.Count); + Assert.HasCount(7, list); Assert.IsTrue(list.All(x => x.Products == 1)); } @@ -60,7 +60,7 @@ public async Task Group_Round_Test() Count = g.Count() }, TestContext.CancellationToken); - Assert.AreEqual(7, list.Count); + Assert.HasCount(7, list); Assert.AreEqual(1500d, list.First(x => x.Region == "华东").Avg, 0.001); // 7500/5 Assert.AreEqual(176d, list.First(x => x.Region == "西北").Avg, 0.001); // 880/5 Assert.AreEqual(5, list.First(x => x.Region == "华东").Count); @@ -86,13 +86,24 @@ public async Task Group_OrderBy_Paging_Test() public async Task Group_Rollup_Coalesce_Test() { // Rollup 产生汇总行,Coalesce 把 null 分组值替换为“合计” - var list = await Db.Select() + var sales = Db.Select() .GroupBy(s => s.Region) - .Rollup() - .ToListAsync(g => new { Region = g.Coalesce("合计", g.Group), Total = g.Count() }, TestContext.CancellationToken); - Assert.HasCount(8, list); // 7 区域 + 1 合计行 - Assert.IsTrue(list.Any(x => x.Region == "合计")); - Assert.IsTrue(list.Any(x => x.Region == "华东")); + .Rollup(); + var isSqlServer = CurrentDefaultProvider.DbBaseType == DbBaseType.SqlServer; + if (isSqlServer) + { + var list = await sales.ToListAsync(g => new { Region = g.Coalesce("合计".N(), g.Group), Total = g.Count() }, TestContext.CancellationToken); + Assert.HasCount(8, list); // 7 区域 + 1 合计行 + Assert.IsTrue(list.Any(x => x.Region == "合计")); + Assert.IsTrue(list.Any(x => x.Region == "华东")); + } + else + { + var list = await sales.ToListAsync(g => new { Region = g.Coalesce("合计", g.Group), Total = g.Count() }, TestContext.CancellationToken); + Assert.HasCount(8, list); // 7 区域 + 1 合计行 + Assert.IsTrue(list.Any(x => x.Region == "合计")); + Assert.IsTrue(list.Any(x => x.Region == "华东")); + } } [TestMethod] @@ -111,12 +122,22 @@ public async Task Group_Rollup_NullThen_Test() public async Task Group_Cube_Test() { // Cube(单列分组时等价于 Rollup,方言需支持 CUBE 语法) - var list = await Db.Select() - .GroupBy(s => s.Region) - .Cube() - .ToListAsync(g => new { Region = g.Coalesce("合计", g.Group), Total = g.Count() }, TestContext.CancellationToken); - Assert.IsGreaterThanOrEqualTo(7, list.Count); - Assert.IsTrue(list.Any(x => x.Region == "合计")); + var isSqlserver = CurrentDefaultProvider.DbBaseType == DbBaseType.SqlServer; + var sales = Db.Select() + .GroupBy(s => s.Region) + .Cube(); + if (isSqlserver) + { + var list = await sales.ToListAsync(g => new { Region = g.Coalesce("合计".N(), g.Group), Total = g.Count() }, TestContext.CancellationToken); + Assert.IsGreaterThanOrEqualTo(7, list.Count); + Assert.IsTrue(list.Any(x => x.Region == "合计")); + } + else + { + var list = await sales.ToListAsync(g => new { Region = g.Coalesce("合计", g.Group), Total = g.Count() }, TestContext.CancellationToken); + Assert.IsGreaterThanOrEqualTo(7, list.Count); + Assert.IsTrue(list.Any(x => x.Region == "合计")); + } } [TestMethod] diff --git a/test/LightORMTest/ResultTest/ExecutionTest.InitData.cs b/test/LightORMTest/ResultTest/ExecutionTest.InitData.cs index b09f746..c33024e 100644 --- a/test/LightORMTest/ResultTest/ExecutionTest.InitData.cs +++ b/test/LightORMTest/ResultTest/ExecutionTest.InitData.cs @@ -4,9 +4,35 @@ namespace LightORMTest.ResultTest; public partial class ExecutionTest { + private async Task CreateTableAsync() + { + using var db = this.Db.CreateMainDbScoped(); + await db.DropTableAsync(TestContext.CancellationToken); + await db.DropTableAsync(TestContext.CancellationToken); + await db.DropTableAsync(TestContext.CancellationToken); + await db.DropTableAsync(TestContext.CancellationToken); + await db.DropTableAsync(TestContext.CancellationToken); + await db.DropTableAsync(TestContext.CancellationToken); + await db.DropTableAsync(TestContext.CancellationToken); + await db.DropTableAsync(TestContext.CancellationToken); + await db.DropTableAsync(TestContext.CancellationToken); + await db.DropTableAsync(TestContext.CancellationToken); + await db.CreateTableAsync(cancellationToken: TestContext.CancellationToken); + await db.CreateTableAsync(cancellationToken: TestContext.CancellationToken); + await db.CreateTableAsync(cancellationToken: TestContext.CancellationToken); + await db.CreateTableAsync(cancellationToken: TestContext.CancellationToken); + await db.CreateTableAsync(cancellationToken: TestContext.CancellationToken); + await db.CreateTableAsync(cancellationToken: TestContext.CancellationToken); + await db.CreateTableAsync(cancellationToken: TestContext.CancellationToken); + await db.CreateTableAsync(cancellationToken: TestContext.CancellationToken); + await db.CreateTableAsync(cancellationToken: TestContext.CancellationToken); + await db.CreateTableAsync(cancellationToken: TestContext.CancellationToken); + + } [TestInitialize] public async Task InitDatas() { + await CreateTableAsync(); await Db.Delete() .FullDelete().TagWith("初始化数据").ExecuteAsync(TestContext.CancellationToken); await Db.Delete() @@ -21,6 +47,8 @@ await Db.Delete() .FullDelete().TagWith("初始化数据").ExecuteAsync(TestContext.CancellationToken); await Db.Delete() .FullDelete().TagWith("初始化数据").ExecuteAsync(TestContext.CancellationToken); + await Db.Delete() + .FullDelete().TagWith("初始化数据").ExecuteAsync(TestContext.CancellationToken); await Db.Insert([ new User() { @@ -442,5 +470,6 @@ await Db.Insert([ new Sales { Region = "西北", Province = "新疆", Product = "键盘鼠标", Amount = 150, Version = 1 } ]) .TagWith("初始化数据").ExecuteAsync(TestContext.CancellationToken); + await InitJsonDataAsync(); } } diff --git a/test/LightORMTest/SqlGenerate/InsertSql_Json.cs b/test/LightORMTest/SqlGenerate/InsertSql_Json.cs index cdf40a9..499fa50 100644 --- a/test/LightORMTest/SqlGenerate/InsertSql_Json.cs +++ b/test/LightORMTest/SqlGenerate/InsertSql_Json.cs @@ -36,4 +36,32 @@ public void InsertJsonModel() var sql = Db.Insert(entity).ToSqlWithParameters(); Console.WriteLine(sql); } + + /// + /// 批量 Insert json 列:多行 VALUES 展开, 每行 json 参数独立(Json_0/Json_1...), + /// json 值应为序列化后的 JSON 文本。用于核对方言生成的批量插入 SQL 与参数。 + /// + [TestMethod] + public void InsertJsonModel_Batch() + { + var sql = Db.Insert([CreateEntity("B1", 1), CreateEntity("B2", 2)]).ToSqlWithParameters(); + Console.WriteLine(sql); + + static JsonTestModel CreateEntity(string name, int value) + { + var json = new JsonData() + { + Name = name, + Value = value, + NestJson = new() { Name = $"Nest {name}", Value = value * 10 } + }; + return new JsonTestModel() + { + Json = json, + JsonArray = [json], + JsonList = [json], + JsonObject = new JsonObject { ["Name"] = name, ["Values"] = new JsonArray { value } } + }; + } + } } \ No newline at end of file diff --git a/test/LightORMTest/SqlGenerate/UpdateSql_Json.cs b/test/LightORMTest/SqlGenerate/UpdateSql_Json.cs index 7409010..b550e38 100644 --- a/test/LightORMTest/SqlGenerate/UpdateSql_Json.cs +++ b/test/LightORMTest/SqlGenerate/UpdateSql_Json.cs @@ -1,4 +1,6 @@ -namespace LightORMTest.SqlGenerate; +using System.Text.Json.Nodes; + +namespace LightORMTest.SqlGenerate; public class UpdateSql_Json : TestBase { @@ -21,4 +23,77 @@ public void UpdateJsonFieldBySqlFn() .ToSqlWithParameters(); Console.WriteLine(sql); } + + /// + /// UpdateColumns 指定单个 json 列(值取自更新实体):应生成整列赋值(col = @p), 且参数绑定到该列。 + /// + [TestMethod] + public void UpdateColumnsJsonField() + { + var entity = new JsonTestModel() + { + Id = 1, + Json = new JsonData() { Name = "ColsName", Value = 1 } + }; + var sql = Db.Update(entity) + .UpdateColumns(j => j.Json) + .ToSqlWithParameters(); + Console.WriteLine(sql); + } + + /// + /// UpdateColumns 指定多个 json 列:每列各自生成一段赋值, 不应出现重复赋值或合并到同一列。 + /// + [TestMethod] + public void UpdateColumnsMultiJsonField() + { + var entity = new JsonTestModel() + { + Id = 1, + Json = new JsonData() { Name = "ColsName", Value = 1 }, + JsonObject = new JsonObject() { ["Name"] = "ColsNode" } + }; + var sql = Db.Update(entity) + .UpdateColumns(j => new { j.Json, j.JsonObject }) + .ToSqlWithParameters(); + Console.WriteLine(sql); + } + + /// + /// Set 整列 json(无索引、无成员路径):必须生成整列直接赋值(col = @p), 不得走路径函数。 + /// 依据: 路径函数无法安全承担整列替换 —— MySQL 的 JSON_SET / Oracle 的 JSON_TRANSFORM + /// 在首参为 NULL 时整体返回 NULL(值静默丢失), 且对文本参数按字符串字面量处理(双重编码)。 + /// + [TestMethod] + public void UpdateJsonWholeColumn() + { + var sql = Db.Update() + .Set(j => j.Json, new JsonData() { Name = "Whole", Value = 9 }) + .Where(j => j.Id == 5) + .ToSqlWithParameters(); + Console.WriteLine(sql); + } + + /// + /// 批量 Update json 列(整列赋值):应生成 col = CASE WHEN 主键 = @p THEN @val ... END, + /// 每行 json 参数独立并按各自实体取值, 不应排除 json 列。用于核对方言生成的批量更新 SQL 与参数。 + /// + [TestMethod] + public void UpdateJsonModel_Batch() + { + var e1 = new JsonTestModel() + { + Id = 1, + Json = new JsonData() { Name = "Batch1", Value = 11 }, + JsonObject = new JsonObject { ["Name"] = "Node1", ["Age"] = 1 } + }; + var e2 = new JsonTestModel() + { + Id = 2, + Json = new JsonData() { Name = "Batch2", Value = 22 }, + JsonObject = new JsonObject { ["Name"] = "Node2", ["Age"] = 2 } + }; + var sql = Db.Update([e1, e2]).ToSqlWithParameters(); + Console.WriteLine(sql); + } } diff --git a/test/LightORMTest/TestBase.cs b/test/LightORMTest/TestBase.cs index a9f8a88..b1efdc3 100644 --- a/test/LightORMTest/TestBase.cs +++ b/test/LightORMTest/TestBase.cs @@ -4,6 +4,7 @@ using LightORM.Implements; using Microsoft.Extensions.DependencyInjection; using System.Diagnostics.CodeAnalysis; +using System.Collections; namespace LightORMTest; @@ -60,7 +61,16 @@ public override void AfterExecute(SqlExecuteContext context) { if (context.Sql?.Contains("初始化数据") == true) return; - + if (context.Sql?.StartsWith("DROP") == true) + return; + if (context.Sql?.StartsWith("CREATE") == true) + return; + if (context.Sql?.StartsWith("SET") == true) + return; + if (context.Sql?.StartsWith("COMMENT") == true) + return; + if (context.Sql?.StartsWith("ALTER") == true) + return; Debug.WriteLine($""" {context.TraceId}[{context.ConnectionId}]: @@ -68,7 +78,7 @@ public override void AfterExecute(SqlExecuteContext context) {context.Sql} =============== 参数: - {string.Join($" {Environment.NewLine}", DisplayParameter(context.Parameter))} + {DisplayParameter(context.Parameter)} 耗时:{context.Elapsed} @@ -77,14 +87,17 @@ public override void AfterExecute(SqlExecuteContext context) } - private static IEnumerable DisplayParameter(object? p) + private static string DisplayParameter(object? p) { - if (p is Dictionary dic) + try + { + return System.Text.Json.JsonSerializer.Serialize(p); + } + catch (Exception ex) { - foreach (var item in dic) - { - yield return $"{item.Key} - {item.Value}"; - } + // 参数对象可能含 Type 等不可序列化成员(如 Column.TableType), 此处必须兜底: + // 否则序列化异常会覆盖原始的 SQL 异常, 让排错看不到真正的报错。 + return $"[参数序列化失败: {ex.Message}] {p?.GetType().Name}"; } } @@ -99,10 +112,7 @@ public override void OnException(SqlExecuteExceptionContext context) Debug.WriteLine(context.Sql); Debug.WriteLine("====================================="); Debug.WriteLine("参数:"); - foreach (var item in DisplayParameter(context.Parameter)) - { - Debug.WriteLine(item); - } + Debug.WriteLine(DisplayParameter(context.Parameter)); } public override void OnPrepareCommand(SqlExecuteContext context) From 79033086663167d43d008720b29adeba1654880e Mon Sep 17 00:00:00 2001 From: MarvelTiter_yaoqinglin Date: Tue, 15 Sep 2026 19:50:12 +0800 Subject: [PATCH 19/35] =?UTF-8?q?docs:=20=E6=9B=B4=E6=96=B0=E7=89=88?= =?UTF-8?q?=E6=9C=AC=E6=97=A5=E5=BF=97=E4=B8=8E=E5=B7=A5=E4=BD=9C=E8=AE=B0?= =?UTF-8?q?=E5=BF=86?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .workbuddy/memory/2026-09-08.md | 8 + .workbuddy/memory/2026-09-09.md | 139 ++++++++++++ .workbuddy/memory/2026-09-10.md | 70 ++++++ .workbuddy/memory/2026-09-11.md | 167 ++++++++++++++ .workbuddy/memory/2026-09-14.md | 68 ++++++ .workbuddy/memory/2026-09-15.md | 207 ++++++++++++++++++ .workbuddy/memory/MEMORY.md | 48 ++++ ...10\346\234\254\346\227\245\345\277\227.md" | 46 ++++ 8 files changed, 753 insertions(+) create mode 100644 .workbuddy/memory/2026-09-08.md create mode 100644 .workbuddy/memory/2026-09-09.md create mode 100644 .workbuddy/memory/2026-09-10.md create mode 100644 .workbuddy/memory/2026-09-11.md create mode 100644 .workbuddy/memory/2026-09-14.md create mode 100644 .workbuddy/memory/2026-09-15.md diff --git a/.workbuddy/memory/2026-09-08.md b/.workbuddy/memory/2026-09-08.md new file mode 100644 index 0000000..f566cd8 --- /dev/null +++ b/.workbuddy/memory/2026-09-08.md @@ -0,0 +1,8 @@ +# 2026-09-08 + +## BulkCopy 支持/实现盘点 +- 入口: `ExpressionContextExtension`(src/LightORM/Extension) `Db.Ado.BulkCopy(IEnumerable)`(实体→DataTable, 过滤 IsNotMapped/IsAggregated/IsNavigate, bool 列存 object + adapter.HandleBooleanValueForBulkCopy) + `BulkCopy(DataTable)` → `IDatabaseProvider.BulkCopy(DataTable)`。 +- 实现: SqlServer(SqlBulkCopy+KeepIdentity, bool→"true"/"false")、MySql(MySqlConnector MySqlBulkCopy, 要求连接串含 allowloadlocalinfile, 并执行 SET GLOBAL local_infile=1)、Oracle(OracleBulkCopy UseInternalTransaction)、Dameng(DmBulkCopy) 已实现; KingbaseES(NotImplementedException)、PostgreSQL/Sqlite(NotSupportedException) 未实现。 +- 一致性差异: 事务模型不一(Oracle 走内部事务, 其余显式 BeginTransaction); bool 转换默认基类 "1"/"0"(仅 SqlServer override 为 "true"/"false"); 均自行建连/关闭绕过 AOP 拦截器; BulkCopyTimeout 固定 120。 +- 测试: LightORMTest 基类仅 1 用例(删表 + BulkCopy 20 条 User, 不校验结果), SqlServer/MySql/Oracle/Dameng/PostgreSQL 有派生; KingbaseES/Sqlite 无测试; PostgreSQL 有测试类但 Provider 抛 NotSupportedException(README 亦注明不支持)。 +- README: "SqlServer/MySql/Oracle/Dameng 支持, PostgreSQL/SQLite 不支持", 未提及 KingbaseES。 diff --git a/.workbuddy/memory/2026-09-09.md b/.workbuddy/memory/2026-09-09.md new file mode 100644 index 0000000..731c755 --- /dev/null +++ b/.workbuddy/memory/2026-09-09.md @@ -0,0 +1,139 @@ +# 2026-09-09 + +## JSON 参数处理 (HandleJsonParameter) 分析 +- 背景: pg 系无 text→json/jsonb 隐式赋值转换, 参数必须显式 cast (::json/::jsonb) 或类型化参数。旧实现: `IDatabaseAdapter.HandleJsonParameter` + `ActionType`(Parameterized=改写 SQL 参数占位符加 ::JSON; ParameterValue=替换参数值为序列化 json), PostgreSQL/KingbaseES 各复制一份, 其余 provider 空实现。 +- 发现的问题: + 1. Update 整列 Set(m=>m.Json, v) 路径 (UpdateBuilder.cs:323): Parameterized 分支依赖 ColumnValueMap 改写, 但 Update 传入 null → pg 实际 no-op, SET col=@p 无 cast, 疑似缺陷(待真库验证)。 + 2. 批量插入 CreateInsertBatchSql (InsertBuilder.cs:92) 有 `TODO 批量插入对JSON列处理`, GenBatchInfos 未处理 JSON。 + 3. 无 JsonHelper 时 ParameterValue 走 `"\"{value}\""` 裸引号包装, 仅对"值为 JSON 字符串"成立。 + 4. 两个 Action 职责耦合(改 SQL + 改参数值), 依赖上下文 null 判断; 无自动化测试覆盖 insert/update/表达式三种 JSON 路径。 +- 建议(方案A推荐): 新增 adapter 级"列值表达式"统一入口(默认 `@name`, pg 返回 `@name::jsonb`), Insert/Update/Batch/Upsert 全部走它, 删除 builder 内 IsJsonColumn 特判 + ActionType 双职; 参数值序列化拆成独立 hook。方案B(长期正解): 参数类型化 NpgsqlDbType.Jsonb, SQL 免 cast, 需核心参数层增强。方案C: 抽共享实现 + 修 update 整列 + 补测试。 +- 涉及文件: Interfaces/IDatabaseAdapter.cs, Implements/CustomDatabaseAdapter.cs, Builder/InsertBuilder.cs, Builder/UpdateBuilder.cs, Models/JsonColumnContext.cs, Providers PostgreSQL/KingbaseES CustomAdapter。 + +## 方案B落地: Core + PostgreSQL 最小闭环(已实现, 待用户审查) +- 新文件: src/LightORM/Models/JsonColumnValue.cs (internal sealed, 包装已序列化 json 文本); src/LightORM/Interfaces/IJsonParameterBinder.cs (public 可选接口 BindJsonParameter(IDataParameter, string))。 +- DbParameterReader.HandleDbParameter 签名 (context, string prefix, cmd) → (context, IDatabaseAdapter, cmd); ReadDictionary 识别 JsonColumnValue, 命中走 adapter is IJsonParameterBinder → binder 设驱动类型, 否则回退 string。Dictionary 分流移入 HandleDbParameter, GetDbParameterReader 保留(对象参数路径)。 +- 调用点改 4 处: SqlAdo.cs 72/99, OrignalSqlExecutor.Prepare.cs 52/99。 +- InsertBuilder json: binder → DbParameters=JsonColumnValue + 纯 @p; 无 binder(KingbaseES 等) → 保留旧路径调 HandleJsonParameter(Parameterized) 加 ::json。非 pg 无 binder 且空实现 → 无 cast 同历史。 +- UpdateBuilder 整列 json: 序列化 + binder?JsonColumnValue:string, 删 Parameterized 调用(原 no-op), 顺带修复"json 整列 !valueFounded 时 duplicate Add"隐患; 表达式路径(UpdateSpecific/ParameterValue)未动。 +- CustomPostgreSQL: 实现 IJsonParameterBinder (NpgsqlParameter.NpgsqlDbType=Jsonb), 删 HandleJsonParameter 的 Parameterized 分支, 保留 ParameterValue。 +- 编译验证: Core 全 TFM + PostgreSQL net8.0/net462 均 0 错误。测试无 ::json/HandleJsonParameter 断言。 +- 遗留/注意: ① KingbaseES 未实现 binder(靠 InsertBuilder 兼容分支保旧 cast, Update 整列 JSON 仍缺类型, 表达式路径正常); ② 批量插入 JSON (GenBatchInfos TODO) 仍不支持, 未纳入本次闭环; ③ jsonb_set 表达式路径 SQL 仍保留 @p::jsonb (冗余但无害); ④ HandleJsonParameter 双 Action 仍在接口上(仅 ParameterValue 活跃), 后续可整体收敛。 + +## 结构化参数 + 通用方言绑定(全量改造, 已编译通过, 待用户审查) +- 核心设计: SqlBuilder.DbParameters 从 Dictionary → Dictionary。新增 Models/DbParameterValue.cs: public readonly record struct (ITableColumnInfo? Column 可空, object? Value); ToString=>Value。无列参数用 DbParameterValue.NoColumn(value)。注: object 隐式转换不可行(CS0553, 基类型转换被 C# 禁止)。 +- 新增 Interfaces/IDatabaseParameterBinder.cs: bool BindParameter(IDataParameter, ITableColumnInfo?, object?) → true=方言接管(需设类型与 Value), false=框架 CLR 默认推断兜底。取代上一轮 IJsonParameterBinder/JsonColumnValue(已删)。 +- DbParameterReader 重构: HandleDbParameter 分派 3 路: Dictionary(带列)、Dictionary(用户裸参)、对象路径(GetDbParameterReader 缓存 Action)。所有路径统一走 CreateParameterValue(cmd,adapter,name,column,value): 先 binder 后 CLR 兜底(typeMapDbType + enum 展开)。CreateReader/CreateObjectToDictionary 的 IL 同步改为调用该 helper / struct 字典。 +- Builder: InsertBuilder JSON 列存 DbParameterValue(列,json),有 binder 不再 cast(无 binder 仍走 HandleJsonParameter Parameterized 兼容 kingbase); UpdateBuilder 整列 json 序列化存 DbParameterValue(列,json) 修掉原 no-op 死调用与重复 Add 隐患, 表达式路径(JSONB_SET)改由 builder 内序列化; 版本列/主键列等参数带列; HandleSqlParameters/ResolvedValues 无列参数用 NoColumn。 +- Upsert/批量 context(JsonColumnContext.cs) Parameters 类型同步为 struct; 7 个 provider 的 InsertOrUpdate 版本列读取改 .Value、写入 new DbParameterValue(列, 新值)(SqlServer/MySql/Oracle/Dameng/Sqlite/Kingbase/PostgreSQL)。 +- PostgreSQL CustomPostgreSQL: 实现 IDatabaseParameterBinder(json 列且 string → NpgsqlDbType.Jsonb), 删除 HandleJsonParameter override。KingbaseES 保留 HandleJsonParameter 仅 Parameterized(insert 兼容)。 +- 编译验证全绿: Core 全 TFM, PostgreSQL net8/net462, 其余 6 provider net8, LightORMTest(net10)。DbParameterReadTest 适配新签名/struct 断言。 +- 待办/风险: ① 批量 JSON(GenBatchInfos TODO)与批量路径 ToDictionaryParameters(Dictionary 无列)未纳入; ② 打印/拦截器拿到的参数为 struct, 统一用 DbParameterValue.ToString 兼容。 + +## KingbaseES 接入 binder(已完成, 编译通过) +- CustomKingbaseESAdapter 实现 IDatabaseParameterBinder(与 PostgreSQL 同源): json 列且 value is string 且 parameter is KdbndpParameter → kp.KdbndpDbType=KdbndpDbType.Jsonb; 需 using Kdbndp; using KdbndpTypes;。已确认 Kdbndp 驱动类型命名: 参数类 KdbndpParameter(ns Kdbndp), 枚举 KdbndpDbType.Jsonb(ns KdbndpTypes), 与 Npgsql 同构。 +- 删除该 adapter 的 HandleJsonParameter override(仅 Parameterized 兼容分支), 由基类空实现兜底。InsertBuilder 兼容分支(is not IDatabaseParameterBinder 时调 HandleJsonParameter)对 Kingbase 不再触发, 注释同步修正。 +- 编译验证: KingbaseES net8.0/net462 + Core 全 TFM + PostgreSQL net8 + LightORMTest 均 0 错误。 +- 至此 pg 与 KingbaseES 两条 json 写入路径统一走 binder 类型化, 不再依赖 SQL ::json cast。剩余同前: 批量 JSON 路径未纳入。 + +## HandleJsonParameter 整链标记 Obsolete(做法 A, 已完成) +- 背景: binder 架构落地后 HandleJsonParameter 框架内已无真实消费者——pg/Kingbase 实现 IDatabaseParameterBinder 走 BindParameter 到不了该 hook; 其余 5 库未实现 binder 会调它但命中基类空实现 no-op。ParameterValue 分支早在方案 B 已删调用, 全 src 零调用。 +- 改动: ① IDatabaseAdapter.HandleJsonParameter 接口成员 [Obsolete](由 IDatabaseParameterBinder 取代); ② CustomDatabaseAdapter 基类虚方法同标 Obsolete(空实现保留作第三方兼容); ③ ScopedDatabaseAdapter 转发方法标 Obsolete + #pragma CS0618; ④ InsertBuilder JSON 列删除 is not IDatabaseParameterBinder 兼容分支(JSON 列统一 DbParameterValue(列,json), 由 binder 在绑定阶段类型化); ⑤ Models/JsonColumnContext.cs 中 ActionType 枚举与 JsonColumnParameterContext record 标 [Obsolete](补 using System;)。 +- 刻意保留: ActionType.ParameterValue 死成员未删——作为 Obsolete 扩展点供第三方实现者引用, 删除会破坏其源码。 +- 编译验证全绿: Core 全 TFM、7 个 Provider net8、LightORMTest 均 0 错误且 0 CS0618。 +- 备注: JsonColumnContext.cs 中 MapEntry/JsonColumnContext/Select/Upsert/Batch context 仍在用, 未动。 + +## IDatabaseAdapter 拆分可行性分析(纯分析, 未改码) +- 设计模式: 拆独立接口 = 接口隔离原则 ISP(SOLID); 可选能力接口 + is 探测 = Role Interface / Capability interface, IDatabaseParameterBinder 是现有范例。 +- 实证(各成员被 7 个 Provider 覆写数量): HandleInsertOrUpdate/HandleJsonColumn/HandleBatchInsert/Paging/HandleDateValue = 全 7/7(实为必备方言, 拆出无益); ReturnIdentitySql 4/7(Oracle/pg/Kingbase 用 RETURNING 不走它); FormatBooleanValue 2/7(pg/Kingbase TRUE/FALSE); HandleSelectGroupBySegment 1/7(仅 MySql), HandleMultipleQuerySql 1/7(仅 Oracle), DbCommandInit 1/7(仅 Oracle), FormatDateTimeValue 1/7(仅 Dameng), HandleBooleanValueForBulkCopy 1/7(仅 SqlServer); HandleBatchUpdate/Delete 0/7(全用基类 CASE WHEN 默认)。 +- 结论: 真正"能力可变"应拆的是少数派方法(ReturnIdentitySql/RewriteParameterReferences/批量CASE语义等), 而非全员覆写的方法。IDatabaseAdapter 现为 internal 方法居多(IDatabaseAdapter.Paging/HandleInsertOrUpdate/HandleBatch* 都是 internal), 外部只通过 IDatabaseProvider.DatabaseAdapter 拿整对象, 拆接口的收益主要在"内部按能力探测 + 降低单文件认知负担", 破坏性需评估。 + +## IDatabaseAdapter ISP 拆分: DbCommandInit (已实现+全量编译通过) +- 前置: 统计 7 Provider 覆写覆盖率, 定拆分清单。DbCommandInit 仅 Oracle(1/7) 覆写 → 最宜拆。 +- 新增接口 src/LightORM/Interfaces/IDbCommandInitializer.cs (public, 方法签名不变 void DbCommandInit(DbCommand)); 从 IDatabaseAdapter 移除该成员。 +- CustomDatabaseAdapter : IDatabaseAdapter, IDbCommandInitializer (base virtual 空实现就地满足新接口, Oracle override 无需改动即自动实现)。 +- ScopedDatabaseAdapter : IDatabaseAdapter, IDbCommandInitializer, 转发改 `if (inner is IDbCommandInitializer) init.DbCommandInit(cmd)`。 +- 调用点 (SqlAdo.cs PrepareCommand/Async, OrignalSqlExecutor.Prepare.cs PrepareCommand/Async 共4处): `Provider.DatabaseAdapter` 由直呼改为能力探测 `is IDbCommandInitializer`。依赖 LightORM 程序集 global using LightORM.Interfaces (usings.cs), 无需逐文件 using。 +- 验证: Core 全4 TFM + Oracle + SqlServer/MySql/PostgreSQL/KingbaseES/Dameng/Sqlite 全 0 错误。slnx 整编遇 NuGet restore 锁冲突(环境性), 已用逐项目编译绕过。 +- 模式: ISP/角色接口, `adapter is ICapability` 按需调用。其余候选(ReturnIdentitySql 4/7, FormatBooleanValue 2/7, HandleMultipleQuerySql/HandleSelectGroupBySegment/HandleBooleanValueForBulkCopy 1/7)待后续逐个拆。 + +### DbCommandInit 拆分修正: 去掉 base 空实现僵尸 (用户质疑后) +- 原实现让 CustomDatabaseAdapter 声明实现 IDbCommandInitializer + 保留 base `virtual DbCommandInit{}` 空实现, 使 Oracle override 不改字。被质疑: 7 provider 全继承空 virtual + 能力探测恒 true, 空实现僵尸仍在, ISP 失去意义。 +- 修正为真 ISP: base 不实现该接口、删除空 virtual DbCommandInit → 6 个无此能力的方言 `is IDbCommandInitializer` 返回 false, 探测如实跳过。 +- Oracle CustomOracleAdapter 声明 `: ..., IDbCommandInitializer`, 方法去 override 改直接实现 (public void DbCommandInit); ScopedDatabaseAdapter 撤销 IDbCommandInitializer 及转发方法(DbCommandInit 只在命令 prepare 走真实 provider adapter, Scoped 转发本就死代码)。 +- 验证: Core 4 TFM + 7 Provider 全 0 错误。经验: ISP 能力接口应由"真正具备该能力的实现"声明, 勿为省改动在 base 留空实现→探测永远命中, 徒增僵尸。 + +## IDatabaseAdapter ISP 拆分: ReturnIdentitySql (已实现+全量编译通过) +- 依据: ReturnIdentitySql 仅 SqlServer/Sqlite/Dameng/MySql (4/7) 覆写, 其余走 base throw NotSupported。 +- 新增接口 src/LightORM/Interfaces/IReturnIdentity.cs (public, 方法 void ReturnIdentitySql(StringBuilder)); 从 IDatabaseAdapter 移除; CustomDatabaseAdapter 删除其 virtual throw NotSupported 空桩(按用户要求: base 不预抛, 能力缺失在调用点探测失败时才抛)。 +- 4 provider 声明 : ..., IReturnIdentity, 方法 override→直接实现。3 个不支持的(Oracle/PG/KingbaseES)不声明, `is IReturnIdentity` 如实 false。 +- ScopedDatabaseAdapter 删 ReturnIdentitySql 孤儿方法, 新增 internal IDatabaseAdapter Inner => inner 暴露真实适配器。 +- 新增 src/LightORM/Builder/AdapterCapability.cs: 通用能力探测助手 AdapterCapability.TryGet(adapter, out cap), 穿透 ScopedDatabaseAdapter 钻取真实实现(InsertBuilder 的 database 可能是 Scoped 包装)。 +- InsertBuilder:213 IsReturnIdentity 分支: TryGet 成功→拼身份SQL; 失败→throw NotSupportedException(带方言名+支持方提示)。调用点现在可加 Unsupported 类型场景的测试。 +- 验证: Core 4 TFM + 7 Provider 全 0 错误。 + +## ISP 拆分中止结论 (用户: 停手) +- 用户要求停手, 不再拆分"有真实 base 默认"的低覆写成员: HandleBooleanValueForBulkCopy(1/7, base委托FormatBooleanValue), 以及 FormatBooleanValue(2/7), HandleMultipleQuerySql(1/7), HandleSelectGroupBySegment(1/7) 同理保留 base virtual 钩子。 +- 判定标准沉淀: ISP 能力接口只适合"部分方言没有/其余用不上"的桩或空实现成员(如已拆的 DbCommandInit、ReturnIdentitySql, 及 Obsolete 化的 HandleJsonParameter); "全员都有、仅个例改默认"的成员是 virtual 模板/策略钩子, 拆会造成回归或僵尸空壳。低覆写数≠该拆。 +- 已完成不改动: 新增 IDbCommandInitializer(仅Oracle实现)、IReturnIdentity(仅SqlServer/Sqlite/Dameng/MySql实现)、AdapterCapability.TryGet 钻取 ScopedDatabaseAdapter 的能力探测助手、ScopedDatabaseAdapter.Inner 暴露。 + +## 版本日志更新 (doc/版本日志.md) +- 顶部新增 v2026.09.09 条目, 汇总近期未记录改动: JSON列参数重构(DbParameterValue/IDatabaseParameterBinder下沉jsonb)、ISP拆分(IDbCommandInitializer/IReturnIdentity)、HandleJsonParameter废弃。 +- 未编造 Provider 版本号表格(避免虚构), 条目纯文字。日志按日期倒序, 顶部最新。 + +## IDatabaseAdapter 可见性审计 (第三方扩展阻塞) +- 现状: IDatabaseAdapter 是 public, 但其成员含多个 internal (Paging/HandleSelectGroupBySegment/HandleInsertOrUpdate/HandleBatch*/BatchActionContext/SelectContext/UpsertContext), 且基类 CustomDatabaseAdapter 是 internal abstract。IDatabaseParameterBinder 也是 internal interface(PostgreSQL/KingbaseES 靠 LightORM AssemblyInfo.cs 的 InternalsVisibleTo 才能实现)。 +- 根因: 第三方无法编译自定义 IDatabaseAdapter —— 必须继承 internal CustomDatabaseAdapter 才能实现 internal 接口成员; SelectContext/UpsertContext/BatchActionContext 等签名类型 internal 不可见; IDatabaseParameterBinder internal 看不到。 +- Public 可用面(provider 级可扩展): IDatabaseProvider(public), BaseDatabaseProvider(public abstract), ISqlMethodResolver/BaseSqlMethodResolver(public), IDatabaseTableHandler(public), TableOptions(public record), ITableColumnInfo(public), DbParameterValue(public record struct), JsonColumnContext/MapEntry/ActionType(public), TableInfo(public record), IExpressionResolver(public)。 +- Internal 阻塞面: CustomDatabaseAdapter, SqlBuilder, SelectBuilder, InsertBuilder/UpdateBuilder/DeleteBuilder, SelectContext/UpsertContext/BatchActionContext(+泛型), IDatabaseParameterBinder。 +- InternalsVisibleTo: src/LightORM/AssemblyInfo.cs 固定开放给 7 Provider + DI + 测试, 第三方不在其列。 +- (待用户定方案) 选项A 能力接口下沉/把 internal 成员转 public; B 提供 public 抽象基类供第三方继承(把 CustomDatabaseAdapter public 化或拆新 public base); C IDatabaseParameterBinder public 化; D 维持 provider-only 扩展模型+文档声明。需先确认: LightORM 是否承诺第三方自定义适配器作为受支持扩展点。 + +## IDatabaseAdapter 可见性审计 - 决策 (用户: 维持现状不改动) +- 用户在方案A(Provider即扩展边界) / B(public化扩展基座) / C(全面public化) 中选择维持现状, 不做可见性改造。 +- 结论: 第三方自定义适配器不作为受支持扩展点; CustomDatabaseAdapter internal abstract + internal 接口成员/签名类型 + IDatabaseParameterBinder internal interface 保持不动; InternalsVisibleTo 白名单机制不变。 +- 内置 7 Provider 之外的方言适配 = 非承诺路径 (fork Provider 模板或走官方 Provider 包)。若日后要开放第三方, 从方案B的 CustomDatabaseAdapter public 化切入。 + +## 修复: PostgreSQL/KingbaseES 批量插入 DateTime(Kind=Local) 报 Npgsql timestamptz 错误 +- 现象: PostgreSQL.ExecutionTest.Repository_Async_Operations_Test 失败: "Cannot write DateTime with Kind=Local to PostgreSQL type 'timestamp with time zone', only UTC is supported." +- 根因(多层): ① LightORM 建表把 CLR DateTime 映射为 PG 无时区 `timestamp`(Utils/FormatType.cs: System.DateTime=>TIMESTAMP, DateTimeOffset=>TIMESTAMPTZ); ② 但参数兜底用 DbType.DateTime 绑定, Npgsql 把 DbType.DateTime 推断为 timestamptz, 拒绝 Kind=Local。③ 批量路径 InsertProvider.ExecuteAsync 用 BatchSqlInfo.ToDictionaryParameters() 产出的无列 Dictionary, 经 BindDictionary 时 column=null, PG binder 只处理 json 返回 false, 落入 DbType.DateTime 兜底。单条/批量都被此问题影响(单条有 column 但 binder 未处理 DateTime)。 +- 修复: 扩展 PostgreSQL CustomPostgreSQL.cs + KingbaseES CustomKingbaseESAdapter.cs 的 IDatabaseParameterBinder.BindParameter: `value is DateTime` 时显式设 NpgsqlDbType/KdbndpDbType.Timestamp(无时区), 按字面(墙上时间)写入, Local/Unspecified/Utc 均可。与建表列类型一致, 也使 PG 与其余 6 provider 的 naive datetime 语义一致。DateTimeOffset 保持默认(timestamptz, Npgsql 原生带偏移处理, 无需改)。 +- 语义注记: 若第三方手建 timestamptz 列却映射为 DateTime? 属性, 旧行为(Utc 值)可绑但现在按无时区字面写, 可能时移; 契约上 timestamptz 应走 DateTimeOffset。框架自建表 DateTime→timestamp 无时区。 +- 验证: PG + KingbaseES provider 均 0 错误编译(无法本地跑集成测试, 需真库)。 + +### 更正/深挖: DateTime 绑定失败的真正机制 (用户问是否与建表有关) +- 反编译 Npgsql 10.0.3 确认 NpgsqlDbTypeExtensions: `DbType.DateTime => Legacy ? Timestamp : TimestampTz` (非 legacy 时固化为 timestamptz)。反向: `TimestampTz => DbType.DateTime`, `Timestamp => DbType.DateTime2`。 +- 官方规则: Npgsql 6+ 对【未设类型】的 DateTime 是 Kind 感知的: Utc→timestamptz, Local/Unspecified→timestamp(无时区, 可写); 但【显式设 DbType.DateTime】被固化映射为 timestamptz → 拒绝 Kind=Local。 +- 结论: 真正触发失败的是 LightORM 统一绑定里 `p.DbType = DbType.DateTime`(DbParameterReader.GetDbTypeAndValue 兜底), 把 DateTime 强转为 timestamptz 语义。与"9/7 是否通过"取决于: 当时列实际类型 + 值 Kind + 是否走显式 DbType 路径。 +- HEAD(9/8)/9/7 的 ReadDictionary(批量 Dictionary) 同样设 DbType.DateTime → 理论上 Local 也应失败; 种子数据 InitDatas 从不写 LastLogin(恒 NULL), Repository_Async_Operations_Test 是首个真 DateTime 写入 → 疑 9/7 并未在同库同场景真正写入过 Local DateTime。 +- 建表列类型是决定因素: 列 timestamp(无时区) + 显式 DbType.DateTime(=timestamptz) → Npgsql 客户端即抛 Local 不被支持; 若列本身 timestamptz 则应传 Utc。待用户确认 USER.LAST_LOGIN 实际类型(信息架构)后再定最终修法。 + +### 更正(用户澄清, 推翻上一条"列类型为决定因素"归因): 测试通过是因为 binder 代码, 与重建表无关 +- 用户明确: "测试通过是因为你加的代码"。核实 DbParameterReader.CreateParameterValue(121-141): 所有建参路径(字典带列/裸字典/对象)都先 `if (adapter is IDatabaseParameterBinder binder && binder.BindParameter(...))`(133), binder return true 即接管、直接 return p; 只有 false 才落到 GetDbTypeAndValue → p.DbType=DbType.DateTime(Npgsql 固化 timestamptz) → Local 必拒。 +- PG/Kingbase binder 新增的 `value is DateTime → NpgsqlDbType/KdbndpDbType.Timestamp` 分支接管并返回 true, 把 Local DateTime 固定为无时区写入 → 参数类型不再依赖列、更不依赖 DbType 兜底。因此**测试通过的关键是 binder 接管**, 表列是 TIMESTAMP 还是 TIMESTAMPTZ 根本不影响参数写入; 用户顺手重建表是无关联因, 被我误记为"决定因素"。此归因作废。 +- 遗留风险不变(仍需用户定夺): binder 当前"一律无时区 Timestamp", 对 Kind=Utc 的 DateTime 值, Npgsql DateTimeConverterResolver 会抛反向错 "Cannot write DateTime with Kind=UTC to timestamp without time zone"(Utc 值 + 无时区列被 Npgsql 拒)。修正法二选一: (X) Kind 感知 Utc→TimestampTz 否则 Timestamp; (Y) 一律无时区 Timestamp + Utc 先 SpecifyKind(Unspecified) 存墙钟。LightORM 自建列恒 no-tz → Y 与列一致但改 Utc 历史写行为; X 保 Utc 旧语义但有服务端时区转换风险。 + +## DateTime binder 收敛: 方案 X(Kind 感知)已落地(用户选 X, 编译通过) +- 用户选方案 X。PG CustomPostgreSQL.cs + KingbaseES CustomKingbaseESAdapter.cs 的 BindParameter DateTime 分支由"一律 Timestamp"改为 Kind 感知三目: + `dateTime.Kind == DateTimeKind.Utc ? (NpgsqlDbType/KdbndpDbType).TimestampTz : (NpgsqlDbType/KdbndpDbType).Timestamp`。 + Utc→timestamptz(保服务端时区语义), Local/Unspecified→无时区 timestamp(与自建 no-tz 列一致、墙上时间字面写)。 +- 语义边界: Utc 值若落到自建 no-tz 列, 服务端会做会话时区转换(可能时移)——用户已知悉并接受; timestamptz 列应配 DateTimeOffset 属性才是干净契约。 +- 验证: PG net8.0/net462、KingbaseES net8.0 均 0 错误(NpgsqlDbType.TimestampTz / KdbndpDbType.TimestampTz 枚举存在)。集成测试种子用 Local DateTime → 现在走 Timestamp 分支, 与重建表前行为一致仍通过。 +- 编译环境要点复记: bash 需 env APPDATA/PROGRAMDATA/"ProgramFiles=..."/"ProgramFiles(x86)=..." 前缀(dotnet 单命令前置, 勿用 export 含括号键会 not valid identifier); PowerShell 工具 stdout 常被吞, 用重定向到文件再读最稳。 + +## 版本日志补充 (doc/版本日志.md) +- v2026.09.09 下追加 DateTime 绑定修复条目(🐞): PG/KingbaseES 写入 Local DateTime 报 timestamptz 错 → binder 按 Kind 感知接管(Utc→timestamptz, Local/Unspecified→timestamp)。 + +## ExecutionTest 新增 json 列测试分部类 (用户: 新增分部类测 json 列; 不测批量; 不支持库让其抛) +- 新增 test/LightORMTest/Models/JsonExecTestModel.cs: 独立 json 表实体 JSON_EXEC_TEST, 手动主键 Id(非自增, 便于定位/清数据), 四类 json 列: Data(JsonData?)/Arr(JsonData[]?)/Lst(List?)/Obj(JsonObject?)。 +- 新增 test/LightORMTest/ResultTest/ExecutionTest.JsonColumnCases.cs (partial, ns LightORMTest.ResultTest): 3 方法 JsonColumn_Insert_ReadBack / JsonColumn_Select_ProjectionAndPath / JsonColumn_WholeColumn_Update。每方法开头 ResetJsonColumnRowsAsync: CreateTableAsync(try/catch 忽略已存在) + FullDelete + Insert 固定基线 Id=100/101/102。由各 provider ExecutionTest 子类继承运行。 +- 编译 LightORMTest net10.0 0 错误。Sqlite 实跑(dotnet test --filter JsonColumn): Insert_ReadBack 通过、Select_ProjectionAndPath 通过、WholeColumn_Update 失败。 +- 实测确认 binder json 序列化正确: Insert 生成合法 SQL `VALUES(@Id,@Data,...)` 且参数已是序列化 json 文本; 读回断言通过。 +- 🐞 暴露既有框架缺陷(整列 json Set): `Db.Update().Set(j=>j.Data, 新对象)` 生成非法 SQL `SET \`DATA\`,\`LST\`,\`OBJ\` WHERE...` —— 只 append 列名、缺 ` = @p` 赋值。定位 UpdateBuilder.cs: 整列 json SpecificValue 走 ~line84-85 `UpdateSpecific.Add(prop, result.SqlString)`, result.SqlString 仅列标识; 对比非 json 列 line88 显式拼 `= {prefix}{prop}`。构建段 line289-299 也只序列化 json 参数不补 `= @p`。JsonTest 嵌套 json set(Set(j=>j.Json.NestJson.Name,..)) 能过说明其 result.SqlString 是完整 JSON 赋值表达式、与整列 set 不同。→ 整列 json Set 是历史未覆盖路径, 修复需区分"整列替换"与"嵌套路径"两分支, 防回归 JsonTest。待用户定夺是否修框架。 + +### ExecutionTest json 测试覆盖 JsonTest 全场景 (用户: 需覆盖原来JsonTest中的情况; 用户手改 InitData 统一建表+seed) +- 用户手动把 json 表集成进 InitData: ExecutionTest.InitData.cs 新增 CreateTableAsync()(drop+create User/UserProfile/UserRole/Role/RolePermission/Permission/UserFlat/Product/Sales/JsonExecTestModel 共10表), [TestInitialize] InitDatas 开头调用, 末尾调 InitJsonDataAsync()。故 JsonColumnCases 测试方法不再自建表。 +- JsonExecTestModel(Obj 非空 JsonObject=null!, 文档结构注释) seed Obj 带 City{Name=Dongguan{id}}/Values[id,2id,3id]/Age=18+id/Role, Data/Arr/Lst 存强类型 JsonData。 +- ExecutionTest.JsonColumnCases.cs 重写为 7 方法全覆盖 JsonTest 场景: Insert_ReadBack / JsonValue_Where(Data.Value==121→id101) / JsonObject_IndexWhere(City.Name 串索引, Values[1] 数组索引) / Projection(匿名整对象投影 + 深层 Data.NestJson.Name) / JsonSet_Update(SqlFn.JsonSet, PG 用 "{City,Name}"+"\"NewName\"" 其余 "$.City.Name"+"NewName", DbType 分支) / NestedPath_Update(Set(Data.NestJson.Name,"NewNest")) / WholeColumn_Update(整列 Set Data/Obj/Lst, 补充覆盖)。 +- 编译 LightORMTest net10.0 0 错误。Sqlite 实测(表随 InitDatas 重建): 4 select/读回全过(Insert_ReadBack/JsonValue_Where/IndexWhere/Projection), 3 update 红(JsonSet: Insufficient parameters(Sqlite 不支持 json 更新); NestedPath: 值变 "\"NewNest\"" 带引号(Sqlite json 更新引号语义); WholeColumn: 写坏无法反序列化)。与 JsonTest 在 Sqlite 行为一致(TestJsonSelectAsync 过, TestJsonUpdateAsync 红)。json 更新能力因库而异, 用户已知悉不支持的库让其抛。 +- WholeColumn_Update(整列 json Set)在 Sqlite 亦红, 且 UpdateBuilder 整列 json Set 缺 "= @p" 的框架 bug 仍未修(见上)。MySql/PG 等 json 更新库上 JsonSet/NestedPath 设计对齐 JsonTest base/PG override, 需真库验证。 diff --git a/.workbuddy/memory/2026-09-10.md b/.workbuddy/memory/2026-09-10.md new file mode 100644 index 0000000..f33ec48 --- /dev/null +++ b/.workbuddy/memory/2026-09-10.md @@ -0,0 +1,70 @@ +# 2026-09-10 LightORM 工作日志 + +## json 列"整列更新 / JsonSet 路径更新"解析问题定位 (用户要求: 先别动代码, 只分析) + +### 用户给出的方向 +- 问题: 解析 json 列无法处理 **json 全列更新** 或 **json 路径更新**。 +- 修复位置: `ExpressionResolver.VisitMember` 解析到 json 列时必须调用 `HandleJsonColumn`。 +- 当 `Indexer == null` 或 `Members.Count == 0` 时, 既可能是整列更新, 也可能是 json 路径更新(调用 `SqlFn.JsonSet`)。 + +### 已核实的代码事实 (PG only) +- `src/LightORM/Utils/ExpressionResolver.cs:520-533` json 分支守卫: + `if (col.IsJsonColumn && !specificHandleJson) { var index = GetResolvedIndex(); ResolvedMembers.Add(col.PropertyName); if (index.HasValue || Members.Count > 0) { ...HandleJsonColumn...; return null; } }` + → **index 无值 且 Members 为空时不调用 HandleJsonColumn**, 直接落到 line 547-560 普通列路径, 只 `Sql.AppendEmphasis(col.ColumnName)` → `result.SqlString` = 裸列名 `"DATA"`。 + (git diff 显示该守卫刚由"两段 if"合并为 `index.HasValue || Members.Count > 0`, 新增了"带索引也走 HandleJsonColumn") +- `specificHandleJson` 仅由 `JsonQuery` 置位: ExpressionResolver.cs:307-312 `if (exp.Method.Name == "JsonQuery") specificHandleJson = true;` → **JsonSet 未置位**。 +- 整列更新落点: `UpdateBuilder.cs:82-85` 对 json 列 `UpdateSpecific.Add(col.PropertyName, result.SqlString)`(直接存 result.SqlString, 期望它是"完整赋值"); 构建时 `UpdateBuilder.cs:289-291` `sb.Append(fieldSql)` 直接拼 → 得到 `SET "DATA"` (缺 `= @p`)。对比非 json 列 line 88 显式拼 `= @prefix`。 +- PG `HandleJsonColumn` 已实现两种 Update 语义 (CustomPostgreSQL.cs:75-134): + - `context.HasIndexInfo()` 为 true → `col = JSONB_SET(col::JSONB, '{路径}', @Prop::JSONB)` (路径更新) + - false → `col = @Prop::JSONB` (整列更新, CustomPostgreSQL.cs:129-133) + `HasIndexInfo()` = `Members.Count > 0 || Members.Any(i => i.IndexValue.HasValue)` (JsonColumnContext.cs:15-18)。 +- PG `JsonSet` resolver (PostgreSQLMethodResolver.cs:210-238) 自己会 `Visit(Arguments[0]); " = "; "JSONB_SET("; Visit(Arguments[0]); "::JSONB"; ...` → 即"列实参"期待是**裸列名**, 且它自己发 `col =` 和 JSONB_SET。 + +### 结论 / 待确认的修复方案 +- 空分支的三种形态: (1) 整列更新 `Set(j=>j.Data, obj)` 需要 `col = @Prop::JSONB`; (2) `SqlFn.JsonSet(j.Data, path, v)` 的列实参需要**保持裸列名**(由 PG.JsonSet 自己拼赋值, 否则双重赋值 `"DATA" = @Data::JSONB = JSONB_SET(...)`); (3) Select/Where 裸引用 `j.Data` 应保持裸列名。 +- 方案: (a) VisitMember 在 `!index.HasValue && Members.Count == 0` 且 `SqlType == SqlPartial.Update` 时也调用 HandleJsonColumn; (b) 同时把 `JsonSet` 纳入 `specificHandleJson = true`(与 JsonQuery 一致)以免 (a) 误伤 JsonSet 的列实参; (c) 限定 Update 以免 Select/Where 裸引用被包成 `("DATA")`。 +- 未动代码, 等用户确认方向。 + +### 环境备注 +- 沿用: dotnet 命令需 `env APPDATA=... PROGRAMDATA=... "ProgramFiles=..." "ProgramFiles(x86)=..." dotnet ...`; 日志重定向到文件读取。 + +### json 整列/路径更新修复 (仅 PG; 用户: UpdateColumns 也走 Update 分支, SetNull 走 SetNullMembers; 其他 provider 稍后) +- 根因: ExpressionResolver.VisitMember 中 json 列分支当 `index 无值 && Members 为空` 时直接落普通列路径 → 输出裸列名; UpdateBuilder 整列 json 走 UpdateSpecific.Add(prop, result.SqlString) 要求 result.SqlString 是完整赋值 → 生成 `SET "DATA"` 缺 `= @p`。 +- 改动1 `ExpressionResolver.VisitMethodCall`(~306): JsonQuery 与 JsonSet 都置 specificHandleJson=true (用 isSpecificJson 局部变量, resolve 后恢复)。作用: JsonSet 的列实参保持裸列名, 避免被 VisitMember 的新整列分支二次包装成 `col=@p = JSONB_SET(...)`。 +- 改动2 `ExpressionResolver.VisitMember`(~536): 空分支条件加 `|| Options.SqlType == SqlPartial.Update` → Update 下整列引用也调用 HandleJsonColumn。仅限 Update(Select/Where/Insert 裸引用 json 列语义不变)。 +- 改动3 `CustomPostgreSQL.HandleJsonColumn` 整列分支(~127): 补 `context.Sql.Append(Prefix)` → `"DATA" = @Data::JSONB`(原来漏 @, 生成 `= Data::JSONB`)。 +- 编译: core 全 TFM + PG net462/net8.0/net10.0 均 0 错误。 +- Sqlite 冒烟(--filter ~Json): 15 通过 / 3 失败。整列 UPDATE 现在生成合法 SQL `SET \`DATA\`=JSON_SET(\`DATA\`,'$',@Data),...`(修复前为非法 `SET \`DATA\`,...`)。剩 3 失败(NestedPath_Update / WholeColumn_Update / TestJsonUpdateAsync)均为 Sqlite json 更新"值被双引号/双重编码"的方言问题(修复前同样失败, 非回归); JsonColumn_JsonSet_Update 现通过。 +- 注意: 改动2 是框架级, 影响所有 provider 的 Update 整列 json; 非 PG 方言 HandleJsonColumn 空分支行为(如 Sqlite JSON_SET(col,'$',@v) )待后续按各自能力复核。更新入口依赖 build 阶段 UpdateBuilder:289-297 序列化 + binder 类型化闭环(无需改 UpdateBuilder)。 + +## 补 UpdateColumns / SetNull / Set(col,null) 用例 (用户: 补上这几个测试用例) +- 新增 3 个用例 (`test/LightORMTest/ResultTest/ExecutionTest.JsonColumnCases.cs`): + - `JsonColumn_UpdateColumns_Update`: `Db.Update(entity).UpdateColumns(j => j.Data)`(实体带值, 基线下标 102), 断言 Data 整列替换生效且 Obj/Arr/Lst 不变。 + - `JsonColumn_SetNull_Update`: `Db.Update().SetNull(j => j.Data).Where(Id==102)` → 走 SetNullMembers, 生成 `col = NULL`。 + - `JsonColumn_SetNullValue_Update`: `Set(j => j.Data, null)` → 与 SetNull 等价, 同走 SetNullMembers。 +- Sqlite 结果: SetNull / SetNullValue **通过**; UpdateColumns **失败** → `System.Data.SQLite.SQLiteException: Insufficient parameters supplied`, 生成 `UPDATE ... SET \`DATA\` = JSON_SET(\`DATA\`,'$',@Data) WHERE (ID=@Id)`, 参数只有 Id, **缺 @Data**。 +- 根因: UpdateColumns 的 ExpressionInfo 无 AdditionalParameter → UpdateBuilder.HandleResult 走 else 分支 `UpdateSpecific.Add(prop, result.SqlString)`; 构建时 (UpdateBuilder ~287) `UpdateSpecific` 命中即 append 并 `continue`, **不像普通列那样回退到 TargetObject 取值** → json 列永远拿不到参数。 +- 修复 `src/LightORM/Builder/UpdateBuilder.cs` (~289, UpdateSpecific 分支): 把 json 列的参数回填从"仅当 DbParameters 已有值"扩展为: 有值→序列化(JsonSet/Set 路径); 无值且 `TargetObject != null`→`c.GetValue(TargetObject)` 后序列化(UpdateColumns 路径)。与普通列的 TargetObject 回退语义对齐。 +- 修复后 Sqlite: `Data - {"Name":"ColsData",...}` 参数已绑定, `Insufficient parameters` 消失; 新失败变为反序列化 `JsonException: The JSON value could not be converted to ... JsonData | BytePositionInLine: 94` —— 即 **Sqlite 方言 json 更新双编码**(JSON_SET(col,'$',@text) 把 JSON 文本当字符串再包一层), 与已知失败 NestedPath_Update / WholeColumn_Update 同源。 +- Sqlite JsonColumn* 最终: 7 通过 / 3 失败(NestedPath_Update, WholeColumn_Update, UpdateColumns_Update), 3 个失败全部是 Sqlite 方言双编码, 非本次框架改动引入。 +- 编译: core 全 TFM 0 错误; PG test 项目 0 错误。 +- 未做: 多列 `UpdateColumns(j => new { j.Data, j.Obj })` 未覆盖 —— VisitNew 会把两列 SQL 累积进同一 result.SqlString 并由 Members[0] 存进 UpdateSpecific, 疑似会拼出畸形 SQL, 待用户确认是否需要处理。 +- 更新 `doc/版本日志.md` v2026.09.10 条目。 + +## UpdateColumns json 列最终修法 (推翻上一节的 UpdateSpecific 兜底方案) +- 用户: "补充测试用例" → 补 `JsonColumn_UpdateColumns_MultiColumns_Update`(Data+Obj 两列)。 +- 多列实测畸形 SQL: `SET \`DATA\`=JSON_SET(...,@Data), \`OBJ\`=JSON_SET(...,@Obj), \`OBJ\`=@Obj` —— 根因: `VisitNew` 把多列赋值累积进同一个 `result.SqlString`, 而 `HandleResult` 只按 `Members[0]`(Data) 存进 UpdateSpecific, 其它成员又走普通列路径重复生成。 +- **最终方案(已落地)**: 给 UpdateColumns 的 ExpressionInfo 打标记, 让它按"纯列选择"处理。 + 1. `src/LightORM/Models/SpecificValue.cs`: 新增 `internal class UpdateColumnsFlags`(私有构造 + `Instance`, 仿 `GroupingSetsFlags`)。 + 2. `UpdateProvider.UpdateColumns`: `new ExpressionInfo(SqlResolveOptions.Update, columns, additionalParameter: UpdateColumnsFlags.Instance)`。 + 3. `UpdateBuilder.HandleResult`: Update 分支新增 `else if (expInfo.AdditionalParameter is UpdateColumnsFlags) { Members.AddRange(result.Members); }` —— 忽略解析出的整列赋值 SqlString, 只登记成员。 + 4. 回退上一节在 `ToSqlString` 的 `UpdateSpecific` json 列为 TargetObject 兜底的改动(已无必要, 恢复原样)。 +- 效果: json 列在 UpdateColumns 下走普通列路径 → `col = @p`, 值由主流程 `c.GetValue(TargetObject)` + 序列化 + `DbParameterValue(col, json)` 交给方言 binder 类型化(PG → jsonb)。不需要 `::JSONB` 转换, 也不走 `JSON_SET`。 +- **为什么不用枚举方案**: 曾考虑让 UpdateColumns 用未使用的 `SqlPartial.UpdatePartial` 区分(枚举值确认全库无引用), 但 `ExpressionExtensions.Resolve` 的缓存键是 `CacheKey(SqlAction, Hash, NestedLevel)` **不含 SqlPartial**, `j => j.Data` 在 Set 与 UpdateColumns 下 hash 相同 → 会串缓存, 故放弃。标记走 AdditionalParameter, 不触碰解析器与缓存。 +- 验证: + - Sqlite `--filter "~Update|~Json"`: 36 用例 / 33 通过 / 3 失败。`JsonColumn_UpdateColumns_Update`、`JsonColumn_UpdateColumns_MultiColumns_Update`、`SetNull`、`Set(col,null)`、`Update_Columns_Test`、`UpdateTest`、`Update_Batch` 全部通过。 + - 剩余 3 失败=`JsonColumn_NestedPath_Update` / `JsonColumn_WholeColumn_Update` / `TestJsonUpdateAsync`, 全是 Sqlite 走 `JSON_SET` 的**双重编码**(json 文本被再包一层字符串), 与本次改动无关。线索: Sqlite `HandleJsonColumn` 整列分支用 `JSON_SET(col,'$',@p)` 是错的, 应该直接 `col = @p`(UpdateColumns 用普通列路径就是 `= @p`, 读回正常)。 + - PG SQL 生成(SqlGenerate 不需要真库): `UPDATE JSON_TEST SET JSON_DATA = @Json WHERE (ID = @Id)`, 参数 `Json - {"Name":"ColsName",...}`; 多列 → `JSON_DATA = @Json, JSON_DATA_ELEMENT = @JsonObject`, 无重复列。 + - 编译: core 全 TFM 0 错误; PG 测试项目 0 错误。 +- 新增 SQL 生成用例 `test/LightORMTest/SqlGenerate/UpdateSql_Json.cs`: `UpdateColumnsJsonField` / `UpdateColumnsMultiJsonField`(仅 Console.WriteLine, 与文件既有风格一致; 需 `using System.Text.Json.Nodes;`)。 +- 环境: PowerShell 工具本次全程无输出(疑似失效), 改用 bash + `export APPDATA=... && env "ProgramFiles=..." dotnet ... > file 2>&1` 重定向读文件; `--no-build` 只在目标项目本次 build 过后才可用(共享 LightORMTest.dll 会过期)。 diff --git a/.workbuddy/memory/2026-09-11.md b/.workbuddy/memory/2026-09-11.md new file mode 100644 index 0000000..edb9011 --- /dev/null +++ b/.workbuddy/memory/2026-09-11.md @@ -0,0 +1,167 @@ +# 2026-09-11 + +## 批量写入的 json 列支持 (用户: 批量场景下 json 列都是整列更新, 通过改 ToDictionaryParameters 支持; 补测试用例) + +- 用户假设核实: **成立**。批量 Insert/Update/Upsert 的值全部来自实体属性或 `Set(col, 单值)`, 不存在 json 路径/索引表达式 → 一定整列赋值。 +- 原状: + - `UpdateBuilder.CreateUpdateBatchSql` 显式 `if (col.IsJsonColumn) return false;`(带 `// TODO 批量更新对JSON列处理`) → 批量更新**完全跳过** json 列。若实体只有主键 + json 列, 过滤后 `columns` 仅剩主键, SET 循环 `if (col.IsPrimaryKey) continue;` 全跳过 → 生成 `UPDATE T SET WHERE ...` 畸形 SQL(Sqlite 报 `SQL logic error`)。 + - `InsertBuilder` 不排除 json 列, 但 `BatchSqlInfoExtensions.ToDictionaryParameters` 直接 `new(col.Column, col.Value)` 传原始对象 → Sqlite 驱动按 ToString() 入参, 读回报 `JsonException: 'L' is an invalid start of a value`(写进去的是 `LightORMTest.Models.JsonData` 之类的类型名)。 + - `Dictionary` → `Dictionary` 的返回类型改动此前已完成(git diff 可见), 但仅改类型不足以支持 json, 必然还要序列化。 +- 改动(4 处): + 1. `src/LightORM/Builder/UpdateBuilder.cs` `CreateUpdateBatchSql`: 删除 json 列排除, 让 json 与普通列同走 `col = CASE WHEN 主键 = @p THEN @val ... END`。 + 2. `src/LightORM/Extension/BatchSqlInfoExtensions.cs` `ToDictionaryParameters`: json 列先 `GetJsonHandler().Serialize(value)` 成 JSON 文本再入字典; 且 json 列即使 `IsStaticValue` 也要下发(静态值通常内联字面量, 但 json 无法渲染), 该判断用 `if (col.IsStaticValue && !col.IsJsonColumn) continue;`。 + 3. `src/LightORM/Extension/CustomDatabaseExtensions.cs` `AppendSimpleColumnValueExpression`: `IsStaticValue` 分支加 `&& !col.IsJsonColumn` → json 列统一走参数(否则 `FormatStaticValue` 对 JsonData 抛 `NotSupportedException`)。 + 4. `InsertProvider`/`UpdateProvider`.`ToSqlWithParameters` 批量行数据打印按序列化后的值显示(调试输出保真)。 +- 新增测试: + - `test/LightORMTest/ResultTest/ExecutionTest.JsonColumnCases.cs`: `JsonColumn_BatchInsert_ReadBack`(200/201)、`JsonColumn_BatchUpdate_WholeColumns`(210/211)、`JsonColumn_BatchInsertOrUpdate_WholeColumns`(220/221)。 + - `test/LightORMTest/SqlGenerate/InsertSql_Json.cs` `InsertJsonModel_Batch`; `SqlGenerate/UpdateSql_Json.cs` `UpdateJsonModel_Batch`(仅打印, PG 项目不连库即可跑)。 +- 验证: + - Sqlite 3 个新用例 **全绿**(修复前 3 个全红)。PG 生成的 SQL: + - 批量 Insert → `INSERT INTO JSON_TEST (ID,JSON_DATA,...) VALUES (@Id_0,@Json_0,...),(@Id_1,...)` + - 批量 Update → `UPDATE JSON_TEST SET JSON_DATA = CASE WHEN ID = @Id_0 THEN @Json_0 WHEN ID = @Id_1 THEN @Json_1 END WHERE (ID IN (@Id_0,@Id_1))`, 无重复列 + - Sqlite 全量套件: 163 用例 / 143 通过 / 20 失败。20 个失败经逐条核对均为既有问题, 与本次改动无关: `TRUNCATE`(Sqlite 不支持, InsertRange/Delete_FullDelete)、ROLLUP/CUBE、临时表 join(`no such column`)、窗口函数、DatabaseKey 未配置(SelectWithAttr/Repository_*)、事务并发 `database is locked`、以及已知的 Sqlite json 更新双编码(NestedPath_Update/WholeColumn_Update/TestJsonUpdateAsync)。 + - 编译: core 全 TFM + PG/Sqlite/SqlServer/MySql provider 库 + PG/Sqlite 测试项目 均 0 错误。 +- **已知遗留 (需用户决策)**: 批量更新 + json **路径/方法**表达式会被静默降级为整列赋值, 例: + `Db.Update([e1,e2]).Set(j => j.Json.NestJson.Name, "PathProbe")` + 实测 PG 生成 `SET JSON_DATA = CASE WHEN ID=@Id_0 THEN @Json_0 WHEN ID=@Id_1 THEN @Json_1 END`, @Json_0 的值是序列化后的 `"PathProbe"` —— 即整列被写成 JSON 字符串 `"PathProbe"`, 而非 `JSONB_SET` 路径更新。 + (行为变化: 改动前 json 列被排除 → 静默**不更新**; 改动后 → 静默**写错值**。) + 原因: `CreateUpdateBatchSql` 完全忽略 `UpdateSpecific`(它是单条 UPDATE 的整列赋值片段), 只用 `GenBatchInfos` 按 `DbParameters`/实体取值; 而 `ExpressionResolver.VisitMember` 的 json 分支只把**列名**加进 `ResolvedMembers`(路径成员不入 Members), 所以 `ExpressionResolvedResult` 无法区分"整列引用"与"路径引用"。 + 建议方案: 在 `ExpressionResolver` 增加 `JsonColumnWithPath` 标记(VisitMember json 分支 `index.HasValue || Members.Count > 0` 时置位, JsonSet 分支同样置位) → 透出到 `ExpressionResolvedResult` → `UpdateBuilder.HandleResult` 在 `TargetObjects.Length > 0` 时抛明确异常。用户答复前未实现。 +- 更新 `doc/版本日志.md` v2026.09.11 条目。改动未提交。 + +## SQLite json 路径更新的"双重编码"修复 (用户: json 值是字符串时参数从 string → "string", PG 读取有 ::TEXT 转换没问题, SQLite 没有, 读回带引号) + +- 复现(默认 Sqlite 后端 JSONBackend=Text): + ``` + UPDATE `JSON_EXEC_TEST` SET `DATA` = JSON_SET(`DATA`,'$.NestJson.Name',@Data) WHERE (`ID` = 101) + 参数: Data - "NewNest" ← 框架序列化后带引号 + 读回: ""NewNest"" ← 期望 "NewNest" + ``` + 用例: `JsonColumn_NestedPath_Update`(`Set(j => j.Data!.NestJson!.Name, "NewNest")`), 此前是 Sqlite 唯一失败用例。 +- **根因**(用 Python sqlite3 3.53 实测确认): + - SQLite `json_set(X,P,V)` 对 **TEXT 类型的 V 按"字符串字面量"处理, 不会把它当 JSON 解析**: + `json_set('{}','$.a','"abc"')` → `{"a":"\"abc\""}`(双重编码); `json_set('{}','$.a','abc')` → `{"a":"abc"}`。 + 要用 JSON 值必须显式 `JSON(V)` 包装: `json_set('{}','$.a', JSON('"abc"'))` → `{"a":"abc"}` ✓(对象/数字/null 同理)。 + - 而框架对 json 列参数**统一序列化为 JSON 文本**(`ActionType.ParameterValue` 注释即 `'string' => '"string"'`), 对 PG 的 `@p::JSONB` 是必须的, 对 SQLite 就成了双重编码。 + - `JSON_EXTRACT` 读取会自动脱壳(返回 `abc`), 所以症状表现为"读回多一层引号"。 +- 修复(仅 1 处, Sqlite): + `src/Providers/LightORM.Providers.Sqlite/CustomSqliteAdapter.cs` `HandleJsonColumn` 更新分支: + `JSON_SET(col,'$.path',@p)` → `JSON_SET(col,'$.path',JSON(@p))`。 + 生成结果: `` `DATA` = JSON_SET(`DATA`,'$.NestJson.Name',JSON(@Data)) ``。 +- **不受影响的路径**(已核对): 整列更新走 else 分支 `col = @p`(存 JSON 文本, 读取反序列化, 对称); `SqlFn.JsonSet` 走 `SqliteMethodResolver.JsonSet`, 值参数是**用户原始值**(未序列化)故不能用 `JSON()` 包装 —— 即 `Set(路径,值)` 与 `SqlFn.JsonSet(路径,值)` 的参数语义不同(PG 侧 JsonSet 需用户给 JSON 文本, 测试里手写 `"\"NewName\""`), 属既有设计, 未动。 +- 新增用例: `ExecutionTest.JsonColumnCases.cs` → `JsonColumn_ScalarAndIndexPath_Set_Update`(Id=102, `Set(j.Data.Value, 4321)` + `Set(j.Arr[1].Name, "ArrItem1")`, 覆盖数字标量与数组索引路径)。注意 `Arr` 是**模型列**不是 `JsonData` 成员。 +- 验证: Sqlite `JsonColumn*` **15/15 全绿**; `~Json|~Update` 39/39; core 全 TFM + PG 测试项目 + Sqlite provider 库 全 0 错误; PG 生成 SQL 未变(PG 走 `::JSONB`, 本来就正确)。 +- **其他方言同类隐患(未改, 待用户决策)**: 框架统一传"序列化 JSON 文本", 但方言对 TEXT 参数的 JSON 解析规则各异 —— MySql `JSON_SET`、SqlServer `JSON_MODIFY`(对字符串会再加引号)、Oracle `JSON_TRANSFORM` 都需要额外的显式解析(如 MySQL `CAST(@p AS JSON)`、SQLServer `JSON_QUERY(@p)`), 否则同样双重编码。无实库未验证。 + +## SqlServer 的 json 路径更新 (用户: sqlserver怎么处理) + +- 本机有 **LocalDB 2019**(SQL Server 2019 Express 15.0.4382.1), 可 sqlcmd 实测: + `"/c/Program Files/Microsoft SQL Server/Client SDK/ODBC/170/Tools/Binn/sqlcmd" -S "(localdb)\MSSQLLocalDB" -E -i x.sql -W -s"|" -h-1` + (坑: 整个 .sql 文件是**一个批**, 一条语句出错就中止 → 必须用 `GO` 分批; `localhost` 连不上, 报"安全包中没有可用的凭证/Cannot generate SSPI context") +- **`JSON_MODIFY` 实测语义**(第三参数 → 结果): + | 传入 | 结果 | 判定 | + |---|---|---| + | `'"abc"'`(序列化文本) | `{"a":"\"abc\""}` | ✗ 双重编码 | + | `'abc'`(裸文本) | `{"a":"abc"}` | ✓ | + | `'{"k":1}'` | `{"o":"{\"k\":1}"}` | ✗ 对象变字符串 | + | `JSON_QUERY('{"k":1}')` | `{"o":{"k":1}}` | ✓ | + | `'4321'` | `{"n":"4321"}` | ✗ 数字变字符串 | + | `4321`(int) | `{"n":4321}` | ✓ | + | `CAST(1 AS bit)` | `{"b":true}` | ✓ | + | `NULL` | 删除该键 | ⚠️ 无法写 JSON null | +- **SQL Server 的 JSON 函数只认"根为对象/数组"的文本**: `ISJSON('"abc"')=0`、`ISJSON('4321')=0`(`{}`/`[]`=1); `JSON_QUERY('"abc"')` / `JSON_VALUE('"abc"','$')` **抛 Msg 13609**(不是返回 NULL)。`JSON_VALUE('["abc"]','$[0]')` = `abc` 可脱壳, 但数字出来仍是 nvarchar。 +- **无 SQL 侧通用解**: `sql_variant` 被 `json_modify` 拒绝(Msg 8116; nvarchar(max)→sql_variant 也不允许 Msg 529); CASE 多分支**类型统一**(nvarchar 优先)→ 数字退化字符串、对象转 float 报 8114。 +- **SqlServer 实跑 14 个 JsonColumn 用例 → 3 失败**(SqlServer 测试项目 net10.0, 引用共享 LightORMTest, 可连 LocalDB): + 1. `NestedPath_Update` → 双重编码(同 SQLite 症状) + 2. `ScalarAndIndexPath_Set_Update` → `Cannot get the value of a token type 'String' as a number`(数字被写成字符串) + 3. `WholeColumn_Update` → `Unsupported JSON path found in argument 2 of JSON_MODIFY` —— **独立 bug**: SqlServer 的 `HandleJsonColumn` 缺"无索引→整列"分支, `Set(j => j.Data, obj)` 生成 `JSON_MODIFY(col,'$',@p)`, 而 `$` 不是可 MODIFY 的路径(PG/Sqlite 已有 else 分支 → `col = @p`)。 +- 结论: SqlServer 需要「标量传**原生值** + 复合走 `JSON_QUERY(@p)`」, 而二者只能在**生成期**区分 → 需框架层配合(值转换钩子/方言标记), **不能只改 provider**。已给出方案待用户选择。 +- 环境提示: 本次 bash 直连 dotnet 的 stdout 又被吞(build/test 输出为 0 行空文件) → 改用 PowerShell 工具才有输出(输出中文乱码, 但通过/失败可辨)。 + +## 方案 A 落地: json 参数改传原始 CLR 值, 序列化下沉到方言 binder (用户选 A) + +**设计**: 框架(Builder/批量收集)不再预先序列化 json 列参数, 以 `DbParameterValue(col, 原始值)` 入参; 序列化 + 驱动类型化下沉到 `IDatabaseParameterBinder`。 + +改动清单: +1. **新增** `src/LightORM/Utils/JsonParameterHelper.cs` (public): `Serialize(object?)` → `ExpressionSqlOptions.Instance.Value.GetJsonHandler().Serialize(...)`; `IsCompositeJsonValue(Type|object)` — 标量白名单 string/char/数值/Guid/DateTime(-Offset)/TimeSpan/byte[]/Uri/Version/object, 其余视为复合。 +2. `CustomDatabaseAdapter` 声明实现 `IDatabaseParameterBinder` + `public virtual bool BindParameter(...)`: json 列 → `DbType.String` + `Serialize(value)`。**所有 provider 继承即得默认 json 能力**。 +3. 框架移除预序列化: `InsertBuilder`(json 分支整体删掉, 与普通列同路), `UpdateBuilder`(UpdateSpecific 后处理 + 整列分支的 Serialize 都删), `BatchSqlInfoExtensions.ToDictionaryParameters`(直接 `col.Value`)。 +4. PG/KingbaseES: `BindParameter` 改 `override`, json 条件从 `column.IsJsonColumn && value is string` 改为只看列; 值 null 传 null; 去掉类声明上冗余的 `IDatabaseParameterBinder`。 +5. SqlServer: 新增 `override BindParameter` — 复合值序列化+String(return true), **标量 return false** 交框架兜底传原生值; `HandleJsonColumn` 路径更新第三参数按 `IsCompositeLeaf(leafMember)`(路径末端成员类型) 决定 `JSON_QUERY(@p)` / `@p`。 +6. MySQL: `JSON_SET` 第三参数包 `CAST(?p AS JSON)`(无实库)。SQLite/Oracle/Dameng 走默认 binder(SQLite `JSON(@p)` 不变; Oracle/Dameng 行为同改动前)。 + +**关键约束/坑**: +- **表达式缓存**: `Resolve` 的 cache key 只有 `(SqlAction, Hash, Depth)`, 不含值 → SQL 侧的"形状分支"必须由**表达式结构**(成员类型)决定, 不能用运行时值。所以 SqlServer SQL 侧看成员类型、binder 看值类型; 二者在 `object`/接口等无法判定时**统一按标量**(最安全)。 +- 绑定阶段的 adapter 是 `Provider.DatabaseAdapter`(真 adapter), 不是 `ScopedDatabaseAdapter` → `adapter is IDatabaseParameterBinder` 成立, 无需给 Scoped 加转发。 +- json 列参数以前是"框架序列化 + 无 binder(兜底 DbType.String)", 现在是"binder 接管序列化 + DbType.String" — 对未覆盖 binder 的方言行为等价。 + +**验证**: +- Sqlite `JsonColumn*` **16/16**; SqlServer(LocalDB 2019) `JsonColumn*` **16/16**(此前 3 失败: NestedPath 双编码 / Scalar 数字变字符串 / WholeColumn 非法 `$` 路径 —— 全部转绿)。 +- Sqlite 全量: 162 用例 / 145 通过 / 17 失败 —— **与改动前数字完全一致**; 17 个失败逐条为既有问题(SelectWithAttr、InsertRange、Navigate Where、ArrayAccess_List、RowNumber、Repository_*、ROLLUP/CUBE 3 个、临时表 2 个、事务 2 个、FullDelete、TestSelectOneTable), **无 json 相关**。 +- 编译: core 全 TFM + 7 个 provider 库(PostgreSQL/KingbaseES/Sqlite/SqlServer/MySql/Oracle/Dameng) + Sqlite/SqlServer/PG 测试项目 全 0 错误。 +- PG 生成 SQL 实测: `JSON_DATA = JSONB_SET(JSON_DATA::JSONB,'{NestJson,Name}',@Json::JSONB)`(参数显示原始值 `test`)、`UpdateColumns` → `JSON_DATA = @Json`、批量 → `SET JSON_DATA = CASE WHEN ID=@Id_0 THEN @Json_0 ... END`。 + +**新增用例**: `ExecutionTest.JsonColumnCases.cs` → `JsonColumn_CompositePath_Set_Update`(Id=101, `Set(j => j.Data!.NestJson, new JsonData{Name="CompositeNest",Value=77})`) —— 唯一能验证 SqlServer `JSON_QUERY` 分支的用例。 + +**未验证**: MySQL(`CAST(... AS JSON)`) / Oracle / Dameng(未改 SQL) —— 均无实库。改动未提交。 + + + +--- + +## 达梦(Dameng)json 列处理 — 实测与修复 + +**本机有可用 DM8 实例**:`localhost:5236`(`LIGHTORM_TEST/LIGHTORM_TEST/DAMENG`),`LightORMTest.Dameng` 可直接实跑。 + +**探针结论(DmProvider 直连 DM8 实测)**: +- `JSON_SET(col, path, value)` 按**第三参数的 SQL 类型**决定 JSON 值:varchar 原样作 JSON 字符串(不解析,故 `'"abc"'` → `{"a":"\"abc\""}` 双重编码)、number → JSON 数字、NULL → JSON null。 +- `JSON_VALUE(col, '$.a')` 读取正常;`JSON_QUERY` **函数不存在**("无法解析的成员访问表达式")。 +- **`CAST(x AS JSON)` 可用**,且 `JSON_SET(col,path,CAST(:p AS JSON))` 对 **字符串/对象/数组/数字/布尔/null 全部正确** —— 一行解决,**无需**像 SqlServer 那样按标量/复合分流。 +- 列类型 `JSON` / `CLOB` / `TEXT` 三种行为一致;整列赋值 `col = :p`(文本存储、读取反序列化)正常;整列置 NULL 正常。 +- Where 路径比较 `JSON_VALUE(DATA,'$.Name') = :p` 正常(参数无列元数据 → 不序列化)。 +- `JSONBackend.Binary` 在本机 DM8 **不可用**:`JSONB_VALUE` 不存在、`JSONB_SET` 报"JSON路径表达式语法错误" → 用默认 `JSONBackend.Text`。 + +**改动(2 处,仅达梦)**: +1. `CustomDamengAdapter.HandleJsonColumn` 路径更新分支第三参数 → `CAST(:p AS JSON)`(替换原先直接拼 `:p`);删掉遗留的注释块与未使用的 `IsCompositeLeaf`。 +2. 删除 `CustomDamengAdapter.BindParameter` 覆写(原为"仅复合值序列化、标量 return false"),改用 `CustomDatabaseAdapter` 默认 json 绑定(统一序列化 + `DbType.String`)—— 因为 CAST 方案要求参数**始终**是合法 JSON 文本。同时清理 `using System.Data/System.Reflection/LightORM.Utils`。 + +**验证**:达梦 `~JsonColumn` **32/32 通过**(16 用例 × 2 测试类,覆盖字符串/复合对象/数组索引路径 Set、整列 Set、UpdateColumns、批量、SqlFn.JsonSet)。生成 SQL 实测: +- `UPDATE "JSON_EXEC_TEST" SET "DATA" = JSON_SET("DATA",'$.NestJson.Name',CAST(:Data AS JSON)) WHERE ("ID" = 101)` +- `"ARR" = JSON_SET("ARR",'$[1].Name',CAST(:Arr AS JSON))` +- 整列:`"DATA" = :Data, "LST" = :Lst, "OBJ" = :Obj` + +**环境坑**:达梦跑较大测试集时 `InitDatas` 建连报 `DmException 6001 ... 每个套接字地址(协议/网络地址/端口)只允许使用一次`,大量用例因此"失败"——是连接数/socket 环境问题,非代码 bug;隔几秒重跑即恢复(`~JsonColumn` 复跑 32/32 通过)。 + +**补测**:新增 `test/LightORMTest.Dameng/SqlGenerate/InsertSql_Json.cs`、`UpdateSql_Json.cs`(一行子类,与 PG/SqlServer 同形),达梦 SQL 生成 7 用例全通过。生成 SQL 实测 `"JSON_DATA" = JSON_SET("JSON_DATA",'$.NestJson.Name',CAST(:Json AS JSON))`。 + +--- + +## MySQL json 列处理 — 实跑验证与修复(用户: MySQL 本地库已启动,处理 MySQL;Oracle 跳过) + +**环境**:MySQL 跑在 Docker 容器 `mysql`(`docker start mysql`),**版本 5.7.44**,`localhost:3306` root/123456,库 `test_db`。顺带发现 SqlServer 也是 Docker(容器 `mssql`,`docker start mssql`,localhost/sa,库 TestDb);容器 `oracle11gxe`、`pgsql` 处于 Exited。 + +**改动(1 处方言 + 2 处测试代码)**: +1. `CustomMySqlAdapter.HandleJsonColumn` 的 Update 分支新增**整列分支**:无索引、无路径成员 → `col = ?p`(此前一律生成 `JSON_SET(col,'$',CAST(?p AS JSON))`)。 + 根因:**MySQL 的 JSON 函数在首参为 NULL 时整体返回 NULL** → json 列被 `SetNull`/`Set(col,null)` 置空后,整列写回会被静默丢弃。先写用例复现失败、再改方言转绿。路径分支维持 `JSON_SET(col,'$.path',CAST(?p AS JSON))`。 +2. `test/LightORMTest/ResultTest/ExecutionTest.JsonColumnCases.cs`: + - 新增 `JsonColumn_WholeColumn_Update_FromNull`(SetNull → 整列写回,约束"整列赋值不得用路径函数实现")。 + - `JsonColumn_BatchInsertOrUpdate_WholeColumns` 受影响行数补 `DbType == MySql → 4`(MySQL `ON DUPLICATE KEY UPDATE` 命中已有行按 2 计,与 `ExecutionTest.cs` 既有 upsert 断言同约定)。 +3. `test/LightORMTest/TestBase.cs` 的 `DisplayParameter` 加 try/catch(用户已把它改成 `JsonSerializer.Serialize`):参数含 `Column.TableType` 等 `System.Type` 成员会抛 `NotSupportedException` 并**顶掉原始 SQL 异常**,让排错看不到真正报错;现兜底返回提示文本(同时修掉其遗留的 `foreach` 编译错误 CS1624)。 + +**验证(4 个活实例全绿)**:MySQL `~JsonColumn` **17/17**;Sqlite **17/17**;SqlServer **34/34**(`ExecutionTest` + `Select` 两个子类各 17);Dameng **34/34**。MySQL 全量 **144/155**。 + +**MySQL 生成 SQL 实测**: +```sql +-- 路径更新 +UPDATE `JSON_EXEC_TEST` SET `JSON_DATA` = JSON_SET(`JSON_DATA`,'$.NestJson.Name',CAST(?Json AS JSON)) WHERE (`ID` = 101) +-- 整列更新(新分支) +UPDATE `JSON_EXEC_TEST` SET `JSON_DATA` = ?Json WHERE (`ID` = ?Id) +-- 批量整列 +UPDATE `JSON_EXEC_TEST` SET `JSON_DATA` = CASE WHEN `ID` = ?Id_0 THEN ?Json_0 END, ... WHERE (`ID` IN (?Id_0,...)) +``` + +**MySQL 全量 11 个失败均与 json 无关**:CUBE / GROUPING SETS(5.7 不支持,`MySqlTableOptions.Version` 未配置 → `over8=false` 抛 `NotSupportedException`:TestGroupBy_Cube、TestGroupBy_GroupingSets、Group_Cube_Test)、CTE 语法(5.7 无 `WITH ... AS`:Select_Join_Temp_Test、Select_WithTempQuery_Two_Test、Select_AsTemp_WithTempQuery_Test、Select_FromTemp_Test)、以及 SqlGenerate 既有表达式用例(TestSelectOneTable、Select_Navigate_Where_Single、TestArrayAccess_List、TestRowNumberWindowFunc)。 + +**环境坑**:① 重建 dll 后的首轮跑出现 10 个用例集体失败(错误信息被 DisplayParameter 的序列化异常掩盖),单独跑/复跑即全绿 —— 与达梦的 socket/连接瞬时问题同类。② 本轮 bash 沙箱**连 `dotnet --version` 都吞输出**(之前只是吞 build/test),必须走 PowerShell 工具 + `Out-File -Encoding utf8`;`Tee-Object` 默认写 UTF-16,bash `grep` 读不到,要用 PowerShell `-Encoding unicode` 读。 + +**未验证**:Oracle(用户明确跳过——Oracle 库本身不支持 json 列)。 diff --git a/.workbuddy/memory/2026-09-14.md b/.workbuddy/memory/2026-09-14.md new file mode 100644 index 0000000..d3eecca --- /dev/null +++ b/.workbuddy/memory/2026-09-14.md @@ -0,0 +1,68 @@ +# 2026-09-14 + +## 按功能分批提交(分支:数据库参数重构) + +将工作区累积的多主题改动拆为 4 个提交: + +1. `36f1203 feat: 新增 SqlFn.N() 显式 Unicode 前缀,移除 Coalesce 隐式 N` + - `SqlFn.N()` + `BaseSqlMethodResolver.N`;移除 Coalesce 兜底值对 string 硬编码加 N 前缀 + - 测试分支:SqlServer 用 `"合计".N()`;`Assert.HasCount` 替换 `AreEqual(n, list.Count)` + - provider 测试配置:Oracle 关闭 `UseUnicodeString`、SqlServer 改 `Over2017` +2. `67e4ff9 refactor: 参数绑定重构——参数携带列元数据、可选能力接口隔离、json 序列化下沉方言`(41 文件) + - `DbParameterValue` + `IDatabaseParameterBinder` + `JsonParameterHelper` + - ISP:`IDbCommandInitializer` / `IReturnIdentity` / `AdapterCapability` + - 五方言 json 适配(PG/Kingbase jsonb、Sqlite `JSON()`、SqlServer `JSON_QUERY`/原生值、MySQL `CAST AS JSON`、Dameng `CAST AS JSON`) + - `UpdateColumnsFlags`、ExpressionResolver 整列引用修复、PG/Kingbase DateTime Kind 感知绑定、批量 json 放开 +3. `722b929 test: json 列用例集中迁移与补全` + - 删除 7 个分散的 `ResultTest/JsonTest.cs`,集中到 `ExecutionTest.JsonColumnCases.cs`(17 用例)+ `JsonExecTestModel` +4. `141aa61 docs: 更新版本日志与工作记忆` + +### 拆分结论(经验) +- 参数结构改造 / ISP 隔离 / json 序列化下沉三者**在文件与代码上深度交织**(同文件、甚至同一方法体),任何子集都无法编译,只能合并为一个提交;强行按 hunk 拆代价高、易错。 +- 本次真正可独立提交的只有:`SqlFn.N` 功能、测试、文档三类。 +- Commit message 用 `git commit -F ` 写入,避免中文与引号/换行转义问题。 + +### 发现并修复 +- KingbaseES `CustomKingbaseESAdapter.cs` 引用 `JsonParameterHelper` 但缺 `using LightORM.Utils;` → 全 TFM 编译失败(CS0103)。补齐后 core + 7 provider + LightORMTest 全部 0 错误。 +- 提交前验证:对 core、7 个 provider、LightORMTest 逐个 `dotnet build -v q --nologo`,把 `: error ` 行写入日志文件再读(PowerShell 直出 stdout 偶发被吞)。 + +## 剩余方言 json 列处理检查(PostgreSQL / KingbaseES / Oracle) + +### 结论 +6 个方言(PG / Kingbase / MySQL / SqlServer / Sqlite / Dameng)json 链路已闭环;**Oracle 是唯一有缺口的**。 +PG 与 Oracle 的 SqlGenerate json 用例(每方言 7 个,不连库)全部通过;**KingbaseES 没有测试项目**,无法覆盖。 + +### Oracle 缺口(3 处,均需 21c+ 实库验证) +1. `CustomOracleAdapter.HandleJsonColumn` 缺 `HasIndexInfo()` 整列分支 → `Set(j => j.Json, obj)` 生成 + `JSON_TRANSFORM(col, SET '$' = :p)`;JSON 函数对 NULL 输入返回 NULL → 整列写回静默丢失(与已修的 MySQL bug 同类)。 +2. 路径更新的值参数未按 JSON 解析:Oracle 的 `SET '$.a' = :p`(:p 为 SQL 字符串)会作为 **JSON 字符串**写入, + 于是框架下发的"序列化 JSON 文本"被双重编码(与 Dameng 同类)→ 应改为 `SET '$.a' = JSON(:p)`。 +3. 无 `IDatabaseParameterBinder` 覆写 → 参数按 VARCHAR2 下发,长 JSON 可能超 4000/8192 限制(宜绑 CLOB)。 + +### Oracle 版本门槛(已查证) +- 原生 `JSON` 数据类型与 `JSON_TRANSFORM` 均为 **Oracle 21c 引入**;12c/19c 没有任何 JSON 变更函数。 +- `TableOptions.JSONBackend` 默认 `Text` → Oracle 建表输出 `JSON` 类型,≤19c 直接失败(这是"Oracle 库不支持 json 列"的根因)。 +- 绕过手段:`OracleTableOptions.SpecificJsonColumnDbType` 设为 `CLOB`/`VARCHAR2(n)`,应用中按 JSON 文本读写(无路径更新能力)。 + +### 附带发现 +- `JsonColumnContext.HasIndexInfo()` 的 `|| Members.Any(i => i.IndexValue.HasValue)` 是死代码(`Members.Count > 0` 已覆盖)。 +- PG/Kingbase 整列 Set 分支保留 `@p::JSONB`(binder 已声明 jsonb,恒等 cast,可清理);`UpdateColumns`/批量路径为 `col = @p`,无冗余 cast。 +- 调试输出不一致:`ToSqlWithParameters` 的"参数列表"显示 json 列**原始 CLR 值**,批量行数据显示**序列化文本**。 + +### 无实库时的验证手段(有效) +`SqlGenerate` 目录用例只打印 SQL 不连库,任何方言都能跑: +`dotnet test -f net10.0 --filter "FullyQualifiedName~SqlGenerate.InsertSql_Json|FullyQualifiedName~SqlGenerate.UpdateSql_Json" --logger "console;verbosity=detailed"`。 + +## ExpressionResolver 架构通读(纯分析,未改代码) + +`src/LightORM/Utils/ExpressionResolver.cs`(695 行)三部分:`SelectMap` record struct、`ExpressionExtensions`(缓存入口 `Resolve` + 两个 `OperatorParser` 重载)、`ExpressionResolver` 类(IExpressionResolver 实现)。 + +调用链:`SqlBuilder.ResolveExpressions` → `Expression.Resolve(options, ctx)`(cache key = `(SqlAction, Hash64, Depth)`,命中且 `NeedToExtractValues` 时只经 `ExpressionValueExtract` 重算值)→ 未命中 `ExpressionResolverPool.Rent` → `Visit(expression)` → `ExpressionResolvedResult` 快照(`ReplaceConstantValue` 把 NULL 常量占位符改写为 `IS NULL`/`IS NOT NULL`/`NULL`)→ `HandleResult` 分派到 Where/SelectValue/Join/GroupBy/OrderBy/Having → `HandleSqlParameters` 把占位符替换为参数引用并填入 `DbParameters`。 + +关键机制备忘: +- `Visit` 是 `VisitX(...)` 结果再 `Visit(...)` 的两段式(让 VisitX 可"返回下一个要访问的节点"),这是 `VisitMember` 返回 `exp.Expression`、`VisitUnary` 返回 Operand 的原因;`VisitMethodCall` 的 `op_Implicit` 直接返回 `Arguments[0]`。 +- 成员栈 `Members : Stack` 承担全部"中间成员",遇到 Parameter 基底的列时统一 `Members.Clear()` 收口。 +- `VisitMember` 的 Parameter 基底分支四路:Navigate → JsonColumn → Aggregated → 普通列(都是 return null + 已写 SQL)。 +- `VisitConstant` 双路径:`Members.Count > 0` → 参数化(`{ParameterPrefix}{成员名_连接}` 写进 Sql + `DbParameters`,`ContainVariable=true`);否则按常量内联(null→随机 8 位名 + `ConstantNull` 延后替换为 IS NULL;数字直出;bool→`HandleBooleanValue`,`IsNot` 时取反;DateTime→`HandleDateValue`;**其他一律 `'` 包裹且不做转义**,含单引号的字符串会生成错误 SQL)。 +- `VisitMember`/`VisitParameter` 内 `GetColumn(name)!`、`GetTable(paramExp!)` 为 `!` 强解引用;`RequiredTableAlias` 仅 Select + 特定 partial 为 true。 +- 隐患清单(同 2026-09-14 前段):`ConstraintValue` 未转义、`HasIndexInfo` 冗余、PG 整列分支重复 cast。 diff --git a/.workbuddy/memory/2026-09-15.md b/.workbuddy/memory/2026-09-15.md new file mode 100644 index 0000000..ef2326d --- /dev/null +++ b/.workbuddy/memory/2026-09-15.md @@ -0,0 +1,207 @@ +# 2026-09-15 + +## Oracle JSON 能力的版本门槛(查证结论) + +| 能力 | 最低版本 | 说明 | +|---|---|---| +| JSON 文本存 VARCHAR2/CLOB/BLOB + `JSON_VALUE`/`JSON_QUERY`/`JSON_EXISTS` 查询 | 12.1.0.2 | "文本当 JSON 用",路径只读 | +| `JSON_MERGEPATCH` | 19c | 整文档合并式更新;数组只能整体替换,无法把单键 SET 成 null | +| 原生 `JSON` 数据类型(OSON 二进制) | 21c | 20c 仅云上预览,21c 正式 GA | +| `JSON_TRANSFORM`(路径级 SET/REMOVE/RENAME/APPEND) | **21c** | 框架路径更新的唯一依赖 | +| `JSON()` 构造器 / `JSON_SCALAR` / `JSON_SERIALIZE` / JSON 多值函数索引 | 21c | | + +**对框架的结论**:路径级 json 更新(`SET '$.a' = ...`)**必须 21c+**,≤19c 只能整列替换。 +`OracleTableHandler.Writer.ConvertToDbType` 默认把 json 列建为原生 `JSON`(21c+),≤19c 建表即失败 +—— 这是"Oracle 库不支持 json 列"的根因。≤19c 的绕过手段是 `OracleTableOptions.SpecificJsonColumnDbType` +显式给 `CLOB`/`VARCHAR2(n)`,此时只能整列读写、无路径更新能力。 + +## 补齐 Oracle json 三处缺口 + +文件:`src/Providers/LightORM.Providers.Oracle/CustomOracleAdapter.cs` + +1. **整列 Update 分支缺失** → 补 `!context.HasIndexInfo()` 分支,生成 `"JSON_DATA" = :Json`。 + 原实现无条件 `JSON_TRANSFORM(col, SET '$' = :p)`,两个致命问题:JSON_TRANSFORM 对 NULL 输入 + 返回 NULL(列被置空后写不回,与已修的 MySQL `JSON_SET(NULL,...)` 同类);`SET '$'` 的文本参数 + 按 JSON 字符串写入(双重编码)。 +2. **路径更新值参数未按 JSON 解析** → 改为 `SET '$.a' = JSON(:p)`。框架下发的参数是 + `JsonParameterHelper.Serialize` 后的 JSON 文本,直接赋值会被当 JSON 字符串。与 SQLite 的 + `JSON(@p)`、PG 的 `@p::JSONB` 同一约定。 +3. **缺 `IDatabaseParameterBinder` 覆写** → 补 `BindParameter`:json 列一律序列化并绑 + `OracleDbType.Clob`(VARCHAR2 绑定有 4000 字节上限,超长文档 ORA-01461)。 + +`OracleMethodResolver.JsonSet` **保持不动**:其值是用户原始值、不走 binder,Oracle 侧 +`SET '$.a' = 'test'` 恰好把字符串写成 JSON 字符串,与执行用例期望一致。 + +## 验证 + +- 新增共享基准用例 `UpdateSql_Json.UpdateJsonWholeColumn`(`Set(j => j.Json, obj)` 整列)—— 原基准 + 恰好缺这一条,而它正是 Oracle 出问题的路径。 +- 6 方言 `SqlGenerate.UpdateSql_Json` 编译 0 错误,整列 Set 均生成列直接赋值: + PG `@Json::JSONB` / Sqlite `@Json` / SqlServer `[JSON_DATA] = @Json` / MySQL `?Json` / + Dameng `:Json` / Oracle `:Json`。 +- Oracle 路径更新输出:`"JSON_DATA" = JSON_TRANSFORM("JSON_DATA",SET '$.NestJson.Name'=JSON(:Json))`。 +- Oracle 全量 SqlGenerate 79 个用例中 4 个失败,均属**既有问题**、与本次改动路径无关(json 用例全通过): + 连库失败 ORA-12541、导航 Where 构造 `Equal(String, Nullable)`、 + `StringBuilderHelper.ReplaceWithBoundaryCheck` 越界、`ResolveHelper.CreateGetter` 静态属性。 +- Oracle 无实库,**绑定/执行侧未实测**,`JSON(:p)` 与 CLOB 绑定依赖 21c+ 实库验证。 + +## 遗留观察(未改) + +Oracle 非 Update 分支(读取路径)仍用 `JSON_VALUE`:只返回标量,取对象/数组会得到 NULL,且默认 +`RETURNING VARCHAR2(4000)` 对长文本截断。PG 侧是按末级成员类型分流 `->` / `->>` + cast 的,Oracle +可考虑对齐为「标量 `JSON_VALUE` / 复合 `JSON_QUERY`」。 + +## ⚠️ 环境警告(重要) + +1. **bash 每次调用都要补 PATH**:初始 PATH 缺 `/usr/bin`,`ls`/`grep`/`head` 全报 command not found。 + 每条命令前加 `export PATH="/usr/bin:/bin:$PATH"`。 +2. **不要在此环境用 `git stash`**:`git stash push` 在 LightORM 仓库返回失败并留下**残缺 refs/stash** + (commit 结构非 stash,`stash show/drop` 均报 "not a stash-like commit"),同时使后续 + `git status`/`git log`/`git diff` 报 `fatal: not a git repository: src/GenShared/...` + (`src/GenShared` 是 submodule,gitdir `.git/modules/src/GenShared` 在当前视图下为空)。 + 用 `git update-ref -d refs/stash` 清理了残留引用;**工作区文件改动未受影响**。 +3. ~~本环境对 `.git` 的可见性可疑……倾向判断为隔离视图~~ → **该判断已作废,见下节更正。** + +## ⚠️ 更正(17:45 复诊):仓库是**真实损坏**,不是隔离视图 + +第 3 条的"隔离视图"判断**错误**。用 PowerShell(独立于 bash 沙箱)`Test-Path` 复核: +`.git/objects/3e/f2783b…`、`.git/objects/97/735c30…`、`.git/modules/src/GenShared` **全为 False**; +`git log` → `fatal: bad object HEAD`。两个独立工具结论一致 ⇒ 磁盘上确实没有这些文件。 + +### 损坏清单(实测) + +| 项目 | 现状 | 可恢复性 | +|---|---|---| +| 对象库主体 | 12153 对象;2 个 pack `verify-pack` 均 ok | **完好** | +| 36 个 ref | 指向的对象均可读 | 完好 | +| `refs/heads/master` → `3ef2783b` | 对象缺失 | **GitHub 远端同名 commit,`git fetch github` 可恢复** | +| `refs/heads/数据库参数重构`(=HEAD)→ `97735c30` | 对象缺失 | 本地提交(仅 docs),父提交亦缺失 | +| `refs/heads/测试用例` → `321adb36` | 对象缺失 | 远端无此分支 | +| `refs/remotes/github/HEAD`、`github/master`(松散文件) | 指向缺失的 `3ef2783b` | 删掉松散文件即回落 packed-refs 的 `3d69081d`(可读) | +| 松散对象 | 101 个,mtime 完好(09-03 ~ 09-15) | — | +| 缺失对象 | 4 commit + 5 tree + **103 blob** | 集中在 09-14/15 的松散对象区 | +| 缺失 blob 分布 | gitee/master、github/master、json-support、内存优化 上可达数**均为 0** | ⇒ 历史分支未受损,损失仅限近期本地提交 | +| `.git/modules/src/GenShared` | **已进回收站**(17:24:52-55) | **可直接还原** | +| `.git/logs/**`(reflog) | 已清空 | 不可恢复 | + +### 关键证据:外部删除走 Shell API(回收站) + +`E:\$RECYCLE.BIN\S-1-5-21-1372029562-…` 中: +- **2026/9/15 17:17:26–17:17:48** 大量 `src/**/obj`、`test/**/bin` 构建产物进回收站; +- **2026/9/15 17:24:52–17:24:55** `E:\GitRepositories\LightORM\.git\modules\src\GenShared` 各级目录进回收站; +- **`.git\objects\...` 在回收站中一条都没有** → 对象丢失是另一条路径(非回收站)。 + +**git 自身从不使用回收站**(不用 Shell API)⇒ 这些删除来自外部工具/GUI,而非 git 命令。 + +### `.git` 时间线 + +- 17:13 `COMMIT_EDITMSG` + `refs/heads/数据库参数重构` → 提交 docs commit(`97735c30`); +- 17:24 `index` 重写、写入 stash tree;17:25 写入 stash commit `66d24d2`("On 数据库参数重构: tmp-oracle-json", + parent = `97735c30` + `809f6394`,**该对象仍在**,可用于佐证 HEAD 曾为 `97735c30`); +- 17:24:52 外部工具把 `.git\modules\src\GenShared` 删到回收站; +- 17:26 本会话执行 `git update-ref -d refs/stash`(删掉 `.git/logs/refs/stash`); +- 17:28 `ugit_all_files_cache` mtime;17:35 `.git/ms-persist.xml`(SourceTree)mtime。 + +### 本会话执行的 git 写操作(全部) + +1. `git stash push -m tmp-oracle-json`(17:24,失败,对象已写入) +2. `git stash pop` / `git stash drop` +3. `git update-ref -d refs/stash`(17:26) +4. 其余均为只读(`fsck`/`count-objects`/`cat-file`/`ls-remote`/`fetch`)。 + `git stash`/`update-ref` 均不删对象、不删 `.git/modules`,也不使用回收站。 + +### 恢复方案 + +1. 已备份:`E:\GitRepositories\LightORM.git.bak-20260915\.git`(13M)。 +2. 关闭 SourceTree / VS / UGit,避免并发写。 +3. 从回收站还原 `.git\modules\src\GenShared` → 修好 `git status` 致命错误(VS 即可识别仓库)。 +4. `git fetch github` → 拿回 `3ef2783b` → `git update-ref refs/heads/master 3ef2783b`。 +5. 删除两个坏的松散 remote ref,回落 packed-refs。 +6. `数据库参数重构`:以可读基点重建 + 重新提交(docs 内容仍在工作区)。 +7. `git fsck` 复验。 + +### 教训 + +- **多个 Git GUI(SourceTree / UGit / VS)同时开着同一仓库是高危**:本次删除经 Shell API,与 GUI 行为特征吻合。 +- 诊断"对象是否真缺失"要用**第二个独立工具**(PowerShell `Test-Path`)交叉验证,不能只凭 bash 沙箱结论下判断。 +- 回收站元数据(`$I` 记录)能给出**精确到秒的删除时间和原始路径**,是定位此类事故的关键证据;Python 在沙箱里读不到 `$RECYCLE.BIN`,PowerShell 可以。 + +--- + +## ✅ 实际恢复过程与结果(18:00–18:20) + +### 推翻上一条结论:回收站里**有** `.git\objects` 条目 + +上一节写"`.git\objects\...` 在回收站中一条都没有"是**错的**。原因是按 `$I` 记录里的**原始路径字符串**筛选时, +控制台把长路径截断了(只显示到 `…\.git\objects\`),导致漏判。重新扫描后统计: +`LightORM\.git\objects` **189 条**、`LightORM\.git\modules` **208 条**、`LightORM\.git\logs` 4 条, +且 `$I` 记录显示 **`R=True`(实体 `$R` 文件仍在)**,删除时间集中在 **17:25:04–17:25:12**。 + +⇒ **教训:不要用回收站记录里的"名字"来判断内容,直接用内容判定。** + +### 恢复手法(可复用):按内容识别并回填 git 对象 + +`$I` 的名字不可靠,但 git 松散对象是**自校验**的 —— 只要按内容算出 SHA-1,就能反推它该落在哪个路径。 +脚本 `C:\Users\Marvel\AppData\Local\Temp\recover_git_objects.ps1`(PowerShell,因沙箱禁止 Python 读 `$RECYCLE.BIN`): + +1. 枚举 `E:\$RECYCLE.BIN\` 与 `C:\$Recycle.Bin\` 下所有 `$R*` 文件(`< 32MB`); +2. 按 zlib 头筛选(`0x78` + `01/5E/9C/DA`),`DeflateStream`(跳过 2 字节头)解压; +3. 解压结果以 `blob `/`tree `/`commit `/`tag ` 开头 ⇒ 是 git 对象; +4. 对该**解压后内容**求 SHA-1 → 十六进制即为对象 ID; +5. 目标路径 `.git\objects\<前2位>\<后38位>` 不存在则复制过去(**只增不改,天然安全**)。 + +结果:`scanned=29654 zlib=382 gitobj=382 restored=382 exist=0` —— **恢复 382 个对象** +(178 blob / 163 tree / 41 commit),其中包含 `97735c30`(docs 提交,即 HEAD)与 `809f6394`。 +恢复后 `git log` 在 `数据库参数重构` 上**完整可读**: +`97735c3 → 35cbcce → 141aa61 → 722b929 → 67e4ff9 → …` + +### 剩下两个 commit 从 GitHub 取回 + +| 缺失 ref | 取值来源 | +|---|---| +| `refs/heads/master` → `3ef2783b` | GitHub `refs/heads/master` 与 `HEAD` **同名存在** | +| `refs/heads/测试用例` → `321adb36` | GitHub **`refs/pull/42/head`**(不是分支,是 PR 头) | + +**坑:坏 ref 会阻断 `git fetch`** —— 报 `fatal: bad object refs/heads/测试用例` + +`did not send all necessary objects`。处理:把 `.git/refs/heads/测试用例` **临时移出 `refs/`** +(移到 `.git/refs-disabled/`,可逆、不删数据)再 fetch。取回后用 +`git update-ref refs/heads/测试用例 321adb36` 重建(该 ref 文件在期间被外部工具清掉了)。 + +### 最终状态(`git fsck --connectivity-only`) + +| 项 | 结果 | +|---|---| +| 缺失对象 | 103 blob + 5 tree + 4 commit → **降到 8 blob + 11 tree** | +| 剩余缺口归属 | **不被任何 ref 可达**(36 个 ref 逐一 `rev-list --objects` 比对,命中数全 0) | +| 那些树在哪 | 只挂在 **`.git/index` 残留的 cache-tree** 上(8 个)+ 1 个不可达的已恢复 commit | +| 各分支 `git log` | `数据库参数重构`、`master` 均恢复正常 | + +⇒ **分支历史已完整**,剩余 19 个对象属于"陈旧索引缓存 + 不可达残留",重建索引后即消失。 + +### 未完成:submodule gitdir + +`.git/modules/src/GenShared` 被删到回收站,需要重建,但三条路都受阻: +- `git submodule update --init src/GenShared` → `fatal: destination path '…/src/GenShared' already exists and is not an empty directory`(工作区目录非空,git 拒绝 clone); +- ssh 方式(`git@github.com:MarvelTiter/MT.Generators.Shared.git`)→ **被沙箱策略拒绝**(`C:\Users\Marvel\.ssh\*` 全部 blocked,用户拒绝授权); +- 手动 `git clone --no-checkout` 到 gitdir → unsandboxed 侧报"目录已存在且非空",但 sandboxed 侧 `ls` 看不到该目录 + (**环境视图不一致**,见下)。 + +**可行方案(待执行)**:用本地完整副本 `E:\GitRepositories\MT.Generators.Shared\.git` 作为源, +或让用户在本地终端执行 +`git clone git@github.com:MarvelTiter/MT.Generators.Shared.git .git/modules/src/GenShared`, +然后 `git --git-dir=.git/modules/src/GenShared config core.worktree ../../../../src/GenShared`, +再 `git -C src/GenShared checkout 59ef782a04e769c579ce87bfc480d182be5d9c66`(index 里的 gitlink 值)。 + +**已归位**:`src/GenShared/.git`(内容 `gitdir: ../../.git/modules/src/GenShared`)已恢复为原样, +工作区文件(`.gitattributes`/`.gitignore`/`Generators.Shared/`/`MT.Generators.Shared.sln`)完好。 + +### 环境新坑:bash 沙箱对 `.git` 的视图**滞后** + +unsandboxed 侧(PowerShell / 被 escalate 的 clone)**创建**的目录,sandboxed 侧的 `ls`/`git` **看不到**; +反过来 sandboxed 侧看不到 ≠ 磁盘上没有。涉及 `.git` 下新建/删除文件时, +**一律用 PowerShell 做交叉验证**,不要只凭 bash 的 `ls`。 + +### 旁证:`66d24d2`(那次失败的 stash)仍在对象库里 + +`.git/objects/66/d24d278f42057…` mtime 17:25:13,即 `git stash push` 写入的 stash commit, +parent = `97735c30` + `809f6394`。可佐证 HEAD 曾在 `97735c30`。该对象未清理也不影响使用(dangling)。 diff --git a/.workbuddy/memory/MEMORY.md b/.workbuddy/memory/MEMORY.md index 6e71112..c025534 100644 --- a/.workbuddy/memory/MEMORY.md +++ b/.workbuddy/memory/MEMORY.md @@ -12,9 +12,57 @@ NuGet 本地源:`E:\GitRepositories\LocalNuget`(用户 NuGet.Config 里的 " 补充(2026-09-07):bash 沙箱还会吞掉 dotnet.exe 的 stdout(exit 0 但无任何输出);dotnet 命令优先用 PowerShell 工具执行(同样需补 APPDATA/PROGRAMDATA)。反编译用 `C:\Users\Marvel\.dotnet\tools\ilspycmd.exe`。 +补充(2026-09-10):PowerShell 工具偶尔完全无输出(连 `Write-Output` 都不回显),此时改用 bash + 文件重定向,稳定可用:`cd /e/GitRepositories/LightORM && export APPDATA="C:\Users\Marvel\AppData\Roaming" PROGRAMDATA="C:\ProgramData" && env "ProgramFiles=C:\Program Files" "ProgramFiles(x86)=C:\Program Files (x86)" dotnet test ... > out.txt 2>&1; echo "EXIT=$?"`,再用 `grep -a` 读(中文日志需 `-a`)。`--no-build` 前必须确保**目标项目自己**刚 build 过——共享项目 LightORMTest.dll 在各自 bin 下是独立副本,只 build 别的 provider 项目不会刷新它,`--no-build` 会跑到旧代码。 + +补充(2026-09-15):**bash 工具的 PATH 会丢失** —— 初始 PATH 缺 `/usr/bin`,`ls`/`grep`/`head`/`dirname` 全报 command not found,且 shell 状态在两次调用之间不保留。每条 bash 命令前都要加 `export PATH="/usr/bin:/bin:$PATH"`。另:**不要在此环境用 `git stash`** —— `git stash push` 在本仓库会失败并留下残缺的 `refs/stash`(`stash show/drop` 报 "not a stash-like commit"),且使其后 `git status`/`git log`/`git diff` 因 submodule `src/GenShared`(gitdir `.git/modules/src/GenShared` 缺失)报 `fatal: not a git repository`;清理残留引用用 `git update-ref -d refs/stash`。该 submodule 的本地完整副本在 `E:\GitRepositories\MT.Generators.Shared`。另外此环境对 `.git` 的可见性可疑 → **该判断已作废**。2026-09-15 17:45 用 PowerShell(独立于 bash 沙箱)`Test-Path` 复核,确认仓库是**真实损坏**,不是隔离视图。要点见 2026-09-15 日志:① 缺失 4 commit + 5 tree + 103 blob,**只影响 09-14/15 的近期本地提交**,历史分支(36 个 ref、2 个 pack `verify-pack` 通过)完好;② `refs/heads/master` 的 `3ef2783b` 在 GitHub 同名存在,`git fetch github` 可恢复;③ `.git/modules/src/GenShared` 是**被外部工具删到回收站**(17:24:52:xx),可还原;④ 回收站里**确实有** `.git\objects` 条目(被前一次的判断误否,见"恢复经验")。git 本身从不使用回收站(不用 Shell API)⇒ 删除来自外部 Git GUI,不是 git 命令。 +**排查经验**:判断"对象是否真缺失"必须用**第二个独立工具**(PowerShell `Test-Path`)交叉验证,别只信 bash 沙箱结论;回收站 `$I` 元数据可给出**精确到秒的删除时间与原始路径**(Python 在沙箱里读不到 `$RECYCLE.BIN`,PowerShell 可以)。**同一仓库同时开着 SourceTree / UGit / VS 的 Git 工具是高危操作,动 git 前先关掉它们。** + +补充(2026-09-15 18:20,**git 对象损坏已恢复**,方法可复用): +- **不要用回收站记录里的"名字"判断内容**:`$I` 里的原始路径在控制台会被截断(只显示到 `…\.git\objects\`),据此筛选会得出"回收站里没有 objects"的错误结论。**直接用内容判定**。 +- **内容级恢复法**(`%TEMP%\recover_git_objects.ps1`,PowerShell,因为沙箱禁止 Python 读 `$RECYCLE.BIN`):枚举 `$R*` 文件 → 按 zlib 头筛(`0x78`+`01/5E/9C/DA`)→ `DeflateStream` 跳 2 字节头解压 → 以 `blob `/`tree `/`commit ` 开头即为 git 对象 → 对**解压后内容**求 SHA-1 → 目标 `.git\objects\aa\bbbb…` 不存在则复制(**只增不改,天然安全**)。本次一次恢复 **382 个对象**(178 blob/163 tree/41 commit)。 +- **坏 ref 会阻断 `git fetch`**(`fatal: bad object ` + `did not send all necessary objects`)。处理:把坏 ref 文件**临时移出 `refs/`**(如移到 `.git/refs-disabled/`,可逆不删数据)再 fetch,取回后用 `git update-ref` 重建。 +- **本地丢失的 commit 可能躺在远端的非分支 ref 上**:`refs/heads/master` 的 `3ef2783b` 在 GitHub 同名分支;`refs/heads/测试用例` 的 `321adb36` 只在 **`refs/pull/42/head`**(PR 头)。取 PR 头:`git fetch github +refs/pull/42/head:refs/remotes/github/pr-42`。 +- **本环境 ssh 被沙箱策略拒绝**(`C:\Users\Marvel\.ssh\*` blocked),submodule 重克隆需让用户在本地终端执行或用本地副本 `E:\GitRepositories\MT.Generators.Shared`。 +- **bash 沙箱对 `.git` 的视图会滞后**:unsandboxed 侧(PowerShell / escalate 过的命令)新建的目录,sandboxed 侧 `ls`/`git` 看不到;反之 sandboxed 看不到 ≠ 磁盘上没有。涉及 `.git` 下新建/删除,一律用 PowerShell 交叉验证。 +- **submodule gitdir 重建步骤**(`.git/modules/src/GenShared` 被删时):`git submodule update --init` 会因工作区目录非空而失败(`destination path already exists and is not an empty directory`),需手动克隆到 gitdir,再 `git --git-dir= config core.worktree ../../../../src/GenShared`,最后 `git -C src/GenShared checkout `。 + +跑测试的命令:`dotnet test test/LightORMTest.Sqlite/LightORMTest.Sqlite.csproj --filter "FullyQualifiedName~Update|FullyQualifiedName~Json" -v n`;测试输出里会带 `SQL:` + `参数:` 调试块,定位生成 SQL 问题非常有效。SqlGenerate 目录下的用例只 `Console.WriteLine` 不连库,PostgreSQL 项目也能本地跑(`--logger "console;verbosity=detailed"` 才看得到 SQL)。 + ## 项目约定 - LightORM 多目标框架:net462;netstandard2.0;net8.0;net10.0;版本号集中管理在 `src/versions.props`。 - 源生成器:`LightOrmTableContextGenerator`(`[LightORMTableContext]`)+ `LightOrmExtensionGenerator`;使用生成器的项目必须 `enable`,否则生成代码级联报 CS0535/CS0738。 - `AddLightOrm` 扩展在 namespace `LightORM`(IoCExtensions.cs)。 - DatabaseUtils(WPF Blazor Hybrid)→ DatabaseUtils.Avalonia(net10.0 + MVVM Toolkit)迁移进行中:阶段一(基础设施)+ 阶段二(纯逻辑层)已完成,2026-09-06。剩余:阶段三 ViewModel、阶段四 View、阶段五回归。迁移映射与计划见 2026-09-06 日志。 + +## JSON 列与方言约定(2026-09-11) + +### 架构(方案 A:序列化下沉到方言 binder) +- 框架**不再预序列化** json 参数:`DbParameterValue` 携带**原始 CLR 值**,序列化与驱动类型化统一下沉到 `IDatabaseParameterBinder.BindParameter(parameter, column, value)`。 +- `src/LightORM/Utils/JsonParameterHelper.cs`:`Serialize(object?)`(走 `ExpressionSqlOptions.Instance.Value.GetJsonHandler()`)+ `IsCompositeJsonValue(Type|object)`(标量白名单 string/char/数值/Guid/DateTime/TimeSpan/byte[]/Uri/Version/object,其余视为复合)。 +- `CustomDatabaseAdapter` 实现 `IDatabaseParameterBinder` 并给出**默认 json 绑定**(json 列 → `Serialize` + `DbType.String`),所有方言(含第三方)继承即得。 +- `InsertBuilder` / `UpdateBuilder` / `BatchSqlInfoExtensions` 中的 json 预序列化已全部移除,json 列与普通列同路。 +- **缓存约束**:`Resolve` 的 cache key 只有 `(SqlAction, Hash, Depth)`、**不含值** → SQL 侧的"形状分支"必须由**表达式结构**(成员类型)决定,不能用运行时值。 + +### 各方言"按 JSON 解析文本参数"的写法(否则双重编码) +| 方言 | 路径更新值参数 | 备注 | +|---|---|---| +| PG / KingbaseES | `@p::JSONB`(binder 另声明 jsonb) | 恒等 cast | +| SQLite | `JSON(@p)` | `json_set` 对 TEXT 按字面量处理,必须包装 | +| SqlServer | 复合 `JSON_QUERY(@p)` / 标量传**原生值** | 无 `JSON()`;标量文本抛 Msg 13609;需生成期分流 | +| MySQL | `CAST(?p AS JSON)` | **5.7.44 实测 17/17 通过**;整列**必须** `col = ?p`(见下"NULL 陷阱") | +| **Dameng(DM8)** | `CAST(:p AS JSON)` | 实测对字符串/对象/数组/数字/布尔/null **一律正确**,无需分流;binder 用框架默认 | +| Oracle | 未处理 | 用户明确跳过(Oracle 库本身不支持 json 列) | + +### MySQL / MySQL 特有陷阱 +- **`JSON_SET` 首参为 NULL 时整体返回 NULL** → MySQL 下整列更新**不能**写成 `JSON_SET(col,'$',val)`:列一旦被 `SetNull`/`Set(col,null)` 置空,值就再也写不回去(静默丢失,不报错)。整列一律 `col = ?p`(JSON 文本写 JSON 列时 MySQL 自动解析)。 +- `SqlFn.JsonSet(路径, 值)` 的值在 MySQL 侧是**原始 CLR 值**(字符串 → JSON 字符串、数字 → JSON 数字),与 PG 需自行传 JSON 文本(`"\"NewName\""`)的约定不同,跨库用例按 `DbType` 分支。 +- MySQL `ON DUPLICATE KEY UPDATE` 受影响行数按"插入 1 / 更新 2"计 → 断言需 `DbType == MySql` 分支(`ExecutionTest.cs` 既有约定)。 +- 本机 MySQL 是 **5.7.44**:无 CTE(`WITH ... AS` 直接语法错误)、无窗口函数、CUBE/GROUPING SETS 抛 `NotSupportedException`(`MySqlTableOptions.Version` 默认 null → `over8=false`)。MySQL 全量 144/155,失败的 11 个全部由此而来,与 json 无关。 + +### 其他 +- **例外**:`SqlFn.JsonSet(path, value)` 走 `XxxMethodResolver.JsonSet`,值参数是**用户原始值、不序列化**(不经 HandleJsonColumn)→ 不能加 JSON 包装;PG 侧需用户自己传 JSON 文本(测试里手写 `"\"NewName\""`)。 +- json 列**整列**更新(`Set(j => j.Data, obj)` / `UpdateColumns`):各方言统一 `col = @p`,读回反序列化,对称。 +- **达梦**:列类型默认 `JSON`(原生,长度 >320000 走 CLOB);`JSONBackend.Binary` 在本机 DM8 **不可用**(`JSONB_VALUE` 不存在、`JSONB_SET` 拒绝 `'$.a'`),用默认 `Text`。 +- **达梦实例可用**:`localhost:5236`(LIGHTORM_TEST/LIGHTORM_TEST/DAMENG),`LightORMTest.Dameng` 可实跑;多测试类并发建连时 DM 会报 `6001 每个套接字地址只允许使用一次`(环境/连接数问题,非代码 bug),稍等重跑即恢复。 +- 定位 json 问题的高效手段:先写**方言语义探针**(Python `sqlite3` / `sqlcmd` / DmProvider `DmCommand`)验证各 JSON 函数对各类参数的行为,再改框架,比反复改 C# 跑测试快得多。 diff --git "a/doc/\347\211\210\346\234\254\346\227\245\345\277\227.md" "b/doc/\347\211\210\346\234\254\346\227\245\345\277\227.md" index 578a1f3..4a1994c 100644 --- "a/doc/\347\211\210\346\234\254\346\227\245\345\277\227.md" +++ "b/doc/\347\211\210\346\234\254\346\227\245\345\277\227.md" @@ -1,5 +1,51 @@ # 版本功能更新记录 +## v2026.09.11 +- 🛠 批量更新支持 json 列:`UpdateBuilder.CreateUpdateBatchSql` 不再排除 json 列(原为 `// TODO 批量更新对JSON列处理`)。批量场景下 json 列不存在路径表达式,值与普通列一致按 `col = CASE WHEN 主键 = @p THEN @val ... END` 整列赋值;此前 json 列被排除后,若实体只有主键 + json 列,还会生成 `SET` 子句为空的畸形 SQL +- 🛠 批量参数收集(`BatchSqlInfoExtensions.ToDictionaryParameters`)对 json 列先序列化为 JSON 文本,再以携带列元数据的 `DbParameterValue` 下发,由方言 `IDatabaseParameterBinder` 类型化(PG → `jsonb`),与单条 Insert/Update 的取值/序列化/绑定链路保持一致 +- 🐞 修复批量写入中 json 列被当作"静态值字面量"渲染:`AppendSimpleColumnValueExpression` 对 json 列不再走 `FormatStaticValue`(会抛 `NotSupportedException`),统一以参数下发 +- 🛠 `InsertProvider` / `UpdateProvider` 的 `ToSqlWithParameters` 批量调试输出按 json 列的实际绑定值(序列化后的 JSON 文本)显示,便于核对 +- ✅ `ExecutionTest` 新增 json 列批量用例(`ExecutionTest.JsonColumnCases.cs`):批量 Insert 多行读回、批量 Update 整列(`col = CASE WHEN ...`)、批量 Insert-Or-Update(`DO UPDATE SET col = EXCLUDED.col`) +- ✅ `SqlGenerate/InsertSql_Json` 新增 `InsertJsonModel_Batch`、`SqlGenerate/UpdateSql_Json` 新增 `UpdateJsonModel_Batch`,用于核对各方言批量写入 json 列生成的 SQL 与参数 +- 🐞 修复 SQLite json 路径更新的双重编码:SQLite 的 `json_set`/`jsonb_set` 对 TEXT 类型的值参数按"字符串字面量"处理、**不会解析 JSON**,而框架传入的是已序列化的 JSON 文本(`string` → `"string"`),于是值被写成 `"\"string\""`,读回多一层引号(PG 侧因 `@p::JSONB` 显式解析而无此问题)。`CustomSqliteAdapter.HandleJsonColumn` 的更新分支现生成 `JSON_SET(col, '$.path', JSON(@p))`,用 `JSON()` 显式解析为 JSON 值,与 PG 的 `@p::JSONB` 语义对齐 +- ✅ `ExecutionTest` 新增 `JsonColumn_ScalarAndIndexPath_Set_Update`:路径 Set 的值类型覆盖(数字标量 `j.Data.Value`、数组索引路径 `j.Arr[1].Name`)往返验证 +- 🛠 **json 列参数处理重构**:框架不再对 json 列参数预先序列化 —— `DbParameterValue` 携带**原始 CLR 值**,序列化与驱动类型化统一下沉到方言的 `IDatabaseParameterBinder`。新增 `JsonParameterHelper`(序列化 + 复合值判定)供各方言复用 +- 🛠 `CustomDatabaseAdapter` 实现 `IDatabaseParameterBinder` 并提供默认 json 绑定(序列化为 JSON 文本 + `DbType.String`),所有方言(含第三方自定义适配器)继承即获得一致的 json 参数能力;`InsertBuilder` / `UpdateBuilder` / 批量参数收集中的 json 预序列化一并移除,json 列与普通列走同一条参数路径 +- 🛠 PostgreSQL / KingbaseES 的 `BindParameter` 改为在绑定阶段自行序列化并声明 `jsonb`,不再依赖"框架已把值序列化成 string"这一前提 +- 🐞 修复 SqlServer json 路径更新对**复合值**(对象/数组)的双重编码:`JSON_MODIFY` 的第三参数按路径末端成员类型分派 —— 复合值以 `JSON_QUERY(@p)` 包装,标量则传原生 CLR 值;整列引用改走 `col = @p`,不再生成非法的 `JSON_MODIFY(col,'$',@p)` 路径 +- 🛠 MySQL 的 `JSON_SET` 第三参数补 `CAST(@p AS JSON)`,与 PG 的 `@p::JSONB`、SQLite 的 `JSON(@p)` 语义对齐(MySQL/Oracle 无实库,未验证) +- ✅ `ExecutionTest` 新增 `JsonColumn_CompositePath_Set_Update`(路径 Set 写入复合对象);SqlServer 经本机 LocalDB 实跑,json 列用例由此前的 3 失败转为全部通过 +- 🐞 修复达梦(DM8)json 路径更新的双重编码:达梦 `JSON_SET(col, path, value)` 按第三参数的 **SQL 类型**决定 JSON 值 —— varchar 原样作为 JSON 字符串(不解析)、number 作为 JSON 数字,而框架下发的是序列化后的 JSON 文本(`string` → `"string"`),于是写入 `"\"string\""`、读回多一层引号(与 SQLite 同源)。`CustomDamengAdapter.HandleJsonColumn` 的更新分支现生成 `JSON_SET(col, '$.path', CAST(:p AS JSON))` +- 🛠 达梦 `CustomDamengAdapter` 移除自定义 `BindParameter`,改用 `CustomDatabaseAdapter` 的默认 json 绑定(统一序列化 + `DbType.String`)。达梦的 `CAST(:p AS JSON)` 对**字符串/对象/数组/数字/布尔/null 一律正确**,无需像 SqlServer 那样按标量/复合分流,因此绑定链路保持与框架默认一致 +- ✅ 达梦 json 列用例经**本机 DM8 实例实跑 32/32 通过**(16 用例 × 2 测试类,覆盖路径 Set 的字符串/复合对象/数组索引、整列 Set、`UpdateColumns`、批量、`SqlFn.JsonSet` 等) +- ✅ 补齐达梦 SQL 生成用例 `SqlGenerate/InsertSql_Json`、`SqlGenerate/UpdateSql_Json`(与 PG / SqlServer 对齐,7 用例全通过) +- 📌 达梦 `JSONBackend.Binary` 在本机 DM8 实例上不可用(`JSONB_VALUE` 函数不存在、`JSONB_SET` 拒绝 `'$.a'` 形式路径),json 列请使用默认的 `JSONBackend.Text` +- 🐞 修复 MySQL json 列**整列更新在列原值为 NULL 时静默丢失**:MySQL 的 JSON 函数在首参为 NULL 时整体返回 NULL,而整列引用此前被生成为 `JSON_SET(col,'$',val)`,导致该列一旦被 `SetNull` / `Set(col, null)` 置空后就再也写不回去(实测确认)。`CustomMySqlAdapter.HandleJsonColumn` 现对无索引、无路径成员的整列引用改为列直接赋值 `col = ?p`(参数已是 JSON 文本,写入 JSON 列时 MySQL 自动解析),与 Sqlite / SqlServer / Dameng / PG 的整列分支保持一致 +- ✅ `ExecutionTest` 新增 `JsonColumn_WholeColumn_Update_FromNull`:先 `SetNull` 再整列写回,用于约束"整列赋值不得用路径函数实现",已在 MySQL / Sqlite / SqlServer 实跑通过 +- ✅ **MySQL json 列用例经本机 MySQL 5.7.44 实例实跑 17/17 通过**(此前 MySQL 无实库,仅做过 SQL 生成校验):路径更新 `JSON_SET(col, '$.path', CAST(?p AS JSON))`(`CAST` 与 PG `@p::JSONB`、SQLite 的 `JSON(@p)` 语义对齐)与整列更新 `col = ?p` 均已实测正确 +- 📌 MySQL 侧 `SqlFn.JsonSet(路径, 值)` 的值参数按**原始 CLR 值**语义处理(字符串 → JSON 字符串、数字 → JSON 数字),与 PostgreSQL 需自行传 JSON 文本(`"\"NewName\""`)的约定不同,跨库用例需按 `DbType` 分支 +- 🛠 MySQL 的 `ON DUPLICATE KEY UPDATE` 受影响行数按"插入 1 / 更新 2"计,`JsonColumn_BatchInsertOrUpdate_WholeColumns` 补上 `DbType == MySql` 分支断言(4),与 `ExecutionTest` 中既有 upsert 用例约定一致 +- 🛠 修正 `test/LightORMTest/TestBase.cs` 的 `DisplayParameter`:参数对象含 `Column.TableType` 等 `System.Type` 成员,直接 `JsonSerializer.Serialize` 会抛 `NotSupportedException` 并**覆盖原始 SQL 异常**导致排错看不到真正报错,现兜底返回提示文本 +- 📌 MySQL 本机实例为 **5.7.44**(无 CTE、无窗口函数、不支持 CUBE 与 GROUPING SETS)。MySQL 全量用例 144/155 通过,11 个失败均为该版本能力缺失(CTE 语法 / CUBE / GROUPING SETS)或既有 SqlGenerate 表达式用例问题,与 json 列无关 + +## v2026.09.10 +- 🐞 修复 json 列整列更新的表达式解析:Update 场景下对无索引、无成员路径的 json 列引用(如 `Set(j => j.Data, obj)`)也交由方言 `HandleJsonColumn` 生成整列赋值表达式,此前会退化成裸列名使 UPDATE 缺少 `= @p` +- 🐞 修复 `SqlFn.JsonSet` 的列实参被误当作整列更新:解析期间对 `JsonQuery`/`JsonSet` 置位 `specificHandleJson`,保持列实参为裸列名由方言自行拼装 `col = JSONB_SET(col, ...)` +- 🐞 修复 PostgreSQL `HandleJsonColumn` 整列分支缺少参数前缀,生成 `"DATA"::JSONB` 而非 `"DATA" = @Data::JSONB` +- 🛠 `UpdateColumns(Expression>)` 改为携带 `UpdateColumnsFlags` 标记:它只声明"要更新哪些列",值取自更新实体,因此 json 列也按普通列生成 `col = @p`(参数由方言绑定并类型化),不再走整列 JSON 赋值封装。修复了单列时的参数缺失(执行报 `Insufficient parameters supplied`),以及多列时多段赋值被合并、重复赋同一列的问题 +- ✅ `ExecutionTest` 新增 json 列用例(`ExecutionTest.JsonColumnCases.cs`,表 `JSON_EXEC_TEST`):json 值/字符串与数组索引 Where、整列与深层投影、`SqlFn.JsonSet` 更新、嵌套路径 Set、整列 Set 替换、`UpdateColumns` 单列与多列、`SetNull` 与 `Set(col, null)` 置 NULL +- ✅ `SqlGenerate/UpdateSql_Json` 新增 `UpdateColumnsJsonField` / `UpdateColumnsMultiJsonField`,用于核对各方言 `UpdateColumns` 指定 json 列生成的 SQL + +## v2026.09.09 +- 🛠 JSON 列参数处理重构:参数由 `Dictionary` 改为携带列元数据的 `DbParameterValue(ITableColumnInfo?, object?)`,从 `SqlBuilder` 的参数字典一路贯通到绑定 +- ⚡️ 参数类型化下沉到数据库方言:新增可选能力接口 `IDatabaseParameterBinder`,PostgreSQL / KingbaseES 借此在参数绑定阶段把 JSON 参数类型化为 `jsonb`,移除了原先在 SQL 上拼 `::json/::jsonb` 的权宜写法 +- 🛠 统一参数创建与入集合路径(`CreateParameterValue` 只建参、`AddParameterOnce` 判重入集合),修复参数重复添加的问题 +- 🛠 按 ISP(接口隔离) 将 `IDatabaseAdapter` 的少数派方言特化剥离为可选能力接口,由真正具备该能力的 Provider 声明实现,移除基类的空桩/`throw NotSupported`: + - ⚡️ `IDbCommandInitializer`:命令初始化特化(Oracle 的 `BindByName`/`InitialLONGFetchSize` 等) + - ⚡️ `IReturnIdentity`:自增主键回读(SqlServer/Sqlite/Dameng/MySql),不支持的方言在探测失败时给出明确的"不支持"提示 +- 🛠 废弃 `IDatabaseAdapter.HandleJsonParameter`(及 `ActionType`/`JsonColumnParameterContext`),保留仅为不破坏第三方自定义适配器 +- 🐞 修复 PostgreSQL/KingbaseES 写入 `DateTime`(Kind=Local) 报 "Cannot write DateTime with Kind=Local to PostgreSQL type 'timestamp with time zone'": 原因是不带列信息的参数经 `DbType.DateTime` 兜底绑定后被驱动固化推断为 `timestamp with time zone`, 而该类型只接受 UTC。PostgreSQL/KingbaseES 的 `IDatabaseParameterBinder` 现按 Kind 感知接管 `DateTime` 绑定: `Utc` → 带时区 `timestamptz`, `Local`/`Unspecified` → 无时区 `timestamp`(与框架自建列映射一致), 避免固定为无时区后对 `Kind=Utc` 值触发反向抛错 + ## v2026.09.07 - ⚡️Oracle的`InitialLONGFetchSize`改为手动设置 From b5d455b0107e14102104af33a5581ed39efac14b Mon Sep 17 00:00:00 2001 From: MarvelTiter_yaoqinglin Date: Thu, 17 Sep 2026 11:07:45 +0800 Subject: [PATCH 20/35] =?UTF-8?q?feat:=20json=20=E8=AF=BB=E5=8F=96?= =?UTF-8?q?=E8=B7=AF=E5=BE=84=E6=8C=89=E6=9C=AB=E7=BA=A7=E6=88=90=E5=91=98?= =?UTF-8?q?=E5=BD=A2=E7=8A=B6=E5=88=86=E6=B5=81?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Oracle / SqlServer 的 JSON_VALUE 只返回标量, 取 json 路径下的对象/数组返回 NULL (投影一个嵌套对象会读回空对象 / null)。新增 JsonParameterHelper.IsCompositeJsonLeaf, 在生成期按表达式结构与列元数据判定末级是否为复合文档, 是则改用 JSON_QUERY 取 JSON 文档文本交由读取侧反序列化; 末级为标量仍用 JSON_VALUE。 判定只看结构不看运行时值, 与表达式缓存兼容; 无法判定的索引路径按标量处理, 保持 既有语义。Oracle 21c XE 与 SQLite 实库用例通过。 --- src/LightORM/Utils/JsonParameterHelper.cs | 55 +++++++++++++++++++ .../CustomOracleAdapter.cs | 6 +- .../CustomSqlServerAdapter.cs | 5 +- 3 files changed, 64 insertions(+), 2 deletions(-) diff --git a/src/LightORM/Utils/JsonParameterHelper.cs b/src/LightORM/Utils/JsonParameterHelper.cs index 7fba9ed..251b06f 100644 --- a/src/LightORM/Utils/JsonParameterHelper.cs +++ b/src/LightORM/Utils/JsonParameterHelper.cs @@ -1,3 +1,5 @@ +using System.Reflection; + namespace LightORM.Utils; /// @@ -41,4 +43,57 @@ public static bool IsCompositeJsonValue(Type type) /// public static bool IsCompositeJsonValue(object? value) => value is not null && IsCompositeJsonValue(value.GetType()); + + /// + /// 判断 json 列的路径引用末端指向的是否为复合文档(对象/数组)。 + /// + /// 与 的区别: 这里针对的是"列 + 路径"(如 + /// j.Data.NestJson / j.Arr[1])的取值, 供方言在生成期决定读取路径用哪个函数—— + /// SqlServer / Oracle 的 JSON_VALUE 只返回标量, 遇对象/数组返回 NULL, 必须改用 + /// JSON_QUERY 取 JSON 文档文本, 再由读取侧反序列化。 + /// + /// + /// 只用生成期信息(表达式结构 + 列元数据), 不看运行时值, 与表达式缓存兼容。 + /// 无法判定时(路径以索引结束且锚点不是数组/集合, 如 Obj["City"])按标量处理, 保持既有语义。 + /// + /// + public static bool IsCompositeJsonLeaf(JsonColumnContext context) + { + // Stack 的枚举顺序即 Pop 顺序(自栈顶向下), 最后一个元素既是最先被弹出、 + // 也是列名后 json 路径中最靠内的一级 —— 即"末级"。 + MemberPathInfo leaf = default; + var hasLeaf = false; + foreach (var mi in context.Members) + { + leaf = mi; + hasLeaf = true; + } + if (!hasLeaf) return false; + + var type = leaf.Member switch + { + PropertyInfo p => p.PropertyType, + FieldInfo f => f.FieldType, + // 路径以索引结束(如 Arr[1] / Lst[0])时, 末级没有成员信息, 锚点就是 json 列本身 + _ => context.Column.ColumnType + }; + if (type is null) return false; + // 有索引则取元素类型: 数组/List 可判定, JsonNode 之类的索引器语义无法判定 → 按标量 + if (leaf.IndexValue.HasValue) type = GetElementType(type); + return type is not null && IsCompositeJsonValue(type); + } + + /// + /// 取数组 / 单泛型参数集合(List<T> / IList<T> 等)的元素类型; 无法判定返回 null。 + /// + private static Type? GetElementType(Type type) + { + if (type.IsArray) return type.GetElementType(); + if (type.IsGenericType) + { + var args = type.GetGenericArguments(); + if (args.Length == 1) return args[0]; + } + return null; + } } diff --git a/src/Providers/LightORM.Providers.Oracle/CustomOracleAdapter.cs b/src/Providers/LightORM.Providers.Oracle/CustomOracleAdapter.cs index da94e2b..5b1e3f7 100644 --- a/src/Providers/LightORM.Providers.Oracle/CustomOracleAdapter.cs +++ b/src/Providers/LightORM.Providers.Oracle/CustomOracleAdapter.cs @@ -128,7 +128,11 @@ public override void HandleJsonColumn(JsonColumnContext context) } else { - context.Sql.Append("JSON_VALUE"); + // 读取路径: 末级为复合文档(对象/数组)时必须用 JSON_QUERY —— JSON_VALUE 只返回标量, + // 遇对象/数组返回 NULL(投影一个嵌套对象会读回空对象); JSON_QUERY 返回 JSON 文档文本, + // 由读取侧反序列化。末级为标量仍用 JSON_VALUE(返回去引号后的标量文本)。 + // 判定只用生成期信息(表达式结构/列类型), 与表达式缓存兼容。 + context.Sql.Append(JsonParameterHelper.IsCompositeJsonLeaf(context) ? "JSON_QUERY" : "JSON_VALUE"); context.Sql.Append('('); if (context.Options.RequiredTableAlias) { diff --git a/src/Providers/LightORM.Providers.SqlServer/CustomSqlServerAdapter.cs b/src/Providers/LightORM.Providers.SqlServer/CustomSqlServerAdapter.cs index c7791db..9f60854 100644 --- a/src/Providers/LightORM.Providers.SqlServer/CustomSqlServerAdapter.cs +++ b/src/Providers/LightORM.Providers.SqlServer/CustomSqlServerAdapter.cs @@ -118,7 +118,10 @@ public override void HandleJsonColumn(JsonColumnContext context) } else { - context.Sql.Append("JSON_VALUE"); + // 读取路径: 末级为复合文档(对象/数组)时必须用 JSON_QUERY —— JSON_VALUE 只返回标量, + // 遇对象/数组返回 NULL(投影一个嵌套对象会读回 null); JSON_QUERY 返回 JSON 文档文本, + // 由读取侧反序列化。末级为标量仍用 JSON_VALUE。判定只用生成期信息, 与表达式缓存兼容。 + context.Sql.Append(JsonParameterHelper.IsCompositeJsonLeaf(context) ? "JSON_QUERY" : "JSON_VALUE"); } context.Sql.Append('('); if (context.Options.RequiredTableAlias) From e19cc1d9268c945e9c7db181193f72576ca5c268 Mon Sep 17 00:00:00 2001 From: MarvelTiter_yaoqinglin Date: Thu, 17 Sep 2026 11:07:58 +0800 Subject: [PATCH 21/35] =?UTF-8?q?fix:=20json=20=E7=B1=BB=E5=9E=8B=E4=BD=9C?= =?UTF-8?q?=E4=B8=BA=E6=8A=95=E5=BD=B1=E7=9B=AE=E6=A0=87=E6=97=B6=E6=8C=89?= =?UTF-8?q?=E7=AC=AC=200=20=E5=88=97=E5=8F=8D=E5=BA=8F=E5=88=97=E5=8C=96?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 投影到 json 列类型本身(如 ToListAsync(j => j.Data.NestJson), 目标类型即 JsonData)时, 该查询只 SELECT 一列, 但非匿名目标类型会走 CreateCustomEntity 的"按列名匹配"逻辑, 为 JsonData 找不到对应列, reader 退化成 new JsonData() 空对象(匿名投影因走 CreateAnonymous 命中 ContainsJsonType 分支而正常)。 改为在 CreateCustomEntity 开头判定目标类型是否 json 列类型(ContainsJsonType), 是则 读第 0 列并按目标类型反序列化。ContainsJsonType 查的是 JsonMaps(只注册 [LightJsonMap] 的列类型), 实体类型不在其中, 故不影响普通实体映射。顺带修正 CreateCustomEntiry 拼写。 --- src/LightORM/SqlExecutor/ExpressionBuilder.cs | 13 ++++++++++--- 1 file changed, 10 insertions(+), 3 deletions(-) diff --git a/src/LightORM/SqlExecutor/ExpressionBuilder.cs b/src/LightORM/SqlExecutor/ExpressionBuilder.cs index 1d08169..8c47f2c 100644 --- a/src/LightORM/SqlExecutor/ExpressionBuilder.cs +++ b/src/LightORM/SqlExecutor/ExpressionBuilder.cs @@ -136,7 +136,7 @@ private static Func BuildFunc< // 其他 else { - Body = TargetType.IsAnonymous() ? CreateAnonymous(TargetType) : CreateCustomEntiry(TargetType); + Body = TargetType.IsAnonymous() ? CreateAnonymous(TargetType) : CreateCustomEntity(TargetType); #if NET8_0_OR_GREATER [UnconditionalSuppressMessage("Trimming", "IL2072", Justification = "嵌套的类型,必须是实体表。否则可能出现被裁剪的情况")] #endif @@ -168,7 +168,7 @@ Expression CreateAnonymous( } else { - TargetValueExpression = CreateCustomEntiry(targetMember.PropertyType); + TargetValueExpression = CreateCustomEntity(targetMember.PropertyType); } } else if (ContainsJsonType(targetMember.PropertyType)) @@ -190,12 +190,19 @@ Expression CreateAnonymous( return Expression.New(ctor, Expressions); } - Expression CreateCustomEntiry( + Expression CreateCustomEntity( #if NET8_0_OR_GREATER [DynamicallyAccessedMembers(DynamicallyAccessedMemberTypes.PublicProperties | DynamicallyAccessedMemberTypes.PublicConstructors)] #endif Type targetType) { + + if (ContainsJsonType(targetType)) + { + var jsonColumn = GetTargetJsonExpression(reader, Culture, recordInstanceExp, SchemaTable, 0, targetType); + return jsonColumn; + } + var columns = TableContext.GetTableInfo(targetType).Columns; // 属性处理 Property List Bindings = []; From f64f022b25ad9e815d4d0d0d2f6e59ec6afa9436 Mon Sep 17 00:00:00 2001 From: MarvelTiter_yaoqinglin Date: Thu, 17 Sep 2026 11:08:16 +0800 Subject: [PATCH 22/35] =?UTF-8?q?test:=20=E8=A1=A5=E5=85=85=20json=20?= =?UTF-8?q?=E5=A4=8D=E5=90=88=E6=9C=AB=E7=BA=A7=E6=8A=95=E5=BD=B1=E7=94=A8?= =?UTF-8?q?=E4=BE=8B=E4=B8=8E=20SQL=20=E6=8E=A2=E9=92=88?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit JsonColumn_CompositeMember_Projection 同时覆盖匿名投影(new { N = j.Data.NestJson }) 与非匿名目标类型(j.Data.NestJson)两种形状, 末级分别为嵌套对象 / 数组元素 / List 元素, 用于验证 Oracle / SqlServer 在复合末级下走 JSON_QUERY。SelectSql_Json 新增只打印不连库 的 SQL 探针; Oracle 测试配置关闭 UseUnicodeString。 --- .../ResultTest/ExecutionTest.cs | 9 +++- .../ExecutionTest.JsonColumnCases.cs | 45 +++++++++++++++++++ .../SqlGenerate/SelectSql_Json.cs | 30 +++++++++++++ 3 files changed, 83 insertions(+), 1 deletion(-) diff --git a/test/LightORMTest.Oracle/ResultTest/ExecutionTest.cs b/test/LightORMTest.Oracle/ResultTest/ExecutionTest.cs index 178b749..9169bdc 100644 --- a/test/LightORMTest.Oracle/ResultTest/ExecutionTest.cs +++ b/test/LightORMTest.Oracle/ResultTest/ExecutionTest.cs @@ -7,7 +7,14 @@ public class ExecutionTest : LightORMTest.ResultTest.ExecutionTest protected override void Configura(IExpressionContextSetup option) { - option.UseOracle(ConnectString.Value); + option.UseOracle(static option => + { + option.MasterConnectionString = ConnectString.Value; + option.ConfigureOracle(o => + { + o.UseUnicodeString = false; + }); + }); option.UseInterceptor(); } } diff --git a/test/LightORMTest/ResultTest/ExecutionTest.JsonColumnCases.cs b/test/LightORMTest/ResultTest/ExecutionTest.JsonColumnCases.cs index dffb390..654e55f 100644 --- a/test/LightORMTest/ResultTest/ExecutionTest.JsonColumnCases.cs +++ b/test/LightORMTest/ResultTest/ExecutionTest.JsonColumnCases.cs @@ -534,4 +534,49 @@ await Db.Insert([CreateJsonExecModel(220), CreateJsonExecModel(221)]) Assert.AreEqual("Upsert221", list.Single(j => j.Id == 221).Data!.Name); Assert.AreEqual("UpsertNode221", list.Single(j => j.Id == 221).Obj["Name"]!.GetValue()); } + + /// + /// 读取路径的复合末级成员:投影嵌套对象(Data.NestJson)与数组/List 元素(Arr[1] / Lst[0])。 + /// 本组用例此前所有 json 成员引用的末级都是标量(Name/Value),从不把对象/数组本身作为末级取, + /// 因此无法暴露"方言按 JSON 路径取非标量"这一类问题:Oracle / SqlServer 的读取分支都用裸 + /// JSON_VALUE(只返回标量,遇对象/数组得 NULL),PG 则是末级 ->> + cast。 + /// + [TestMethod] + public async Task JsonColumn_CompositeMember_Projection() + { + // 末级为嵌套对象 + var nests = await Db.Select() + .Where(j => j.Id == 100) + .ToListAsync(j => new { j.Id, N = j.Data!.NestJson }, TestContext.CancellationToken); + Assert.HasCount(1, nests); + Assert.IsNotNull(nests[0].N); + Assert.AreEqual("Nest Object100", nests[0].N!.Name); + Assert.AreEqual(150, nests[0].N!.Value); + + var nests2 = await Db.Select() + .Where(j => j.Id == 100) + .ToListAsync(j => j.Data!.NestJson , TestContext.CancellationToken); + Assert.HasCount(1, nests2); + Assert.IsNotNull(nests2[0]); + Assert.AreEqual("Nest Object100", nests2[0]!.Name); + Assert.AreEqual(150, nests2[0]!.Value); + + // 末级为数组元素(对象) + var items = await Db.Select() + .Where(j => j.Id == 100) + .ToListAsync(j => new { j.Id, I = j.Arr![1] }, TestContext.CancellationToken); + Assert.HasCount(1, items); + Assert.IsNotNull(items[0].I); + Assert.AreEqual("Second100", items[0].I!.Name); + Assert.AreEqual(160, items[0].I.Value); + + // 末级为 List 元素(对象) + var lst = await Db.Select() + .Where(j => j.Id == 100) + .ToListAsync(j => new { j.Id, L = j.Lst![0] }, TestContext.CancellationToken); + Assert.HasCount(1, lst); + Assert.IsNotNull(lst[0].L); + Assert.AreEqual("List100", lst[0].L!.Name); + Assert.AreEqual(170, lst[0].L.Value); + } } diff --git a/test/LightORMTest/SqlGenerate/SelectSql_Json.cs b/test/LightORMTest/SqlGenerate/SelectSql_Json.cs index a069665..a37e768 100644 --- a/test/LightORMTest/SqlGenerate/SelectSql_Json.cs +++ b/test/LightORMTest/SqlGenerate/SelectSql_Json.cs @@ -78,4 +78,34 @@ public void TestJsonElementIndexer() .ToSqlWithParameters(); Console.WriteLine(sql); } + + /// + /// 读取路径复合末级成员的取值表达式探针(仅打印 SQL, 不连库): + /// 末级为对象(Data.NestJson) / 数组元素(Arr[1]) / List 元素(Lst[0]) 时, 各方言应生成 + /// "按 JSON 解析取文档"的表达式(JSON_QUERY / ->) 而非只返回标量的 JSON_VALUE。 + /// 对照用例末尾的 Obj["City"]["Name"](索引路径, 末级仍是标量) 必须保持标量取值语义。 + /// + [TestMethod] + public void TestJsonCompositeLeafMemberRead() + { + var nested = Db.Select() + .Where(j => j.Id == 100) + .ToSql(j => new { j.Id, N = j.Data!.NestJson }); + Console.WriteLine($"复合末级-对象: {nested}"); + + var arrayItem = Db.Select() + .Where(j => j.Id == 100) + .ToSql(j => new { j.Id, I = j.Arr![1] }); + Console.WriteLine($"复合末级-数组元素: {arrayItem}"); + + var listItem = Db.Select() + .Where(j => j.Id == 100) + .ToSql(j => new { j.Id, L = j.Lst![0] }); + Console.WriteLine($"复合末级-List元素: {listItem}"); + + var scalarInObj = Db.Select() + .Where(j => j.Obj["City"]!["Name"]!.GetValue() == "x") + .ToSqlWithParameters(); + Console.WriteLine($"对照-索引路径标量: {scalarInObj}"); + } } From 0960de906b564068db27e87f33d50bb44f951021 Mon Sep 17 00:00:00 2001 From: MarvelTiter_yaoqinglin Date: Thu, 17 Sep 2026 11:08:27 +0800 Subject: [PATCH 23/35] =?UTF-8?q?docs:=20=E6=9B=B4=E6=96=B0=E5=B7=A5?= =?UTF-8?q?=E4=BD=9C=E8=AE=B0=E5=BF=86(json=20=E5=A4=8D=E5=90=88=E6=9C=AB?= =?UTF-8?q?=E7=BA=A7=E8=AF=BB=E5=8F=96=E4=B8=8E=E6=8A=95=E5=BD=B1=E5=BD=A2?= =?UTF-8?q?=E7=8A=B6)?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 记录 Oracle 读取路径按末级形状分流 JSON_VALUE / JSON_QUERY、投影形状(匿名与非匿名 目标类型均支持)两条结论, 以及各方言复合末级 SQL 的实测矩阵与未验证项。 --- .workbuddy/memory/2026-09-17.md | 122 ++++++++++++++++++++++++++++++++ .workbuddy/memory/MEMORY.md | 25 ++++++- 2 files changed, 146 insertions(+), 1 deletion(-) create mode 100644 .workbuddy/memory/2026-09-17.md diff --git a/.workbuddy/memory/2026-09-17.md b/.workbuddy/memory/2026-09-17.md new file mode 100644 index 0000000..7d0e301 --- /dev/null +++ b/.workbuddy/memory/2026-09-17.md @@ -0,0 +1,122 @@ +# 2026-09-17 + +## Oracle json 实库验证通过 + +用户在 **Oracle 21c XE**(`localhost:1521/XE`)上跑通了 Oracle 实库测试。 + +这解掉了 09-15 遗留的最后一个悬置项:当时补齐 Oracle 三处 json 缺口(整列 `"JSON_DATA" = :Json` 分支、 +路径更新 `JSON(:p)` 包装、`IDatabaseParameterBinder` 覆写并绑 `OracleDbType.Clob`)后, +因**无实库**,绑定/执行侧未实测。现确认在 21c XE 上成立。 + +⇒ 结论:`JSON_TRANSFORM` 路径更新 + `JSON(:p)` 文本解析 + CLOB 绑定这一组合在 21c 实库可用; +"Oracle 不支持 json 列"的说法仅对 ≤19c 成立(缺原生 `JSON` 类型与 `JSON_TRANSFORM`)。 + +仍然存在(未改):Oracle **读取路径**用 `JSON_VALUE`,取对象/数组返回 NULL、长文本受 +`RETURNING VARCHAR2(4000)` 截断。 + +## 更正:上一段的"对齐 PG"说法有误 + +用户指出 **PG 不用 `JSON_VALUE` / `JSON_QUERY`**,核对代码后确认: + +| 方言 | 读取路径实际写法 | 位置 | +|---|---|---| +| PG | 中间层 `->`(返回 json)/ **末级 `->>`(返回 text)** + 显式 `::<目标类型>` cast | `CustomPostgreSQL.cs:141-222` | +| Oracle | 无条件 `JSON_VALUE(col,'$.path')`,无 `JSON_QUERY` 分支 | `CustomOracleAdapter.cs:131`、`OracleMethodResolver.cs:204` | +| SqlServer | 读取走 `JSON_VALUE`(`CustomSqlServerAdapter.cs:121`) | — | + +**`JSON_VALUE` / `JSON_QUERY` 是 Oracle 自己的函数对,不是 PG 的。** 框架里真正"按标量/复合分流"的地方是 +**写路径**:SqlServer 复合值 `JSON_QUERY(@p)` 包装 / 标量传原生值(`CustomSqlServerAdapter.cs:84-172`), +Oracle 写路径同理(`JSON(:p)`)。PG 不需要这个分流,因为它末级一律 `->>` 取文本再 cast。 + +⇒ 修正后的说法:Oracle 读取路径可考虑**自身**引入 `JSON_QUERY`(21c 同样提供)做「标量 `JSON_VALUE` / +复合 `JSON_QUERY`」分流,并给 `JSON_VALUE` 加 `RETURNING CLOB` 解决截断;这与 PG 的实现无关,PG 只是 +"末级取文本 + cast"这一思路的参照。 + +## 「Oracle 要不要做标量/复合分流」——分写/读两条路看 + +`HandleJsonColumn` 是**读、写共用**的入口(唯一调用点 `ExpressionResolver.cs:541`),按 `Options.SqlType` 分流: + +| 路径 | Oracle | SqlServer | 结论 | +|---|---|---|---| +| **写**(Update + 路径/整列) | `JSON(:p)` 统一解析,**无形状分流** | 复合 `JSON_QUERY(@p)` / 标量传原生值(`JSON_MODIFY` 的要求) | **Oracle 不需要分流**,21c XE 实测通过即证明 | +| **读**(Select/Where 成员访问) | 裸 `JSON_VALUE(col,'$.path')` | 裸 `JSON_VALUE` | 两边都一样,**都没有分流** | + +**关键判断**:Oracle 测试通过**不能**证明复合读取可用 —— 现有用例里 json 成员引用的**末级 100% 是标量** +(`SelectSql_Json.cs` 全是 `j.Json.NestJson.Name == "test"`、`j.JsonList[0].NestList[1].NestJson.NestList[2].Name`), +没有一例把**对象/数组本身**当末级取。裸引用整列(`select j.Json`)走 `Members.Count==0` 分支 → 生成裸列名、 +客户端反序列化,所以整列读也是好的。 + +⇒ 写路径:**不需要分流**,保持不动。 +⇒ 读路径:**待验证的潜在缺口**,非"已通过"。触发条件是 `select/where` 里取**复合末级成员** +(如 `j.Json.NestJson`),Oracle/SqlServer 的 `JSON_VALUE` 对非标量返回 NULL。 +验证方式:加一条取复合成员的用例实跑,而不是靠现有全绿推断。 + +## 验证与修复:读取路径的复合末级成员 + +### 一、先落用例,实跑复现(Oracle 21c XE) + +新增 `ExecutionTest.JsonColumn_CompositeMember_Projection`。**第一版写错了形状**:直接 +`ToListAsync(j => j.Data!.NestJson)`(目标类型就是 `JsonData`)会走 `CreateCustomEntiry`, +按"列名匹配"给 JsonData 找列 → reader 生成为 `new JsonData() {}`(空对象), +SQLite/Oracle 都失败。**框架支持的形状是匿名投影**(`new { N = j.Data.NestJson }`): +`BuildFunc` 对匿名类型走 `CreateAnonymous`,成员类型命中 `ContainsJsonType`(json 列类型在建列时 +经 `ColumnInfo.AddJsonTypeMap` 注册)后走 `GetTargetJsonExpression` → `RecordFieldStringDeserializer`。 + +用匿名投影复跑,Oracle 的 SQL 是 `JSON_VALUE(a0."DATA",'$.NestJson')` → 读回空 `JsonData` +(`JSON_VALUE` 对非标量返回 NULL)⇒ **缺口确认**。 + +### 二、修复(生成期按表达式结构分流) + +新增 `JsonParameterHelper.IsCompositeJsonLeaf(JsonColumnContext)`,Oracle / SqlServer 的**读取分支** +据此在 `JSON_VALUE` / `JSON_QUERY` 之间选(写路径不动:Oracle 的 `JSON(:p)` 与 SqlServer 的 +`JSON_MODIFY` 分流各自保留)。 + +判定口径(关键):`JsonColumnContext.Members` 是 `Stack`,**枚举顺序 == Pop 顺序**, +最后一个元素 = json 路径最内层(末级);末级 `Member == null`(纯索引路径 `Arr[1]`/`Lst[0]`)时 +退回 `Column.ColumnType` 再取元素类型;`JsonNode/JsonObject` 之类索引器语义不可判定 → 按标量(保守,不变更既有语义)。 + +### 三、结果 + +| 方言 | 复合末级生成 SQL | 实测 | +|---|---|---| +| Oracle | `JSON_QUERY(a0."DATA",'$.NestJson')`(`ARR/LST` 同理) | **21c XE 通过** | +| SQLite | `json_extract(...)`(本来就正确) | **通过** | +| SqlServer | 已改为 `JSON_QUERY` | 无实例,未实测 | +| MySQL | `` col->>'$.p' ``(对对象返回文档文本,无需改) | 实例未起 | +| PostgreSQL | `(col->>'p')::TEXT`(数组 `col->N`,无需改) | 实例未起 | +| Dameng | 仍是 `JSON_VALUE`,**未改**(不确定 DM8 是否有 JSON_QUERY) | 实例未起 | + +- 全量回归:SQLite 167 用例 150 通过 / 17 失败、Oracle 194 用例 176 通过 / 18 失败, + **失败项里没有一条 json 用例**,新增用例两边都通过;失败均为既有问题(`StringBuilderHelper. + ReplaceWithBoundaryCheck` 越界、事务/Group Rollup/TempQuery 等),与本次改动无关。 +- 新增 SQL 探针 `SqlGenerate.SelectSql_Json.TestJsonCompositeLeafMemberRead`(只打印不连库, + 可在任一方言项目上跑)。 +- **未解决**:`Dameng` 读取路径;以及 SqlServer/Dameng/MySQL/PG 因**本机实例未启动**无法实测 + (MySQL/SqlServer/PG/Dameng 四种连接全部 connection refused)。 + +### 四、非匿名目标类型已支持(修正上面的"第一版写错了形状") + +**更正**:上文"框架支持的形状只有匿名投影"是当时的**框架缺陷**,不是设计意图。用户随后改了 +`ExpressionBuilder.CreateCustomEntity`(顺手把拼写 `CreateCustomEntiry` 一并修正): + +```csharp +Expression CreateCustomEntity(Type targetType) +{ + if (ContainsJsonType(targetType)) + return GetTargetJsonExpression(reader, Culture, recordInstanceExp, SchemaTable, 0, targetType); + var columns = TableContext.GetTableInfo(targetType).Columns; // 原逻辑 + ... +} +``` + +- 依据:`ToListAsync(j => j.Data!.NestJson)` 这类投影 SQL 只 SELECT **一列**,所以第 0 列就是该 json + 表达式,按 `targetType` 反序列化即正确(`GetJsonDeserializeExpression` 本来就按 `TargetType` 走 + `StringDeserializer`/`BytesDeserializer`,与是否匿名无关)。 +- `ContainsJsonType(t) => JsonMaps.ContainsKey(t)`,而 `JsonMaps` 只在 `[LightJsonMap]` 属性建列时经 + `ColumnInfo.AddJsonTypeMap` 注册 → **实体类型不在表里**,所以不会误伤普通实体映射;`CreateAnonymous` + 内嵌调用 `CreateCustomEntity` 的那条路(成员非 json)也不会命中新分支。 +- 用例 `JsonColumn_CompositeMember_Projection` 现在**两种形状都留着**(匿名 `new { N = j.Data!.NestJson }` + + 非匿名 `j.Data!.NestJson`),用户实测 Oracle 通过,2026-09-17 复核 SQLite 通过。 + + + diff --git a/.workbuddy/memory/MEMORY.md b/.workbuddy/memory/MEMORY.md index c025534..a1671ba 100644 --- a/.workbuddy/memory/MEMORY.md +++ b/.workbuddy/memory/MEMORY.md @@ -52,7 +52,29 @@ NuGet 本地源:`E:\GitRepositories\LocalNuget`(用户 NuGet.Config 里的 " | SqlServer | 复合 `JSON_QUERY(@p)` / 标量传**原生值** | 无 `JSON()`;标量文本抛 Msg 13609;需生成期分流 | | MySQL | `CAST(?p AS JSON)` | **5.7.44 实测 17/17 通过**;整列**必须** `col = ?p`(见下"NULL 陷阱") | | **Dameng(DM8)** | `CAST(:p AS JSON)` | 实测对字符串/对象/数组/数字/布尔/null **一律正确**,无需分流;binder 用框架默认 | -| Oracle | 未处理 | 用户明确跳过(Oracle 库本身不支持 json 列) | +| Oracle | `JSON(:p)`(包在 `JSON_TRANSFORM` 的 SET 里) | **21c XE 实库测试已通过**(2026-09-17) | + +### 各方言"读取路径成员取值"的写法(2026-09-17 新增,统一走 `IsCompositeJsonLeaf`) +| 方言 | 末级标量 | **末级复合(对象/数组)** | 机制 | +|---|---|---|---| +| Oracle | `JSON_VALUE(col,'$.p')` | `JSON_QUERY(col,'$.p')` | **已修**,21c XE 实跑通过 | +| SqlServer | `JSON_VALUE(...)` | `JSON_QUERY(...)` | **已修**,无实例未实测 | +| MySQL | `col->>'$.p'` | 同左(`->>` 对对象返回文档文本,本身就对) | 无需改 | +| PostgreSQL | `(col->>'p')::TARGET` | 同左(数组用 `col->N`) | 无需改 | +| SQLite | `json_extract(...)` | 同左 | 无需改,实测通过 | +| Dameng | `JSON_VALUE`(Binary 后端起为 `JSONB_VALUE`) | **未改,待验证**(实例未启动,且不确定 DM8 是否有 JSON_QUERY) | — | + +- 判定函数:`JsonParameterHelper.IsCompositeJsonLeaf(JsonColumnContext)`(`src/LightORM/Utils/JsonParameterHelper.cs`)。 + 取值口径 = `Members` 栈(枚举顺序即 Pop 顺序)的**最后一个元素**,即 json 路径最内层;末级无成员信息 + (`Arr[1]`/`Lst[0]` 这类纯索引路径)时退回列本身的 CLR 类型再取元素类型;无法判定按标量,与 binder 的保守策略一致。 + **只看表达式结构 + 列元数据,不看运行时值 → 与 `Resolve` 表达式缓存兼容。** +- 相关用例:`ExecutionTest.JsonColumn_CompositeMember_Projection`(匿名投影 `new { N = j.Data.NestJson }` / + `new { I = j.Arr[1] }` / `new { L = j.Lst[0] }`);SQL 探针 `SqlGenerate.SelectSql_Json.TestJsonCompositeLeafMemberRead`。 +- **投影形状**:取复合末级成员时,**匿名投影与非匿名目标类型都支持**。非匿名(`ToListAsync(j => j.Data!.NestJson)`) + 靠 `ExpressionBuilder.CreateCustomEntity` 开头的 `if (ContainsJsonType(targetType)) return GetTargetJsonExpression(..., 0, targetType);` + —— 该形状 SQL 只 SELECT 一列,第 0 列即 json 表达式。`ContainsJsonType` 查的是 `JsonMaps`(只装 `[LightJsonMap]` 的列类型, + 经 `ColumnInfo.AddJsonTypeMap` 注册),实体类型不在其中,故不会误伤普通实体映射。2026-09-17 用户改动 + SQLite/Oracle 实测通过。 + ### MySQL / MySQL 特有陷阱 - **`JSON_SET` 首参为 NULL 时整体返回 NULL** → MySQL 下整列更新**不能**写成 `JSON_SET(col,'$',val)`:列一旦被 `SetNull`/`Set(col,null)` 置空,值就再也写不回去(静默丢失,不报错)。整列一律 `col = ?p`(JSON 文本写 JSON 列时 MySQL 自动解析)。 @@ -65,4 +87,5 @@ NuGet 本地源:`E:\GitRepositories\LocalNuget`(用户 NuGet.Config 里的 " - json 列**整列**更新(`Set(j => j.Data, obj)` / `UpdateColumns`):各方言统一 `col = @p`,读回反序列化,对称。 - **达梦**:列类型默认 `JSON`(原生,长度 >320000 走 CLOB);`JSONBackend.Binary` 在本机 DM8 **不可用**(`JSONB_VALUE` 不存在、`JSONB_SET` 拒绝 `'$.a'`),用默认 `Text`。 - **达梦实例可用**:`localhost:5236`(LIGHTORM_TEST/LIGHTORM_TEST/DAMENG),`LightORMTest.Dameng` 可实跑;多测试类并发建连时 DM 会报 `6001 每个套接字地址只允许使用一次`(环境/连接数问题,非代码 bug),稍等重跑即恢复。 +- **Oracle 实例可用**:`localhost:1521/XE`(`lightorm_test`/`lightorm_test`,写在 `test/LightORMTest.Oracle/GlobalUsings.cs` 的 `ConnectString`),**Oracle 21c XE**。21c 才有原生 `JSON` 类型与 `JSON_TRANSFORM`,实库测试已通过;≤19c 建表即失败。 - 定位 json 问题的高效手段:先写**方言语义探针**(Python `sqlite3` / `sqlcmd` / DmProvider `DmCommand`)验证各 JSON 函数对各类参数的行为,再改框架,比反复改 C# 跑测试快得多。 From cd7856c1fe947d2c3ef5069bdba25788577a4c44 Mon Sep 17 00:00:00 2001 From: MarvelTiter_yaoqinglin Date: Thu, 17 Sep 2026 11:22:37 +0800 Subject: [PATCH 24/35] =?UTF-8?q?chore:=20=E6=9B=B4=E6=96=B0=E6=B5=8B?= =?UTF-8?q?=E8=AF=95=E6=95=B0=E6=8D=AE=E5=BA=93?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit SQLite 全量回归(167 用例 150 通过 / 17 失败, 与改动前一致)后产生的数据快照。 --- test.db | Bin 376832 -> 376832 bytes 1 file changed, 0 insertions(+), 0 deletions(-) diff --git a/test.db b/test.db index da9d8376ed578393352dc61c3c93a09347051f9c..9be7e19c0601972148a9c0a6924e36229c48367f 100644 GIT binary patch delta 166 zcmZo@5N~J@pCBc){|5sDLktjy0kIncgWr{jIz~+Ue>5g+O<-JL&&LZCW@hzb;K}2- z!|JtJQNV_kxt%|4dZ7=a)b{mmjOL8f4ZIiyx33Rl4CQQR319?bCLm@8Vip#lX4mZ; o0j&ItnqEM*7!Zp>u?UbBf?|Fk4Z=JiJl!IYRepPXAnU?B0KCT_%>V!Z delta 258 zcmZo@5N~J@pCBc)u!DhtAqI%UfY^nB!S2sQ9V4cN9gPWF6BrlR^Rohl8To$!Nd_irsLnXO!jDmRy1o~qz;>Tt#`}!ZH~2G(+ZY)cDAnpHg(c>c zrWPw%MFaUdCME_tW@ZMlI!cb|sY+Hx#uhqCLHRjArjlbyZe|`>Pdk6w^g Date: Thu, 17 Sep 2026 11:22:41 +0800 Subject: [PATCH 25/35] =?UTF-8?q?docs:=20=E8=AE=B0=E5=BD=95=E5=85=A8?= =?UTF-8?q?=E9=87=8F=E5=9B=9E=E5=BD=92=E7=BB=93=E6=9E=9C=E4=B8=8E=E5=88=86?= =?UTF-8?q?=E6=89=B9=E6=8F=90=E4=BA=A4=E6=B8=85=E5=8D=95?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .workbuddy/memory/2026-09-17.md | 13 +++++++++++++ 1 file changed, 13 insertions(+) diff --git a/.workbuddy/memory/2026-09-17.md b/.workbuddy/memory/2026-09-17.md index 7d0e301..360ab74 100644 --- a/.workbuddy/memory/2026-09-17.md +++ b/.workbuddy/memory/2026-09-17.md @@ -118,5 +118,18 @@ Expression CreateCustomEntity(Type targetType) - 用例 `JsonColumn_CompositeMember_Projection` 现在**两种形状都留着**(匿名 `new { N = j.Data!.NestJson }` + 非匿名 `j.Data!.NestJson`),用户实测 Oracle 通过,2026-09-17 复核 SQLite 通过。 +### 五、全量回归与提交 + +- SQLite 全量:**167 用例 / 150 通过 / 17 失败**,与本次改动**前**完全一致(同数字、同批失败项) + ⇒ 无回归。17 项失败仍是既有问题:`SelectWithAttr`、`InsertRange`、`TestSelectOneTable`、 + `Select_Navigate_Where_Single`、`TestArrayAccess_List`、`TestRowNumberWindowFunc`、 + `Repository_Methods_Test`、`Repository_Async_Operations_Test`、`Group_Rollup_Test` / + `_Coalesce_` / `_NullThen_`、`Group_Cube_Test`、`Select_WithTempQuery_Two_Test`、 + `Select_AsTemp_WithTempQuery_Test`、`Transaction_Atomicity_Test`、`Transaction_Concurrency_Test`、 + `Delete_FullDelete_Test`。**json 用例全绿**。 +- 分支 `数据库参数重构` 上按依赖顺序分四批提交:`b5d455b0`(读取路径分流)→ `e19cc1d9` + (投影目标为 json 类型)→ `f64f022b`(用例与探针)→ `0960de90`(工作记忆),随后 + `chore` 单独提交 `test.db`。 + From 690a14f432abb136da77ea657e4ae07a9d0b8e69 Mon Sep 17 00:00:00 2001 From: MarvelTiter_yaoqinglin Date: Thu, 17 Sep 2026 11:48:44 +0800 Subject: [PATCH 26/35] =?UTF-8?q?fix:=20KingbaseES=20=E6=95=B4=E5=88=97=20?= =?UTF-8?q?json=20=E6=9B=B4=E6=96=B0=E6=94=B9=E4=B8=BA=E5=88=97=E7=9B=B4?= =?UTF-8?q?=E6=8E=A5=E8=B5=8B=E5=80=BC?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit HandleJsonColumn 的 UPDATE 分支只实现了路径写法, 整列更新(无成员路径/无索引)也生成 JSONB_SET(col::JSONB,'{}',@p::JSONB), 而 Kingbase 对空路径不替换整个文档 —— 列非空时值 静默写不进去, 列已为 NULL 时 JSONB_SET 又整体返回 NULL(同 MySQL 的 JSON_SET NULL 陷阱)。 补上 PostgreSQL 里已有的 HasIndexInfo() 二分: 整列 → "col" = @Prop::JSONB, 有路径/索引 → 原 JSONB_SET 逻辑。三种 json 列(对象/数组/List)整列更新与"由 NULL 写回"用例由失败转为 通过, 实测 KingbaseES V9 全量 100 用例 99 通过, json 18/18。 --- .../CustomKingbaseESAdapter.cs | 13 +++++++++++++ 1 file changed, 13 insertions(+) diff --git a/src/Providers/LightORM.Providers.KingbaseES/CustomKingbaseESAdapter.cs b/src/Providers/LightORM.Providers.KingbaseES/CustomKingbaseESAdapter.cs index 46b4f6a..1b6c0ba 100644 --- a/src/Providers/LightORM.Providers.KingbaseES/CustomKingbaseESAdapter.cs +++ b/src/Providers/LightORM.Providers.KingbaseES/CustomKingbaseESAdapter.cs @@ -74,6 +74,19 @@ public override bool BindParameter(IDataParameter parameter, ITableColumnInfo? c public override void HandleJsonColumn(JsonColumnContext context) { + // 整列更新(无成员路径/无索引): 直接列赋值, 与 PostgreSQL/Sqlite/SqlServer/Dameng 一致。 + // 不可用 JSONB_SET(col::JSONB,'{}',v) 顶替: 首参为 NULL 时整体返回 NULL(列一旦被置空就写不回去), + // 且 Kingbase 对空路径不替换整个文档 —— 非空列也会静默写不进去。 + if (context.Options.SqlType == SqlPartial.Update && !context.HasIndexInfo()) + { + context.Sql.AppendEmphasis(context.Column.ColumnName, this); + context.Sql.Append(" = "); + context.Sql.Append(Prefix); + context.Sql.Append(context.Column.PropertyName); + context.Sql.Append("::JSONB"); + return; + } + if (context.Options.SqlType == SqlPartial.Update) { context.Sql.AppendEmphasis(context.Column.ColumnName, this); From 2df7d3ffffa18e46956135623155d107fec9744e Mon Sep 17 00:00:00 2001 From: MarvelTiter_yaoqinglin Date: Thu, 17 Sep 2026 11:48:50 +0800 Subject: [PATCH 27/35] =?UTF-8?q?test:=20JsonSet=20=E7=94=A8=E4=BE=8B?= =?UTF-8?q?=E7=9A=84=20PG=20=E6=A0=BC=E5=BC=8F=E5=88=86=E6=94=AF=E7=BA=B3?= =?UTF-8?q?=E5=85=A5=20KingbaseES?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit DbBaseType 是 record(按 Name 值相等), Kingbase 的 Name 为 "KingbaseES", 故 DbType == DbBaseType.PostgreSQL 恒为 false, 该用例一直落进默认分支, 把 PG/Kingbase 同源的路径 '{City,Name}' 写成 '$.City.Name'、值写成裸文本, 导致 22P02 invalid input syntax for type json。改为按 DbType.Name 判断。 --- .../LightORMTest/ResultTest/ExecutionTest.JsonColumnCases.cs | 5 +++-- 1 file changed, 3 insertions(+), 2 deletions(-) diff --git a/test/LightORMTest/ResultTest/ExecutionTest.JsonColumnCases.cs b/test/LightORMTest/ResultTest/ExecutionTest.JsonColumnCases.cs index 654e55f..98e216c 100644 --- a/test/LightORMTest/ResultTest/ExecutionTest.JsonColumnCases.cs +++ b/test/LightORMTest/ResultTest/ExecutionTest.JsonColumnCases.cs @@ -140,12 +140,13 @@ public async Task JsonColumn_Projection() /// /// SqlFn.JsonSet 更新 JsonObject 嵌套路径(对应 JsonTest: Set(j => SqlFn.JsonSet(j.JsonObject, "$.City.Name", "NewName")))。 - /// PostgreSQL 的 JsonSet 路径/值格式与其它库不同,按 DbType 分支处理。 + /// PostgreSQL / KingbaseES 同源:JsonSet 的路径用 '{a,b}' 形式,值需为 JSON 文本(字符串要带引号), + /// 与其它库不同,按 DbType 分支处理。 /// [TestMethod] public async Task JsonColumn_JsonSet_Update() { - if (DbType == DbBaseType.PostgreSQL) + if (DbType.Name is "PostgreSQL" or "KingbaseES") { await Db.Update() .Set(j => SqlFn.JsonSet(j.Obj, "{City,Name}", "\"NewName\"")) From 97820748544006d760a20130e65034e804aad8f4 Mon Sep 17 00:00:00 2001 From: MarvelTiter_yaoqinglin Date: Thu, 17 Sep 2026 11:48:52 +0800 Subject: [PATCH 28/35] =?UTF-8?q?fix:=20KingbaseES=20provider=20=E6=B3=A8?= =?UTF-8?q?=E5=86=8C=E7=9A=84=20DbBaseType=20=E7=94=B1=20Oracle=20?= =?UTF-8?q?=E4=BF=AE=E6=AD=A3=E4=B8=BA=20KingbaseEs?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit IoCExtension 里 SetDatabase 传的是 DbBaseType.Oracle, 会让 ResolveContext 按 Oracle 方言解析; 改为 KingbaseESProvider.KingbaseEs, 并把 KingbaseES 测试项目登记进 slnx。 --- LightORM.slnx | 1 + .../LightORM.Providers.KingbaseES/Extensions/IoCExtension.cs | 2 +- 2 files changed, 2 insertions(+), 1 deletion(-) diff --git a/LightORM.slnx b/LightORM.slnx index d9a5361..6b33af2 100644 --- a/LightORM.slnx +++ b/LightORM.slnx @@ -32,6 +32,7 @@ + diff --git a/src/Providers/LightORM.Providers.KingbaseES/Extensions/IoCExtension.cs b/src/Providers/LightORM.Providers.KingbaseES/Extensions/IoCExtension.cs index b2c9a9a..b1cb16b 100644 --- a/src/Providers/LightORM.Providers.KingbaseES/Extensions/IoCExtension.cs +++ b/src/Providers/LightORM.Providers.KingbaseES/Extensions/IoCExtension.cs @@ -27,7 +27,7 @@ public void UseKingbaseES(Action setting) throw new ArgumentNullException(nameof(dbOption.MasterConnectionString), "连接字符串不能为空"); } var provider = KingbaseESProvider.Create(dbOption); - options.SetDatabase(dbOption.DbKey ?? "MainDb", DbBaseType.Oracle, provider); + options.SetDatabase(dbOption.DbKey ?? "MainDb", KingbaseESProvider.KingbaseEs, provider); } } From 7e73f3305955f489f7ab574e6c0f3a3b2f8d7b68 Mon Sep 17 00:00:00 2001 From: MarvelTiter_yaoqinglin Date: Thu, 17 Sep 2026 11:48:58 +0800 Subject: [PATCH 29/35] =?UTF-8?q?docs:=20=E8=AE=B0=E5=BD=95=20KingbaseES?= =?UTF-8?q?=20=E5=AE=9E=E4=BE=8B=E6=8E=A5=E5=85=A5=E4=B8=8E=20json=20?= =?UTF-8?q?=E7=94=A8=E4=BE=8B=E4=BF=AE=E5=A4=8D?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 新增实例信息(容器 kes, 端口 54321, database_mode=oracle 且不影响 json)、 JSONB_SET 空路径陷阱、DbBaseType 为 record 导致 PG 分支漏判的测试写法。 --- .workbuddy/memory/2026-09-17.md | 30 ++++++++++++++++++++++++++++++ .workbuddy/memory/MEMORY.md | 13 +++++++++++++ 2 files changed, 43 insertions(+) diff --git a/.workbuddy/memory/2026-09-17.md b/.workbuddy/memory/2026-09-17.md index 360ab74..0a9def3 100644 --- a/.workbuddy/memory/2026-09-17.md +++ b/.workbuddy/memory/2026-09-17.md @@ -131,5 +131,35 @@ Expression CreateCustomEntity(Type targetType) (投影目标为 json 类型)→ `f64f022b`(用例与探针)→ `0960de90`(工作记忆),随后 `chore` 单独提交 `test.db`。 +## KingbaseES 实例接入(docker)与 json 用例修复 + +### 环境(先澄清 DB_MODE 的疑问) +- 容器 `kes`,镜像 `kingbase_v009r001c010b0004_single_x86:v1`(V9R1C10),端口 **54321**。 +- 启动未设 DB_MODE ⇒ 实测 `database_mode = oracle`(V9 默认 oracle)。**该模式不是失败原因**: + `jsonb` 类型、`->` / `->>` 操作符、`JSONB_SET`、`::` cast 在 oracle 模式下全部可用, + 原本 15/18 的用例在 oracle 模式下就通过。 +- 容器内免密查询:`docker exec -u kingbase kes bash -lc "ksql -U kingbase -d test -c 'show database_mode'"`。 + +### 3 个失败用例的根因(真实原因都不是 DB_MODE) +| 用例 | 现象 | 根因 | +|---|---|---| +| `JsonColumn_JsonSet_Update` | `22P02: invalid input syntax for type json`,`'NewName'::JSONB` | 用例的"PG 格式"分支只判 `DbType == DbBaseType.PostgreSQL`,而 Kingbase 的 `Name` 是 `"KingbaseES"`(`DbBaseType` 是 **record**,按 Name 值比较,不相等)→ 落进默认分支,路径写成 `'$.City.Name'`、值写成裸文本 `NewName`。Kingbase 与 PG 同源,需要 `'{City,Name}'` + `'"NewName"'` | +| `JsonColumn_WholeColumn_Update` | 更新后值没变(仍旧 "World100") | adapter 的 UPDATE 分支只实现路径写法,整列更新也生成 `JSONB_SET(col::JSONB,'{}',@p::JSONB)`,而 **Kingbase 对空路径不替换整个文档** | +| `JsonColumn_WholeColumn_Update_FromNull` | 由 NULL 写回后仍为 null | 同上 —— `JSONB_SET(NULL, …)` 整体返回 NULL(与 MySQL 的 `JSON_SET(NULL,…)` 同一类陷阱) | + +### 修复 +1. `CustomKingbaseESAdapter.HandleJsonColumn`:补上 PostgreSQL 里已有的 `HasIndexInfo()` 二分 —— + 整列(`!HasIndexInfo()`)→ `"col" = @Prop::JSONB`;有成员路径/索引 → 原 `JSONB_SET` 逻辑。 +2. `ExecutionTest.JsonColumnCases.cs`:`SqlFn.JsonSet` 的方言分支改为 + `DbType.Name is "PostgreSQL" or "KingbaseES"`。 + +### 结果 +- json 用例 **18/18 通过**(修复前 15/18)。修复后 SQL 形状: + - 整列:`"DATA" = @Data::JSONB` + - 路径:`"OBJ" = JSONB_SET("OBJ"::JSONB,'{City,Name}','"NewName"'::JSONB)` + - `UpdateColumns` 路径本来就正确(`"DATA" = @Data`),未受影响。 +- KingbaseES 全量回归:**100 用例 / 99 通过 / 1 失败**,唯一失败是 `Transaction_Atomicity_Test` + (与 SQLite 上同一既有项)。json 18 条全绿。注:Kingbase 项目收录的用例数少于 SQLite 的 167。 + diff --git a/.workbuddy/memory/MEMORY.md b/.workbuddy/memory/MEMORY.md index a1671ba..3120858 100644 --- a/.workbuddy/memory/MEMORY.md +++ b/.workbuddy/memory/MEMORY.md @@ -61,6 +61,7 @@ NuGet 本地源:`E:\GitRepositories\LocalNuget`(用户 NuGet.Config 里的 " | SqlServer | `JSON_VALUE(...)` | `JSON_QUERY(...)` | **已修**,无实例未实测 | | MySQL | `col->>'$.p'` | 同左(`->>` 对对象返回文档文本,本身就对) | 无需改 | | PostgreSQL | `(col->>'p')::TARGET` | 同左(数组用 `col->N`) | 无需改 | +| **KingbaseES** | `(col->>'p')::TARGET` | 同左(与 PG 同源) | **无需改,实测通过**(2026-09-17) | | SQLite | `json_extract(...)` | 同左 | 无需改,实测通过 | | Dameng | `JSON_VALUE`(Binary 后端起为 `JSONB_VALUE`) | **未改,待验证**(实例未启动,且不确定 DM8 是否有 JSON_QUERY) | — | @@ -83,9 +84,21 @@ NuGet 本地源:`E:\GitRepositories\LocalNuget`(用户 NuGet.Config 里的 " - 本机 MySQL 是 **5.7.44**:无 CTE(`WITH ... AS` 直接语法错误)、无窗口函数、CUBE/GROUPING SETS 抛 `NotSupportedException`(`MySqlTableOptions.Version` 默认 null → `over8=false`)。MySQL 全量 144/155,失败的 11 个全部由此而来,与 json 无关。 ### 其他 +- **KingbaseES 陷阱(整列更新)**:`JSONB_SET(col::JSONB,'{}',@p::JSONB)` **不能**当整列赋值用 —— + 空路径不保证替换整个文档(实测列**非空**时值也写不进去),首参为 NULL 时又整体返回 NULL。 + 整列一律 `col = @p::JSONB`。`CustomKingbaseESAdapter.HandleJsonColumn` 原先漏了 PG 里 + `HasIndexInfo()` 的二分(UPDATE 分支直接生成 JSONB_SET),2026-09-17 已修。 +- **`DbBaseType` 是 record(按 `Name` 值相等)**:Kingbase 的 `Name` 是 `"KingbaseES"`,故 + `DbType == DbBaseType.PostgreSQL` 为 **false**。测试里凡"PG 与 KingbaseES 同源"的分支(如 + `SqlFn.JsonSet` 的路径 `'{a,b}'` 与值 `"\"text\""` 格式)要写成 + `DbType.Name is "PostgreSQL" or "KingbaseES"` —— `ExecutionTest.JsonColumnCases.cs` 已如此。 - **例外**:`SqlFn.JsonSet(path, value)` 走 `XxxMethodResolver.JsonSet`,值参数是**用户原始值、不序列化**(不经 HandleJsonColumn)→ 不能加 JSON 包装;PG 侧需用户自己传 JSON 文本(测试里手写 `"\"NewName\""`)。 - json 列**整列**更新(`Set(j => j.Data, obj)` / `UpdateColumns`):各方言统一 `col = @p`,读回反序列化,对称。 - **达梦**:列类型默认 `JSON`(原生,长度 >320000 走 CLOB);`JSONBackend.Binary` 在本机 DM8 **不可用**(`JSONB_VALUE` 不存在、`JSONB_SET` 拒绝 `'$.a'`),用默认 `Text`。 - **达梦实例可用**:`localhost:5236`(LIGHTORM_TEST/LIGHTORM_TEST/DAMENG),`LightORMTest.Dameng` 可实跑;多测试类并发建连时 DM 会报 `6001 每个套接字地址只允许使用一次`(环境/连接数问题,非代码 bug),稍等重跑即恢复。 +- **KingbaseES 实例可用**:docker 容器 `kes`(镜像 `kingbase_v009r001c010b0004_single_x86:v1`,端口 **54321**), + `database_mode = oracle`(启动未设 DB_MODE,V9 默认 oracle)。**该模式不影响 json**:`jsonb` 类型、`->`/`->>`、 + `JSONB_SET`、`::` cast 均可用,json 用例 **18/18 通过**。容器内免密查配置: + `docker exec -u kingbase kes bash -lc "ksql -U kingbase -d test -c 'show database_mode'"`。 - **Oracle 实例可用**:`localhost:1521/XE`(`lightorm_test`/`lightorm_test`,写在 `test/LightORMTest.Oracle/GlobalUsings.cs` 的 `ConnectString`),**Oracle 21c XE**。21c 才有原生 `JSON` 类型与 `JSON_TRANSFORM`,实库测试已通过;≤19c 建表即失败。 - 定位 json 问题的高效手段:先写**方言语义探针**(Python `sqlite3` / `sqlcmd` / DmProvider `DmCommand`)验证各 JSON 函数对各类参数的行为,再改框架,比反复改 C# 跑测试快得多。 From b45b3299bbd4fe38f683f83f3016bfcdb76c2982 Mon Sep 17 00:00:00 2001 From: MarvelTiter_yaoqinglin Date: Thu, 17 Sep 2026 11:58:44 +0800 Subject: [PATCH 30/35] =?UTF-8?q?fix:=20KingbaseES=20=E5=AD=97=E7=AC=A6?= =?UTF-8?q?=E4=B8=B2=E5=88=97=E5=B8=A6=20Length=20=E5=A3=B0=E6=98=8E?= =?UTF-8?q?=E6=97=B6=E6=94=B9=E7=94=A8=20VARCHAR(n)?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit FormatType.TransformType 对 string 一律兜底成 TEXT, 而 BuildColumn 只给 含 "CHAR" 或 NUMERIC 的类型追加长度, 于是 [LightColumn(Length = n)] 的长度约束 在库里静默丢失(列实际是无限长 TEXT)。 补一条 TEXT + Length 的分支, 生成 VARCHAR(n)。依赖该约束触发回滚的 Transaction_Atomicity_Test(向 Length=128 的 USER_NAME 插 500 字符)由失败转为通过, KingbaseES 全量 99 用例 99 通过。 --- .../KingbaseESTableHandler.Writer.cs | 4 ++++ 1 file changed, 4 insertions(+) diff --git a/src/Providers/LightORM.Providers.KingbaseES/KingbaseESTableHandler.Writer.cs b/src/Providers/LightORM.Providers.KingbaseES/KingbaseESTableHandler.Writer.cs index 9903311..fa10e78 100644 --- a/src/Providers/LightORM.Providers.KingbaseES/KingbaseESTableHandler.Writer.cs +++ b/src/Providers/LightORM.Providers.KingbaseES/KingbaseESTableHandler.Writer.cs @@ -104,6 +104,10 @@ protected override string BuildColumn(KingbaseESTableOptions option, DbColumn co { dataType = column.Length != null ? $"{dataType}({column.Length})" : dataType; } + if (dataType == "TEXT" && column.Length.HasValue) + { + dataType = $"VARCHAR({column.Length})"; + } string notNull = column.NotNull || column.PrimaryKey ? " NOT NULL" : " NULL"; string identity = column.AutoIncrement ? " GENERATED ALWAYS AS IDENTITY" : ""; From d3a4b53f5e3cb286cea1c9aa1de30b85df02675b Mon Sep 17 00:00:00 2001 From: MarvelTiter_yaoqinglin Date: Thu, 17 Sep 2026 11:58:49 +0800 Subject: [PATCH 31/35] =?UTF-8?q?test:=20=E6=8E=A5=E5=85=A5=20KingbaseES?= =?UTF-8?q?=20=E6=B5=8B=E8=AF=95=E9=A1=B9=E7=9B=AE?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 新增 test/LightORMTest.KingbaseES(net10.0 + MSTest 4.0.2, 引用 KingbaseES provider 与共享 LightORMTest), 与 Oracle 子项目同构: - GlobalUsings.cs : ConnectString 指向 docker 容器 kes(端口 54321) - MSTestSettings.cs : 方法级并行, Workers=1 - ResultTest/ExecutionTest.cs : 继承共享 ExecutionTest, 覆写 DbType 为 KingbaseESProvider.KingbaseEs bin/obj/TestResults 由 .gitignore 覆盖。全量 99 用例 99 通过。 --- test/LightORMTest.KingbaseES/GlobalUsings.cs | 10 ++++++++ .../LightORMTest.KingbaseES.csproj | 23 +++++++++++++++++++ .../LightORMTest.KingbaseES/MSTestSettings.cs | 1 + .../ResultTest/ExecutionTest.cs | 21 +++++++++++++++++ 4 files changed, 55 insertions(+) create mode 100644 test/LightORMTest.KingbaseES/GlobalUsings.cs create mode 100644 test/LightORMTest.KingbaseES/LightORMTest.KingbaseES.csproj create mode 100644 test/LightORMTest.KingbaseES/MSTestSettings.cs create mode 100644 test/LightORMTest.KingbaseES/ResultTest/ExecutionTest.cs diff --git a/test/LightORMTest.KingbaseES/GlobalUsings.cs b/test/LightORMTest.KingbaseES/GlobalUsings.cs new file mode 100644 index 0000000..828cadc --- /dev/null +++ b/test/LightORMTest.KingbaseES/GlobalUsings.cs @@ -0,0 +1,10 @@ +global using LightORM; +global using LightORM.Interfaces; + +namespace LightORMTest.KingbaseES +{ + public static class ConnectString + { + public static string Value => "Server=localhost; Port=54321; User Id=kingbase; Password=123456; Database=kingbase;"; + } +} \ No newline at end of file diff --git a/test/LightORMTest.KingbaseES/LightORMTest.KingbaseES.csproj b/test/LightORMTest.KingbaseES/LightORMTest.KingbaseES.csproj new file mode 100644 index 0000000..dd24f55 --- /dev/null +++ b/test/LightORMTest.KingbaseES/LightORMTest.KingbaseES.csproj @@ -0,0 +1,23 @@ + + + + net10.0 + latest + enable + enable + + + + + + + + + + + + + + + + diff --git a/test/LightORMTest.KingbaseES/MSTestSettings.cs b/test/LightORMTest.KingbaseES/MSTestSettings.cs new file mode 100644 index 0000000..21d1695 --- /dev/null +++ b/test/LightORMTest.KingbaseES/MSTestSettings.cs @@ -0,0 +1 @@ +[assembly: Parallelize(Scope = ExecutionScope.MethodLevel, Workers = 1)] diff --git a/test/LightORMTest.KingbaseES/ResultTest/ExecutionTest.cs b/test/LightORMTest.KingbaseES/ResultTest/ExecutionTest.cs new file mode 100644 index 0000000..1100914 --- /dev/null +++ b/test/LightORMTest.KingbaseES/ResultTest/ExecutionTest.cs @@ -0,0 +1,21 @@ +using LightORM; +using LightORM.Interfaces; +using LightORM.Providers.KingbaseES.Extensions; + +namespace LightORMTest.KingbaseES.ResultTest; + +[TestClass] +public class ExecutionTest : LightORMTest.ResultTest.ExecutionTest +{ + public override DbBaseType DbType => LightORM.Providers.KingbaseES.KingbaseESProvider.KingbaseEs; + + protected override void Configura(IExpressionContextSetup option) + { + option.UseKingbaseES(static option => + { + option.MasterConnectionString = ConnectString.Value; + + }); + option.UseInterceptor(); + } +} From bc258ebac59691e2d7965345dad5be605aeaea14 Mon Sep 17 00:00:00 2001 From: MarvelTiter_yaoqinglin Date: Thu, 17 Sep 2026 11:58:56 +0800 Subject: [PATCH 32/35] =?UTF-8?q?docs:=20=E8=AE=B0=E5=BD=95=20KingbaseES?= =?UTF-8?q?=20=E5=BB=BA=E8=A1=A8=E9=95=BF=E5=BA=A6=E7=BA=A6=E6=9D=9F?= =?UTF-8?q?=E4=BF=AE=E5=A4=8D=E4=B8=8E=E6=B5=8B=E8=AF=95=E9=A1=B9=E7=9B=AE?= =?UTF-8?q?=E6=8E=A5=E5=85=A5?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - BuildColumn 的 TEXT+Length → VARCHAR(n) 修复与 Transaction_Atomicity_Test 的因果关系 - test/LightORMTest.KingbaseES 结构、DbBaseType 用 KingbaseEs、全量 99/99 - MEMORY.md 补长期结论: KingbaseES 字符串列一律映射 TEXT, Length 约束需在建表层补回 --- .workbuddy/memory/2026-09-17.md | 17 +++++++++++++++++ .workbuddy/memory/MEMORY.md | 6 ++++++ 2 files changed, 23 insertions(+) diff --git a/.workbuddy/memory/2026-09-17.md b/.workbuddy/memory/2026-09-17.md index 0a9def3..8d765f1 100644 --- a/.workbuddy/memory/2026-09-17.md +++ b/.workbuddy/memory/2026-09-17.md @@ -161,5 +161,22 @@ Expression CreateCustomEntity(Type targetType) - KingbaseES 全量回归:**100 用例 / 99 通过 / 1 失败**,唯一失败是 `Transaction_Atomicity_Test` (与 SQLite 上同一既有项)。json 18 条全绿。注:Kingbase 项目收录的用例数少于 SQLite 的 167。 +### 收尾:最后一个失败项(`Transaction_Atomicity_Test`)也修了 +- 根因:`KingbaseESTableHandler.Writer.BuildColumn` 只对 `dataType.Contains("CHAR") || == "NUMERIC"` + 追加长度,而 `FormatType.TransformType` 把 `string` 一律映射成 **TEXT**(无长度)⇒ 带 + `[LightColumn(Length = 128)]` 的列在库里没有长度约束,约束静默丢失。 +- 该用例正是**靠长度约束触发异常**来验证回滚的(向 `UserName`(Length=128)插 500 字符), + 约束没了 ⇒ 插入成功 ⇒ 断言路径走错。 +- 修复:`dataType == "TEXT" && column.Length.HasValue` → 改生成 `VARCHAR({Length})`。 +- 结果:**99 用例 / 99 通过 / 0 失败**(用例数从 100 降到 99 是因为删掉了模板生成的空测试类 `Test1.cs`)。 + +### KingbaseES 测试项目接入(入库) +- 新增 `test/LightORMTest.KingbaseES/`:`.csproj`(net10.0 + MSTest 4.0.2,引用 KingbaseES provider 与 + 共享 `LightORMTest`)、`GlobalUsings.cs`(含 `ConnectString`)、`MSTestSettings.cs`、 + `ResultTest/ExecutionTest.cs`(继承共享 `ExecutionTest`,覆写 `DbType => KingbaseESProvider.KingbaseEs`)。 +- `bin/obj/TestResults` 均被 `.gitignore` 覆盖,不入库。 +- 模板生成的空测试类 `Test1.cs` 已删除。 +- **未完成**:SqlServer / MySQL / PostgreSQL / Dameng 无实例,这几方言的复合末级投影仍未实测。 + diff --git a/.workbuddy/memory/MEMORY.md b/.workbuddy/memory/MEMORY.md index 3120858..cd43b29 100644 --- a/.workbuddy/memory/MEMORY.md +++ b/.workbuddy/memory/MEMORY.md @@ -100,5 +100,11 @@ NuGet 本地源:`E:\GitRepositories\LocalNuget`(用户 NuGet.Config 里的 " `database_mode = oracle`(启动未设 DB_MODE,V9 默认 oracle)。**该模式不影响 json**:`jsonb` 类型、`->`/`->>`、 `JSONB_SET`、`::` cast 均可用,json 用例 **18/18 通过**。容器内免密查配置: `docker exec -u kingbase kes bash -lc "ksql -U kingbase -d test -c 'show database_mode'"`。 + 测试项目 `test/LightORMTest.KingbaseES/`(net10.0 + MSTest 4.0.2),注册 `DbBaseType` 用 + `KingbaseESProvider.KingbaseEs`(**不是** `Oracle`);全量 **99/99 通过**(2026-09-17)。 +- **KingbaseES 建表:字符串列一律映射成 `TEXT`**(`Utils.FormatType.TransformType` 的兜底分支), + 所以 `[LightColumn(Length = n)]` 的长度约束必须靠 `KingbaseESTableHandler.Writer.BuildColumn` 里的 + `dataType == "TEXT" && column.Length.HasValue → VARCHAR(n)` 补回来,否则约束**静默丢失** + (`Transaction_Atomicity_Test` 正是靠长度溢出触发回滚,曾因此失败)。 - **Oracle 实例可用**:`localhost:1521/XE`(`lightorm_test`/`lightorm_test`,写在 `test/LightORMTest.Oracle/GlobalUsings.cs` 的 `ConnectString`),**Oracle 21c XE**。21c 才有原生 `JSON` 类型与 `JSON_TRANSFORM`,实库测试已通过;≤19c 建表即失败。 - 定位 json 问题的高效手段:先写**方言语义探针**(Python `sqlite3` / `sqlcmd` / DmProvider `DmCommand`)验证各 JSON 函数对各类参数的行为,再改框架,比反复改 C# 跑测试快得多。 From aaa595677b407e17ceb6eb38ec200f58117700e0 Mon Sep 17 00:00:00 2001 From: MarvelTiter_yaoqinglin Date: Thu, 17 Sep 2026 15:12:24 +0800 Subject: [PATCH 33/35] =?UTF-8?q?feat:=20=E8=BE=BE=E6=A2=A6=20json=20?= =?UTF-8?q?=E8=AF=BB=E5=8F=96=E8=B7=AF=E5=BE=84=E6=8C=89=E6=9C=AB=E7=BA=A7?= =?UTF-8?q?=E6=88=90=E5=91=98=E5=BD=A2=E7=8A=B6=E5=88=86=E6=B5=81?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 对齐 Oracle / SqlServer 的处理: JSON_VALUE 只返回标量, 取 json 路径下的对象/数组会得到 NULL。新增 Query 常量(Binary 后端 JSONB_QUERY / 文本后端 JSON_QUERY), 读取分支据此在 JSON_VALUE / JSON_QUERY 之间选择, 判定复用 JsonParameterHelper.IsCompositeJsonLeaf。 注: 该分支改动尚未在达梦实库上跑过 json 用例(用户确认达梦暂不追)。 --- .../LightORM.Providers.Dameng/CustomDamengAdapter.cs | 4 +++- 1 file changed, 3 insertions(+), 1 deletion(-) diff --git a/src/Providers/LightORM.Providers.Dameng/CustomDamengAdapter.cs b/src/Providers/LightORM.Providers.Dameng/CustomDamengAdapter.cs index 07967e5..d28cab9 100644 --- a/src/Providers/LightORM.Providers.Dameng/CustomDamengAdapter.cs +++ b/src/Providers/LightORM.Providers.Dameng/CustomDamengAdapter.cs @@ -3,6 +3,7 @@ using LightORM.Implements; using LightORM.Interfaces; using LightORM.Models; +using LightORM.Utils; using System.Text; namespace LightORM.Providers.Dameng; @@ -23,6 +24,7 @@ public override void Paging(SelectBuilder builder, StringBuilder sql) string Extract => tableOptions.JSONBackend == JSONBackend.Binary ? "JSONB_VALUE" : "JSON_VALUE"; string Set => tableOptions.JSONBackend == JSONBackend.Binary ? "JSONB_SET" : "JSON_SET"; + string Query => tableOptions.JSONBackend == JSONBackend.Binary ? "JSONB_QUERY" : "JSON_QUERY"; public override void HandleJsonColumn(JsonColumnContext context) { if (context.Options.SqlType == SqlPartial.Update) @@ -41,7 +43,7 @@ public override void HandleJsonColumn(JsonColumnContext context) } else { - context.Sql.Append(Extract); + context.Sql.Append(JsonParameterHelper.IsCompositeJsonLeaf(context) ? Query : Extract); } context.Sql.Append('('); if (context.Options.RequiredTableAlias) From 4771c70da4aa0e0fc381c8dd3771157838fc664c Mon Sep 17 00:00:00 2001 From: MarvelTiter_yaoqinglin Date: Thu, 17 Sep 2026 15:12:34 +0800 Subject: [PATCH 34/35] =?UTF-8?q?test:=20=E5=88=A0=E9=99=A4=E8=BE=BE?= =?UTF-8?q?=E6=A2=A6=E9=A1=B9=E7=9B=AE=E4=B8=AD=E9=87=8D=E5=A4=8D=E7=9A=84?= =?UTF-8?q?=20SelectResult=20=E6=B5=8B=E8=AF=95=E7=B1=BB?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit SelectResult 与 ResultTest/ExecutionTest 都继承共享 ExecutionTest(100 个用例), 等于把整套 共享套件跑两遍, 达梦项目因此发现 270 个用例(其它方言 100~194)。删除后仅保留一份。 注: PostgreSQL / SqlServer 项目下存在同样的重复类, 本次未动。 --- test/LightORMTest.Dameng/SelectResult.cs | 13 ------------- 1 file changed, 13 deletions(-) delete mode 100644 test/LightORMTest.Dameng/SelectResult.cs diff --git a/test/LightORMTest.Dameng/SelectResult.cs b/test/LightORMTest.Dameng/SelectResult.cs deleted file mode 100644 index 80952ac..0000000 --- a/test/LightORMTest.Dameng/SelectResult.cs +++ /dev/null @@ -1,13 +0,0 @@ -namespace LightORMTest.Dameng; - -[TestClass] -public class SelectResult : LightORMTest.ResultTest.ExecutionTest -{ - public override DbBaseType DbType => DatabaseType.Dameng; - - protected override void Configura(IExpressionContextSetup option) - { - option.UseDameng(ConnectString.Value); - option.UseInterceptor(); - } -} From 39a54b86c3b094c912542d12810460c7cc57a426 Mon Sep 17 00:00:00 2001 From: MarvelTiter_yaoqinglin Date: Thu, 17 Sep 2026 15:12:47 +0800 Subject: [PATCH 35/35] =?UTF-8?q?docs:=20=E8=AE=B0=E5=BD=95=E8=BE=BE?= =?UTF-8?q?=E6=A2=A6=20DDL=20=E6=80=A7=E8=83=BD=E5=BD=92=E5=9B=A0=E4=B8=8E?= =?UTF-8?q?=E6=B5=8B=E8=AF=95=E5=9F=BA=E7=A1=80=E8=AE=BE=E6=96=BD?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - 达梦每条 DDL 恒定 ~25ms(与语句内容无关) ⇒ 每条自带提交/落盘; 批量化不可行 (`;` 多语句被拒 / 匿名块 EXECUTE IMMEDIATE 慢 ~7 倍), 唯一手段是减少 DDL 条数。 - DamengTableHandler 逐条 yield vs PG 系每表 yield 一次的差异, 以及 InitData 的 [TestInitialize] 全量重建 schema 是每个用例的秒级底噪来源。 - 六台测试容器端口与各方言 --list-tests 用例数。 --- .workbuddy/memory/2026-09-17.md | 52 +++++++++++++++++++++++++++++++++ .workbuddy/memory/MEMORY.md | 23 +++++++++++++++ 2 files changed, 75 insertions(+) diff --git a/.workbuddy/memory/2026-09-17.md b/.workbuddy/memory/2026-09-17.md index 8d765f1..3671b1d 100644 --- a/.workbuddy/memory/2026-09-17.md +++ b/.workbuddy/memory/2026-09-17.md @@ -178,5 +178,57 @@ Expression CreateCustomEntity(Type targetType) - 模板生成的空测试类 `Test1.cs` 已删除。 - **未完成**:SqlServer / MySQL / PostgreSQL / Dameng 无实例,这几方言的复合末级投影仍未实测。 +## 达梦测试为什么明显慢(14:00 排查,全用探针实测) + +结论:**慢的不是查询、也不是驱动,而是「每个用例都重建整个 schema」× 「达梦 DDL 特别贵」× 「达梦项目把共享套件跑了两遍」。** + +### 逐项实测(探针跑完即删) + +| 阶段 | Dameng | KingbaseES | 倍数 | +|---|---|---|---| +| 10 × DROP TABLE | 660 ms | 306 ms | 2.2× | +| **10 × CREATE TABLE(含 COMMENT/INDEX)** | **3899 ms** | **187 ms** | **20.8×** | +| 8 × FullDelete | 116 ms | 49 ms | 2.4× | +| Insert 6 行 | 83 ms | 30 ms | 2.8× | +| 合计(=`[TestInitialize]` 单次) | **≈4.8 s** | **≈0.57 s** | 8.4× | +| SQLite 同项对照 | — | SQLite **≈13 s**(最慢) | — | + +- **查询与驱动都很快**:`Select_Single_Column` 里 6 条 SQL 的驱动耗时只有 1.7–6.9 ms,整方法却耗时 33 s; + LightORM 完整查询 10 ms/次、生成 SQL 0–1 ms/次;裸 Dm 建连 3–5 ms(仅首次 `Server=localhost` 有 108 ms DNS)。 +- **元凶是 `[TestInitialize]`**(`test/LightORMTest/ResultTest/ExecutionTest.InitData.cs:32`):每个测试方法前 + 10 张表 DROP + 重建 + 8 张表 FullDelete + 重插种子数据。MSTest 的用例耗时包含 TestInitialize,所以 + 每个用例都有 ≈4–5 s 的底噪;`Ado_Executor_Methods_Test` 39 s、json 批处理 36 s 等则是在此之上再叠加。 +- **建表语句条数结构差异(框架侧可优化点)**: + - `DamengTableHandler.Writer`:`CREATE TABLE` / 每条 `COMMENT ON COLUMN` / 每条 `CREATE INDEX` **各 yield 一次** + → 10 张表共 **131 条语句 = 131 次往返**(实测:CREATE TABLE 10 + COMMENT 76 + INDEX 45)。 + - `KingbaseESTableHandler.Writer` / PostgreSQL:把它们 `AppendLine` 到同一个 `StringBuilder`,**每表 `yield` 一次** + → 10 张表 ≈10 次往返(Npgsql/Kingbase 支持一次命令多语句)。 +- **达梦服务端 DDL 本身也贵**:裸 DmConnection 直接 `DROP TABLE` 10 张 = **2205 ms(≈220 ms/张)**,与 LightORM 无关。 +- **用例数差异**:`dotnet test --list-tests` 实测 Dameng **270** / KingbaseES 100 / Oracle 194 / Sqlite 168。 + 达梦多出来的部分来自① `test/LightORMTest.Dameng/SelectResult.cs` 与 `ResultTest/ExecutionTest.cs` **都继承了共享 + `ExecutionTest`(100 个用例)→ 整套跑两遍**(PostgreSQL / SqlServer 也有同样的重复类);② 额外的 + AdoTest / BulkCopyTest / CreateTableTest / DbMethodTest / RepositoryTest 等继承类。 +- 270 个用例 × ≈5 s 底噪 ≈ 22 min,实测 11.5 min 只跑完 54 个(含 36–39 s 的重用例),与观察一致。 + +### 可选的优化方向(未实施,待定) +1. 建表把 COMMENT/INDEX 合并成一次命令(对齐 PG/Kingbase 的写法),131 次往返 → 10 次。 +2. 共享套件的 schema 重建移出 `[TestInitialize]`(改 `[ClassInitialize]` 或“表存在则跳过”), + 数据清理本来已有 FullDelete,语义基本不变。 +3. 删掉 Dameng/PostgreSQL/SqlServer 里重复的 `SelectResult` 类(用例数直接减半)。 + +### 达梦 DDL 慢的定量归因(探针实测,2026-09-17 下午) +用裸 `DmConnection`(不经 LightORM)跑 8 张表 × [1 建表 + 10 条 `COMMENT ON COLUMN` + 4 条 `CREATE INDEX`] = 120 条语句: +- **逐条执行合计 3412ms**;明细 `CREATE 205ms(25.6ms/条)` / `COMMENT 2022ms(25.28ms/条)` / `INDEX 788ms(24.63ms/条)` + ⇒ **每条 DDL 恒定 ~25ms,与语句内容无关**(置一条注释和建一个索引一样贵)⇒ 是 DM 的"每条 DDL 自带一次提交/落盘"的固有代价,不是语句复杂度。 +- **DM 不接受 `;` 分隔的多语句命令**:合并成 8 个命令直接 `DmException: 第 2 行…[COMMENT]附近出现错误: 语法分析出错`。 +- **Oracle 风格匿名块 `BEGIN EXECUTE IMMEDIATE '…'; … END;` 反而更慢**:同样 120 条语句合并为 8 个命令 = **23397ms(≈2.9s/块,比逐条慢 ~7 倍)**,语法上能过但不可用。 + ⇒ 结论:达梦这条路的**批量化救不回来**,唯一可控手段是**减少 DDL 语句条数/次数**。 +- 与框架层测量自洽:`DamengTableHandler.Writer` 对 `CREATE TABLE` / 每条 COMMENT / 每条 INDEX 各 `yield` 一次,而 `InternalCreateTableAsync` 是 `foreach (var s in sqls) await ado.ExecuteNonQueryAsync(s)` → 一次 yield = 一次往返。10 张表 131 条 ≈ 141 条 × 25ms ≈ 3.5s,正是单次 init 4.8s 的大头。 + 对照 `PostgreSQLTableHandler.Writer`:把同表的 CREATE/COMMENT/INDEX 全 `AppendLine` 进一个 `StringBuilder`,**每表只 yield 一次**(约 10 次往返)→ 187ms。 +- 测试侧另有放大器:`LightORMTest.Dameng/SelectResult.cs` 与 `ResultTest/ExecutionTest.cs` **都继承共享 `ExecutionTest`(100 用例)** → 达梦项目发现 270 个用例(Oracle 194 / Sqlite 168 / KingbaseES 100)。 + +### 环境 +- 六台容器全部在线(此前失败是实例未起):`dm8` 5236、`kes` 54321、`oracle21xe` 1521、`mysql` 3306、`pgsql` 5432、`mssql` 1433。 + diff --git a/.workbuddy/memory/MEMORY.md b/.workbuddy/memory/MEMORY.md index cd43b29..a2f9318 100644 --- a/.workbuddy/memory/MEMORY.md +++ b/.workbuddy/memory/MEMORY.md @@ -108,3 +108,26 @@ NuGet 本地源:`E:\GitRepositories\LocalNuget`(用户 NuGet.Config 里的 " (`Transaction_Atomicity_Test` 正是靠长度溢出触发回滚,曾因此失败)。 - **Oracle 实例可用**:`localhost:1521/XE`(`lightorm_test`/`lightorm_test`,写在 `test/LightORMTest.Oracle/GlobalUsings.cs` 的 `ConnectString`),**Oracle 21c XE**。21c 才有原生 `JSON` 类型与 `JSON_TRANSFORM`,实库测试已通过;≤19c 建表即失败。 - 定位 json 问题的高效手段:先写**方言语义探针**(Python `sqlite3` / `sqlcmd` / DmProvider `DmCommand`)验证各 JSON 函数对各类参数的行为,再改框架,比反复改 C# 跑测试快得多。 + +## 测试基础设施(2026-09-17 实测) + +- **六台容器常驻**:`dm8` 5236 / `kes` 54321 / `oracle21xe` 1521 / `mysql` 3306 / `pgsql` 5432 / `mssql` 1433。 + `--list-tests` 实测用例数:Dameng **270** / Oracle 194 / Sqlite 168 / KingbaseES 100。 +- **每个用例前都会重建整个 schema**:`test/LightORMTest/ResultTest/ExecutionTest.InitData.cs` 的 + `[TestInitialize] InitDatas()` = 10 张表 DROP + CREATE + 8 张表 FullDelete + 重插种子数据。 + MSTest 的用例耗时**包含 TestInitialize**,所以每个用例都有几秒底噪 —— 写"某用例为何很慢"的分析时别漏了这项。 +- **达梦测试慢的两个真原因**(不是查询、不是驱动): + 1. 达梦 DDL 贵:单次 init ≈ **4.8 s**(其中 CREATE 段 3.9 s、裸 DROP 220 ms/张), + Kingbase 同项只有 **0.57 s**;DM 的查询本身只要 3–10 ms。 + 2. 建表语句被拆成逐条发送:`DamengTableHandler.Writer` 对 `CREATE TABLE`/每条 `COMMENT`/每条 `INDEX` + **各 yield 一次**(10 张表 = **131 条语句 = 131 次往返**),而 PG/Kingbase 用 `StringBuilder.AppendLine` + 拼成一段、**每表 yield 一次**(≈10 次往返)。 +- **达梦 DDL 的批量化不可行(已实测,别再试)**:裸 `DmConnection` 跑 8 表 × [1 建表 + 10 注释 + 4 索引] + = 120 条语句,逐条 **3412 ms**,且 **CREATE 25.6ms/条、COMMENT 25.28ms/条、INDEX 24.63ms/条** —— + 单条成本与语句内容无关 ⇒ 是"每条 DDL 自带一次提交/落盘"的固有代价。 + ① `;` 分隔的多语句命令被 DM 拒绝(`语法分析出错`);② Oracle 风格匿名块 + `BEGIN EXECUTE IMMEDIATE '…'; … END;` 语法能过但同一工作量要 **23397 ms(慢 ~7 倍)**。 + ⇒ 唯一可控手段是**减少 DDL 条数/次数**(如把 schema 重建移出 `[TestInitialize]`)。 +- **重复的测试类**:`LightORMTest.Dameng` / `PostgreSQL` / `SqlServer` 项目里同时存在 + `ResultTest/ExecutionTest.cs` 与 `SelectResult.cs`,**两者都继承共享 `ExecutionTest`(100 个用例)** + → 整套共享套件在这些库里跑两遍。Sqlite / Oracle / MySql / KingbaseES 只有一份。