[Feature]: per-model capability declarations — text-only, context tier, and video processing mode

[lidge-jun]

Area

Provider adapters

What are you trying to accomplish?

Declare, per model, what a provider can actually do — context tier, vision or text-only, video processing mode — instead of relying on OpenCodex's inferred defaults that silently mismatch the upstream.

This consolidates three requests that each name one missing capability axis. Each is closed individually and absorbed here:

• [Feature]: allow marking models as text-only from ocx provider add #3268 (@turin-dev) — mark models as text-only from ocx provider add
• feat(provider/google): support pass-through for Gemini agentic video understanding (processing: "agentic") #3271 (@GoldenLoaf24h) — pass through Gemini agentic video understanding (processing: "agentic")
• [Feature][GitHub Copilot] Expose model context tiers and apply the OpenCodex cap #3281 (@Simon-Opopeee) — expose GitHub Copilot model context tiers and apply the OpenCodex cap

What prevents this today?

Each axis is missing at the same layer — the provider/model row has nowhere to say it.

Text-only is not expressible. src/cli/provider.ts parses through --default-model but has no text-only flag, and src/cli/provider-runtime.ts offers no equivalent on edit. A text-only model that receives an image fails at the upstream instead of being rejected or downgraded locally.

Video processing mode is dropped. src/chat/inbound.ts preserves only the video URL, src/responses/schema.ts has no processing field, and src/adapters/google.ts converts non-data video URLs into text markers. Gemini's agentic video mode cannot be requested at all.

Context tier is not selectable. src/providers/github-copilot-transport.ts enriches headers and base URL only; there is no context-tier option on provider edit, so a Copilot model cannot be pinned to its long-context tier and OpenCodex cannot apply its own cap against that tier.

What should OpenCodex do?

Give the provider/model configuration a capability block that these three cases populate, so adding a capability axis later does not require another bespoke flag:

1. Accept a text-only declaration at provider add and provider edit, and reject or explicitly downgrade image content for such models before dispatch rather than after.
2. Carry a video processing mode from ingress through the schema to the Google adapter, so processing: "agentic" reaches the upstream unmodified.
3. Accept a context tier per model, apply the OpenCodex cap against the selected tier, and send whatever header or field the provider requires.

Example usage or interface

ocx provider add mine --default-model my-model --text-only
ocx provider edit copilot --model gpt-x --context-tier long

{
  "providers": {
    "google": {
      "models": {
        "gemini-x": { "video": { "processing": "agentic" } }
      }
    }
  }
}

Alternatives or workarounds

Users currently avoid affected models, or accept upstream errors that surface as opaque proxy failures because OpenCodex had no way to know the model's real capability.

Additional context

Absorbs #3268, #3271, #3281. Credit for the original analysis belongs to @turin-dev, @GoldenLoaf24h, and @Simon-Opopeee.

PR #3282 by @Simon-Opopeee (GitHub Copilot context tier) is open and addresses item 3; it is not superseded by this issue.

Checks

• I searched existing issues and documentation.
• This request describes a concrete OpenCodex workflow rather than merely naming a desired technology.
• I removed secrets and personal data.

[lidge-jun]

리뷰 · 우선순위 66 / 80

이 이슈는 모델마다 “이 모델이 실제로 할 수 있는 일”을 OpenCodex가 적어두자는 요청입니다. 지금 dev는 제공자/모델 행에 그 칸이 없어서, 업스트림과 다른 기본값을 조용히 씁니다. 본문이 묶은 세 축은 겉모습이 다릅니다. 텍스트만 받는 모델(#3268), 제미니 에이전틱 비디오(#3271), 깃허브 코파일럿 컨텍스트 티어(#3281). 막힌 층은 같습니다. 설정에 적을 곳이 없습니다.

현재 dev 경로도 본문과 맞습니다. src/cli/provider.ts의 add 사용법은 --default-model까지이고 --text-only가 없습니다. src/cli/provider-runtime.ts의 edit도 마찬가지입니다. 이미지를 받는 텍스트-only 모델은 로컬에서 거절되지 않고 업스트림에서 실패합니다. 비디오는 src/chat/inbound.ts가 URL만 남기고, src/responses/schema.ts의 input_video는 video_url 문자열만 있습니다. src/adapters/google.ts는 데이터 URL이 아니면 [video: …] 텍스트 마커로 바꿉니다. processing: "agentic"을 보낼 필드가 없습니다. 코파일럿은 src/providers/github-copilot-transport.ts가 헤더와 베이스 URL만 보강하고, 컨텍스트 티어 옵션은 없습니다.

흡수된 세 이슈는 닫혀 있습니다. 열린 PR #3282(feat(provider): add GitHub Copilot context tier)는 이 이슈가 “항목 3만 다루며 대체되지 않는다”고 적었습니다. 그 PR이 티어만 넣고 공통 capability 블록 없이 설정 키를 하나 더 만들면, 나중에 텍스트-only·비디오와 키가 세 갈래가 됩니다. types.ts/config.ts 분할과도 맞닿습니다. 모델 capability 블록을 src/types.ts / src/config.ts에 직접 넓히면 분할 캠페인에 치일 수 있으니, 공통 블록 설계를 먼저 정하고 #3282는 그 블록의 첫 필드로 맞추는 편이 낫습니다.

세 축을 한 PR에 넣지 않는 것이 맞습니다. 텍스트-only는 CLI 플래그와 로컬 거절, 비디오는 스키마+구글 어댑터, 티어는 코파일럿 전송입니다. 공통점은 설정 모양뿐입니다. providers.<name>.models.<id> 아래에 capability 객체를 하나 두고, 각 PR이 필드 하나씩 채우게 하면 됩니다. 기본값은 오늘처럼 추론을 유지하고, 명시한 값만 업스트림 기본값을 덮어야 기존 제공자가 갑자기 거절되지 않습니다.

src/cli/provider.ts / src/cli/provider-runtime.ts - --text-only(또는 동등한 모델 플래그)가 없습니다.

src/responses/schema.ts input_video / src/adapters/google.ts 비디오 분기 - URL만 남고 processing이 없습니다. 비-데이터 URL은 텍스트 마커가 됩니다.

src/providers/github-copilot-transport.ts - 컨텍스트 티어를 고를 설정이 없습니다.

열린 PR #3282 - 티어만 다루며 이 이슈가 대체하지 않습니다. 공통 블록 없이 키를 하나 더 만들지 않게 맞출 필요가 있습니다.

메인테이너의 판단이 필요한 지점

• capability 블록의 위치(모델 행 vs 제공자 행)와 기본값(미지정 시 오늘 추론 유지).
• #3282를 그 블록의 첫 필드로 리베이스할지, 독립 키로 먼저 머지할지.
• 텍스트-only 거절을 로컬에서 할지, 업스트림 에러를 더 친절하게만 바꿀지.

너의 추천
이 이슈를 열어 두고 공통 모델 capability 모양만 먼저 정하세요. 그다음 텍스트-only, 비디오 processing, 코파일럿 티어를 필드 단위 PR로 나누세요. #3282는 그 블록을 쓰도록 맞추는 것을 권합니다. 흡수된 원본은 다시 열지 마세요.

이 댓글은 grok-bot이 작성했습니다