[bits-bytes-nn]

This PR adds an AI-generated paper survey: From RLHF to DPO and GRPO: Lineages of LLM Preference Optimization

• Topic: LLM 정렬을 위한 선호 최적화: RLHF, DPO와 그 후속 방법
• Papers: 22 (14 core)
• Lineages: 6
• Characters: 74,559

This pull request was automatically generated by the Scholar-Lens system.

Review checklist

• Evidence that misstates its quote was left out: E9 (The quote says the failure may be because short Qbert clips are confusing and hard to evaluate. The claim gives other ca)
• Section '사람의 비교 한 번에서 출발한 여섯 갈래의 정렬 계보': review problems no fix addressed: flow: 아래 목록과 맞지 않는 주장입니다. 온라인·게임 이론 갈래는 현재 정책에서 새로 뽑은 응답을 쓰고, 크리틱 없는 RL은 그룹 샘플에 매긴 점수를 씁니다. 고정된 비교 쌍은 '모든 계보의 공통 입력'이 아닙니다. '여러 갈래가 출발점으로 삼는 신호' 정도로 범위를 줄이세요. — in: 이 비교 한 쌍 $$(x, y_w, y_l)$$이 뒤에 나오는 | kindness: GRPO를 정의 없이 씁니다. 크리틱 없는 RL 갈래를 소개하기도 전에 나옵니다. 처음 나올 때 'Group Relative Policy Optimization, 크리틱 없이 그룹 내 상대 점수를 쓰는 RL'처럼 풀어 쓰고 어느 갈래에 속하는지 밝히세요. — in: 이 틀에서 GRPO는 보상 모델에 기반해 그룹 샘플을 온라인으로 뽑는 방법 | kindness: RFT(rejection sampling fine-tuning)와 PPO(Proximal Policy Optimization)를 처음 나오는 곳에서 풀어 쓰세요. DPO도 이 문단보다 앞에서 이미 쓰이는데 정의가 없으니, 처음 나올 때 Direct Preference Optimization이라고 밝히세요. — in: 이 논문은 SFT, R | kindness: '로그비'가 무엇과 무엇의 비인지 밝히세요. 예: '정책과 참조 정책의 로그 확률비 log π_θ(y|x)/π_ref(y|x)'. — in: - 닫힌 형태 직접 최적화: 보상 모델 없이 정책의 로그비로 손실을 씁니다.
• Section '비교 학습 보상 모델과 KL로 묶인 PPO, 그리고 그 보상의 과최적화': the writer could not fix: E52의 1.1%와 1.8%는 %p(절대값)로 적었습니다. 근거 문장은 "~1.1% increase in reward model validation accuracy"뿐이고 절대값인지 상대값인지 직접 밝히지 않습니다. 정확도 상승을 말하는 문맥이라 절대값으로 읽었습니다. 124M은 E20의 scope에만 나오고 인용문에는 없어서 지웠습니다.
• Section '비교 학습 보상 모델과 KL로 묶인 PPO, 그리고 그 보상의 과최적화': review problems no fix addressed: flow: The evidence (E60) shows performance drops on DROP and SQuAD after RLHF. It does not show that the SFT stage lost these abilities. Remove this explanation, or rewrite it as an explicitly labelle | sources: Cut the note about the post copying the paper's notation. State the fact directly: "이 식은 로그우도이므로 보상 모델은 이 값을 최대화하도록 학습됩니다." — in: 이 식은 논문 표기를 그대로 옮긴 것으로, 실제로는 이 로그우도를 최대화합니다. | flow: Nothing in the evidence supports "most often cited". Remove the claim and open directly with what the diagram shows. — in: 이 도식이 지금도 RLHF를 설명할 때 가장 자주 인용되는 그림입니다. | depth: Say whether these gains are absolute (%p) or relative (%), and add the setting they were measured in (TL;DR reward model). — in: 학습 데이터를 두 배로 늘리면 보상 모델 검증 정확도가 약 1.1% 오르고, 모델 크기를 두 배로 늘리면 약 1.8 | sources: Drop the reference to where the value sits ("표에 함께 실린"). State the comparison as fact, e.g. "당시 TL;DR SOTA(R-1 22)에는 미치지 못했습니다". — in: 다만 표에 함께 실린 SOTA 값(TL;DR R-1 22)에는 미치지 못했습니다 [[E38]].
• Section '원칙 목록과 AI 라벨로 대체한 무해성 피드백': the writer could not fix: RLAIF 섹션의 '대등함' 문장(E137)에는 과제별 승률이나 무해율 수치를 넣지 못했습니다. 근거 자료에 그런 숫자가 없어서 문장을 그대로 두었습니다. TL;DR 설명은 덧붙이지 않았습니다. 근거가 TL;DR을 뒷받침하지 않아 해당 문장에서 TL;DR 언급을 뺐기 때문에 이 문제는 더 이상 해당하지 않습니다.
• Section '헌법 원칙과 AI 라벨로 대체한 무해성 피드백': review problems no fix addressed: kindness: PM이 여기서 처음 나오는데 정의가 없습니다. 첫 등장에서 '선호 모델(preference model, PM)'로 풀어 쓰고, 이 점수가 무엇을 재는지 한 구절 덧붙이세요. — in: 수정 횟수를 늘리면 무해성 PM 점수는 단조롭게 오르고 순수 유용성 점수는 떨어졌습니다 [[E89]]. | style: 주제 라벨이 아니라 주장을 담은 명사구로 바꾸세요. 예: '극단으로 쏠린 CoT 확률을 40-60%로 묶은 소프트 라벨'. — in: ### 소프트 확률 라벨과 그 클램핑 | sources: 직접 만든 예시에 근거 인용 [[EX]]를 달면 논문에서 가져온 수치처럼 읽힙니다. 인용을 빼고 '가상의' 예시라는 표시만 남기세요. — in: 예를 들어 가상의 CoT 라벨이 (A)에 0.97을 준다면, 클램핑을 거친 타깃은 0.6이 됩니다 [[EX]]. | flow: 이 그림은 AI 라벨러가 쓸 만하다는 전제를 보여 주는데, 클램핑 논의 뒤에 끼어 있어 흐름이 끊깁니다. RL-CAI 라벨링 설명 앞으로 옮기거나, 클램핑과 이어지는 이유를 밝히세요. — in: AI가 라벨러 역할을 할 수 있는지는 이 HHH 비교에서 가늠할 수 있습니다. | depth: '크게'만으로는 판단할 수 없습니다. 근거에 있다면 모델 크기, 438개 문항에서의 정확도, 사람 피드백으로 학습한 PM과의 격차를 수치로 적고, 근거에 없다면 그림에서 읽히는 경향만 말하세요. — in: 체인 오브 소트 추론을 붙이면 사전학습 모델의 성능이 크게 오릅니다 [[E98]].
• Section '헌법 원칙과 AI 라벨로 대체한 무해성 피드백': 3 sentence(s) removed that contradict their evidence, talk about the post's sources or that their evidence does not support: TL;DR 요약 두 개 가운데 나은 쪽을 고르는 판정을 사람 대신 LLM이 내리고, 그 비교 쌍이 같은 방식으로 보상 모델 학습에 들어갑니다. (unsupported: No RLAIF evidence mentions TL;DR summaries specifically; only 'summ) | 범위별 비교에서 20-80% 클램핑은 결과를 약간 개선했고, 40-60%는 더 개선했습니다. (numbers not in its evidence) | 52B 모델에 대한 크라우드워커 Elo 평가에서 RL-CAI는 RLHF 모델과 SL-CAI 모델보다 유의하게 더 무해했습니다. (numbers not in its evidence)
• Section '헌법 원칙과 AI 라벨로 대체한 무해성 피드백' still has: [60] already stated in '비교 학습 보상 모델과 KL로 묶인 PPO, 그리고 그 보상의 과최적화': refer back without repeating: 그대로 쓰면 RL-CAI가 극단적인 응답을 학습했고, 그래서 저자들은 확률을 40-60% 범위로 클램핑합니다 . | [60] already stated in '비교 학습 보상 모델과 KL로 묶인 PPO, 그리고 그 보상의 과최적화': refer back without repeating: 주 결과에는 40-60%를 썼습니다 .
• Section '보상 모델을 지운 닫힌 형태 정책 손실과 그 일반화, 그리고 남은 과최적화': the writer could not fix: λ_D 하락폭: 근거에는 "several points"라는 표현밖에 없고 측정 모델도 나오지 않아서 %p 값이나 모델명을 쓸 수 없었습니다. 그래서 정성적으로만 보고된 수치라고 밝혔습니다. RMSE 비교도 근거에 모델과 세부 설정이 없어서, 상대 감소(절반)라는 점과 비교 대상(이차식 적합)만 적었습니다. D3는 근거에 정확한 쌍 구성이 없어서, 데이터에 나타나지 않는 행동이 하나 있다는 점만 설명했습니다.
• Section '참조 모델과 별도 SFT 단계를 덜어낸 랭킹·오즈비·길이 정규화 보상': the writer could not fix: 고치지 못한 문제: - 같은 설정의 DPO 수치: 근거 자료에 DPO의 AlpacaEval 2·Arena-Hard 값이 없어서 SimPO와의 차이를 %p로 적을 수 없었습니다. 대신 '크게 앞선다'는 표현을 저자들의 보고로 돌렸습니다. - ORPO의 규모별 DPO 대비 승률 수치(OPT-125M→1.3B): 근거 자료에 없어서 적지 못했습니다. UltraFeedback에서 모델이 클수록 승률이 높아진다는 방향은 이미 본문에 있습니다. - KTO 변형이 ORPO를 앞선 폭(어떤 모델·벤치마크·지표에서 몇 %p인지): 근거 자료에 없습
• Section '참조 모델과 별도 SFT 단계를 덜어낸 랭킹·오즈비·길이 정규화 보상': 1 edit(s) not applied: would remove the only equation: '저자들은 오즈비 손실의 그래디언트를 두 인수의 곱으로 나눕니다. $$\delta$$는 페널티 항, $$h$$'
• Section '참조 모델과 별도 SFT 단계를 덜어낸 랭킹·오즈비·길이 정규화 보상': review problems no fix addressed: depth: δ(d)와 h(d)를 수식으로 정의하지 않아 이 식에서 독자가 얻을 것이 없습니다. 각 인수가 무엇에 비례하는지 적어 주세요. 예를 들어 δ는 선택 응답의 오즈가 이미 클 때 작아지고, h는 y_w 쪽 그래디언트와 y_l 쪽 그래디언트의 차이를 나타낸다는 식입니다. 이렇게 설명할 수 없다면 이 단락을 빼세요. — in: 저자들은 오즈비 손실의 | depth: 상관의 방향과 수치를 적어 주세요. 예를 들어 OPT-125M→1.3B에서 DPO 대비 승률이 몇 %에서 몇 %로 올랐는지 밝히세요. — in: DPO 대비 승률은 모델 크기와 상관을 보였습니다 [[E228]]. | depth: 어떤 모델과 벤치마크에서, 어떤 지표로 몇 %p 앞섰는지 적어 주세요. 앞 섹션에서 이 비교를 실제로 보였는지도 확인하세요. 보이지 않았다면 '앞서 본 대로'를 빼고 이 자리에서 비교 결과를 온전히 제시하세요. — in: 다만 앞서 본 대로, 참조 모델 없는 KTO 변형은 메모리를 더 적게 쓰면서 ORPO를 앞섰습니다 [[E181]]. | depth: '크게 앞섭니다'를 뒷받침할 수치가 없습니다. 바로 뒤에 나오는 SimPO 수치(21.5%, 16.6%, 44.7%) 옆에 같은 설정의 DPO 수치를 함께 적어 차이를 %p로 보여 주세요. — in: 두 방법은 보상 정의만 다르고, 여러 설정의 AlpacaEval 2와 Arena-Hard에서 SimPO가 DPO를 크게 앞섭니다 [[E257]]. | flow: 길이 정규화와 마진은 앞서 보상의 길이 편향과 승패 간격을 다루는 장치로 소개되었고, 정책을 참조 분포 근처에 붙잡는 역할은 본문에서 보인 적이 없습니다. SimPO 부분을 '대신 맡는 장치가 없다'로 고치거나, 그런 효과를 보이는 근거를 본문에 추가하세요. 또 이런 판단은 섹션 중간보다 마무리·인사이트 섹션에 두는 편이 맞습니다. — in: 이
• Section '참조 모델과 별도 SFT 단계를 덜어낸 랭킹·오즈비·길이 정규화 보상': the writer could not fix: I dropped the 44.7 figure. E269 says it belongs to Llama-3-Instruct 8B, but the table header quoted alongside it puts that column under Mistral-Instruct (7B), so I can't tell which model the number is for.
• Section '브래들리-테리를 넘어선 선호 게임의 내시 균형과 현재 정책 샘플': the writer could not fix: 근거가 없어 고치지 못한 부분입니다. - NLHF에서 Nash-MD가 앞선 평가와 지표: E175에 평가 방식(예: 선호 모델 기준 쌍별 승률)이 나와 있지 않아 적지 못했습니다. - IPO-MD의 정의: 근거에 정의가 없어 추측으로 쓰지 않았습니다. 대신 '나머지 방법'이 무엇인지만 E232의 범위에 따라 적었습니다. - E163 그림의 결과: 근거는 그림 설명뿐이고 어느 모델의 테스트 정확도가 높았는지는 나와 있지 않습니다. 그래서 결과를 적지 않고, 그림만으로는 판단할 수 없다고 적었습니다. - SPPO와 반복 DPO의 오프라
• Section '브래들리-테리를 넘어선 선호 게임의 내시 균형과 현재 정책 샘플': review problems no fix addressed: flow: 이 섹션의 주장은 SPPO와 반복 DPO가 오프라인 DPO를 크게 앞섰다는 것입니다. 그런데 본문에는 오프라인 DPO와 직접 비교한 수치가 없습니다. 비교 대상에 같은 기반 모델의 DPO(또는 IPO) 기준선을 명시하고, 그 승률과의 차이를 %p로 적어 주세요. 근거에 그런 수치가 없다면 주장을 근거 범위에 맞게 낮춰야 합니다. — in: Mis | flow: 반복 DPO 소절에는 오프라인 DPO보다 낫다는 결과가 없고, SFT 대비 성능 저하가 없다는 내용만 있습니다. 반복 DPO와 오프라인 DPO를 비교한 벤치마크·지표·수치를 넣거나, 주장에서 반복 DPO의 우위 부분을 빼 주세요. — in: 8B 반복 DPO 모델은 학술 벤치마크에서 SFT 대비 뚜렷한 성능 저하를 보이지 않았습니다. | kindness: 'MD1'은 정의 없이 나오는 모델 이름입니다. 'β=0.125인 Nash-MD 모델(논문 표기 MD1)'처럼 풀어 쓰고, 어떤 평가에서 어떤 지표로 앞섰는지(예: 선호 모델 기준 쌍별 승률)도 밝혀 주세요. — in: NLHF의 실험에서는 $$\beta=0.125$$, $$0.25$$, $$0.375$$의 Nash-MD 모델이 RLHF를 | kindness: IPO-MD가 무엇인지 정의되어 있지 않습니다. 앞서 본 Nash-MD처럼 기하 혼합 상대를 쓰는 IPO 변형이라는 식으로 한 구절을 덧붙이고, '나머지 방법'이 어떤 온라인 알고리즘인지도 적어 주세요. — in: 하지만 표준편차를 고려하면 IPO와 IPO-MD는 통계적으로 구분되지 않았고, 둘 다 나머지 방법을 일관되게 이겼습니다 [[E | depth: 그림이 무엇을 비교하는지만 말하고 결과는 말하지 않습니다. 어느 모델이 테스트 정확도가 더 높거나 비슷했는지 적어 주세요. 그 결과가 바로 앞 문단(분포 의존성)이나 바로 뒤의 KL 정규화 논의와 어떻게 이어지는지도 한 문장으로 연결해 주세요. — in: 두 곡선은 크기가 같은 선호 모델과 보상 모델의 정확도를 학습셋과 테스트셋에서 나란히 비교
• Section '브래들리-테리를 넘어선 선호 게임의 내시 균형과 현재 정책 샘플' still has: [0.25] already stated in '참조 모델과 별도 SFT 단계를 덜어낸 랭킹·오즈비·길이 정규화 보상': refer back without repeating: NLHF의 실험에서는 $$\beta=0.125$$, $$0.25$$, $$0.375$$의 Nash-MD 모델이 RLHF를 포함한 다른 모든 모델을 앞섰고, 가장 낮은 $$\beta$$인 MD1이 가장 좋았습니다 .
• Section '가치 모델을 그룹 평균으로 바꾼 GRPO와 검증 가능한 보상의 성공률 증폭': the writer could not fix: 고치지 못한 항목: (1) 그림 5 문단: 이 근거에는 그림 5의 두 벤치마크 이름도, GRPO와 Online RFT 사이 및 GRPO+PS와 GRPO+OS 사이의 수치 격차도 없습니다. 그래서 벤치마크 이름과 %p 수치를 넣지 못했습니다. (2) 반복 RL 문단: 그림 6의 벤치마크 이름과 반복별 향상 폭도 근거에 없어 수치를 붙이지 못했습니다. (3) Maj@K 하위 절: 주제문을 맨 앞으로 옮기고 온도 0.7에 [[E196]] 출처를 달았습니다. 다만 근거에 K의 범위와 구체적인 Maj@K 격차가 없어 이 둘은 넣지 못했습니다
• Section '계보를 가리지 않고 되풀이되는 보상 해킹과 길이 편향': the writer could not fix: 못 고친 부분: (1) DPO/IPO 길이 2736·2654의 단위(문자/토큰), 벤치마크, 비교 대상 반복 회차는 근거 자료에 없어 추가하지 못했고, Mistral 기반 설정이라는 범위만 밝혔습니다. (2) SimPO 보상 식 r = (β/|y|) log π(y|x)는 근거 자료에 없어 수식을 넣지 않고 말로만 설명했습니다. 상관값은 UltraFeedback held-out 세트 기준으로 적었지만, 측정에 쓴 모델은 근거 자료에 나오지 않습니다. (3) Mistral-Base 7B AlpacaEval 2 LC에서 길이 정규화를 둔
• Section '계보를 가리지 않고 되풀이되는 보상 해킹과 길이 편향': review problems no fix addressed: depth: Add the unit (characters or tokens), the benchmark the outputs were measured on (e.g. AlpacaEval 2.0) and which iteration of DPO/IPO is compared. Without these, the numbers can't be compared wi | depth: Write the SimPO reward next to DPO's log-ratio reward, e.g. r = (β/|y|) log π(y|x). Then give the correlation values for both methods, with the model and dataset they were measured on. — in: 보상 | depth: Name the benchmark (e.g. AlpacaEval 2 LC win rate) and the model. Give the numbers with and without length normalization, and state the drop in %p. — in: 길이 정규화를 빼면 길이 통제 승률이 크게 떨어졌습니다 [[E270]] | kindness: Explain clamping in one clause where it appears: the CoT preference probabilities are clipped to a fixed range (e.g. 40–60%) before they are used as labels. — in: Constitutional AI에서 체인 오브 소 | kindness: Spell out what "SFT 대상 최적 응답만 쫓는 설정" means. It is the setting that only optimizes for responses the preference model prefers over the SFT policy, i.e. the best response against the SFT model
• Section '계보를 가리지 않고 되풀이되는 보상 해킹과 길이 편향' still has: an evidence marker stands for a word; state the fact and put the marker at the end of the sentence: 다만 이 길이 수치만으로 앞서 본 승률 직접 회귀식 [[E247]]이 원인이라고 단정하기는 어렵습니다. | a standard section needs at least 1 visuals (its figures, an equation, or a small table from its number evidence)
• Section '서로 다른 평가 잣대 위에 놓인 승률과 정확도': the writer could not fix: depth (SimPO–DPO 차이와 SPPO 반복별 승률의 실제 수치): 근거 자료(E257, E236)에는 그림 설명만 있고 기본 모델별 수치나 %p 차이가 없습니다. 그래서 숫자 없이 서술하고 marker를 문장 끝에 두는 데까지만 고쳤습니다.
• Section '단순한 손실, 신선한 샘플, 믿기 어려운 보상 사이의 삼각 긴장': review problems no fix addressed: kindness: HALO is used here without a definition. Add a short gloss where it first appears, for example "인간 인식 손실(human-aware loss, HALO)": the family of losses defined in the KTO paper that DPO, KTO | kindness: "SFT 대상 최적 응답 설정" is hard to parse, and it is unclear who is optimizing against what. Say it in plain words, for example "SFT 정책을 상대로 최적 응답을 찾게 한 설정", and add one clause explaining what 선호 해 | style: The passive "지목됩니다" hides who identifies the cause. Name the paper as the subject, for example "같은 연구는 그 원인으로 … 문제를 지목합니다". — in: 원인으로는 선호 데이터가 응답 공간의 극히 일부만 덮어 암묵적 보상이 충분히 제약되지 않는 문제가 지목됩니다 [[
• Section '단순한 손실, 신선한 샘플, 믿기 어려운 보상 사이의 삼각 긴장' still has: evidence [E123] was already referred back to once; do not restate it again: DPO는 같은 쌍을 정책 로그비에 대한 이진 교차 엔트로피 하나로 바꿨습니다 . | evidence [E229] was already referred back to once; do not restate it again: ORPO와 SimPO는 여기서 참조 모델까지 덜어냈고 , KTO는 쌍조차 요구하지 않고 좋음·나쁨 신호만 씁니다 . | evidence [E184] was already referred back to once; do not restate it again: 결정적 선호에서 DPO는 참조 정책을 무시하는 쪽으로 수렴하고 , SFT 없이 학습하면 응답이 길어집니다 . | evidence [E112] was already referred back to once; do not restate it again: DPO는 고정된 오프라인 데이터셋으로 이 루프를 끊었습니다 . | evidence [E206] was already referred back to once; do not restate it again: GRPO도 그룹 샘플을 온라인에서 뽑습니다 .
• Section '헌법 원칙과 AI 라벨로 대체한 무해성 피드백' still has: [60] already stated in '비교 학습 보상 모델과 KL로 묶인 PPO, 그리고 그 보상의 과최적화': refer back without repeating: 그대로 쓰면 RL-CAI가 극단적인 응답을 학습했고, 그래서 저자들은 확률을 40-60% 범위로 클램핑합니다 .
• Section '브래들리-테리를 넘어선 선호 게임의 내시 균형과 현재 정책 샘플': the writer could not fix: Fixed both problems in this section. One part of the first fix could not be done here: the old definition of '선호 오라클' lives in a later section, 「서로 다른 평가 잣대 위에 놓인 승률과 정확도」, which is not in this text. That sentence needs to be deleted when that section is revised.
• Section '브래들리-테리를 넘어선 선호 게임의 내시 균형과 현재 정책 샘플' still has: [0.25] already stated in '참조 모델과 별도 SFT 단계를 덜어낸 랭킹·오즈비·길이 정규화 보상': refer back without repeating: NLHF의 실험에서는 $$\beta=0.125$$, $$0.25$$, $$0.375$$의 Nash-MD 모델이 RLHF를 포함한 다른 모든 모델을 앞섰고, 가장 낮은 $$\beta$$인 MD1이 가장 좋았습니다 .
• Section '계보를 가리지 않고 되풀이되는 보상 해킹과 길이 편향': whole-post review problems left as they were (adds problems: 1,474 characters of prose for a target of 2,500 (below 60%): develop the section from its evidence (the mechanism, an ex): "Constitutional AI에서 체인 오브 소트(chain-of-thought) 피드백은 확률이 극단으로 쏠렸고, 클램핑을 하지 않으면 RL-CAI가 극단적인 응답을 학습했습니다 [[E103]]. 사람 피드백 쪽 기준선인 HH RLHF 모델은 "답할 수 없다"는 식의 회피 응답을 | "이들 역시 높은 KL 예산에서 고전적 RLHF와 비슷하게 과최적화됩니다 [[E272]]. 길이 쪽 증상도 이미 나타났습니다. SFT 없이 학습한 DPO는 응답이 길어졌고 [[E184]], 대화를 환각하며 횡설수설했습니다 [[E188]]." DAA 과최적화 하위 절과 KTO 하위 절의 | "보상을 응답 길이로 나눈 평균 로그확률로 바꾸자, 평균 로그우도와 길이 사이의 상관이 DPO보다 낮아졌습니다 [[E262]]. 길이 정규화를 빼면 길이 통제 승률이 크게 떨어졌습니다 [[E270]]." SimPO 하위 절에서 수치와 함께 이미 제시한 상관 결과와 절제 결과를 다시 말합
• Section '서로 다른 평가 잣대 위에 놓인 승률과 정확도': whole-post review problems left as they were (a heading was lost): "이 섹션 끝의 표는 … 한 행씩 놓습니다"라고 하고 '주요 결과'·'한계' 열과 InstructGPT·NLHF·SPPO 등의 행을 설명하지만, 섹션 끝에 표가 없습니다. 마지막 문단의 "아래 표에서 가장 믿을 만한 정보는"도 없는 표를 가리킵니다. Fix: 섹션 끝에 방법·평가 잣대· | "앞서 본 요약 RL 모델은 문장을 거의 통째로 복사하는 추출식 요약을 내면서도 참조 요약을 높은 비율로 이겼습니다. 이는 모델이 평가자가 단순한 휴리스틱에 기대는 허점을 파고들었다는 신호일 수 있습니다 [[E30, E39]]." 보상 해킹 섹션의 '라벨러의 지름길을 그대로 배운 요약 | "예컨대 SimPO는 DPO와 보상 정의만 다른데도 … SPPO는 AlpacaEval 2.0에서 GPT-4-Turbo 대비 길이 통제 승률과 원래 승률을 반복마다 꾸준히 높였습니다 [[E257, E236]]." SimPO 하위 절과 SPPO 하위 절의 결과를 다시 설명합니다. Fix:
• Section '단순한 손실, 신선한 샘플, 믿기 어려운 보상 사이의 삼각 긴장' still has: evidence [E123] was already referred back to once; do not restate it again: DPO는 같은 쌍을 정책 로그비에 대한 이진 교차 엔트로피 하나로 바꿨습니다 . | evidence [E229] was already referred back to once; do not restate it again: ORPO와 SimPO는 여기서 참조 모델까지 덜어냈고 , KTO는 쌍조차 요구하지 않고 좋음·나쁨 신호만 씁니다 . | evidence [E184] was already referred back to once; do not restate it again: 결정적 선호에서 DPO는 참조 정책을 무시하는 쪽으로 수렴하고 , SFT 없이 학습하면 응답이 길어집니다 . | evidence [E112] was already referred back to once; do not restate it again: DPO는 고정된 오프라인 데이터셋으로 이 루프를 끊었습니다 . | evidence [E206] was already referred back to once; do not restate it again: GRPO도 그룹 샘플을 온라인에서 뽑습니다 .