Blog
인공지능학과 석사과정 중 공부하고 있는 내용을 정리합니다.
- ·arXiv 2026
Return or Revise? Learning When Revision Helps Retrieval-Augmented QA
검색 근거로 초안을 고칠지는 '초안이 맞나'가 아니라 '고치면 고침-망침이 어떻게 되나'로 정해야 하며, 초안 대신 근거로 새로 푼 답(standard RAG)과 고를 수 있으면 수정은 더할 가치가 없다.
#논문리뷰#Paper Review#LLM#자기수정#Self-Correction#RAG#Retrieval-Augmented Generation#평가방법론#LLM Evaluation 토큰과 다음 토큰 예측: LLM은 문장을 어떻게 만들까?
토큰화와 토큰 ID, 다음 토큰 확률, 반복 생성을 작은 가상 예시로 설명하는 비전공자용 입문 시리즈 1편.
#개념정리#Study#모델구조#Model Architecture#추론#Reasoning- ·COLM 2025
Reasoning Models Know When They're Right: Probing Hidden States for Self-Verification
추론 모델의 중간 답 지점 hidden state에 선형 probe를 붙여 정답 여부를 예측하고, 그 확신도로 조기 종료해 MATH에서 토큰 24% 절감
#논문리뷰#Paper Review#LLM#자기수정#Self-Correction#추론#Reasoning - ·arXiv 2026
It's the Problem, Not the Path: Budget and Difficulty Confounds in LLM Reasoning Trajectories
추론 궤적에 대한 주장(돌파 순간·초반 신호 예측)은 같은 문제를 다시 풀었을 때라는 문제 수준 기준선과 비교해야 하며, 그 기준선을 넣으면 대부분 사라진다
#논문리뷰#Paper Review#LLM#추론#Reasoning#불확실성#Uncertainty Estimation#평가방법론#LLM Evaluation 인코더-디코더: 입력을 읽고 다음 토큰을 만드는 과정
인코더의 입력 표현, 디코더의 다음 토큰 생성, cross-attention의 Q·K·V를 작은 계산 예시와 함께 설명한다.
#개념정리#Study#모델구조#Model Architecture- ·ACL 2025
Revisiting Uncertainty Quantification Evaluation in Language Models: Spurious Interactions with Response Length Bias Results
UQ 방법과 정답 판정 함수가 같은 변수(응답 길이)에 함께 끌려가면 AUROC에 잡음이 아니라 편향이 생기고 방법 간 순위가 뒤집힌다
#논문리뷰#Paper Review#LLM#불확실성#Uncertainty Estimation#평가방법론#LLM Evaluation - ·EMNLP 2025
The Illusion of Progress: Re-evaluating Hallucination Detection in LLMs
QA 환각 탐지기는 ROUGE 라벨 위에서 실제보다 좋아 보였고, 사람에 가까운 LLM 판정으로 바꾸면 크게 떨어지며 응답 길이만으로도 상당 부분 따라잡힌다
#논문리뷰#Paper Review#LLM#환각탐지#Hallucination Detection#평가방법론#LLM Evaluation - ·ACL 2025
ProcessBench: Identifying Process Errors in Mathematical Reasoning
수학 풀이의 첫 오류 단계를 찾는 3,400문항 전문가 라벨 벤치마크. 기존 PRM은 어려운 문제에서 무너지고, 정답 풀이도 어려운 문제에선 과정이 틀린 경우가 많다.
#논문리뷰#Paper Review#LLM#추론#Reasoning#벤치마크#Benchmark#평가방법론#LLM Evaluation - ·arXiv 2026
Beyond Document Grounding: Span-Level Hallucination Detection over Code, Tool Output, and Documents
코드·도구 출력·구조화 문서까지 포괄하는 span-level 환각 탐지 통합 벤치마크와 2B 생성형 탐지기로 자연어 전용 모델·LLM judge를 코드 영역에서 크게 앞섬
#논문리뷰#Paper Review#LLM#환각탐지#Hallucination Detection#벤치마크#Benchmark - ·arXiv 2025
LettuceDetect: A Hallucination Detection Framework for RAG Applications
ModernBERT 기반 토큰 분류기로 짧은 컨텍스트·LLM 계산비용 문제를 동시에 해결해 RAGTruth에서 경량 모델로 SoTA급 성능 달성
#논문리뷰#Paper Review#LLM#환각탐지#Hallucination Detection#RAG#Retrieval-Augmented Generation - ·ACL 2024
RAGTruth: A Hallucination Corpus for Developing Trustworthy Retrieval-Augmented Language Models
RAG를 써도 LLM이 검색 컨텍스트와 충돌하거나 근거 없는 내용을 만드는 현상을 정량화하기 위해, 3개 태스크·6개 LLM의 자연발생 응답 18,000개에 word/span-level로 4종 hallucination을 이중 주석한 RAGTruth 코퍼스를 만들었고, 이를 학습한 소형 파인튜닝 탐지기가 GPT-4 프롬프팅보다 더 잘 hallucination을 잡아냈다.
#논문리뷰#Paper Review#LLM#환각탐지#Hallucination Detection#RAG#Retrieval-Augmented Generation#벤치마크#Benchmark - ·ICLR 2025
Training Language Models to Self-Correct via Reinforcement Learning
자기수정 학습은 '1차에 최선, 2차는 복사'로 붕괴하므로, 1차를 base에 묶는 RL 초기화와 '틀림→맞음' 보너스로 그 지름길을 막는다.
#논문리뷰#Paper Review#LLM#자기수정#Self-Correction#강화학습#Reinforcement Learning - ·ICLR 2023
Self-Consistency Improves Chain of Thought Reasoning in Language Models
CoT의 greedy decoding을 다중 샘플링과 다수결로 바꾸는 디코딩 전략만으로 학습·검증기 없이 추론 성능을 크게 끌어올림
#논문리뷰#Paper Review#LLM#추론#Reasoning - ·TACL 2024
When Can LLMs Actually Correct Their Own Mistakes? A Critical Survey of Self-Correction of LLMs
자기수정(self-correction) 연구들이 연구질문을 엄밀히 정의하지 않고 오라클 정보나 약한 초기응답 같은 불공정한 설정으로 효과를 과대평가해왔음을 지적하며, 연구질문을 RQ1(내재적 능력만)/RQ2(외부정보 지원)/RQ3(최종성능 비교)로 재정의하고 Fair/Unfair 프레임워크로 기존 문헌을 재분류한 결과, 프롬프팅만으로는 일반 태스크에서 성공적 자기수정 증거가 없으며 신뢰 가능한 외부 피드백이나 대규모 파인튜닝이 있을 때만 작동한다는 것을 밝힌다.
#논문리뷰#Paper Review#LLM#자기수정#Self-Correction#평가방법론#LLM Evaluation - ·Findings of ACL 2024
LLMs cannot find reasoning errors, but can correct them given the error location
self-correction 실패의 원인이 교정이 아니라 오류 위치 탐지 능력 부족임을 BIG-Bench Mistake 데이터셋과 백트래킹 실험으로 규명
#논문리뷰#Paper Review#LLM#자기수정#Self-Correction#추론#Reasoning#벤치마크#Benchmark - ·ICLR 2024
Large Language Models Cannot Self-Correct Reasoning Yet
RCI·Reflexion·Self-Refine·Multi-Agent Debate의 개선이 오라클 라벨·예산 불공정·프롬프트 결함에서 왔음을 재현 실험으로 반박
#논문리뷰#Paper Review#LLM#자기수정#Self-Correction#추론#Reasoning#평가방법론#LLM Evaluation - ·NeurIPS 2023
SELF-REFINE: Iterative Refinement with Self-Feedback
같은 LLM이 자기피드백→개선을 최대 4회 반복하는 프롬프팅만으로 7개 과제에서 평균 절대 ~20% 개선
#논문리뷰#Paper Review#LLM#자기수정#Self-Correction - ·NeurIPS 2023
Language Models can Solve Computer Tasks
RCI(비평→개선) 프롬프팅을 task/state/agent 그라운딩 3단계에 적용해 컴퓨터 작업을 푸고 추론에도 전이
#논문리뷰#Paper Review#LLM#자기수정#Self-Correction#에이전트#LLM Agent - ·NeurIPS 2023
Reflexion: Language Agents with Verbal Reinforcement Learning
가중치 업데이트 없이, 실패한 시도에 대한 스칼라/바이너리 피드백을 LLM 자신이 자연어로 증폭한 "self-reflection"을 슬라이딩 윈도우 메모리에 축적해 다음 시도의 프롬프트에 주입함으로써, 의사결정·추론·코드생성 세 과제에서 학습 효과를 얻는 "언어적 강화학습(verbal reinforcement learning)" 프레임워크.
#논문리뷰#Paper Review#LLM#자기수정#Self-Correction#에이전트#LLM Agent#강화학습#Reinforcement Learning - ·ICLR 2023
Generating Sequences by Learning to [Self-]Correct
하나의 모델이 한 번에 완벽한 출력을 내야 하는 단일 패스 생성 대신, "초기 가설을 내는 생성기"와 "그 가설을 반복적으로 고치는 교정기"를 분리하고, 교정기를 스칼라(또는 자연어) 피드백으로 온라인 학습시키는 self-corrective learning을 제안해, 수학 프로그램 합성·어휘 제약 생성·독성 감소 세 과제 모두에서 성능을 크게 끌어올렸고, 작은 교정기를 훨씬 큰 생성기(GPT-3) 뒤에 붙여도 효과가 있었다.
#논문리뷰#Paper Review#LLM#자기수정#Self-Correction - ·OpenAI (tech report) 2022
Self-critiquing models for assisting human evaluators
답변의 결함을 짚어주는 "비평" 모델을 지도학습으로 훈련했더니, 사람이 놓쳤던 결함(특히 의도적으로 숨긴 오류)을 훨씬 더 잘 찾아냈고 모델이 클수록 비평 능력도 함께 좋아졌지만, 요약 과제에서는 "답이 나쁘다는 걸 판별하는 능력(D)"이 "그 결함을 말로 설명하는 능력(C)"보다 모든 모델 크기에서 앞서 있어 모델이 알고도 말하지 않는 지식이 존재함을 시사한다.
#논문리뷰#Paper Review#LLM#자기수정#Self-Correction#평가방법론#LLM Evaluation - ·Nature 2024
Detecting hallucinations in large language models using semantic entropy
여러 답을 양방향 함의로 의미 클러스터에 묶어 엔트로피를 재면, 모델이 그때그때 다른 말을 지어내는(작화) 질문을 라벨 없이 찾을 수 있다.
#논문리뷰#Paper Review#LLM#환각탐지#Hallucination Detection#불확실성#Uncertainty Estimation LLM은 스스로 답을 고칠 수 있을까? Self-Correction 연구 흐름 정리
LLM은 스스로 답을 고칠 수 있을까. Saunders(2022)에서 시작해 2023년 낙관기, Huang의 반박, Tyen의 탐지 병목 진단, 이후 학습과 측정 두 갈래까지 흐름을 정리했다.
#자기수정#Self-Correction#추론#Reasoning#평가방법론#LLM Evaluation