comoZ/이호준 - 일지

2026 좀 이른 중간 결산

comoZ — Sun, 12 Apr 2026 22:45:23 +0900

- ai에 의존하며 살아가니 이렇게 한자 한자 작성하는게 낯설다. 뭔가 불안감과 반성을 느끼면서 2026 중간 결산을 진행해 보겠다. 근황과 새로운 공부 목표(해야할 것)을 정리하겠다.

일단 취업 성공!

네이버 부트캠프의 연계를 통해서 Genon의 Genos Engineer 정규직 전환형 인턴으로 합격했다.

포지션에 대한 아쉬움은 존재한다. 아무래도 디폴트가 파견직이고 Genon의 상품인 Genos를 메인으로 다루는 잡이라 여러모로 고민이 생기는 포지션이다. 그외로 부수적인 임금, 복지는 나름 만족스럽다!

취업은 확정되었지만... 그래도 도전

< 업스테이지>

뭔가 바로 취업이 되서 이게 나의 최고점인가..? 라는 의뭉이 있긴했다.(주변에서 바람을 넣은 것도 있고)
다만 다른 회사를 막 지원하는 건 아니고 기존에 진행중이던 업스테이지 체험형 인턴 채용 전형을 이어서 진행했다.
결론적으로 코테-> 딥러닝 테스트까지 통과하고 면접전형에서 전형 진행을 포기했다.

딥러닝 테스트에도 리더보드가 존재한다.. 리더보드가 별 의미는 없지만 1등했다..!

ㅠㅠ

포기한 이유는.. 일단 체험형인게 가장 큰 이유이며, 지금 있는 회사 생활에 나름 만족하면서 생활하고 있기도 하다.
원래는 경험을 쌓자는 느낌으로 일단 진행하려했는데 이제.. 진행하는데 연차를 소모해야하니.. 굳이..? 라는 생각이 들었다.
그리고 이어지는 대회를 통해서 또 다른 심경변화도 존재했다.

<크래프톤 R&D 해커톤>

정말 대회 이름이 신기해서 지원했던 대회의 예선을 통과했다.
생각지도 못한 크래프톤..?????? 채용연계???
본선 인원 30명중에 10명을 뽑는 패스트 트랙 채용이 눈 앞에 닥치니 생각지도 못한 꿈을 꾸게 된거 같았다.

허나 결론적으로 말하면 본선에서 광탈했다.

예선은 ai로 풀만한 문제 2개였고
본선은 수학 베이스 지필고사, ai로 풀만하지 않은 문제 2개였다.

그렇다. 일단 수학에서 개망하고 이후에 과제도 쉽지 않았다.
그래도 크래프톤 이강욱 CAIO님을 직접 뵙고 크래프톤이라는 회사를 직접 경험하면서
지금 다니는 AX SI회사도 좋지만 AI의 최전선에서 달려나가는 회사에 근무하고 싶다는 생각이 들었다.
무엇보다 학력, 경력 부족으로 꿈도 꾸지 못했던 R&D 포지션에 살짝 닿았다.. 떨어지면서 R&D에 대한 마음에 불을 지폈다

AI Engineer로 열심히 근무하면서 R&D로 직무 전환을 위한 노력도 열심히 해야겠다는 다짐을 하게 되었다.

이런 상황에서 업스테이지도 R&D도 아니고 그냥 엔지니어 잡이라 일단 정규직 전환형인 지금 회사에 최선을 다하고 내가 부족한 공부를 하자는 마음을 가지게 되었다.

그래서 공부

일단 수학이 인생의 발목을 붙잡았기 때문에 수학은 무조건 제대로 달린다.
또한 아무 영어도 유사하게 발목을 붙잡을 꺼 같기에 같이 달릴 것이다.
수학 커리큠럼에 대한 자세한 계획은 세웠지만 노트북 배터리가 부족해서 글은 여기서 생략하겠다.
그리고 학회 2티어 정도에 첫 논문을 제출하고 이후에 탑티어를 노려보겠다. 이건 망상에 가까운 건 알지만 할 수 있다고 생각한다.

마무리

배터리가 없어서 급하게 마무리한다.
크래프톤 이후로 뭔가 새로운 꿈을 가지게 된거 같다.
열심히 해보자!

크래프톤 회사 뷰!

담백한 2026 계획

comoZ — Fri, 2 Jan 2026 11:38:39 +0900

취업

내 생일이 돌아오기 전까지 월 세후 300 이상인 곳 취업하기

(못하면 걍 ai 접고 다른 일 알아본다는 마음 가짐)
세후 300은.. 어느정도.. 조절 가능할지도?

competition 대회에서 입상

1등 아니여도 좋음, 규모있는 대회에서 입상

책을 다시 꾸준하게 읽기

책을 꾸준하게 읽던 시절이 몸도 마음도 건강했던거 같다.
꾸준하게 읽고자 노력한다면 이후에 운동도 하게 되고, 공부도 열심히 하게 될꺼 같다.
한달에 책의 완독 수는 나의 건강지표 같다. -> 지금은 0 된지 좀 됐다..

코테 마스터

코테는 밑바닥까지 끝내자
다시는 코테에 부담감 가지지 않을 정도로

수학

인생 퀘스트, 진행률이 2년 전에 멈춰있다. 천천히 꾸준히 다시 나아가자

논문 쓰기

혼자 논문 쓰기 해보자 올해 딱 한편이 목표

여행

올해는 봄에는 꽃 구경, 여름에는 해수욕, 가을에는 단풍 구경, 겨울에는 눈 구경을 하자

전공 서적 완독

딥러닝 1권, nlp 1권 -> 통으로 외우자

그리고 여유를 가지자.

작년 이맘 때 쯤 노션 기록을 보았다. 정리가 깔끔하진 않지만.. 적어도 즐거웠던거 같다.

혼자 공부하면서 지금 내가 잘하고 있는게 맞나, 이렇게 하는게 맞나? 이런 고민 속에서 들어간 연구실에서는

하는 법을 배웠다 그래서 즐거웠던거 같다.

다만 이제 와보면 지금하는 공부가 실제로 이후에 어떻게 적용되는지 이걸 지금 안다고 이후에 달라지는게 있는지 아는 것도 별로 없으면서 대충 필요한 것만 하기 시작한거 같다.

다시 돌아가 지금 당장 취업에 도움이 안되도, 대회에 도움이 안되도, 해야 되는 걸 하자

과거에는 몰라서 하면서도 불안했지만 이제 적어도 아니깐 하기만 하면 된다.

[Paper Review]Rubrics as Rewards: Reinforcement Learning Beyond Verifiable Domains

comoZ — Tue, 2 Dec 2025 17:41:51 +0900

https://arxiv.org/pdf/2507.17746

Abstract

기존의 Rubrics 방식은 추론작업의 결과를 평가하는데 주로 사용됨

그러한 Rubrics 기준을 RL의 보상 함수로 사용하여 RLVR(검증 가능한 보상을 사용하는 강화학습)로 확장하는 방법인 RaR(Rubrics as Rewards)를 제안

결과적으로 다른 베이스라인보다 HealthBench에서 최대 31%, GPQA-Diamond에서 7%의 개선을 달성

1. Introduction

기존의 RLVR은 모델의 결과물이 검증이 가능한 수학과 및 코드와 같은 영역에서 효과적이였음 하지만 비정형적(언어적) 답변에 대해서는 이러한 RLVR을 적용하기에는 결과물이 쉽게 검증하기 어렵다는 문제가 발생
이러한 어려움은 보상 모델을 사용하는 것이만 일종의 Reward hacking인 특정한 패턴으로 과적합되는 문제가 있다.

다시 rubrics으로 돌아와서 "Instance-specific rubrics"이란 문제가 있고 그에 맞는 맞는 답안이 존재하는 것이 아니라 문제에 대한 답안을 채점하는 기준이 존재하는 것, 즉 문제마다 채점 기준이 존재하는 것이라고 생각하면 된다. 이러한 Instance-specific rubrics은 처음에는 평가를 위해 등장했다.

이러한 rubrics을 보상함수로서 활용하여 강화학습을 진행한다. 해당 RaR의 이점은 기존의 검증 가능함에 중점된 수학, 코딩과 같은 도메인 데이터에서 벗어날 수 있으며, reward Model을 사용하지 않아 reward model의 불완정성 리스크를 지울 수 있다.

RaR의 전체적인 구조를 담은 figure다. RaR은 사용할 데이터 하나하나 마다 rubrics 기준을 생성한다. 이렇게 생성된 Rubrics으로 llm judge와 결합하여 GRPO를 진행 할 수 있다.

2. Rubrics as Rewards

- 명시적 집계(Explicit Aggregation)

보상 방식은 심플하다. 하나의 프롬프트에 여러개의 기준이 있고 각 기준은 가중치와 이진 점수를 가지고 있다. 이렇게 값을 종합하여 보상을 구해낸다. 추가적으로 보상계산은 llm이 하는데 해당 RaR에서는 작은 모델~큰 모델 모두 효과적으로 보상을 계산했다고 한다.

k는 프롬프트에 딸린 Rubrics의 갯수를 의미하며, 보상 집계 후 정규화를 통해 다른 프롬프트의 점수와 비교 가능하다.

- 암묵적 집계 (Implicit Aggregation)

d_j는 루프릭 항목을 의미한다. 해당 방식은 Rubrics 정보를 모델에게 입력하여 바로 1~10점 사이로 알아서 하나의 점수로 집계해 단일 스칼라 보상을 생성하는 방식

해당 페이퍼 실험에서는 명시적,암묵적을 종합적으로 사용한다.

3. Rubric Generation

루브릭 생성의 네 가지 요건(Desiderata)

전문가 지식 기반 (Expert-guided)
- 루브릭은 해당 도메인의 전문가 지식을 반영해야 한다.
- 구체적으로
  - 필수 사실들
  - 필요한 추론 단계
  - 최종 결론
    등을 포함해서 “정확한 답변에 필요한 핵심 요소들”을 포착해야 한다.
- 이상적으로는 인간 전문가 또는 전문가의 고품질 대리(프록시, 예: 상위 LLM)로부터 이 지식을 가져온다.
포괄적인 범위 (Comprehensive coverage)
- 루브릭은 응답의 품질을 여러 차원에서 다뤄야 한다. 예:
  - 사실적 정확성 (factual accuracy)
  - 논리적 일관성 (logical consistency)
  - 완전성 (completeness)
  - 스타일 (style, 명확성 등)
  - 안전성 (safety)
- 또한 부정적 기준(“함정” 항목)도 포함해서,
  - 자주 등장하거나
  - 위험도가 높은 오류
    를 명시적으로 잡아낼 수 있어야 한다.
기준 중요도 (Criterion importance / weighting)
- 모든 기준이 똑같이 중요한 것은 아니다.
- 예를 들어,
  - “사실적 정확성”은
  - “스타일이 깔끔한가?” 같은 부차적 요소보다 훨씬 중요해야 한다.
- 따라서 각 기준에
  - 범주형 태그에 내재된 순위,
  - 명시적인 숫자 가중치,
  - 또는 학습된(weighted) 가중치 체계
    를 부여해서, 중요도를 반영해야 한다.
자가 포함 평가(self-contained evaluation)
- 루브릭은 외부 지식에 크게 의존하지 않고,
  “해당 문제와 루브릭만으로” 답변을 평가할 수 있도록 설계되어야 한다는 취지.
- 특히 제어된 환경에서 구현과 해석이 쉬워지도록 설계된다.

4.1 RaR-Medicine 데이터셋

약 20k 프롬프트로 구성된 의료 추론 데이터셋.
포함된 소스:
- medical-o1-reasoning
- natural_reasoning
- SCP-116K
- GeneralThought-430K
이 데이터셋의 각 인스턴스별 루브릭은
- GPT-4o를 사용해 생성됨.

4.2 RaR-Science 데이터셋

마찬가지로 약 20k 프롬프트로 구성.
GPQA-Diamond의 범주(난이도/유형)에 맞도록 큐레이션된 과학 추론 데이터.
프롬프트 소스는 RaR-Medicine과 유사:
- natural_reasoning
- SCP-116K
- GeneralThought-430K
이 데이터셋의 루브릭은
- o3-mini 모델로 생성

4.3 Training

base model : qwen2.5-7B , judge 모델 :gpt-4o-mini를 사용하습 진행

고정 기준 가중치 사용 {"Essential": 1.0, "Important": 0.7, "Optional": 0.3, "Pitfall": 0.9}

성능 비교군
OFF-THE-SHELF : 원본 base 모델의 성능
DIRECT-LIKERT : LLM-as-judge 방식으로 1 ~10 점 채점
REFERENCE-LIKERT: LLM-as-judge 방식으로 (전문가, 상위모델)의 응답을 비교군으로 두어 1-10 채점

5. Results

(RaR-PREDEFINED: 고정된 Rubric으로 학습)

(healthBench는 paper에서 설계한 벤치마크로 임상 시나리오에 상황에 대한 답변에 대한 벤치마크이다. 각 답변에 대한 Rubric이 존재함)

healthBench 표는 LLM-as-judge를 사용하여 응답에 대한 Rubric 채점을 진행했다. 해당 채점의 결과로는 RaR lmplicit이 가장 성능이 좋았다. 기존의 강화학습 방식들은 아무래도 정답을 맞추는데에만 중점된 강화학습 방식이고 일반적인 자연어 능력 테스크에서 정성적인 평가 떨어지기 마련이다. 하지만 이 RaR 방식은 정성적인 평가 요소를 Rubric에 담아내 강화학습을 진행했다.

< 다만 개인적인 생각으로 데이터가 누수되지 않았다고 페이퍼에 잘 설명은 했지만. Rubric 기준으로 강화학습된 모델이 Rubric 벤치마크에서 강세를 보이는 건 당연한거 아닐까 싶다. 또한 정확히는 안나오는거 같은데 GRPO의 LLM-as-judge 모델이 같은 gpt-4 계열을 모델임으로 아무래도 GRPO 과정에서 직접적이진 않지만 gpt-4의 취향으로 강화되는 것이 없지는 않을 것이다. 그렇기에 다른 회사의 모델을 쓰는게 좋지 않을까 싶다. >

GPQA-Diamond 벤치마크는 기존의 RLLM을 평가하는 주로 사용하는 벤치마크이다. 기존 GRPO의 rule base reward에 효과가 좋은 벤츠마크이기도 하다. 그렇게 RaR 방식은 기존의 RL처럼 정성적인 결과가 중요하지 않는 정확도 벤치마크에서도 성능 향상을 보여준다.

해당 내용은 인간의 선호도 쌍 문제를 만들고 평가를 진행한 결과이다.

파란색: Direct-Likert. 루브릭 없이 프롬프트와 답변만 보고 LLM 심판이 1–10 점수를 매기는 기본 채점
주황색: Rubrics as Rewards(루브릭-가이드, RaR-Implicit). 인스턴스별 루브릭을 함께 제공하고, 그 기준을 종합해 1–10 점수를 매기게 한 채점입니다. 전문가 답변(레퍼런스)을 기반으로 만든 루브릭을 사용한 설정
초록색: Synthetic rubrics without expert grounding. 레퍼런스 답변 없이 순수 합성으로 만든 루브릭을 제공해 채점한 설정입니다. 루브릭은 있지만 전문가 근거가 없는 경우

더 똑똑한 모델일 수록 평균적인 인간 선호도 정확도가 더 높았고 모델이 작을 수록 Rubrics가 효과적이였다.

Conclusion

구조화된 체크리스트 스타일의 루브릭을 보상 신호로 사용하여 사전 훈련된 언어 모델을 위한 프레임워크인 Rubrics as Rewards (RaR)를 개발
응답 평가를 투명한 다기준 목표(주관적 및 객관적)로 분해함으로써 RaR은 선호도 기반 방법에 대한 모듈식 및 해석 가능한 대안을 제공
실험은 Rubrics 기반 훈련이 여러 도메인에서 좋은 성능을 달성하여 Likert 기반 기준선을 능가하고 참조 기반 보상 생성의 성능과 일치하거나 능가함을 보여줌
RaR 방식은 judge 모델 성능에 대한 의존도를 줄이면서 인간 선호도와의 일치도를 향상시키는 것으로 나타났습니다.

[paper review] Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

comoZ — Tue, 18 Nov 2025 14:40:27 +0900

https://arxiv.org/pdf/2201.11903

해당 논문이 처음 나왔을 때, "Elicits Reasoning"라는 주장에 논쟁이 있었다.

해당 논문 이전에도 prompt engineering(few-shot prompt)이 모델의 성능을 향상 시킨다는 연구가 있었기에 결국 "engineering의 결과이지 이걸 모델이 이해를 바탕으로한 추론이라고 말할 수 있는가?"라는 맥락이였던 것 같다.

현재에 들어서는 단순히 COT 기법을 넘어서 gpt-5, qwen3 등과 같은 추론 모델로 이어져, 추론 모델이 도출해낸 thinking이 과연 추론이 맞다 아니다로 이어져 오고 있다. 하지만 추론이 맞다는 의견이 지배적인거 같다. 다만 아직까지도 이해를 바탕으로 하는 인간 수준의 추론인지에 대해서는 논쟁이 있다..

Intorduction

기존의 선행 연구로 모델을 정답과 함께 설명을 생성하도록 질문+설명+정답을 학습시키는 선행 연구가 존재했습니다. 하지만 이러한 방식은 데이터를 구축하는 비용 크다는 큰 결점을 가지고 있었으며 LLM 모델의 크기 스케일만으로 성능 향상을 시키는데 한계에 도달하고 있었습니다.

이런한 상황에서 COT prompting은 소수의 예시에 입력-추론-정답의 삼중 예시를 넣어주기만 해도 충분히 큰 모델에서 단계적 추론을 보여줍니다.

특히 GSM8K라는 수학 문제 벤치마크에서 PaLM모델과 CoT 기법을 결합하여 당대 SOTA를 도달하였습니다

CoT 기법은 별도의 데이터 라벨링과 미세 조정 없이 적용하여 다양한 추론 과제에 적용할 수 있음을 보여주었고 모델이 정답을 도출해내는 추론 과정을 해석할 수 있다는 이점도 제시합니다.

Chain-of-Thought Prompting

위 figure는 cot의 예시로, 기존의 few-shot prompting에서 답변 예시에 중간 추론 과정을 추가해 모델을 추론 응답을 유도하였다.

또한 기존의 모델로는 틀리던 문제를 CoT기법을 통해서 정답으로 유도해냈다.

CoT 기법은 아래와 같은 장점을 가진다.

여런 단계로 분리해서 풀 수 있는 문제를 작은 단계로 나누어서 더 많은 계산을 통해서 문제를 풀어낼 수 있다.
자연어로 추론의 흐름이 드러남으로 해석 및 디버깅이 가능하다.
광범위한 task에 적용이 가능하다.
미세 조정이 필요 없다.

Arithmetic Reasoning

GSM8K, SVAMP, ASDiv, AQuA, MAWPS 다섯 개의 벤치마크를 사용하여 실험(모두 수학계열)

GPT-3, LaMDA, PaLM, UL2, Codex 등 다양한 llm을 다양한 크기 버전으로 실험을 진행

실험 결과

위 figure는 실험 결과이다. 작은 스케일의 모델에서는 CoT가 큰 도움이 되지 않았지만 대규모의 모델에서는 극명한 성능 향상을 보여준다.

벤치마크의 난이도에 따라서 향상 폭의 차이가 있음을 보여준다. 상대적으로 GSM8K 보다 쉬운 MAWPS, SingleOp 등에서는 성능향상 폭이 비교적 작았다.

정답으로 예측한 추론 과정들 대부분이 논리적, 수학적으로 타당했으며 오답인 경우에는 "문제 풀이 단계의 누락", "의미 이해 오류", "계산 실수"가 주된 오답의 원인으로 해석이 가능했다.

Arithmetic Reasoning에서 CoT는 큰 규모의 LLM의 추론 능력을 실적으로 이끌어내며, 복잡한 문제에 효과적이 였다.

다만 실험에 있어서 성능이 체리피킹이 아닌 것을 증명하기 위한 방법으로 여러 prompt 작성자를 통해서 비교 실험을 진행하였다.

결과적으로 다양한 그룹과 사람들의 작업물이 기존의 Standard prompting 보다 성능이 좋음으로 CoT 기법의 강건성을 입증하였다.

Commonsense Reasoning

수학문제 이외에도 일반적인 Task에도 효과적인지 실험을 진행한다.

CSQA(상식 질의응답), StrategyQA(다중 전제·전략적 추론), BIG-bench의 Date Understanding(날짜 추론),Sports Understanding(문장 타당성 판단), SayCan(자연어 지시를 로봇 행동 시퀀스로 매핑) 벤치마크를 실험

실험 결과<PaLM model>

결과적으로 수학 문제와 마찬가지로 모델이 클 수록 성능이 극대화되는 양상으로 보여주었습니다.

또한 전반적으로 유의미한 성능 향상이 관찰된다. 즉 CoT는 언어적 추론 Task에도 효과적임을 입증하였습니다.

Symbolic Reasoning

해당 실험에서는 Last Letter Concatenation, Coin Flip을 다룬다.

Last Letter Concatenation
- 이름을 구성하는 각 단어의 '마지막 문자'만 뽑아 연결하는 과제
- ex
  - Q : " Amy Brown"
  - A: "yn"
Coin Flip
- 동전을 뒤집고 냅두고 진행하면서 최종 동전 상태를 예측하는 과제

여기서 in domain은 예시와 문제의 양식이 같은 경우를 뜻하며 OOD는 예시와 문제가 다른 경우이다. Coin Flip의 OOD는 예시는 두번의 상태변화 문제이지만 실제 평가 문제는 4번의 변화 문제이다.

결과적으로 In-domain안에서는 PaLM 540B는 거의 정답에 가까운 정답률에 도달하며, OOD의 경우 standard prompting과 다르게 강건항 성능을 보여준다. 논문의 저자는 이 것은 LLM이 문제 풀이의 규칙을 이해하고 반복,확장하는데 CoT가 중요한 역할을 한다는 점을 시사한다고 이야기한다.

Discussion

실험적인 결과로 CoT기법은 스케일이 커질수록 좋으며, 단순한 prompting 만으로 다단계 추론을 유도할 수 있음으로 보여주었다.

다만 이것이 " 이해 기반의 추론"인지, 언어적 패턴 매칭의 산물 인지(확률 모델로서 이해가 아닌 학습된 데이터 속에서 내재화 되있던 추론 패턴 확률이 매칭된 것인지) 개념 논쟁의 여지는 남아 있다.

또한 항상 모든 추론 과정이 옳바른 것이 아니라 잘못된 추론이 우연히 정답에 도달하는 경우나 옳바른 추론이 잘못된 결과를 만드는 경우도 존재했다.

마지막으로 작은 모델에서는 적용은 미해결 문제임으로 여전히 큰 모델의 비용과 서빙 부담은 크다.

Conclusions

이 논문은 CoT prompting을 통해서 LLM의 추론 능력을 프롬프트만으로 이끌어내는 방법임을 보였다.

큰 모델일 수록 성능 향상 폭이 크며 다양한 Task에도 CoT 기법을 적용이 가능하다.

이것은 적절한 프롬프트 설계로 더 넓은 추론 능력를 보여줄 수 있음을 시사한다.

추가적으로 더 작은 모델에도 효과적으로 도입할 수 있도록 연구가 필요하다.

25.11.13 초심으로 가보자고

comoZ — Thu, 13 Nov 2025 14:14:13 +0900

여러 꿈들과 현실에서 방황 중이다.

ai로서 이름을 날리고 싶다는 꿈과 그냥 마냥 돈 잘벌고 효도도 하고 나의 가족들과 행복하게 사는 꿈

어찌보면 공통 분모는 존재하는 것 같지만 양립하기에는 간극은 존재 하는 것 같다.

효도도 때가 있다고 생각한다. 부모님 다 늙어서 뭐 해봤자 무슨 의미일까

아무렴.. 효도하기에는 지금 시점이 가장 적절하지 않을까?

이러한 생각이 취업을 고민하게 되는 거 같다.

대학원 생활을 한다면,... 부모님이 내가 뭐 얼마나 성과를 냈고 얼마나 잘하고 있는지 관심있게 보셔도 한계가 있을 것이다.

시간이 없다. 부모님은 결국 취업을 해야 안심하고 그게 지금 내가 부모님께 드릴 수 있는 가장 큰 효도이지 않을까 싶다.

그래서 일단 취업을 하고 부모님에게 적어도 밥벌먹을 수 있음을 보여드려 안심시키고 이후에 적절한 시기에 대학원을 파트타임으로 해도 좋고 그냥 석박으로 넣어버려도 좋고 대충 그정도로 계획중이다.

혹시 취업을 했는데 너무 잘맞아서 그냥 대학원보다 계속 일을 하고 싶을 수도 있고 또 이런 건 모르는 일이니깐

2월까지. 수학, 영어, 코테, 개인 논문(습작), 네부캠 최종 프로젝트 잘 마무리하자

못 할 것도 없지

그리고 취업 뿌시자!

결론 : 일단 취업을 목표로 열심히 준비하고 기초 능력 공부와 연구에 대한 고민도 이어나가자!

[ paper review]DeepSeek-R1: Incentivizing Reasoning Capability in LLMs viaReinforcement Learning

comoZ — Thu, 6 Nov 2025 02:37:51 +0900

논문 링크 https://arxiv.org/pdf/2501.12948

DeepSeek-R1

중국의 ai 기술력으로 미국을 따라잡았다는 뜨거운 감자로 그 당시에 굉장히 주목 받았던 모델이자 paper로 기억한다. h800이라는 gpu 인프라의 제한이 있는 환경에서 R1을 만들어 openAI o1과 맞먹는 성능을 보여주었고 이러한 규제 속에서도 만들어낸 R1은 단순한 성능과 오픈 소스로서 가치가 있을 뿐만 아니라 하드웨어적으로도 중국이 온몸 비틀기 중이라는 것을 결과물로 보여주며, 중국이 미국과 ai 패권을 다투는 경쟁상대라는 것을 여실히 보여주었다.

DeepSeek-R1의 개요

GRPO라는 강화학습을 중심으로 Deepseek-v3-base 모델을 RLM으로 발전시킴
671B라는 커대한 크기의 MOE구조인 모델로 오픈 소스로 공개 됨

1. Abstract & Introduction

DeepSeek-v3-base를 작은 규모의 SFT data와 강화학습 만으로도 추론 능력을 보유한 DeepSeek-R1-Zero를 학습.
해당 모델은 수학과 코딩에서 뛰어한 준수한 성능과 추론 능력은 보유하지만 가독성과 언어 혼합 문제가 있었다. 이를 보완하기 위해서 Zero model을 통해서 data를 생성 후 가공하여 해당 데이터로 v3를 다시 학습하는 다단계 학습을 통해 R1 모델을 완성하였다.
이러한 R1은 OpenAI o1-1217를 맞먹는 성능으로 달성했으며 R1의 reasoning 패턴을 추출하여 Qwen,Llama에 증류해 작은 모델에서도 높은 성능을 보여주는 추론 모델을 학습 시켰다.

2. Approach

2.1 GRPO(Group Relative Policy Optimization)

GRPO는 DeepSeek-math paper에서 deepseek사가 최초로 발표한 LLM RL 방식이다.
기존 PPO의 문제점 -> Online RL 방식 중 하나로 reward model을 학습시키고 본 학습 model과 같이 gpu에 띄어야 VRAM 자원 문제와 Reward Hacking의 한계점을 가지고 있었었다. (참고로 DPO는 offline RL)
GRPO 핵심은 Reward model의 제거에 있다. 제거하는 방식은 다음과 같다. (이것 이외는 ppo와 동일하다.)

단순한 rule-base 기반의 보상식을 구성
한 prompt에 대해서 그룹의 크기인 k개 만큼 생성 보상식을 통해 채점
채점 결과를 그룹 간의 정규화를 진행하여 상대평가의 효과를 제공한다.

GRPO 공식

보상

2.1.1 GRPO 식의 구성과 역할

$\frac{\pi_{\theta}(o_i|q)}{\pi_{\theta_{old}}(o_i|q)}$
- $\pi_{\theta}$는 학습하는 모델을 의미하며 강화학습에서는 학습의 주체를 정책 모델이라고 표현한다.
- 해당 식은 현재 정책 모델이 이전 정책에 비해 특정 출력 $o_i|$를 생성할 확률이 얼마나 변했지를 나타내는 비율이다.
cliping 항

A가 음수라면 너무 모델이 강하게 변하지 않도록 loss를 제한한다.
A기 양수라면 보상이 너무 작더라도 학습 할 수 있도록 최소 loss값을 보장해주어 학습이 될 수 있도록 한다.(loss가 작으면 학습이 안됨)

kl divergence 항
- 현재 정책 모델이 참조 정책 모델로 부터 얼마나 벗어났는지를 측정하는 역할
- R1 논문에서는 old 정책 모델과 참조 정책 모델이 같음
- 너무 모델이 급격하게 변화하는 것을 방지하는 패널티항

2.2 Reward Modeling

정확도 보상: 모델 응답의 정확성을 평가합니다. 예를 들어, 수학 문제는 정답이 특정 형식으로 제공되어야 규칙 기반으로 검증될 수 있습니다. LeetCode 문제의 경우 컴파일러가 미리 정의된 테스트 케이스를 기반으로 피드백을 생성합니다.
형식 보상: 모델이 사고 과정(thinking process)을 <think>와 </think> 태그 사이에, 최종 답변(answer)을 <answer>와 </answer> 태그 사이에 넣도록 강제합니다.

2.3 Performance, Self-evolution Process and Aha Moment of DeepSeek-R1-Zero

DeepSeek-R1-Zero RL 훈련 과정에서 AIME2024(수학벤치마크)의 꾸준히 향상되어 o1과 비슷한 수준에 도달
RL이 모델 성능을 최적화하는데 효과적이며 복잡한 추론 작업을 해결하는 능력을 자율적으로 획득하는 "Self-ecolution Process"을 보여줌
RL을 진행하면서 모델의 추론 과정 중 "Aha" Moment가 발생함
- 이것은 일종의 추론 과정 중 깨달음으로 sft train만으로는 얻을 수 없는 강화학습으로 인해 생겨난 패턴이라고 분석한다.

DeepSeek-v3-base에 GRPO를 적용하여 추론 능력을 학습 시킨 DeepSeek-R1-Zero
이 모델은 준수한 성능을 가지고 있지만 모델의 출력물의 가독성과 언어의 일관성이 떨어지는 하자를 가지고 있어
추가적인 개선을 하여 R1을 다시 학습한다.

3 DeepSeek R1: Reinforcement Learning with cold Start

3.1 Cold Start

Zero와 달리 R1은 강화학습 이전에 소량의 긴 CoT 데이터를 학습하여 조정합니다.
이 Cold start data는 Zero model을 사용하여 few prompt 등을 통해서 출력물을 생성하고 spectial_token을 추가하여 추론의 구조를 발달 시켰으며, 추가적으로 품질 낮은 데이터는 필터링 처리하였으며, 사람이 최종 검토, 편집 작업을 거쳐 데이터를 완성하였습니다.
수 천개 정도

3.2 Reasoning-oriented Reinforcement Learning

v3-base 모델을 cold start data로 튜닝 후 GRPO를 진행
보상식에 언어 일관성 보상을 추가(약간의 성능 저하가 발생하지만 가독성과 언어 혼합 완화에 도움이 됨)
해당 단계는 모델의 코딩, 수학, 과학, 논리 추론과 같은 추론 task에 대한 성능 향상에 중점을 둠

3.3 Rejection Sampling and Supervised Fine-Tuning

첫번째 R1의 강화학습이 수렴했다면 학습의 결과로 R1의 여러 체크포인트를 저장한다.
이러한 여러 체크포인트로 Rejection Sampling을 수행하여 또 다시 Cold start data를 새로 만든다.
추론 데이터 60만개 + DeepSeek-v3에 사용된 sft data 20만개 (추론 데이터와 일반 sft 데이터를 혼합)
이렇게 모은 sft data를 DeepSeek-v3-base에 2 epoch 학습

3.4 Reinforcement Learning for all Scenarios

인간의 선호도에 더 잘맞는 모델을 만들기 위해서 추론 데이터셋에 대한 보상은 기존 대로, 일반 sft 데이터에 대한 보상은 Reward model을 사용한다. (Reward model에 대해서는 설명하지 않음...)
- 일반 sft 데이터를 통해서 유용성과 무해성을 개선

3.5 Distillation: Empower Small Models with Reasoning Capability

위에서 세팅한 80만개의 데이터로 Qwen, Llama와 같은 오픈 소스 모델은 파인튜닝
간단한 Distillation을 통해서 추론 능력을 크게 향상

4.Experiment

4.0 Evalualtion Setup

모델의 최대 생성 길이는 32,768토큰으로 설정.
긴 출력 추론 모델 평가 시 높은 반복률과 큰 변동성을 피하기 위해 pass@k 평가(비영점 온도 사용)가 기본으로 채택.
특히, 샘플링 온도 0.6, top-p 값 0.95를 사용하여 $k$개의 응답(일반적으로 4~64개)을 생성하고, $pass@1 = \frac{1}{k} \sum_{i=1}^{k} p_i$ (여기서 $p_i$는 $i$번째 응답의 정확성)로 pass@1을 계산했습니다.
64번 생성해서 정답 맞출 확률을 구하는 것

4.1 DeepSeek-R1 Evaluation

대부분의 벤치마크에서 v3 보다 성능이 향상 됨
수학,코드, 어려운 공학(GPQA Diamond) 벤치마크가 Reasoning LLM의 성능을 평가하는 메인으로 사용됨

4.2 Distilled Model Evaluation

간단하게 만든 모델치곤 기존의 플래그쉽 모델들을 능가하는 성능을 보여줌
이러한 Distillation은 강화학습 없이 SFT만으로 강력한 효과를 보이며 매우 경제적이다.
추가적인 RL로 성능향상이 있을 수 있다.

5. Discussion

5.1 Distillation v.s. Reinforcement Learning

증류 모델의 성능을 검증하기 위해서 Qwen-32B에 만 step 이상 강화학습을 수행했다.
실험 결과 강화학습만 거친 모델은 알리바바의 추론 모델인 QwQ와 비슷한 성능을 보이지만 증류 모델 보단 낮은 성능을 보인다.
증류 방식은 매우 효과적이며 강화학습에 비해 경제적이다.

6. Conclusion

General Capability (일반 능력): 현재 DeepSeek-R1의 능력은 함수 호출(function calling), 다중 턴 대화(multi-turn), 복잡한 역할극(complex role-playing), JSON 출력과 같은 작업에서 DeepSeek-V3에 미치지 못합니다. 앞으로 긴 CoT(Chain-of-Thought)를 어떻게 활용하여 이러한 분야의 작업을 향상시킬 수 있을지 탐구할 계획
Language Mixing (언어 혼합): DeepSeek-R1은 현재 중국어와 영어에 최적화되어 있어, 다른 언어로 된 쿼리를 처리할 때 언어 혼합 문제가 발생할 수 있습니다 (예: 질문이 영어/중국어가 아닌 다른 언어일 때 추론과 응답에 영어를 사용할 수 있음). 향후 업데이트에서 이러한 한계를 해결하는 것을 목표
Prompting Engineering (프롬프트 엔지니어링): DeepSeek-R1은 프롬프트에 민감하다는 점이 관찰되었습니다. Few-shot 프롬프트가 일관되게 성능을 저하시키므로, 사용자들은 문제를 직접 설명하고 제로-샷 설정에서 출력 형식을 지정하는 것이 최적의 결과를 얻는 데 도움이 된다고 권장
Software Engineering Tasks (소프트웨어 공학 작업): RL 프로세스의 효율성에 영향을 미치는 긴 평가 시간 때문에, 소프트웨어 공학 작업에 대규모 RL이 광범위하게 적용되지 못했습니다. 그 결과 DeepSeek-R1은 소프트웨어 공학 벤치마크에서 DeepSeek-V3 대비 큰 개선을 보여주지 못했습니다. 향후 버전에서는 소프트웨어 공학 데이터에 대한 리젝션 샘플링을 구현하거나 RL 과정에서 비동기 평가를 통합하여 효율성을 개선함으로써 이 문제를 해결할 것

Language Models are Injective and Hence Invertible Paper review

comoZ — Wed, 5 Nov 2025 01:09:50 +0900

논문 링크
https://arxiv.org/abs/2510.15511

논문의 핵심 Figure

인터넷 상에서 꽤 화제가 되는 논문(11월 4일 기준), Latent Vector에 대한 보안에 대한 논의가 이루어지는 것 같다.

핵심 주제

1. 모델은 injective function(단사 함수) 임을 수학적으로 증명함
2. SIPIT를 통해 latent vector가 원본 시퀀스로 복원될 수 있음을 실험적으로 보여줌
3. 실험 결과를 근거로 latent vector 또한 보안의 대상으로 바라보아야 한다.

Transformers are INJECTIVE

증명 과정은 3가지의 절차로 이루어진다.

모델을 구성하는 모든 연산은 수학적으로 "real-analytic function"라는 것을 증명
모델을 무작위로 초기화 후 동작시 결과가 injective함을 증명
무작위로 초기화 된 모델을 훈련시 injective를 보존하는가를 증명

모델을 구성하는 모든 연산은 수학적으로 "real-analytic function"라는 것을 증명

transformer model에서 relu가 아닌 real-analytic function인 Tanh, GELU로 가정한다면 model은 real-analytic function끼리의 합성 함수는 real-analytic function임을 보장하기 떄문에 trainformer model은 real-analytic function입니다.

또한 만약 x_1,x_2가 f(x_1)=f(x_2)라고 하면 이것은 단사성의 붕괴한 것이며 colision이라고 표현합니다. real-analytic function은 이러한 colision을 발생 시키는 모델의 특정 파라미터 값의 집합의 측도가 0이 됩니다.( 본 논문의 핵심 명제입니다. 본 내용은 다음 내용에서 실험적으로 증명합니다.)
(측도가 0 이다. 이것의 의미는 "거의 모든 경우에 발생하지 않는다라는 수학적 표현)

모델을 무작위로 초기화 후 동작시 결과가 injective함을 증명

사전 수학적 개념
"real-analytic function"은 측도 0이 아닌' (즉, '크기'를 가진) 어떤 열린 집합에서 0이라면, 그 함수는 전체 정의역에서 항등적으로 0이다."

위 수학적 개념을 반대로 생각하면 0이 되는 반례가 존재하는 real-analytic function은 측도가 0이다. 이 개념을 일단 깔고 가겠습니다.

증명 과정

"colision"을 정의 하는 함수 만들기 => 서도 다른 텍스트가 주어졌을 때 colision을 판단하는 함수를 정의합니다.
$h(\theta) = ||r(s; \theta) - r(s'; \theta)||^2$ (s는 텍스트를 의미 $r(s; \theta)$은 모델의 hidden states)
즉 $h(\theta)=0$ 이면 충돌이 발생한 것이고, $h(\theta) \neq 0$ 이면 충돌이 발생하지 않은 것입니다.
$h(\theta)$은 real-analytic function이다.
$h(\theta) = 0$은 항등원이 아니다.
1. 이것에 대한 증명
  1. 임베딩 레이어만 정상적으로 냅두고 모든 파라미터를 0으로 설정해 네트워크를 항등 함수 처럼 동작하게함
  2. ,$r(s'; \theta_*) = e_2$으로 치완 한다면 $h(\theta_*) = ||e_1 - e_2||^2 \neq 0$ 임
즉 $h(\theta)$에 랜덤한 $\theta$를 대입하더라도 $h(\theta)=0$이 되는 $\theta$의 측도는 0을 가진다.
즉 모델을 무작위로 초기화한 모델이 단사 함수가 아닐 확률은 0에 가깝다.

무작위로 초기화 된 모델을 훈련시 injective를 보존하는가를 증명

사전 명제 : 무작위로 초기화된 모델은 injective하다.

- 여기서 훈련(GD)을 거침에도 모델이 injective함을 보존하는가에 대한 증명이 필요

GD는 $\phi(\theta) = \theta - \eta \nabla L_{s,p}(\theta)$으로 정의되며 real-analytic function이다.
Jacobian 행렬의 결정자 분석은 $D\phi(\theta) = I_p - \eta \nabla^2 L_{s,p}(\theta)$ 입니다. 이 행렬의 결정자 $\det D\phi(\theta)$는 $\theta$에 대한 다항 함수이므로 역시 real-analytic function입니다.

$\det D\phi(\theta)$ = 0이 되는 매개변수 $\theta$에 집합은 측도가 0이다. 즉 변환(GD 업데이트)는 injective를 회손하지 않는다 ( 변환자체가 injective하기 떄문이다.)

즉 변환(GD 업데이트)는 $\det D\phi(\theta)$ = 0이 측도가 0임을 증명하는 것을 통해 injective 하다는 것으로 입증 되었고

모델 또한 이미 injective 하기 때문에 injection function 끼리의 합성함수인 훈련된 모델은 injective 하다는 것이다.

SIPIT (Sequential Inverse Prompt via ITerative updates) 알고리즘의 실험

SIPIT 실험의 목적은 transformer model의 hidden states를 원래의 입력 텍스트로 정확히 재구성할 수 있음을 실험적으로 검증

SIPIT는 $ v \in V$ v의 모든 토큰에 대한 hidden states를 구하고 $h_1$과 비교하여 $s_1$을 찾음, 이후로 순차적으로 $s_t$까지 탐색합니다. 해당 과정에서 가중치 기반의 정책 알고리즘을 사용하여 시간을 단축합니다.

Policy (Gradient-based)

효율적인 탐색 알고리즘이다.
0 단계 우리가 가지고 있는 $h_t(S)$의 값을 도출하는 레이어의 입력 벡터를 랜덤으로 생성 => e(i−1)
1 단계 $e^{(i-1)}$ 모데에 넣어 실제 $h_t(S)$와 비교하여 Loss를 구하여 기울기를 계산 후 $e^{(i-1)}$를 업데이트 => $e^{i}$
(손실 함수: $L(e^{(i-1)}) = \frac{1}{2} ||F(e^{(i-1)}; \pi, t) - h_t(S)||_2^2$ ,F는 모델)
2 단계 그렇게 구한 $e^{i}$를 어휘 $V$에 있는 모든 실제 토큰의 임베딩 $E_v$ ($v \in V$) 사이의 L2 거리를 구행 정렬
3 단계 정렬된 순서대로 대입 후 비교하여 토큰을 복원

실험

모델 : GPT-2 Small를 사용하여 100개의 프롬프트를 test set으로 구성
다양한 layer에서의 hidden states를 사용해서 실험을 진행

실험 결과

복원 정확도 100% 달성, 기존 선행 연구의 모델보다 훨씬 빠름!

figure 1: layer가 깊어 질 수록 복원 시간이 길어진다. , BruteForce는 정책 알고리즘 미적용

latent vector 또한 보안의 대상으로 바라보아야 한다

프라이버시(Privacy): 어떤 시스템이 사용자의 잠재 벡터를 저장하거나 전송한다면, 이는 사실상 원본 사용자 텍스트 자체를 저장하거나 전송하는 것과 동일한 보안 위험을 가집니다. 사용자의 동의 없이 잠재 벡터를 공유하는 것은 원본 텍스트를 공유하는 것과 같다는 의미입니다.
데이터 삭제(Deletion): 사용자가 자신의 데이터 삭제를 요청했을 때, 단순히 원본 텍스트만 삭제하고 잠재 벡터를 남겨두는 것은 의미가 없습니다. 잠재 벡터만으로도 원본 텍스트가 복구될 수 있으므로, 잠재 벡터도 함께 삭제되어야 진정한 데이터 삭제라고 볼 수 있습니다.
규정 준수(Compliance): GDPR과 같은 데이터 보호 규정은 개인 식별 정보(PII)의 수집, 저장, 처리에 엄격한 제한을 둡니다. 논문의 결과는 잠재 벡터가 사실상 PII를 포함하고 있을 수 있으므로, 잠재 벡터도 규제 대상이 되어야 함을 시사합니다.

latent vector는 프롬프트의 변형이고 복원이 가능함의 위 실험을 통해 입증하였음으로 latent vector 또한 개인 데이터와 동일한 수준으로 보호하고 관리해야 한다

네이버 부스트캠프 - ai Tech 8기 합격

comoZ — Thu, 4 Sep 2025 15:56:51 +0900

네이버 부스트캠프 - ai Tech

자기소개서는 그래도 학부연구생동안의 경험을 토대로 작성하여 크게 어렵지 않았다.

다만 코딩테스트 준비가 전형 안되어있어 벼락치기로 이것저것 몰아서 하는데 고생을 좀 했다. ( 그래도 10문제중 5솔은 한 듯하다. )

여차저차 합격을 했고 창업동아리, 졸업 등 이거저것 마무리하니 바로 캠프 시작이더라

캠프를 시작하면서 몇가지 다짐,약속 그리고 목표이다.

캠프를 성실히 수행해 기업연계 인턴쉽에 성공하자.

영어와 수학 공부를 하자

창업동아리 논문 작성을 마무리하자

혼자 스스로 논문 작성을 하자

대회를 하나 수상하자

코딩테스트 공부도 조금씩 하자

이 여섯 가지를 수료하는 2월에 다시 한번 되집어 보도록 하자

그날이 부끄럽지 않도록 노력하겠다.

1년동안의 학부연구생 생활을 마치며

comoZ — Thu, 4 Sep 2025 14:51:35 +0900

1년동안의 학부연구생 생활을 한줄로 표현하자면 "참으로 많이 배웠다!"라고 표현 할 수 있을 것 같다.

바로 이어서 연구실 생활을 추억하자면

9월 복학 직후 그 달에 바로 들어갔던 것 같다. 들어가게된 이유는 주변인 중에 학부연구생 지원을 고민하던 나에게 뭘 고민하냐고 떨어지면 떨어지는거고 실력이 부족해서 뒤쳐진다면 그뒤로 나와 보완하고 다시 도전하면 되는 거 아니냐라는 당연한 말을 나에게 조언해주셨다.
그 뒤로 지원했고 교수님과 미팅하고.. 많이 부족한 나를 받아주셨다.

1년동안 정말 노력도 노력이지만 고생했다.

1년동안 누군가가 정말로 최선이였냐고 묻는다면 나는 한치의 망설임 없이.

"당연하죠, 너무너무 힘들었습니다." 라고 대답할 수 있을 것 같다.

그리고 또 누군가 학부연구생 생활을 하며 뭘 얻었고, 뭘 했고 뭘 배웠냐고 묻는다면

ai에 대한 진로의 확신, 내가 할 수 있을까라는 나 자신의 확신, nlp 분야에 대한 확신,
그리고 ai 기초부터 최신 nlp 까지의 흐름, 최신 ai 연구에 대한 동향을 찾아보고 어느정도 이해할 수 있는 능력, 어떤 ai 논문이라도 시간만 들인다면 읽을 수 있을꺼라는 자신감, 그외의 몇가지의 프로젝트, llm fine-tune부터 활용까지 구현,기획, 배포(곧)까지 해본 경험 등이 있는거 같다.

연구실에서 대회를 한번 우승을 해보고 싶었는데 시간도 부족하고 최근 대회 성적도 아쉬워서 그 부분이 정말 마음에 걸린다.
앞으로 시간이 나는대로 다시 도전해고 좋은 성과를 내보싶다.

끝이다. 학부연구생의 마무리는 사실 아름답지는 않은 듯 하다.
원래는 해당 연구실을 이어서 석사를 이어가려했지만 마음이 바뀌어 등록 취소를 했다.
이렇다 저렇다 할 말은 많지만, 여기서는 말하기 어려운 이야기들은 마음 속에 고이 접어두고 글을 마치겠다.

이렇게 글로써 마무리하니
정말 끝인가보다!

미로 찾기 강화학습 과제 후기(3가지 열쇠, 3가지의 문 그리고 Q learning을 곁들인)

comoZ — Sun, 10 Nov 2024 17:32:52 +0900

시작하기 전에

핑계입니다.

사실 군복학을 사유로 10월달 초 부터 수업에 참여하게 되어서 거의 독학으로 공부하고 과제를 진행한 것 같다.

그렇기에 부족하고 잘못된 내용이 적지 않을것 같은데,, 많은 피드백 부탁드립니다.

내가 생각하는 강화학습이란

환경을 input으로 받고 task와 환경에 맞는 행동 정책을 학습한 에이전트를 output으로 반환하는 구조라고 생각한다.
이런 환경에 맞는 행동을 학습하는 과정은 보상이 중요하다, 결국 에이전트는 보상을 통해서 환경을 학습하는 것이다.
즉 강화학습을 설계하는 과정은 환경과 task에 맞는 행동 정책(가치 함수), 보상을 설계하는 과정이라고 생각했다.

중간고사 과제(미로찾기, 그리고 3가지의 열쇠와 문을 곁들인)

환경 설명

https://docs.google.com/document/d/11gPfnmHj1430d15T5cIFbpdtQmMyzKy7N0WXPyc12mE/edit?usp=sharing

task: 최단 거리로 미로를 탈출
action
- ACTION_LEFT
- ACTION_RIGHT
- ACTION_FORWARD
- ACTION_PICKUP
- ACTION_DROP
- ACTION_UNLOCK
환경, 행동, 과제에 대한 설명
- 용암과, 행동이 2704를 초과하면 게임 오버다
- 에이전트는 왼쪽으로 90도 회전, 오른쪽으로 90도 회전, 전진을 사용하면 이동할 수 있다.
- 에이전트는 한번에 하나의 열쇠만 소지할 수 있다.
- 문은 같은 색상의 열쇠를 소지하고 있다면 pickup을 통해서 열 수 있으며 열쇠는 소모되지 않는다.
- 외부 라이브러리나 다른 사람들의 구현물을 사용하지 않고 모두 직접 작업하여 학습시킬 것
- 환경 정보는 매 행동마다 제공된다.

학습 설계 개요

보상
- 에이전트가 최적경로로 이동할 수록 큰 보상을 받도록 함
  - bfs 알고리즘을 통해서 최적경로를 찾고 해당 셀을 이동하면 보상을 받도록 함
  - bfs 알고리즘을 통해서 모든셀과 목적지와의 거리를 측정하고 거리가 가까울수록 좋기 때문에 역수 처리와, 0~1 정규화를 해주었다.
  - 위 두 개의 테이블 보상 정보를 결합해주었다.
  - 또한 같은 셀을 반복하지 않도록 한 번 보상을 받은 셀을 -10%로 값을 줄여나갔다.
- 열쇠를 획득, 문을 열기, 문을 지남에 따라 색깔 별로 한번 씩 보상을 주도록 했다.
- 목표 보상의 경우는 목적지의 도달했을 경우의 행동이 적을 수록 높은 보상을 받을 수 있도록 했다.
- 또한 최적의 경로로 수렴할 수 있도록 하기 위해서 행동 한 번마다 -1씩 누적되도록 설정 해주었다.
- 용암과 벽을 향해 포워드하는 경우 패널티 보상을 주도록 설정해주었다.
- 보상을 설계하는 과정에서 제일 중요한 것은 최적의 경로와 행동으로 수행했을 경우가 어떠한 루트보다 보상이 크도록 설계해야 한다는 것이다.
q_learning
- q_table의 구성
  - 에이전트의 위치 : (x,y)
  - 에이전트의 방향 : (0~3)
  - 에이전트가 현재 소지하고 있는 열쇠 타입 : (0~4)
  - 초록문의 현재 상태: 0~2
  - 파란문의 현재 상태: 0~2
  - 빨간문의 현재 상태: 0~2
  - 행동 0~5
- 사실 초록문이 3개라 최적경로에 속해 있는 초록문만 고려하도록 해서 코드가 완전하지 않았다. 차라리 넣어주고 내부적으로 수정해줬다면 더 긍정적이였을 것 같다.
- 학습 정책(가치 함수)
  - alpha : 학습률, 0.1을 사용하다 값이 최적에 가까워진다면 학습률을 낮추었다
  - gamma: 할인률, 0.95 현재 보상만을 계산하는게 아닌 다음 행동에 대한 보상에 대한 할인률, 즉 반영 비율에 대한 조정으로 0.95를 계속 사용했다.

학습 과정

코드 자체는 앱실론이 선형적으로 감소되도록 설정했지만 중간에 못참고 학습이 되는거 같으면 중간에 멈추고 조절해줘서 결과적으로는 다음과 같은 앱실론으로 학습했다.
- $\epsilon = 0.5$ → 4000 에피소드
- $\epsilon = 0.3$ → 2000 에피소드
- $\epsilon = 0.1$ → 4000 에피소드
- $\epsilon = 0.05$ → 1000 에피소드
- $\epsilon = 0.01$ → 1000 + $\alpha$ 에피소드

최종 결과와 후기

결과적으로 주어진 task에서 가장 적은 행동 경로를 학습 할 수 있었다.
그래도 강화학습을 처음으로 구현해 보면서 맨날 이론만, 즉 수도 코드로만 보던 내용을 직접 구현해보니 확실히 느낌이 달랐고 보상 구현이 까다롭기도 하지만 주어진 task에 맞는 학습법과 올바른(구조적 문제가 없는)코드를 작성을 중요성을 느꼈다.
중간고사 과제이기에 최적경로를 달성했기 때문에 1등을 했다. 하지만 공동 1등을 한 팀은 같은 q_learning을 사용했지만 추가적으로 ucb 알고리즘을 사용해서 5분만에 최적경로를 학습한다는 것을 보면 주어진 task에 대한 이해가 부족했고 그것에 대해서 중요하게 생각하지 않은 부분에 반성을 하게 되었다.
- 문제 환경이 26x26이고 매 행동에 대한 현재 환경 정보를 받을 수 있기 때문에 모든 행동에 대한 보상을 계산하는 ucb 알고리즘이 효과적이였다고 생각한다.
q leaning에 대해서 깨달은 점
- 처음에는 q_leaning에 대한 이해도가 떨어져서 환경 grid 정보와 현재 에이전트의 방향만 값을 주면서 시간을 버렸다.
- 결과적으로 깨달은 부분은 에이전트가 환경을 학습할 때는 동일한 환경 정보에 대한 같은 최적의 행동 도출하는 것이 학습을 잘한것이라 말할 수 있다.
- 그렇기 에이전트 입장에서 문 상태와 열쇠 상태와 같은 환경이 변화되는 부분에 대한 정보를 주어주지 않다면 에이전트는 죽을때 까지 학습할 수 없을 것이다.
- 한줄로 정리하자면 학습이란 현재 환경에 대한 최적의 행동을 도출하는 것이기에, 적어도 q learning에서는 에이전트에게 제공하는 환경에 대한 정보가 미흡하다면 최적의 행동을 학습하기 어렵다.
다음 과제는 딥러닝을 활용한 DQN을 사용할 것이다!
https://github.com/hojuna/knu_reinforcement_learning