전체 글

논문 링크 https://arxiv.org/pdf/2501.12948DeepSeek-R1 중국의 ai 기술력으로 미국을 따라잡았다는 뜨거운 감자로 그 당시에 굉장히 주목 받았던 모델이자 paper로 기억한다. h800이라는 gpu 인프라의 제한이 있는 환경에서 R1을 만들어 openAI o1과 맞먹는 성능을 보여주었고 이러한 규제 속에서도 만들어낸 R1은 단순한 성능과 오픈 소스로서 가치가 있을 뿐만 아니라 하드웨어적으로도 중국이 온몸 비틀기 중이라는 것을 결과물로 보여주며, 중국이 미국과 ai 패권을 다투는 경쟁상대라는 것을 여실히 보여주었다. DeepSeek-R1의 개요GRPO라는 강화학습을 중심으로 Deepseek-v3-base 모델을 RLM으로 발전시킴671B라는 커대한 크기의 MOE구조인 모델..

논문 링크https://arxiv.org/abs/2510.15511 인터넷 상에서 꽤 화제가 되는 논문(11월 4일 기준), Latent Vector에 대한 보안에 대한 논의가 이루어지는 것 같다. 핵심 주제1. 모델은 injective function(단사 함수) 임을 수학적으로 증명함2. SIPIT를 통해 latent vector가 원본 시퀀스로 복원될 수 있음을 실험적으로 보여줌3. 실험 결과를 근거로 latent vector 또한 보안의 대상으로 바라보아야 한다. Transformers are INJECTIVE증명 과정은 3가지의 절차로 이루어진다.모델을 구성하는 모든 연산은 수학적으로 "real-analytic function"라는 것을 증명모델을 무작위로 초기화 후 동작시 결과가 injecti..

네이버 부스트캠프 - ai Tech 자기소개서는 그래도 학부연구생동안의 경험을 토대로 작성하여 크게 어렵지 않았다.다만 코딩테스트 준비가 전형 안되어있어 벼락치기로 이것저것 몰아서 하는데 고생을 좀 했다. ( 그래도 10문제중 5솔은 한 듯하다. )여차저차 합격을 했고 창업동아리, 졸업 등 이거저것 마무리하니 바로 캠프 시작이더라 캠프를 시작하면서 몇가지 다짐,약속 그리고 목표이다. 캠프를 성실히 수행해 기업연계 인턴쉽에 성공하자.영어와 수학 공부를 하자창업동아리 논문 작성을 마무리하자혼자 스스로 논문 작성을 하자대회를 하나 수상하자코딩테스트 공부도 조금씩 하자 이 여섯 가지를 수료하는 2월에 다시 한번 되집어 보도록 하자그날이 부끄럽지 않도록 노력하겠다.

1년동안의 학부연구생 생활을 한줄로 표현하자면 "참으로 많이 배웠다!"라고 표현 할 수 있을 것 같다. 바로 이어서 연구실 생활을 추억하자면9월 복학 직후 그 달에 바로 들어갔던 것 같다. 들어가게된 이유는 주변인 중에 학부연구생 지원을 고민하던 나에게 뭘 고민하냐고 떨어지면 떨어지는거고 실력이 부족해서 뒤쳐진다면 그뒤로 나와 보완하고 다시 도전하면 되는 거 아니냐라는 당연한 말을 나에게 조언해주셨다.그 뒤로 지원했고 교수님과 미팅하고.. 많이 부족한 나를 받아주셨다.1년동안 정말 노력도 노력이지만 고생했다. 1년동안 누군가가 정말로 최선이였냐고 묻는다면 나는 한치의 망설임 없이. "당연하죠, 너무너무 힘들었습니다." 라고 대답할 수 있을 것 같다.그리고 또 누군가 학부연구생 생활을 하며 뭘 얻었고, ..

시작하기 전에핑계입니다.사실 군복학을 사유로 10월달 초 부터 수업에 참여하게 되어서 거의 독학으로 공부하고 과제를 진행한 것 같다.그렇기에 부족하고 잘못된 내용이 적지 않을것 같은데,, 많은 피드백 부탁드립니다.내가 생각하는 강화학습이란환경을 input으로 받고 task와 환경에 맞는 행동 정책을 학습한 에이전트를 output으로 반환하는 구조라고 생각한다.이런 환경에 맞는 행동을 학습하는 과정은 보상이 중요하다, 결국 에이전트는 보상을 통해서 환경을 학습하는 것이다.즉 강화학습을 설계하는 과정은 환경과 task에 맞는 행동 정책(가치 함수), 보상을 설계하는 과정이라고 생각했다.중간고사 과제(미로찾기, 그리고 3가지의 열쇠와 문을 곁들인)환경 설명https://docs.google.com/docume..

오픈소스 수업에서 git을 따로 배우는 파트가 있어 수업 내용을 간략히 정리했습니다. 1. 버전 관리의 필요성안전한 백업: 데이터 손실을 방지하고 작업 내용을 안전하게 보관합니다.파일명 관리: 복잡한 파일명 없이도 효율적으로 파일 버전을 관리합니다.변경사항 설명 기록: 변경 내용과 이유를 기록하여 추적할 수 있습니다.쉬운 공유: 팀원들과 최신 버전의 파일을 쉽게 공유하고 협업할 수 있습니다.2. Git 소개와 역사Git의 탄생:리누스 토르발스(Linus Torvalds)가 리눅스 커널 개발을 위해 만든 분산 버전 관리 시스템입니다.2005년에 처음 개발되었으며, 현재는 가장 널리 사용되는 버전 관리 시스템입니다.Git의 성공 요인:매우 빠른 속도: 대용량 프로젝트에서도 빠르게 작동합니다단순한 구조: 이해..

처음으로 수행한 크롤링과 대회말고 개인적으로 한 EDA도 처음인 것 같습니다. seabon과 matplotlib의 사용이 아직은 확실히 미숙한 느낌이다. 또한 결과물 출력을 좀 더 이쁘게 하고 싶은데 추후 수정해보겠다!!!만약 피드백 남겨주시면 열심히 수정하겠습니다. 미숙한 코드 많이 봐주세요!!!https://github.com/hojuna/melon_chart_insights GitHub - hojuna/melon_chart_insights: 한국의 음악 스트리밍 사이트인 "melon"의 (2000~2023)년도 차트를 크롤한국의 음악 스트리밍 사이트인 "melon"의 (2000~2023)년도 차트를 크롤링해 분석한다. - hojuna/melon_chart_insightsgithub.com  1. 프..

개요Metrics는 평가 지표를 의미함qwk→ quadratic weighted kappa단순 정확도 점수로는 의미가 없는 경우에 사용두 평점의 동의도(agreement)를 측정함 동의도는 실제 평점과 예측 평점이 얼마나 가까운 지로 정의할 수 있다. 평가-1~1의 범위를 가진다1에 가까울 수록 좋은 예측0 미만은 무작위 예측 보다 성능이 떨어진다.동의도(agreement)가 높을수록 1에 가까워지고, 동의도가 낮으면 0에 가까워진다.예시y_true = [1,2,3,1,2,3,1,2,3]y_pred = [2,1,3,1,2,3,3,1,2]metrics.cohen_kappa_score(y_true, y_pred, weights='quadratic'), metrics.accuracy_score(y_true, ..