논문 링크
https://arxiv.org/abs/2510.15511
인터넷 상에서 꽤 화제가 되는 논문(11월 4일 기준), Latent Vector에 대한 보안에 대한 논의가 이루어지는 것 같다.
핵심 주제
1. 모델은 injective function(단사 함수) 임을 수학적으로 증명함
2. SIPIT를 통해 latent vector가 원본 시퀀스로 복원될 수 있음을 실험적으로 보여줌
3. 실험 결과를 근거로 latent vector 또한 보안의 대상으로 바라보아야 한다.
Transformers are INJECTIVE
증명 과정은 3가지의 절차로 이루어진다.
- 모델을 구성하는 모든 연산은 수학적으로 "real-analytic function"라는 것을 증명
- 모델을 무작위로 초기화 후 동작시 결과가 injective함을 증명
- 무작위로 초기화 된 모델을 훈련시 injective를 보존하는가를 증명
모델을 구성하는 모든 연산은 수학적으로 "real-analytic function"라는 것을 증명
transformer model에서 relu가 아닌 real-analytic function인 Tanh, GELU로 가정한다면 model은 real-analytic function끼리의 합성 함수는 real-analytic function임을 보장하기 떄문에 trainformer model은 real-analytic function입니다.
또한 만약 x_1,x_2가 f(x_1)=f(x_2)라고 하면 이것은 단사성의 붕괴한 것이며 colision이라고 표현합니다. real-analytic function은 이러한 colision을 발생 시키는 모델의 특정 파라미터 값의 집합의 측도가 0이 됩니다.( 본 논문의 핵심 명제입니다. 본 내용은 다음 내용에서 실험적으로 증명합니다.)
(측도가 0 이다. 이것의 의미는 "거의 모든 경우에 발생하지 않는다라는 수학적 표현)
모델을 무작위로 초기화 후 동작시 결과가 injective함을 증명
사전 수학적 개념
"real-analytic function"은 측도 0이 아닌' (즉, '크기'를 가진) 어떤 열린 집합에서 0이라면, 그 함수는 전체 정의역에서 항등적으로 0이다."
위 수학적 개념을 반대로 생각하면 0이 되는 반례가 존재하는 real-analytic function은 측도가 0이다. 이 개념을 일단 깔고 가겠습니다.
증명 과정
- "colision"을 정의 하는 함수 만들기 => 서도 다른 텍스트가 주어졌을 때 colision을 판단하는 함수를 정의합니다.
$h(\theta) = ||r(s; \theta) - r(s'; \theta)||^2$ (s는 텍스트를 의미 $r(s; \theta)$은 모델의 hidden states)
즉 $h(\theta)=0$ 이면 충돌이 발생한 것이고, $h(\theta) \neq 0$ 이면 충돌이 발생하지 않은 것입니다. - $h(\theta)$은 real-analytic function이다.
- $h(\theta) = 0$은 항등원이 아니다.
- 이것에 대한 증명
- 임베딩 레이어만 정상적으로 냅두고 모든 파라미터를 0으로 설정해 네트워크를 항등 함수 처럼 동작하게함
- ,$r(s'; \theta_*) = e_2$으로 치완 한다면 $h(\theta_*) = ||e_1 - e_2||^2 \neq 0$ 임
- 이것에 대한 증명
- 즉 $h(\theta)$에 랜덤한 $\theta$를 대입하더라도 $h(\theta)=0$이 되는 $\theta$의 측도는 0을 가진다.
- 즉 모델을 무작위로 초기화한 모델이 단사 함수가 아닐 확률은 0에 가깝다.
무작위로 초기화 된 모델을 훈련시 injective를 보존하는가를 증명
사전 명제 : 무작위로 초기화된 모델은 injective하다.
- 여기서 훈련(GD)을 거침에도 모델이 injective함을 보존하는가에 대한 증명이 필요
GD는 $\phi(\theta) = \theta - \eta \nabla L_{s,p}(\theta)$으로 정의되며 real-analytic function이다.
Jacobian 행렬의 결정자 분석은 $D\phi(\theta) = I_p - \eta \nabla^2 L_{s,p}(\theta)$ 입니다. 이 행렬의 결정자 $\det D\phi(\theta)$는 $\theta$에 대한 다항 함수이므로 역시 real-analytic function입니다.
$\det D\phi(\theta)$ = 0이 되는 매개변수 $\theta$에 집합은 측도가 0이다. 즉 변환(GD 업데이트)는 injective를 회손하지 않는다 ( 변환자체가 injective하기 떄문이다.)
즉 변환(GD 업데이트)는 $\det D\phi(\theta)$ = 0이 측도가 0임을 증명하는 것을 통해 injective 하다는 것으로 입증 되었고
모델 또한 이미 injective 하기 때문에 injection function 끼리의 합성함수인 훈련된 모델은 injective 하다는 것이다.
SIPIT (Sequential Inverse Prompt via ITerative updates) 알고리즘의 실험
SIPIT 실험의 목적은 transformer model의 hidden states를 원래의 입력 텍스트로 정확히 재구성할 수 있음을 실험적으로 검증
SIPIT는 $ v \in V$ v의 모든 토큰에 대한 hidden states를 구하고 $h_1$과 비교하여 $s_1$을 찾음, 이후로 순차적으로 $s_t$까지 탐색합니다. 해당 과정에서 가중치 기반의 정책 알고리즘을 사용하여 시간을 단축합니다.
Policy (Gradient-based)
효율적인 탐색 알고리즘이다.
0 단계 우리가 가지고 있는 $h_t(S)$의 값을 도출하는 레이어의 입력 벡터를 랜덤으로 생성 => e(i−1)
1 단계 $e^{(i-1)}$ 모데에 넣어 실제 $h_t(S)$와 비교하여 Loss를 구하여 기울기를 계산 후 $e^{(i-1)}$를 업데이트 => $e^{i}$
(손실 함수: $L(e^{(i-1)}) = \frac{1}{2} ||F(e^{(i-1)}; \pi, t) - h_t(S)||_2^2$ ,F는 모델)
2 단계 그렇게 구한 $e^{i}$를 어휘 $V$에 있는 모든 실제 토큰의 임베딩 $E_v$ ($v \in V$) 사이의 L2 거리를 구행 정렬
3 단계 정렬된 순서대로 대입 후 비교하여 토큰을 복원
실험
모델 : GPT-2 Small를 사용하여 100개의 프롬프트를 test set으로 구성
다양한 layer에서의 hidden states를 사용해서 실험을 진행
실험 결과
복원 정확도 100% 달성, 기존 선행 연구의 모델보다 훨씬 빠름!
latent vector 또한 보안의 대상으로 바라보아야 한다
- 프라이버시(Privacy): 어떤 시스템이 사용자의 잠재 벡터를 저장하거나 전송한다면, 이는 사실상 원본 사용자 텍스트 자체를 저장하거나 전송하는 것과 동일한 보안 위험을 가집니다. 사용자의 동의 없이 잠재 벡터를 공유하는 것은 원본 텍스트를 공유하는 것과 같다는 의미입니다.
- 데이터 삭제(Deletion): 사용자가 자신의 데이터 삭제를 요청했을 때, 단순히 원본 텍스트만 삭제하고 잠재 벡터를 남겨두는 것은 의미가 없습니다. 잠재 벡터만으로도 원본 텍스트가 복구될 수 있으므로, 잠재 벡터도 함께 삭제되어야 진정한 데이터 삭제라고 볼 수 있습니다.
- 규정 준수(Compliance): GDPR과 같은 데이터 보호 규정은 개인 식별 정보(PII)의 수집, 저장, 처리에 엄격한 제한을 둡니다. 논문의 결과는 잠재 벡터가 사실상 PII를 포함하고 있을 수 있으므로, 잠재 벡터도 규제 대상이 되어야 함을 시사합니다.
latent vector는 프롬프트의 변형이고 복원이 가능함의 위 실험을 통해 입증하였음으로 latent vector 또한 개인 데이터와 동일한 수준으로 보호하고 관리해야 한다
