전체 글
-
AI를 공부해보자 #14. DNN Fingerprinting by General ExamplesMath/AI and Statistics 2026. 8. 28. 11:36
Li & Xu의 Neurocomputing에 26년 발표된 논문 Deep neural network fingerprinting by general examples을 정리했다.IntroductionDNN은 학습 단계에서 사용하지 않은 데이터를 입력하더라도 특정 class를 매우 높은 confidence로 예측하는 경우가 있다. 이 논문에서는 이러한 입력을 ‘General Example’이라고 부른다. 이 연구는 training data 밖에서는 모델이 일반화하는 방식이 모델마다 다를 것이라는 가설을 바탕으로, 모델의 general example을 해당 모델의 fingerprint로 사용할 수 있는지를 검증한다. 특히, 이 논문은 기존 decision-boundary/adversarial-example 기반..
-
AI를 공부해보자 #13. 한 토큰짜리 출력으로 LLM 모델 Fingerprinting하기Math/AI and Statistics 2026. 7. 30. 10:32
2026년 7월 11일 아카이브에 한 논문이 올라왔다. '1부터 100 사이 숫자 중 아무거나 랜덤으로 출력해줘'와 같은 매우 단순한 질문 하나만 가지고서 LLM 모델을 통계적으로 유의미하게 구분할 수 있는 fingerprint를 만들 수 있다는 내용이 골자였으며 나름 획기적 아이디어여서 화제가 되었다. 이 글은 해당 논문을 읽고 정리해본 내용이다. (논문 주소 : https://arxiv.org/abs/2607.10252) Intro - LLM API에서 제공하는 모델이 정말로 광고된 모델일까? 오늘날 사용자는 모델 개발사가 직접 제공하는 API 뿐만 아니라 Open Router와 같은 중개 업체를 통해 여러 LLM에 접근한다. 그런데, 사용자가 API에 요청을 보내면 실제로 받는 것은 단순한..
-
AI를 공부해보자 #12. Model Stealing-3 Knockoff NetsMath/AI and Statistics 2026. 7. 22. 14:06
완전한 black box를 가정하고 모델의 functionality를 훔치는 것을 주 목적으로 하는 knockoff net에 대하여 공부해보았다.https://arxiv.org/pdf/1812.02766 기존 model stealing 기법은 아무리 black box를 가정하더라도 공격자가 성공적으로 모델을 복제하기 위해 필요한 지식이 많았다. 공격 대상 모델의 구조, 대상 모델이 학습한 데이터셋의 분포 등 현실적으로 클라우드에서 API를 통해 서비스하는 모델에 대해서는 알기 어려운 조건들이었다. 이 연구에서는 CNN 모델 API를 서비스하는, 이미지를 입력하면 예측값만 나오는 black box 상황을 가정하고, 그럼에도 불구하고 공격자는 성공적으로 이 모델의 기능을 훔칠 수 있음을 보였다. 상황 설..
-
AI를 공부해보자 #11. Model Stealing-2 (MLP)Math/AI and Statistics 2026. 7. 21. 13:32
Logistic regression과 같은 모델의 경우 sigmoid 함수의 역함수를 구할 수 있으므로 파라미터 $w$에 대한 선형 방정식 꼴로 정리를 할 수 있다. 그리고 binary인 경우 뿐만 아니라 multiclass의 경우에도 연립 방정식을 세워 쉽게 파라미터를 역산할 수 있다는 것을 알아보았다. 그런데, multiclass의 경우 제약 조건이 존재한다. 입력 $x$에 대하여 모든 클래스의 로짓 (또는 confidence) score를 반환해야만 구체적인 식을 세워 연립을 할 수가 있다. 만약 API가 모든 클래스의 로짓이 아닌 label만 반환하거나 top-1 confidence만 반환하는등 모든 정보를 공개하지 않는다면 그러한 방정식을 세울 수가 없게 된다. 뿐만 아니라, MLP의 경우 애..
-
[그래프이론] #3. The Degree of VertexMath/Set and Graph Theory 2026. 7. 2. 14:56
Def. Neighbour and Degree. 그래프 $G=(V, E)$에 대하여, 정점 $v \in V$의 neighbor의 집합, 즉 $v$와 간선으로 연결된 모든 정점의 집합을 $N(v)$로 나타낸다. 정점 $v$에 대하여 $E(v)$, 즉 $v$에 연결된 모든 간선의 개수를 $v$의 degree (차수)라고 하며 $d(v)$로 나타낸다. 자명하게 $d(v)=|E(v)|=|N(v)|$가 성립한다. 그래프 $G$에서 minimum degree는 모든 정점 중 최소 차수를 갖는 정점의 차수 $\delta(G)=\mathrm{min}\left\{d(v)|v \in V \right\}$로 정의하며 비슷하게 maximum degree는 최대 차수로 정의하여 $\Delta(G)=\mathrm{max}\lef..
-
AI를 공부해보자 #10. Model Stealing-1 (Logistic Regression)Math/AI and Statistics 2026. 6. 30. 16:27
Model Stealing의 탄생 배경2010년대, 아마존과 같은 빅테크 기업에 의하여 MLaaS (Machine Learning as a Service) 비즈니스 모델이 탄생하였다. 그들은 막대한 자본으로 개인이나 작은 기업은 상상도 못할 크기의 데이터센터와 컴퓨팅 파워를 구축한 후 데이터를 수집하여 모델을 학습시켰다. 이 학습시킨 모델의 파라미터와 동작은 서버에 숨긴 채, API를 통해 사용자로부터 호출을 받아 모델의 예측 결과를 반환해주는 서비스를 가동하기 시작하였다. 학습을 위해 막대한 연산량을 필요로 하는 모델 자체가 독점적인 비즈니스 자산이 된 것이다. 기업은 API 사용 비용을 판매하기 위하여 모델을 숨겨야 했다. 그러나, 완성된 모델에게 몇 번의 쿼리를 통해 해당 모델을 거의 정확히 복제..
-
[그래프이론] #2. The Basics 2Math/Set and Graph Theory 2026. 6. 30. 11:38
Def. Graph Property. Isomorphism에 대해 닫혀있는 그래프의 모임을 graph property라고 한다. 예를 들어, '삼각형'을 포함하는 것은 graph property에 해당한다.Proof. 우선, 삼각형을 포함하는 그래프를 다음과 같이 정의하자: 그래프 $G = (V, E)$에 대하여 $xy, yz, zx \in E$를 만족하는 세 정점 $x, y, z \in V$가 존재한다. 이제, $G$와 isomorphic한 모든 그래프가 삼각형을 포함한다는 것을 보일 수 있다면, '삼각형을 포함한다'는 조건을 만족하는 그래프의 모임은 isomorphism에 대해 닫혀있음을 알 수 있으므로 이가 graph property임을 증명할 수 있다. $G$와 isomorphic한 임의의 그래프..
-
[그래프이론] #1. The BasicsMath/Set and Graph Theory 2026. 6. 29. 16:47
그래프 이론을 공부해보고자 한다. Reinhard Diestel의 Graph Theory 5th edition의 내용을 정리한 글이다. Def. Graph. 그래프란, 집합 $V$와 $E \subset [V]^2$의 쌍 $G=(V, E)$로 정의된다. (이때 $[V]^2$는 원소의 개수가 2개인 $V$의 모든 부분집합의 모임)이때 $V$의 원소는 그래프 $G$의 vertices (또는 nodes, points, 정점, 꼭짓점)라고 하며 $E$의 원소는 그래프 $G$의 edges (또는 lines, 변, 모서리)라고 한다. 쉽게 이해하기 위하여 다음과 같이 정점과 변으로 구성된 그래프를 살펴보자. 이 그래프의 꼭짓점은 $V=\left\{1, 2, 3, 4, 5, 6, 7 \right\}$이다. 이 그래프..