[논문 수학] argmax, argmin 에 대한 정리

머신 러닝을 공부하다 보면 argmax, argmin 함수들을 보게 되는데 처음에 그냥 max랑 min이 있어서 단순히 최댓값 최솟값을 의미하는 함수들인 줄 알았지만 그게 아니어서 당황했다. 

 

그래서 이 글을 통해 정리해보겠다. 

 

 

argmax 란?

arguments of maxima 라는 뜻으로 어떤 함수의 함수값을 최대로 만드는 정의역의 부분집합이다. 

이를 수학적으로 표현하면 다음과 같다. 

 

집합 $X$와 $X$의 부분집합 $S$ 그리고 집합  $Y$ 에 대해서 함수 $f: X$  -$>$ $Y$를 생각할 때 정의역 $X$의 부분집합 $S$에 대한 $argmax$ 값은 다음과 같이 정의된다. 

 

$argmax_S f$ $:= argmax_{\substack{ x \in S}} f(x) := \{x \in S : f(s) \le f(x) \; for \; all \; s \in S\}$

 

즉 부분집합 $S$를 탐색 영역으로 잡을 때(정의역을 $S$로 잡을 때 ) $S$의 임의의 원소 $s$의 함수값 $f(s)$에 대하여 그 값 이상인  $S$의 원소 $x$의 집합이다. 

 

 

위의 정의는 일반화된 정의이고 보통은 $S = X$인 상황으로 두고 사용한다. 이럴 경우 위 식은 

 

$argmax  f(x)$ $:= argmax_{x} f(x) := \{x : f(s) \le f(x) \; for \; all \; s \in X\}$

 

위와 같고 정의역 $X$에서 $f(x)$를 최대로 하는 정의역 $X$의 원소 $x$의 집합이 된다. 

 

 

 

argmin

 

마찬가지로 argmin도 비슷하게 정의할 수 있다. 

 

 

위와 같이 집합 $X$와 $X$의 부분집합 $S$ 그리고 집합  $Y$ 에 대해서 함수 $f: X$  -$>$ $Y$를 생각할 때 정의역 $X$의 부분집합 $S$에 대한 $argmin$ 값은 다음과 같이 정의된다. 

 

$argmin_S f$ $:= argmin_{\substack{ x \in S}} f(x) := \{x \in S : f(s) \ge f(x) \; for \; all \; s \in S\}$

 

그리고 $S=X$인 경우에는 

 

$argmin f(x)$ $:= argmin_{x} f(x) := \{x : f(s) \ge f(x) \; for \; all \; s \in X\}$

 

 

 

 

 

 

 

 

 

References

 

https://en.wikipedia.org/wiki/Arg_max

Arg max - Wikipedia