성능 측정 - 기준

지난 글에서 언급했다시피 학습의 모델에서 중요한 세부 사항이 여러 가지 있다. 그 중 하나로 측정이라는 부분을 생각해볼 수 있다.

측정이라는 것도 여러 측면이 있다. 실제로 측량하는 기준이 있어야 하고 측정 자체를 어떤 방식으로 행하는가도 하나의 이슈가 된다. 이번엔 어떤 성과의 측정의 기준이라는 것에 대해 이야기해보자.

우리는 늘 어떠한 (척도)를 들고 살아간다. 그뿐만이 아니라 여러 개의 자를 들고 살아간다. 매번 어떤 것을 측량해야 하는 상황이 닥치면 우리는 상황에 적합하다고 판단되는 자를 꺼내서 측정하게 된다. 마치 평범한 책상의 길이를 재는 데에는 3m짜리 줄자면 충분하지만 운동장의 길이를 측정하려고 하는데 3m짜리 줄자를 꺼내 들지는 않는 것과 같다. 우리는 늘 상황을 보고 적절한 측량을 해야 한다. 적절하지 않은 자를 꺼내 들면 우리는 3m짜리 줄자를 들고 운동장의 길이를 측량하려는 상황에 놓이고 만다.

우리가 적절한 자를 선택하기 위해서는 우선 를 꺼내 들어야 하는 상황이라는 것을 인지하는 것부터 시작해야 한다. 대부분 우리는 직감에 의존하여 직감이 정해주는 자를 선택하게 된다. 이 방법은 놀랍도록 빠르게 그럴싸한 결과를 내놓기는 하지만 우리는 자를 꺼내 들고 있다는 사실도 잘 인지하지 못하고 있기 때문에 직관이 틀린 답을 주더라도 이를 알아내기란 쉽지 않다. 정확한 결과를 원한다면 우선 자를 꺼내 들어서 측량을 해야 한다는 사실을 인지하여야 한다. 그다음에는 어떤 자가 좋은 자인지 선택을 해야 한다. 물론 여기에는 여러 가지 방법이 있겠다. 각 분야에 따라 다르겠지만 그래도 최대한 객관적인 것을 목표로 한다면 숫자로 떨어지는 무엇인가를 측정할 수 있는 편이 좋은 것 같다.

Sabermetrics라는 것이 있다. 객관적인 측량을 통해서 야구를 분석하는 기법이다. Sabermetrics는 '올해 팀 공헌도가 가장 높은 선수는?' 혹은 '내년에 가장 홈런을 많이 칠 선수는?'과 같은 객관적인 질문에 대답하는 것을 목표로 한다. 야구는 다른 스포츠 종목들과는 다르게 선수 개인별, 팀별, 게임별로 막대한 양의 통계적인 숫자가 나오게 되고, 이를 활용하면 객관적인 예측이 가능할 것이라는 것이 기본적인 접근 방법이다.

Sabermetrics 접근을 하는 사람들은 선수의 가치를 측량하는 를 찾고자 노력한다. 기존의 가 그럴싸한 예측을 해주는가? 혹은 새로운 가 필요한가? 등등을 검토한다. 예를 들어서 Sabermetrician들 중 일부는 타율이 선수의 가치를 측량하는 좋은 기준이 되지 못한다고 말을 한다. 통계적인 자료를 보았을 때 자신들이 원하는 결과를 잘 예측하지 못하기 때문이다.

우리는 자신이 들고 있는 자가 내가 원하는 결과를 측정하기에 적합한지 항상 고민해야 한다. 적절한 가 있고 나서야 우리는 원하는 결과를 안정적으로 얻을 수 있다.

Next : 도메인 날리지, 모델링, 현실 세계
Prev : 진로 고민
0 Replies

E-mail은 비공개이며 스팸 확인용으로 사용됩니다. 댓글은 마크업 사용이 불가능하되 링크는 자동으로 링크가 걸리며 줄바꿈을 인식합니다.