범주형 변수를 양적 변수로 바꿔 머신러닝 만들 경우

[swang-jisoo]

범주형 변수를 양적 변수로 바꿔 머신러닝을 만드는 경우를 종종 보았습니다.
수업의 예시로 보면,
환자 양/음성 여부 예측 시 --> 양성 = 0, 음성 = 1
소고기 등급 --> 프라임 = 0, 셀렉트 = 1, 초이스 =2 ...

이렇게 더미 변수를 만들어 회귀모델을 만드는 건 어떤 이유(장점)에서 인가요? 회귀모델의 경우도 비교해보고 싶어서인가요?
이렇게 만들 때의 단점/한계, 주의/유의사항이 있을까요?

• 오늘 머신러닝 진도표 상 비지도학습까지 열리는 것으로 되어 있는데 아직 안 열려있습니다.
  어디에 말해야 할지 몰라 여기에 포스트해봅니다..

[jiyongjung0]

컴퓨터에게 공부를 시키려면, 일단 컴퓨터가 이해할 수 있는 정보로 바꿔주어야 합니다. 그러다보면 가장 쉬운 것이 정수로 각 개념을 표현하는 것이기 때문에 말씀하신 것처럼 범주형 변수이더라도 숫자로 바꾸어 처리하는 경우가 많습니다.

아니면 범주형 변수라고 했지만, 사실 양적 변수로 표현이 가능한 경우도 있습니다. 예를 들어, 환자의 양/음성 여부는 양성 = 0, 음성 = 1일 수도 있지만, 양성일 확률이 100%, 양성일 확률이 0% 인 양적 변수로 볼 수도 있습니다. 풀고자 하는 문제에 따라 회귀로 푸는 것이 좋을 수도 있고, 분류로 푸는 것이 좋을 수도 있을 것이므로, 무조건적인 정답은 없지 않을까 싶습니다.

[RayleighKim]

소고기 등급 예시는 조심하셔야할 것 같습니다.

순서가 있는 범주형 변수는 늘 우리를 괴롭힙니다.
integer encoding은, 단지 숫자의 형식을 빌려온 것인데.. 순서가 있는 범주형 변수는 이것이 양적 변수인가? 하고 헷갈리게 만듭니다.
셀렉트 등급 고기 두개를 합치면 초이스 등급의 고기가 나오는 것이 아니란 말이죠? (나온다면 양적 변수 취급해도 좋습니다.)

integer encoding은 일단 숫자 연산이 가능하도록 만드는 첫걸음입니다.
더미 변수는 integer encoding과는 약간 다른 개념입니다.

계절이라는 하나의 변수를 봄변수, 여름변수, 가을변수, 겨울변수 (일단 4개로 하겠습니다.)로 만들어서
여름이라면 --> 0 1 0 0 으로 표현되게 됩니다.

범주형 변수를 integer encoding하게 되면 생기는 이슈들 ( 겨울을 네토막내면 봄이 네개가 나오는 등)이
더미 변수를 만들게 되면 해결됩니다.

[swang-jisoo]

@jiyongjung0 @RayleighKim
지식이 부족해 답변에서도 모르는 내용이 잔뜩 있었습니다
구글링을 해보고 나름 정리해보았는데 제대로 이해한 건지 컨펌해주실 수 있나요?
또, 관련 추가 질문들도 있습니다..

• 범주형 변수를 양적 변수로 바꾸는 것은 모델/컴퓨터의 이해를 위한 것

  • 여기서 말씀하신 양적 변수는 정말 숫자를 말씀하시는 건가요, 아님 숫자의 형태를 띈 범주형 변수 (즉, 여전히 텍스트)도 포함하시는 건가요?
  • 분류모델의 종속변수가 아니라면, 대부분의 경우 양적 변수로 변환해야 하는 것이 맞나요?

• 범주형 변수를 양적 변수로 바꾸는 방법은

1. 범주형 변수의 각 레벨을 숫자로 변경 (integer/ ordinal/ label/ replace encoding)
   예: ["소고기 등급": 레벨 = 프라임, 셀렉트, 초이스...] -> ["소고기 등급": 벨류 = 0,1,2...]

   이때, 소고기 등급 간에 대소관계(연산/weight)가 생겨 문제가 생길 수도 있음
   예: 등급x2 = 결과
   -> 그래서 대체법으로 아래의 (2) 사용가능

2. 범주형 변수를 각각의 벨류가 0,1로 이루어진 여러개의 가변수(=더미변수)로 변환 (one-hot/ dummy/ binary encoding)
   예: ["질병판정": 레벨 = 양성, 음성] -> ["질병판정_양성": 벨류 = 0,1] & ["질병판정_음성": 벨류 = 0,1]
   예: ["소고기 등급": 레벨 = 프라임, 셀렉트, 초이스...] -> ["등급_프라임": 벨류 = 0,1], ["등급_셀렉트": 벨류 = 0,1], ["등급_초이스": 벨류 = 0,1]

   이 경우, 새로 생긴 변수들 간의 독립성 유지를 위해 레벨 하나는 드롭
   또한, 변수들의 숫자 (데이터 크기 증가)에 따른 문제가 생길 수 있음

   • 그런데 더미변수도 0,1 (True, False)이라는 값(레벨)을 가진 범주형 변수가 아닌가요?

3. 기타 contrast enconding: 범주형 변수를 각각의 벨류가 "해당 레벨의 종속변수의 평균값 - 이전 레벨의 종속변수의 평균값"으로 이루어진 여러개의 가변수로 변환 (backward difference)

[RayleighKim]

추가질문을 주셔서 너무 좋습니다. 계속 질문 주세요.

범주형 변수를 양적 변수로 바꾸는 것은 모델/컴퓨터의 이해를 위한 것
여기서 말씀하신 양적 변수는 정말 숫자를 말씀하시는 건가요, 아님 숫자의 형태를 띈 범주형 변수 (즉, 여전히 텍스트)도 포함하시는 건가요?

조심해야할 표현입니다. 데이터 타입이 int가 되긴하겠지만.. 정수 타입을 빌려온 것일뿐, 여전히 카테고리 데이터입니다. 그것을 양적변수로 칭하는 순간... 덧셈뺄셈등의 연산을 허용한다는 뜻입니다.

분류모델의 종속변수가 아니라면, 대부분의 경우 양적 변수로 변환해야 하는 것이 맞나요?

위와 같은 답을 드려야할 것 같습니다.
컴퓨터로 처리하기 쉽게 하기 위해 integer encoding, dummy 등을 사용할 뿐. 카테고리는 카테고리입니다.
카테고리 - - > numeric데이터 변환은 정말 조심히 생각 하셔야 합니다.

범주형 변수를 양적 변수로 바꾸는 방법은
범주형 변수의 각 레벨을 숫자로 변경 (integer/ ordinal/ label/ replace encoding)
예: ["소고기 등급": 레벨 = 프라임, 셀렉트, 초이스...] -> ["소고기 등급": 벨류 = 0,1,2...]
이때, 소고기 등급 간에 대소관계(연산/weight)가 생겨 문제가 생길 수도 있음
예: 등급x2 = 결과
-> 그래서 대체법으로 아래의 (2) 사용가능
범주형 변수를 각각의 벨류가 0,1로 이루어진 여러개의 가변수(=더미변수)로 변환 (one-hot/ dummy/ binary encoding)
예: ["질병판정": 레벨 = 양성, 음성] -> ["질병판정_양성": 벨류 = 0,1] & ["질병판정_음성": 벨류 = 0,1]
예: ["소고기 등급": 레벨 = 프라임, 셀렉트, 초이스...] -> ["등급_프라임": 벨류 = 0,1], ["등급_셀렉트": 벨류 = 0,1], ["등급_초이스": 벨류 = 0,1]
이 경우, 새로 생긴 변수들 간의 독립성 유지를 위해 레벨 하나는 드롭
또한, 변수들의 숫자 (데이터 크기 증가)에 따른 문제가 생길 수 있음
그런데 더미변수도 0,1 (True, False)이라는 값(레벨)을 가진 범주형 변수가 아닌가요?

네. 카테고리는 카테고리입니다. 양적데이터 취급하지 않기 위하여 서술하신 기법을 사용하는 것이니까요.

기타 contrast enconding: 범주형 변수를 각각의 벨류가 "해당 레벨의 종속변수의 평균값 - 이전 레벨의 종속변수의 평균값"으로 이루어진 여러개의 가변수로 변환 (backward difference)

앗, 이부분은 윗부분을 충분히 이해하시고 ml알고리즘들도 공부하신 다음, 추가로 공부하시는게 좋을 것 같아요. 왜 contrast coding을 하는지가 중요하거든요.