about_unicode

유니코드

문자집합

컴퓨터로 문자를 표현하기 위해서 문자집합(character set)을 정의했다. 이러한 문자 집합을 코드 형태(2진수)로 표기한 것을 코드화된 문자 집합(Coded Character Set)이라고 한다. 문자 집합을 컴퓨터에 저장하기 위해 바이트(Byte)형태로 표현한 것을 encoding(부호화) 방식(CES, character encoding scheme)으로 불려지고 있다.

가장 대표적으로 ASCII(American Standard Code for Information Interchange)가 있다. 0x00 ~ 0X7F로 총 127개 문자와 특수문자를 정의하고 영어만 가능하다. 이후 확장 ASCII가 등장하여 0x80 ~0xFF 127개를 추가로 정의하여 프랑스어, 독일어등 유럽어 표현이 가능하게 되었다.

유니코드의 등장

ASCII가 사용되자 한국,중국,일본등 문자는 ASCII 코드로 처리가 불가능한 문제가 발생하였다. 따라서 나라별로 독자적인 문자 집합(한국은 KSC 5061)을 만들어내서 사용하기 시작했는데, 웹에서는 문자 집합을 지원하지 않으면 글자를 볼 수 없는 상황이 발생하기 시작하였다.

또한 미국의 소프트웨어 회사들이 지역별로 달라지는 인코딩 변환을 관리하는것에 대해서 많은 비용이 발생하였고, 이로 인해 인코딩으로 인한 시장 공략에도 큰 장벽이 생겼다.

이러한 문제 극복을 위해 통일된 문자 집합을 만들기 위한 노력이 시작되었다. 통일된 표준 문자 집합을 만들기 위한 노력은 ISO(국제 표준 기구)에 의해 시작되었고 ISO 10646 국제 표준이 만들어졌다.

이 국제 표준은 4바이트 체계로 모든 문자에 4바이트를 할당하여 사용하자는 것이었다. 하지만 몇몇 대형 소프트웨어 회사와의 의견차가 발생하자 회사들이 연합하여 Unicode 컨소시엄을 조직한다. 당시 Unicode 컨소시엄에서 제안한 방식은 2바이트 체계였다.

Unicode 컨소시엄은 ISO 에게 자신들의 표준을 사용할 것을 제안하고, 이 제안이 일부 받아들여지면서 1993 년 ISO 10646-1 이라는 국제 표준이 발표되었다.

ISO 10646 표준의 정식 이름은 국제 문자 집합(UCS, Universal Character Set) 이다. 1991년부터, 유니코드 컨소시엄에서는 유니코드 표준과 ISO/IEC 10646을 발전시키기 위해 ISO와 공동 작업을 하고있다.

유니코드란

유니코드(Unicode)는 전 세계의 모든 문자를 컴퓨터에서 일관되게 표현하고 다룰 수 있도록 설계된 산업 표준이다. 이 표준에는 ISO 10646 문자 집합, 문자 인코딩, 문자 정보 데이터베이스, 문자들을 다루기 위한 알고리즘 등을 포함하고 있다.

UTF-8

유니코드의 종류는 UCS-2와 UCS-4, 변환 인코딩 형식(UTF, UCS Transformation Format)인 UTF-7, UTF-8, UTF-16, UTF-32과 같이 다양하게 존재하지만 ASCII와 호환이 가능하면서 유니코드를 표현할 수 있는 UTF-8 인코딩이 가장 많이 사용한다.

UTF-8은 유니코드를 위한 가변 길이 문자 인코딩 방식 중 하나로, 켄 톰프슨과 롭 파이크가 만들었다. UTF-8은 Universal Coded Character Set + Transformation Format – 8-bit 의 약자이다.

UTF-8 인코딩은 유니코드 한 문자를 나타내기 위해 1Byte에서 4Byte까지를 사용한다.

• 한Byte는 ASCII 에 명시된 케릭터 128개 표현이 가능하다. (쉽게 알파벳)
• 두Byte는 그리스아, 히브리어, 등등 라틴계통 언어나 몇가지 계통 언어 표현이 가능하다.
• 세Byte는 일반적인 다국어 표현이 가능하다. (즉 한글의 범주다!)
• 네Byte는 일반적으로 잘 안쓰이는 글들의 표현이 가능하다.

출처: http://kkckc.tistory.com/55 [kkckc의 일상]

UTF-8 인코딩

UTF-8에서 한글을 사용하기 위해서는 3Byte가 필요하다. 왜 3Byte가 필요할까?

유니코드 테이블에서 한글의 코드 범위는 U+0800 ~ U+FFFF 이다.
위 코드 범위를 UTF-8 형태로 변환한 표현은 1110xxxx 10xxxxxx 10xxxxxx이다.
한글 '가'가 매핑된 유니코드 테이블의 값은 U+AC00이다. (U+0800 ~ U+FFFF 범위에 속해있다)
(https://unicode-table.com/en/#AC00)

유니코드 테이블 값 : 0xAC00
10진수 변환 : 44,032
2진수 변환 : 10101100 00000000

이렇게 변환한 2진수를 코드포인트(1110xxxx 10xxxxxx 10xxxxxx)에 집어 넣으면 아래와 같다.

1110{1010} 10{1100}{00} 10{000000}
234            176           128
EA             B0            80

결과적으로 한글은 3바이트를 사용하는 것을 알수 있다.

실습 : https://goo.gl/GWjlch

---

참고

• 유니코드
• 국제 문자 세트
• UTF-8
• 자바스크립트 유니코드
• 개발자라면 알아야할 인코딩 이야기
• 문자열 인코딩의 모든 것