Golang rune과 byte: UTF-8 문자열 이해하기

Go 문자열은 바이트의 나열이고, Go 소스와 문자열 리터럴은 UTF-8입니다. byte는 그 바이트 하나입니다. rune은 유니코드 문자(코드 포인트) 하나이며, UTF-8은 이를 1에서 4바이트로 저장합니다. Go에서 문자열 때문에 헷갈리는 일은 대부분 이 둘을 혼동해서 생깁니다:

package main

import (
	"fmt"
	"unicode/utf8"
)

func main() {
	s := "語Go"

	fmt.Println("bytes:", len(s))
	fmt.Println("runes:", utf8.RuneCountInString(s))

	fmt.Println("byte loop:")
	for i := 0; i < len(s); i++ {
		fmt.Printf("  %d: %d\n", i, s[i])
	}

	fmt.Println("range loop:")
	for i, r := range s {
		fmt.Printf("  %d: %c (%d)\n", i, r, r)
	}
}

語는 UTF-8로 3바이트이므로 "語Go"는 5바이트이지만 룬은 3개입니다. 인덱스 반복문은 바이트 다섯 개를 보며, 0, 1, 2번 바이트는 그 자체로는 의미가 없습니다. range 반복문은 UTF-8을 디코딩해서 인덱스 0, 3, 4에서 룬 세 개를 내놓습니다. i는 문자 개수가 아니라 항상 바이트 오프셋입니다.

byte와 rune은 별칭이다

별칭이므로 byte는 곧 uint8이고 rune은 곧 int32입니다. 별칭과 기반 타입 사이에는 변환이 필요 없습니다. 작은따옴표는 룬을, 큰따옴표는 문자열을 만듭니다. 룬 리터럴은 정확히 한 문자만 담으므로 'ab'는 컴파일 오류입니다.

룬은 숫자라서 산술 연산을 할 수 있습니다:

package main

import (
	"fmt"
	"unicode"
)

func main() {
	r := 'a'
	fmt.Println(r, string(r))
	fmt.Println(string(r + 1))
	fmt.Println('7'-'0', unicode.IsDigit('7'))
	fmt.Println(unicode.ToUpper('é') == 'É', string(unicode.ToUpper('é')))
	fmt.Printf("%c %U %q\n", '世', '世', '世')
}

'7' - '0'은 숫자 문자를 값으로 바꾸는 고전적인 방법입니다. unicode 패키지는 룬을 분류하고(IsLetter, IsDigit, IsSpace, IsUpper) ASCII가 아닌 글자의 대소문자도 올바르게 바꿉니다. %c는 룬을 문자로, %U는 U+4E16 형태로, %q는 따옴표로 감싼 룬 리터럴로 출력합니다.

UTF-8이 문자를 저장하는 방식

ASCII 텍스트는 UTF-8에서도 똑같습니다. 그래서 바이트 기반 코드가 테스트에서는 잘 돌다가 악센트가 붙은 첫 이름이나 한글에서 깨지곤 합니다. unicode/utf8 패키지는 인코딩을 직접 다룹니다:

package main

import (
	"fmt"
	"unicode/utf8"
)

func main() {
	for _, s := range []string{"a", "é", "€", "🙂"} {
		r, size := utf8.DecodeRuneInString(s)
		fmt.Printf("%s  U+%04X  %d bytes  % x\n", s, r, size, []byte(s))
	}

	fmt.Println(utf8.ValidString("ok"), utf8.ValidString("\xff"))
	fmt.Println(utf8.RuneLen('語'))
}

% x(공백 포함)는 바이트를 공백으로 구분한 16진수로 출력합니다. utf8.ValidString은 문자열이 올바른 UTF-8인지 알려 줍니다. Go 문자열에는 올바른 UTF-8뿐 아니라 어떤 바이트든 담을 수 있습니다. range가 잘못된 바이트를 만나면 utf8.RuneError(U+FFFD, 대체 문자)를 내놓고 1바이트 전진합니다.

string, []byte, []rune 사이의 변환

package main

import "fmt"

func reverse(s string) string {
	r := []rune(s)
	for i, j := 0, len(r)-1; i < j; i, j = i+1, j-1 {
		r[i], r[j] = r[j], r[i]
	}
	return string(r)
}

func main() {
	s := "héllo, 世界"

	b := []byte(s)
	r := []rune(s)
	fmt.Println(len(s), len(b), len(r))

	fmt.Println(reverse(s))

	// first 7 characters, not bytes
	fmt.Println(string(r[:7]))

	// edit bytes, then convert back
	b[0] = 'H'
	fmt.Println(string(b))
}

바이트 단위로 뒤집으면 世界가 잘못된 UTF-8로 뒤섞이므로 reverse는 룬 단위로 동작합니다. 룬도 전부는 아닙니다. é 같은 문자는 e에 결합 악센트를 더한 두 룬으로 쓸 수도 있습니다. 사용자에게 보이는 문자(그래핌 클러스터) 단위가 필요하면 github.com/rivo/uniseg 같은 라이브러리를 쓰세요.

문자열은 불변이고 슬라이스는 그렇지 않으므로 변환할 때마다 복사가 일어납니다. 성능이 중요한 코드에서는 이리저리 변환하지 마세요. 컴파일러는 일부 경우(맵 키나 비교에 쓰이는 string(b) 등)에 복사를 생략하도록 최적화합니다.

인덱싱은 바이트를 준다

s[i]는 byte를 반환하고, s[i:j]는 바이트 오프셋으로 자릅니다:

s := "café"
fmt.Println(s[3])            // 195: the first byte of é
fmt.Println(string(s[3]))    // "Ã": that byte read as a code point
fmt.Println(s[:3])           // "caf"
fmt.Println(s[:4])           // "caf\xc3": half of é, invalid UTF-8

string(s[3])은 함정입니다. 바이트 하나를 string으로 변환하면 그 값을 코드 포인트 195로 취급하므로 바이트 자체가 아니라 Ã가 됩니다. 문자 경계를 찾으려면 range, strings.Index 계열 함수(항상 경계에 놓인 바이트 오프셋을 반환합니다), 또는 utf8.DecodeRuneInString을 쓰세요.

bytes 패키지

bytes는 []byte용 strings입니다: bytes.Contains, bytes.Split, bytes.Fields, bytes.TrimSpace, bytes.Equal, bytes.ToUpper 등. 데이터가 바이트로 들어올 때(파일 내용, HTTP 본문, 네트워크 버퍼) 이 패키지를 쓰면 문자열로 바꿨다가 되돌릴 필요가 없습니다:

package main

import (
	"bytes"
	"fmt"
)

func main() {
	data := []byte("name=ana\nrole=admin\n")

	for _, line := range bytes.Split(bytes.TrimSpace(data), []byte("\n")) {
		key, value, _ := bytes.Cut(line, []byte("="))
		fmt.Printf("%s -> %s\n", key, value)
	}

	var buf bytes.Buffer
	buf.WriteString("hello, ")
	buf.Write([]byte("bytes"))
	buf.WriteByte('!')
	fmt.Println(buf.String(), buf.Len())

	fmt.Println(bytes.Equal([]byte("a"), []byte("a")))
}

bytes.Buffer는 io.Reader와 io.Writer를 구현하는, 크기가 늘어나는 바이트 버퍼입니다. 바이트를 쓰기도 하고 읽기도 할 때 알맞은 도구이며, 문자열을 만들 때는 strings.Builder가 조금 더 저렴합니다. ==는 슬라이스에 쓸 수 없으므로 바이트 슬라이스는 bytes.Equal로 비교하세요.

무엇을 고를까

• 화면에 보여 주거나, 비교하거나, 검색하는 텍스트: string으로 두고, 문자 단위로 훑을 때는 range를 씁니다.
• 문자 위치, 뒤집기, n글자로 자르기: []rune으로 변환합니다.
• 입출력, 해싱, 인코딩, 바이너리 프로토콜: []byte와 bytes 패키지를 씁니다.
• 문자 하나는 rune, 원시 바이트 하나는 byte.