Go言語のruneとbyte：UTF-8文字列の仕組みを解説

Goの文字列はバイトの並びで、Goのソースと文字列リテラルはUTF-8です。byte はそのバイトの1つです。rune はUnicodeの1文字（コードポイント）で、UTF-8はそれを1から4バイトで保存します。Goの文字列に関する混乱のほとんどは、この2つを混同することから生まれます。

package main

import (
	"fmt"
	"unicode/utf8"
)

func main() {
	s := "語Go"

	fmt.Println("bytes:", len(s))
	fmt.Println("runes:", utf8.RuneCountInString(s))

	fmt.Println("byte loop:")
	for i := 0; i < len(s); i++ {
		fmt.Printf("  %d: %d\n", i, s[i])
	}

	fmt.Println("range loop:")
	for i, r := range s {
		fmt.Printf("  %d: %c (%d)\n", i, r, r)
	}
}

語 はUTF-8で3バイトなので、"語Go" は5バイトですが3ルーンです。インデックスのループは5つのバイトを見ますが、バイト0、1、2は単独では意味を持ちません。range ループはUTF-8をデコードし、インデックス0、3、4で3つのルーンを返します。i は常に文字数ではなく バイト オフセットです。

byteとruneは別名

別名なので、byte は uint8 であり、rune は int32 です。別名と基底型の間に変換は要りません。シングルクォートはルーンを、ダブルクォートは文字列を作ります。ルーンリテラルはちょうど1文字を保持するので、'ab' はコンパイルエラーです。

ルーンは数値なので、算術演算ができます。

package main

import (
	"fmt"
	"unicode"
)

func main() {
	r := 'a'
	fmt.Println(r, string(r))
	fmt.Println(string(r + 1))
	fmt.Println('7'-'0', unicode.IsDigit('7'))
	fmt.Println(unicode.ToUpper('é') == 'É', string(unicode.ToUpper('é')))
	fmt.Printf("%c %U %q\n", '世', '世', '世')
}

'7' - '0' は、数字の文字をその値に変える昔ながらの方法です。unicode パッケージはルーンを分類し（IsLetter、IsDigit、IsSpace、IsUpper）、ASCII以外の文字でも大文字小文字を正しく変換します。%c はルーンを文字として、%U は U+4E16 の形で、%q はクォート付きのルーンリテラルとして表示します。

UTF-8が文字を保存する仕組み

ASCIIのテキストはUTF-8でもまったく同じなので、バイト単位のコードはテストではうまく動き、アクセント付きの名前や日本語が来た途端に壊れがちです。unicode/utf8 パッケージはエンコーディングを直接扱います。

package main

import (
	"fmt"
	"unicode/utf8"
)

func main() {
	for _, s := range []string{"a", "é", "€", "🙂"} {
		r, size := utf8.DecodeRuneInString(s)
		fmt.Printf("%s  U+%04X  %d bytes  % x\n", s, r, size, []byte(s))
	}

	fmt.Println(utf8.ValidString("ok"), utf8.ValidString("\xff"))
	fmt.Println(utf8.RuneLen('語'))
}

% x（空白付き）はバイトを空白区切りの16進数で表示します。utf8.ValidString は文字列が正しいUTF-8かどうかを報告します。Goの文字列は正しいUTF-8に限らずどんなバイトでも保持できます。range は不正なバイトに出会うと utf8.RuneError（U+FFFD、置換文字）を返し、1バイト進みます。

string、[]byte、[]runeの相互変換

package main

import "fmt"

func reverse(s string) string {
	r := []rune(s)
	for i, j := 0, len(r)-1; i < j; i, j = i+1, j-1 {
		r[i], r[j] = r[j], r[i]
	}
	return string(r)
}

func main() {
	s := "héllo, 世界"

	b := []byte(s)
	r := []rune(s)
	fmt.Println(len(s), len(b), len(r))

	fmt.Println(reverse(s))

	// first 7 characters, not bytes
	fmt.Println(string(r[:7]))

	// edit bytes, then convert back
	b[0] = 'H'
	fmt.Println(string(b))
}

バイト単位で反転すると 世界 が不正なUTF-8にばらばらになるので、reverse はルーンに対して処理しています。ただしルーンでもまだ完全ではありません。é のような文字は e と結合用のアクセント記号の2ルーンで書くこともできます。ユーザーから見た文字（書記素クラスタ）を扱うには、github.com/rivo/uniseg などのライブラリを使います。

文字列は変更できずスライスは変更できるので、どの変換もコピーします。ホットなコードでは行ったり来たりの変換を避けてください。コンパイラは一部のケース（string(b) をマップのキーや比較に使う場合など）でコピーを省くよう最適化します。

インデックスはバイトを返す

s[i] は byte を返し、s[i:j] はバイトオフセットでスライスします。

s := "café"
fmt.Println(s[3])            // 195: the first byte of é
fmt.Println(string(s[3]))    // "Ã": that byte read as a code point
fmt.Println(s[:3])           // "caf"
fmt.Println(s[:4])           // "caf\xc3": half of é, invalid UTF-8

string(s[3]) は罠です。1バイトを string に変換すると、そのバイトそのものではなくコードポイント195、つまり Ã として扱われます。文字の境界を見つけるには、range、strings.Index の仲間（常に境界上のバイトオフセットを返します）、または utf8.DecodeRuneInString を使います。

bytesパッケージ

bytes は []byte 向けに strings と同じ機能を持つパッケージです：bytes.Contains、bytes.Split、bytes.Fields、bytes.TrimSpace、bytes.Equal、bytes.ToUpper などがあります。データがバイトとして届く場合（ファイルの内容、HTTPのボディ、ネットワークのバッファ）に使えば、文字列に変換して戻す手間が省けます。

package main

import (
	"bytes"
	"fmt"
)

func main() {
	data := []byte("name=ana\nrole=admin\n")

	for _, line := range bytes.Split(bytes.TrimSpace(data), []byte("\n")) {
		key, value, _ := bytes.Cut(line, []byte("="))
		fmt.Printf("%s -> %s\n", key, value)
	}

	var buf bytes.Buffer
	buf.WriteString("hello, ")
	buf.Write([]byte("bytes"))
	buf.WriteByte('!')
	fmt.Println(buf.String(), buf.Len())

	fmt.Println(bytes.Equal([]byte("a"), []byte("a")))
}

bytes.Buffer は伸長できるバイトバッファで、io.Reader と io.Writer を実装しています。バイトの書き込みと読み取りの両方を行うときに適した道具です。文字列を組み立てるだけなら strings.Builder のほうが少し軽量です。スライスには == が使えないので、バイトスライスは bytes.Equal で比較します。

使い分け

• 表示、比較、検索するテキスト：string のままにし、1文字ずつたどるときは range を使う。
• 文字の位置、反転、n文字への切り詰め：[]rune に変換する。
• I/O、ハッシュ、エンコード、バイナリプロトコル：[]byte と bytes パッケージを使う。
• 1文字なら rune、生の1バイトなら byte。