开端

新年号发表

今天（4/1）中午的时候，日本发表了新年号「令和」。

话说新年号里包含的这个「令」字，存在于被称为「中日韩兼容表意文字¹」这一特殊的 Unicode 区段中，也就是说在 Unicode 中「令」字有两个。

本文就

• 关于 Unicode 的基础知识
• 「中日韩兼容表意文字」是什么？
• 「令」为什么被包含在「中日韩兼容表意文字」区段中？
• 对于应用开发的影响

这些话题展开了调查，在此总结一下。

关于 Unicode

为了理解「中日韩兼容表意文字」，首先需要理解 Unicode 的理念和字源分离原则²。

Unicode 是什么？

Unicode 是采用 16 位整数³表达的码位⁴与文字相对应的一套规格。

「码位」的意思就是把文字一一排列，每个文字所在位置的那个号码。比如说「魚」这个字，号码就是 9B5A 。为了表明这个号码所代表的是一个 Unicode，多数情况下会像 U+9B5A 这样，在前面加上「U+」来表记。

Unicode 的既定目标就是「把全世界使用的所有文字放在一个共同的文字集合里」。「所有」当然也意味着绘文字（emoji）、古代文字等等都包含其中。

字源分离原则

Unicode 里码位的决定会遵循「字源分离原则」来实施。「字源分离原则」简单来说就是「在原字符编码中拥有不同码位的汉字，在 Unicode 中应当作为不同的汉字对待，必须分别给予不同的码位」这个意思。

这一原则的目的是为了从原有字符编码向 Unicode 转换时，防止丢失转换的可逆性⁵。

补充：那，UTF-8、UTF-16 又是什么呢？

UTF(Unicode Transformation Format)-8、UTF-16 等字符编码是把 Unicode 里决定好的码位，按照何种字节排列实现符号化的方式。

可以这样理解，Unicode 是用来规定信息的内容（码位），而 UTF-8 等则是规定如何把这些信息（码位）表现出来的方法。

参考：知っておきたい！ 文字コードの基礎知識 ……ASCII，シフトJIS，Unicode etc.：新刊ピックアップ｜技術評論社

关于中日韩兼容表意文字

中日韩兼容表意文字

中日韩兼容表意文字是包含在 Unicode 之中的一个区段（文字块或者文字码范围）。

占据 Unicode 中 512 个码位空间，划分范围是 U+F900～U+FAFF。

下面就来说明，为什么需要这个区段的原因。

中日韩统一表意文字

在 Unicode 里，对于日本、中国、韩国所使用的汉字，如果由来一致、字形一致或者相似的会被当作是「同一个汉字」，而这些汉字组合而成的区段在 Unicode 里就叫作「中日韩统一表意文字」区段。

CJK 是 Chinese Japanese Korea 的首字母缩写。

顺便一提，上述这些统一标准正如我们所见非常暧昧不清，似乎还存在不符合这些规定的汉字却也被统一成一个汉字的情况存在。

不能仅有中日韩统一表意文字的理由

正如上面所说，中日韩统一表意文字是「字形相同的汉字被统一成一个汉字」。因此，比如 KS X 1001 这种「相同的字形的文字，但拥有多个码位与之对应的字符编码格式」，如果只存在中日韩统一表意文字区段的话，就会打破字源分离原则。

而中日韩兼容表意文字区段的存在，正是为了解决这个问题。

「令」为什么是中日韩兼容表意文字？

啊，话题终于可以回到「令」字上了。

接下来，延续上面的基础知识，我们来说明为什么「令」是中日韩兼容表意文字中包含的文字。

KS X 1001

KS X 1001 是按照汉字读音的顺序来排列的字符编码格式。举个例子，它的一大特征就是如果一个汉字有多个读音就会多次被收录。

和日语不同，韩语里的汉字的读法，通常只有一种。但是，还是有那么几个汉字有不止一个读法。

KS X 1001、Unicode 里的「令」

KS X 1001 里的「令」

「令」在韩语里面，是拥有 령(ryeong) 、 영 (yeong) 这两种读音的汉字。

所以在 KS X 1001 里、「令」占据了 5635 号的 령(ryeong) 和 6729 号的 영 (yeong) 这两个码位。

Unicode 里的「令」

在 Unicode 里，韩语读音是**령(ryeong)的「令」**被作为中日韩统一表意文字采用，码位是 U+4EE4。

一般的日语输入系统通过「レイ（rei）」「リョウ（ryou）」等变换得到的「令」是中日韩统一表意文字的 U+4EE4

而考虑到字源分离原则，韩语读音是**영(yeong)的「令」**也被 Unicode 作为中日韩兼容表意文字而采用。

关于 Unicode 里的这两个「令」，简单地画个图来看一下。

对于应用开发的影响

如果使用一般的日语输入系统，基本上应该只会输入输出 U+4EE4 的「令」。再者，像「索」「立」这些日常中频繁使用的汉字也包含在中日韩兼容表意文字中。所以，就算「令」是中日韩兼容表意文字，也没必要太过于神经质。

但是，如果严格地判断字符串是否一致的时候，还是有必要注意一下。

是否将中日韩统一表意文字和中日韩兼容表意文字中的（字形相同的）汉字视为同一个汉字，取决于与之关联的框架和代码库。

比如说，虽然 Chrome 浏览器页面内搜索的时候会把中日韩统一表意文字和中日韩兼容表意文字中的（字形相同的）汉字视为同一个汉字，但那些根据 Unicode 码位作为判断依据的应用肯定会当作是不同的文字处理吧。

是否把这些汉字作为相同的文字处理，不能是开发阶段简单地下决定的。我认为根据功能、应用的用途、目的，在设计的时候就认真开始考虑很重要。

总结

可以预测，「令」字今后将比以前更多地出现在人们眼前，就这个「令」字简单地调查了为何我们需要以及如何对此多加注意。

Unicode 里存在两个「令」是因为韩语里「令」有两种不同的读法以及 Unicode 实现标准共同决定的。

对于应用开发的影响分情况而异，不过还是在开始的阶段就好好调查为好。

如果有错误和不足，欢迎联系作者 Twitter 或者在本文下方留言。

小插曲

之前豆瓣上如果把昵称改成「管理员」，会被系统自动改成「江湖骗子」。而「理」是个中日韩兼容表意文字，有人通过这个手法来绕过这个系统限制。（当然被发现后不久就被修正了）

1. 日文是「CJK 互換漢字」，「互換」对应中文就是「兼容」的意思。 ↩︎
2. 日文是「ラウンドトリップ変換互換性の原則」，这个说法感觉和中文、英文维基百科里的说法有一些微妙的出入。但在其他日文资料里查到这个原则也称「ソース分離原則」，这里就照搬中文维基百科的译名叫「字源分离原则」 ↩︎
3. 译者注：2^16 = 65536，实际上 Unicode 能容纳的字符远不止这么多。当前的 Unicode 字符分为 17 组编排，每组称为平面（Plane），而每平面拥有 65536（即 2^16 ）个码位。 ↩︎
4. 日文是「符号位置」，英文是 code point，中文世界似乎习惯翻译成码位。 ↩︎
5. 译者注：即应保证能够从 Unicode 转成原字符编码 ↩︎

9 月 12 日，某个美国推特用户把在日本代表「笑」的网络俚语「草生える」向英语用户做了说明。一连串解释的推文在世界各国蔓延开来，目前超过了 5 万转推。把日本的网络文化向全世界加以说明的这个推主是目前生活在西雅图的软件工程师 Aaron Patterson 先生。马上就这次造成轰动的事件我们来问一问他。

为什么「草生える」在推特上传播这么广，有想到吗？

说实话，没想到会传播这么广。我是在使用着发源于日本的编程语言「Ruby」进行软件开发，前些天偶然的机会从日本同事那里知道了这个网络俚语。「草生える」的成立有着日语独特的背景，感觉非常的有趣。就想着把它传达给使用英语进行交流的人们，于是在推特上进行了分享。

日语独特在哪里呢？

这个俚语的语源来自「w（在日语里是笑的简写）」这个罗马字。因为 w 这个字母和草生长的样子非常相似，所以就用汉字进行了替换，最终变成了「草生える」。把罗马字进行汉字变化处理只有日语里存在，在语言学上也非常有意思的话题。美国人就是看到了 w 这个字母，也绝对不会把它想象成画面的。但是日本人看出了像草生长的样子。

虽然英语中有类似表现的「lol」存在，但这只是「Laughing Out Loud（大声笑的意思）」的首字母，和画面的认知无关。把文字作为图画来理解的日语所带来的感觉，我也是第一次和英语做比较的时候意才识到其中的有趣。因为告诉我这个俚语的同事是不会说英语的日本人，理解不到这个点。所以我尝试着用英语加以说明。

收获这么大的反响感觉如何？

开始吓了一跳。发了推之后马上手机的通知就停不下来，想着是不是手机坏了。之后被许许多多的网络媒体所采用。这件骚动的事情过去不久我因为工作的原因去日本的时候，被不认识的人称作「啊，那个草生える的人！」甚至还有穿了印着「草」T 恤的人。说实话，我有一点儿害羞。简直像成为了网络俚语的教主。

原本就对网络俚语感兴趣吗？

完全没有（笑）。我自己比起网络俚语更喜欢正式的日语。开始学习日语是在 2006 年，契机就是 Ruby。Ruby 是日本人开发的语言，因为查找资料的时候，出来的大都是日语，想着希望能更多的了解一下就开始了日语自学。敬语呀汉字呀记起来就已经很忙了，俚语根本没时间记住。因为不想把工作用的词汇和日常混淆起来，我都尽可能地使用正式的日语。比起动漫和漫画，一直从小说和课本中学习词汇。漫画的话读了「美味しんぼ」。使用着正式的日语，什么时候也能学习一下日本的饮食文化。

很喜欢学习呢。

是啊。我喜欢深入地学点什么，然后把学得的知识分享給别人。现在我作为 Ruby 业界的 public speaker 在世界性的大会上传播编程。这次用推特分享这个日本俚语，也是同样的想法。

这条推文之后，许多日本人还告诉了我其他网络俚语。草生える的派生语「大草原不可避」，代表「マジ（真的）」意思的「魔剤（まざい）」，以及在高中生中使用广泛的「5000 兆円欲しい！（想要 5000 兆日元）」等等。真的有非常多的网络俚语，真是有趣的文化。

下一步有什么目标吗？比如成为日本网络俚语的布道者？

俚语的话题就到此为止吧（笑）。对我而言语言是作为交流的工具，能流利地说一口日语是我最大的目标。在日本举办的「Ruby Kaigi」大会，我用日语演讲这一次已经是第 4 次了。要是用英语的话对着幻灯片我可以临机应变，但日语还不行。只能预先做好演讲稿，通过练习记住，然后才能登台演讲。想像和英语一样，日语也可以自然地即兴演讲。这是我所谓的流利。为了达成这个目的，也曾想过移居日本。想成为不是仅仅从英语的翻译，而是只用日语思考从而可以交流的人。

外语要达到母语一样的水平，是非常困难的吧

就算学了 10 年还是很难。但是我是喜欢挑战的人。另外通过我这样努力地学习日语，从而给予同样努力学习英语的日本人勇气，我感到很开心。就是「那家伙这么努力地在学习日语，那我也学一学英语好了」这样。现在，在美国举办的 Ruby 大会有日本人参与的时候，我会帮着他们制作 PPT 演讲稿。接下来也会继续学习，希望可以成为日美之间的桥梁。