06 Tokenizer 详解:BPE、WordPiece、SentencePiece 有什么区别?
在前面几章中,我们已经介绍了 Transformer、Self-Attention 和 GPT 为什么使用 Decoder-only 架构。到这里,一个非常基础但容易被忽略的问题出现了:
文本到底是如何进入大语言模型的?
我们平时看到的是一句自然语言:
大语言模型正在改变人工智能的发展方式。
但是模型不能直接处理中文、英文或代码
