-
大模型学习笔记
1. 简单语言模型N-Gram 1.1 N-Gram原理 N-Gram 是一种统计语言模型，通过考虑文本中连续 N 个词出现的概率来建模。N-Gram 模型的主要目标是预测一个词在给定前面 N-1 个词的情况下出现的概率。公式如下： \[\mathbf{P} = ( w_i \;|\; w_{i-(N-1)}, ......, w_{i-1} )\] 常见的 N-Gram 包括： Unigram（1-Gram）：单个词或字符 Bigram（2-Gram）：连续两个词或字符 Trigram（3-Gram）：连续三个词或字符 在Bigram模型中，预测词出现的概率仅依赖于前一个词 。在Trigram模型中，预测词出现的概率依赖于前两个词和。因此Unigram无法进行预测。句子”Money is my best friend”的Unigram、Bigram和Trigram分别为： Unigram [“Money”, “is”, “my”, “best”, “friend”] Bigram [“Money is”, “is my”, “my best”, “best friend”] Trigram [“Money is...