掌握Llama 2分词器：填充、提示格式及更多

简介

在语言模型领域，时间变化迅速。自Llama 2发布已经有几个月了，但关于其分词器和填充设置仍存在很多困惑。本文旨在提供一份关于Llama 2分词器基础知识以及如何正确设置填充的全面指南。无论您是Llama 2的老用户还是新手，这篇文章都将帮助您轻松掌握基本知识。

Llama 2分词器基础

Llama的分词器配备了32,000个标记，代表着单词和短词。此外，还有一些在分词器中起重要作用的特殊标记，如序列开始（BOS）标记（用s表示）和序列结束（EOS）标记（用/s表示）。这些标记指示传递给语言模型的序列的开始和结束。值得注意的是，默认情况下，分词器不包括掩码标记或填充标记，后面我们将对此进行探讨。

为分词器设置填充

在微调Llama时，首先需要考虑的是设置填充标记，因为分词器默认不包括填充标记。填充标记对于将序列填充到统一长度至关重要，这在处理批量数据时尤其有用。要添加填充标记，您可以定义一个新标记并更新分词器的词汇表。然而，重要的是模型的词汇表也需要更新以包含填充标记。

添加特殊标记

除了填充标记外，Llama 2分词器还包括表示词汇表中不存在标记的未知标记（UNK）。默认情况下，分词器在进行分词时不会自动添加序列开始（BOS）和序列结束（EOS）标记。但是，您可以将添加特殊标记的选项设置为true，这将自动在序列的开头包含BOS标记。

使用BOS和EOS标记进行分词

使用BOS（序列开始）和EOS（序列结束）标记可以为语言模型提供有关序列开始和结束的有价值信息。通过将添加特殊标记的选项设置为true，分词器将在分词序列的开头自动包含BOS标记。这有助于向语言模型指示序列的开始。此外，您可以手动添加EOS标记以表示序列的结束。

定义填充标记

在Llama中，没有预定义的填充标记。然而，您可以定义一个新的填充标记并将其添加到分词器的词汇表中。通过定义一个新的填充标记，您可以确保序列被填充到统一长度，这对于训练和微调语言模型至关重要。

训练中使用填充标记

在训练或微调模型时，使用填充标记变得尤为重要。数据批次可能具有不同的长度，而填充标记允许您将序列填充到固定长度。虽然通常使用序列结束标记作为填充标记，但由于其双重用途可能会导致混淆。或者，您可以使用未知标记（UNK）作为填充标记。这确保了未知标记和填充标记之间的明确区分。

高级功能：掩码标记

掩码标记是Llama中的高级功能，主要用于训练目的。它们可以用来在训练期间忽略某些标记或专注于序列中的特定标记。例如，您可以掩码序列中的前几个标记，以训练模型专注于掩码标记之后的标记的性能。当您希望在不考虑之前标记的情况下预测下一个标记时，掩码也很有用。这需要使用注意掩码。

Llama的提示格式

Llama使用一种不同于其他模型（如OpenAI）的独特提示格式。它使用特定代码来指示指令和系统消息的开始和结束。在提示格式中，指令以开始并以结束，而系统消息以开始并以结束。这些代码不是词汇表中的实际标记，但帮助以Llama理解的特定方式结构化提示。理解提示格式对于有效使用Llama至关重要。

结论

在本文中，我们探索了Llama 2分词器的基础知识，并学习了如何正确设置填充。我们讨论了BOS和EOS等特殊标记的重要性，以及如何将填充标记添加到分词器的词汇表中。此外，我们还触及了掩码标记等高级功能，并讨论了Llama使用的独特提示格式。有了这些知识，您现在可以自信地导航Llama 2分词器和填充设置，以实现最佳结果。