PaddleNLP

加载一个语言模型并检查文本生成结果

准备输入

• 受支持的语言模型标识及待生成文本的提示词。
• 已安装 PaddlePaddle 与 PaddleNLP 的 Python 环境。

操作步骤

1. 安装兼容版本的依赖，用 AutoTokenizer 和 AutoModelForCausalLM 加载同一个目标模型。
2. 将提示词编码为 Paddle 张量，按计算设备选择适当的数据类型。
3. 调用 generate 并限制新生成文本长度，再用分词器解码输出，核对回答与提示词是否一致。

运行需要兼容的 PaddlePaddle 环境；官方示例在 CPU 上要求将 float16 改为 float32。模型生成内容需要核对后使用，参数选择应按实际设备调整。