自然语言处理核心技术术语

自然语言处理(Natural Language Processing,NLP)

自然语言处理是研究计算机理解、处理、生成人类语言的AI子领域，目标是实现人机间的自然语言交互。其核心任务包括语音识别、机器翻译、文本分类、情感分析、问答系统等，融合了语言学、机器学习、深度学习等技术。Transformer 模型(如BERT、GPT)的出现推动NLP进入“预训练时代”​，显著提升了各项任务的性能。

语音识别(Speech Rocognitom)

语音识别又称自动语音识别Automatic SpeechRecognition，ASR)，将人类语音信号转换为文本。其技术流程包括语音预处理(降噪、端点检测)、特征提取(如梅尔频谱)、声学模型(如CNN/LSTM)、语言模型(如n-gram、Transformer)解码。深度学习的应用使语音识别准确率大幅提升(安静环境下超 95%)，在智能音箱(如Amazon Echo)、手机助手(如Siri)、会议记录 (如讯飞听见)等场景广泛应用。

自然语言理解(Natural Language Understanding,NLU)

自然语言理解是NLP的核心任务，指计算机解析人类语言的语义、语法、语用信息，理解文本或语音的真实意图。其关键技术包括分词、词性标注、命名实体识别、句法分析、语义角色标注等，在智能客服、搜索引擎、机器翻译等领域是基础能力，基于预训练模型的方法极大提升了NLU的准确性，使机器能理解歧义句、隐喻、上下文关联等复杂语言现象。

自然语言生成(Natural Language Generation,NLG)

自然语言生成是将结构化数据(如表格、知识图谱)或抽象意图转换为自然语言文本的技术，核心是保证输出文本的流畅性、准确性和逻辑性。NLG的典型流程包括内容规划(选择信息)、句子规划(组织语法结构)、表层实现(生成具体词汇)，在自动新闻写作(如美联社财报报道)、智能客服回复、机器翻译目标端生成等场景应用广泛。基于Transformer的生成模型(如GPT系列)使长文本生成质量大幅提升，可创作小说、代码、诗歌等复杂内容。

机器翻译（Machine Translation，MT）

机器翻译是实现不同自然语言自动转换的技术，历经基于规则、基于统计、基于神经网络三个发展阶段。神经网络机器翻译(Neural Machine Translation,NMT)采用编码器- 解码器架构，通过Transformer模型实现端到端翻译，显著提升了翻译的流畅度和准确性。主流工具如谷歌翻译、DeepL、百度翻译均采用NMT技术，支持数十种语言互译，在跨境交流、国际商务、文献阅读等场景不可或缺。

命名实体识别(Named Entity Recognition,NER)

命名实体识别是从文本中识别并分类具有特定意义的实体(如人名、地名、组织机构名、时间、金额等)的技术，是信息抽取、知识图谱构建的基础。例如，从“李白是唐朝诗人，生于四川”中识别出“李白(人名)”​“唐朝(时间)”​“四川(地名)”​。NER 的传统方法依赖词典和规则，现多采用BiLSTM+CRF或Transformer模型，在新闻分析、智能问答、舆情监控等领域协德分析(Sentiment Analyy发挥关键作用。

情感分析（Sentiment Analysis）

情感分析又称意见挖掘，是判断文本(如评论、社交媒体帖子)所表达情感倾向(积极、消极、中性)及强度的技术，还可细分为主题情感分析(如“用户对手机续航满意，但对屏幕不满”)。其核心是通过词向量、情感词典或深度学习模型捕捉文本的情感特征，在电商评论分析(如淘宝商品评价)、舆情监控(如品牌口碑跟踪)、市场调研等领域应用广泛，帮助企业快速掌握用户态度。

词嵌入(Word Embedding)

词嵌入是将词汇转换为低维稠密向量的技术，使语义相近的词在向量空间中距离相近(如“国王-男人+女人≈女王”)，解决了传统 one-hot编码的维度灾难和语义孤立问题。典型方法包括Word2Vec(CBOW 和Skip-gram 模型)、GloVe、FastText等，其中Word2Vec通过预测上下文学习向量表示，已成为NLP 任务的基础预处理步骤。预训练语言模型(如BERT)的词嵌入则能动态捕捉上下文语义，进一步提升表示能力。

预训练语言模型(Pre-trained LanguageModel，PLM)

预训练语言模型是在大规模无标注文本(如维基百科、网页数据)上预先训练的通用语言模型，通过微调适配下游NLP任务(如分类、翻译、问答)。其核心是“预训练+微调”范式:预训练阶段学习通用语言知识(语法、语义、世界知识)，微调阶段用少量标注数据适配特定任务。BERT(双向编码)、GPT(自回归生成)、XLNet(融合双向与自回归)等模型推动NLP进入“大模型时代”​，显著降低了任务对标注数据的依赖

BERT (Bidirectional EncoderRepresentations fromTransformers)

BERT 是2018 年谷歌提出的预训练语言模型，基于Transformer 的双向编码器，通过“掩码语言模型”(随机掩盖部分词汇并预测)和“下一句预 测”任务学习上下文相关的词嵌入。与单向模型(如GPT)相比，BERT 能同时捕捉左右上下文信息，在问答、命名实体识别、文本分类等多项NLP任务中刷新纪录。其衍生模型(如RoBERTa、ALBERT)通过优化训练策略进一步提升性能，成为NLP 领域的基础模型。

GPT (Generative Pre-trained Transformer)

GPT 是 OpenAI 推出的自回归预训练语言模型，基于Transformer 解码器，通过预测下一个词的概率训练模型，专注于自然语言生成任务。GPT系列(GPT-1到GPT-4)通过增大模型参数 (GPT-4达万亿级)和训练数据规模，实现了从简单文本生成到复杂推理、多模态理解的跨越。GPT模型在文本创作、代码生成、智能对话等领域表现卓越，其“提示词工程”(PromptEngineering)成为人机交互的新范式。

问答系统(Question Answering System,QA)

问答系统是根据用户输入的自然语言问题,从知识库或文本中提取答案并返回的系统，按知识来源可分为开放域 QA(如百度知道)和特定域 QA(如医疗问答)。其核心技术包括问题解析(理解意图)、文档检索(定位答案来源)、答案抽取(提取精确答案)，基于预训练模型的QA系统(如 BERT QA)能处理复杂问题(如推理型、多跳问题)，在智能客服、教育辅导、信息检索等场景提升交互效率。

文本摘要(Text Summarization)

文本摘要是将长文本(如新闻、论文)压缩为简洁摘要，保留核心信息的技术，可分为抽取式(从原文选取关键句)和生成式(重新组织语言)。生成式摘要基于Transformer 模型(如 T5)，能解决抽取式摘要的冗余和语法问题，生成连贯、精炼的摘要，在资讯聚合(如头条新闻摘要)、文献阅读(如论文摘要生成)、报告简化等场景应用广泛，帮助用户快速获取信息核心。

分词(Word Segmentation)

分词是将连续的文本序列切分为有意义的词汇单元的过程，在中文 NLP 中尤为重要(中文无空格分隔)。例如，将“我爱人工智能”切分为“我/爱/人工智能”​。分词的准确性直接影响后续NLP任务(如词性标注、情感分析),主流工具如Jieba、THULAC结合词典匹配和机器学习模型，能处理未登录词(如新词、人名)和歧义 (如“乒乓球拍/卖/完了”与“乒乓球/拍卖/完了”)。

句法分析(Syntactic Parsing)

句法分析是分析句子中词汇之间的语法结构关系(如主谓、动宾、修饰关系)的技术，常用树状结构(句法树)表示。其核心是确定句子的语法成分和层次，例如“小明吃苹果”的句法树中，​“小明”是主语，​“吃”是谓语，​“苹果”是宾语。句法分析为语义理解提供结构基础，在机器翻译(避免语法错误)、问答系统(定位核心动词)等领域发挥作用，基于深度学习的依存句法分析模型(如Stanford Parser)准确率显著提升。

多语言处理(Multilingual Processing)

多语言处理是支持多种语言的NLP技术，包括跨语言翻译、跨语言检索、多语言文本分类等，核心是解决语言差异(如语法、词汇、文化)带来的挑战。预训练多语言模型(如mBERT、XLM-R)通过在数百种语言数据上训练，实现语言间知识迁移，使低资源语言(如小语种)的 NLP任务性能提升，在跨境业务、国际交流、多语言内容管理等场景至关重要。