微软年度Build开发者大会周二来袭，英特尔主体软件架构师Saurabh Tangri和AI应(ying)用研(yan)究团队主管Guy Boudoukh介绍(shao)了AI PC的发展情况和应(ying)用趋势(shi)。
Tangri介绍(shao)，AI代理和生成式AI应(ying)用程序为PC用户提供了无与伦比的能力。AI PC包括优化版(ban)的OpenVino和DirectML，可在(zai)CPU、GPU和NPU上(shang)高效运行(xing)例(li)如Phi-3这样(yang)的生成式AI模(mo)型。部署能够推理并使用工具(ju)采取行(xing)动的AI Agents，在(zai)AI PC上(shang)高效运行(xing)AI模(mo)型，利用推测解码和量化技术，适用于多种用例(li)，如个(ge)人助手、安全本(ben)地聊天(tian)、代码生成、检索增强(qiang)生成（Retrieval Augmented Generation，RAG）等(deng)等(deng)。
Tangri表示，目前的AI技术已经可以将一些功能内置于平(ping)台(tai)中。他表示，当用户有在(zai)静态数据库(ku)进行(xing)训练的静态的语(yu)言模(mo)型时，需要有同(tong)时运行(xing)这些模(mo)型的能力，目前可以通过运行(xing)检索增强(qiang)生成（RAG） 来增强(qiang)其能力，从而增强(qiang)AI执行(xing)更多任务的能力。
他举例(li)说，在(zai)一个(ge)消费(fei)者场景，你经常(chang)会遇到的问(wen)题(ti)是“我是否(fou)超出了预算”。现在(zai)你可以通过AI引入你的私有数据，使用先进的LLM（大型语(yu)言模(mo)型）进行(xing)分(fen)析，你可以沿这些线路放置一些内容，然后你就能够从中提取一些结论和行(xing)动。
“这一元素非常(chang)新颖(ying)。我对此非常(chang)兴奋，这是我们首次展示这一完整管道(dao)，从RAG到LLM再到反应(ying)、推理，全部在(zai)你的PC上(shang)运行(xing)。这非常(chang)有趣，非常(chang)前沿。”
“这一元素非常(chang)新颖(ying)。我对此非常(chang)兴奋，这是我们首次展示这一完整管道(dao)，从RAG到LLM再到反应(ying)、推理，全部在(zai)你的PC上(shang)运行(xing)。这非常(chang)有趣，非常(chang)前沿。”
Guy Boudoukh随后演示了利用由英特尔Core Ultra处(chu)理器(qi)驱动的多模(mo)态小模(mo)型Phi-3，包括Phi-3AI代理的响应(ying)、与私人数据的交流、用户如何与文档对话并通过RAG来生成答案等(deng)。
Boudoukh介绍(shao)，Phi-3 ReAct代理前端是用户向语(yu)言模(mo)型提供的指(zhi)令和上(shang)下文，以实现所(suo)需任务，这可以是聊天(tian)或问(wen)答。他介绍(shao)，ReAct提示去年由普(pu)林斯(si)顿大学和谷(gu)歌首次引入，这是一种新的提示方法，ReAct代表推理和执行(xing)。
他说，这种方法允许LLM不止(zhi)做简单的文本(ben)生成，它实际上(shang)允许LLM使用工具(ju)并执行(xing)操作，以更好地处(chu)理用户的输入。它允许LLM结合各种工具(ju)，如RAG、Gmail、维基百科、必应(ying)搜索等(deng)，其中一些工具(ju)可以访问(wen)设备上(shang)的私有数据，而一些工具(ju)可以访问(wen)互联网。
首先可将用户查询输入到ReAct模(mo)板中，然后将其注入Phi-3代理，代理决定是否(fou)需要使用工具(ju)来回答用户查询。如果需要工具(ju)，则调用工具(ju)，然后将工具(ju)的输出返回给提示对话框，然后再次返回给代理。代理可以决定是否(fou)需要使用另一个(ge)工具(ju)来回答这个(ge)问(wen)题(ti)，这个(ge)过程会再次重复。只有当代理认定，有足(zu)够的信(xin)息来回答用户查询时，它才会生成答案。
在(zai)演示中，Boudoukh询问(wen)今年有多少队伍参加(jia)了欧冠，代理进行(xing)了推理并理解，需要RAG来回答这个(ge)问(wen)题(ti)，于是搜索了160篇BBC体育新闻(wen)；然后他要求代理通过Gmail发送这个(ge)答案，因此代理就调用了另一个(ge)工具(ju)Gmail来解决这一问(wen)题(ti)。
随后，Boudoukh演示了Phi-3代理执行(xing)RAG的具(ju)体过程。他说，RAG允许LLM通过注入检索到的信(xin)息来访问(wen)外部知识。首先，用户在(zai)设备上(shang)索引数百甚至数千(qian)个(ge)文件，这些文件将嵌(qian)入索引并保(bao)存到一个(ge)向量数据库(ku)（Vector DB）中。现在(zai)，一旦用户提供查询，从数据库(ku)中检索信(xin)息，并创建一个(ge)由用户查询和检索信(xin)息组成的新统一提示，然后将这个(ge)提示注入LLM并生成答案。
他说，RAG有几个(ge)优势(shi)。首先，它增强(qiang)了LLM的知识，而不需要训练模(mo)型。其次，这样(yang)的数据使用非常(chang)高效，因为不需要提供整个(ge)文档，只需要提供检索到的信(xin)息。这减少了模(mo)型的幻想并提高了可靠性，因为在(zai)提供答案时，它会参考获取答案的相关数据。
在(zai)随后的演示中，Boudoukh跳过代理，直接询问(wen)机器(qi)今年有多少队伍参加(jia)了欧冠，他首先并未使用RAG，结果代理生成了错误的答案，回答说今年有32支队伍，但实际上(shang)今年有36支队伍参赛。然后他调用RAG询问(wen)同(tong)一问(wen)题(ti)，就得出了正确的答案。
Boudoukh表示，这可以向开发者展示，如何利用软件栈在(zai)NPU、CPU和集(ji)成GPU之间分(fen)配工作。例(li)如，这里的语(yu)音识别(bie)模(mo)型Whisper是在(zai)NPU上(shang)运行(xing)的，Phi-3推理则在(zai)集(ji)成GPU上(shang)运行(xing)，而数据库(ku)搜索则在(zai)CPU上(shang)运行(xing)。
最后Boudoukh进行(xing)了LLaVA Phi3多模(mo)态模(mo)型演示。他介绍(shao)，该模(mo)型是经过视觉和颜色训练的，因此可以处(chu)理涉(she)及文本(ben)和图像(xiang)的多模(mo)态任务。他将一张图像(xiang)插入模(mo)型，并要求模(mo)型描述图像(xiang)场景，模(mo)型则给出了对场景的详(xiang)细理解，甚至建议在(zai)这里钓鱼(yu)放松。
他还展示了模(mo)型代码的核心部分(fen)之一，即LLM推理部分(fen)。他说，要在(zai)英特尔Core Ultra处(chu)理器(qi)上(shang)运行(xing)Phi-3和LLM推理很容易(yi)，只需要定义模(mo)型的名称，定义量化配置、加(jia)载模(mo)型、加(jia)载标记(ji)器(qi)（tokenizer），然后提供一些示例(li)，进行(xing)标记(ji)操作，对输入进行(xing)标记(ji)，然后生成结果。而这一演示利用的优化版(ban)的OpenVino，即AI PC的一种。
Tangri表示，这就是AI PC与LLM共同(tong)运行(xing)的精彩(cai)表现。现实世(shi)界(jie)中的AI有四个(ge)支柱：效率、安全性、与网络协作的能力，以及开发者准备度。如果你拥有前三者，但没有为开发者做好准备，你将无法在(zai)这个(ge)平(ping)台(tai)上(shang)进行(xing)创新。
他表示，高效率指(zhi)的是能够延长设备的电池寿命，而不只是追求高每秒浮点运算次数（TeraFLOPS）的假象。“归根结底(di)，我们真正追求的是客户体验和用户体验，这涉(she)及到将自然语(yu)言界(jie)面与图形用户界(jie)面结合起来。所(suo)以，最终，我们追求的是体验，而不是虚假的性能指(zhi)标。”
Tangri表示，英特尔过去几年来已经和微软合作创立标准，如开放神经网络交换ONNX(Open Neural Network Exchange)的标准。而关于开发者的准备度，他表示，英特尔目前有一个(ge)前沿的尖端研(yan)究的运行(xing)演示，可以完全在(zai)PC环(huan)境中运行(xing)。“所(suo)以我们真正迎合了开发者的需求，降(jiang)低了在(zai)我们的平(ping)台(tai)上(shang)创新的门槛，无需在(zai)线上(shang)和云端使用，这一切都(dou)可以在(zai)你的PC上(shang)完成。”