百度的人工智能以百度大脑和智能云为基础，重点构建 DuerOS 智能语音交互平台和 Apollo 智能驾驶开放平台。在硬件基础方面, 百度从云计算中心到服务器、智能芯片等方面均有布局，并率先推出基于 FPGA 的云服务器。在平台建设方面, 主要为 PaddlePaddle、DuerOS 与 Apollo。在数据方面，作为搜索起家的互联网巨头, 基于互联网积累的线上数据是最大优势, 同时在本地生活、泛娱乐以及游戏、教育等领域的扩张延伸，同样积累起海量的用户数据。在应用方面，百度除了将人工智能技术应用于自身原有的搜索、信息流内容以及广告推荐等核心业务之外, 还在自动驾驶、虚拟助手、金融、医疗、智能硬件等众多领域早有布局。

AI全栈技术布局：多模态深度语义理解+“昆仑”芯片

百度高级副总裁、AI技术平台体系（AIG）总负责人王海峰详解了百度大脑3.0，从芯片到深度学习框架，百度大脑形成了技术、平台和生态的AI全栈技术布局。

发布会上，李彦宏播放了一段电话录音，一位即将参加开发者大会的嘉宾与百度智能客服进行了几轮对话，一问一答非常自然，随后揭晓，录音中的这位客服并不是人，而是AI，它背后便是百度大脑的自然语言理解、语音识别与合成技术。

王海峰指出，百度AI能力的核心是百度大脑，而百度大脑3.0是百度AI能力的集大成者。8年前，基于多年的搜索技术积累，百度开始布局AI，2016年9月正式发布“百度大脑”，如今，百度大脑的能力从1.0进阶到3.0。百度大脑1.0完成基础能力搭建和核心技术初步开放，2.0形成了完整的技术体系，开放60多项AI核心能力，3.0的核心是“多模态深度语义理解”，同时开放110多项AI能力，覆盖算法层、感知层、认知层、平台层。

百度大脑3.0提出了“多模态深度语义理解”，“多模态深度语义理解”是指对文字、声音、图片、视频等多模态的数据和信息进行深层次多维度的语义理解，包括数据语义、知识语义、视觉语义、语音语义一体化和自然语言语义等多方面的语义理解技术。王海峰表示，“多模态深度语义理解不仅能让机器听清、看清，更能理解它背后的含义，深度地理解真实世界，进而更好地支撑各种应用。”

数据语义化技术可以将大千世界中多元、异构和多模态的三元空间大数据，形成包含千亿节点、万亿关系的庞大数据语义网络，从中总结规律、提炼知识、发现价值，助力经济和社会发展。比如在新能源充电桩智能运维中，结合百度的大数据、深度学习等技术进行设备监测、故障诊断等，可以显著提升效率，节约成本。而多元语义知识方面，百度已经构建了包含数亿实体、数千亿级事实的庞大知识图谱。除了基础的由实体、属性、关系构成的实体图谱，我们还针对不同的应用场景和知识形态，构建了关注点图谱、事件图谱、多媒体图谱、行业知识图谱等多种图谱。所有这些知识，构成了百度大脑的基础。

视觉语义化可以让机器从看清到看懂视频，并提炼出结构化语义知识。视觉语义化技术应用于世界杯视频解析，能够全面识别视频中的球员、裁判、球、以及球门、球场线等人、物和场景，可以捕捉射门、进球、角球、任意球、换人等事件。基于这些语义化知识，既可以完成机器人自动解说，也可以进行精彩片段集锦、以及各种数据统计分析等。而在实际生活的超市购物场景中，百度的视觉语义化技术通过识别人物、动作、物品并关联时间序列，将数字化的视频转化为结构化的语义知识，既能实现顾客在无人超市购物的完整体验，还可以帮助商店经营者分析和优化商店经营。

语音语义一体化和自然语言理解技术能让机器准确识别并理解人说的话，实现更自然的人机对话。王海峰现场对着百度地图说出了一长串绕口令般的导航需求，百度地图语音智能助手完美识别并给出最佳路线，李彦宏开场播放的智能客服给参会者打电话的片段，其背后也是这些领先的AI技术在支撑。王海峰介绍，百度高噪声环境Hand-free语音识别准确率已提升了10个百分点，语音语义一体化技术使得远场语音识别准确率提升了10个百分点；在语音合成方面，WaveNet+拼接的情感语音合成技术，使得流畅度和自然度也大幅提升。

王海峰以对话理解和阅读理解为例，为大家介绍了领先的百度自然语言理解技术。百度的对话理解技术已经积累多年，通过研发最新的深层注意力匹配模型，比已知的最好结果又提升了4.1%。在阅读理解技术上，百度大脑已经阅读了千亿量级的文章，相当于6万个中国国家图书馆的藏书，并由此积累了亿级实体、千亿事实的知识。“通过持续获取和积累知识，百度大脑的理解能力不断升级，智能水平显著提升，进而能够更好地服务用户。”王海峰说到。

百度大脑3.0提出“多模态深度语义理解”，背后有一套百度自主研发的深度学习框架PaddlePaddle，目前也迭代到3.0版本，包括完整的核心框架以及AIStudio、AutoDL、EasyDL等可以让开发者便捷获取百度AI能力的平台。

PaddlePaddle3.0核心框架对服务器版本以及移动端版本进行了全面优化，可以灵活适用于广泛的开发需求。AutoDL能更高效自动搜索神经网络结构，开发者无需特殊硬件设备可以快速得到高质量模型；EasyDL可以帮助开发者零算法基础训练业务定制模型，操作可视化，无需懂深度学习；AI studio具有云端集成、简单易用、运行高效和资源免费的特点，是集成“数据、算法、算力”的PaddlePaddle实训平台，一站式满足使用者学习、技术进阶、学术研究需求。

百度大脑3.0首次将芯片纳入技术体系，它使百度大脑具备了软硬一体化能力，旨在带动百度大脑算力实现倍级增长。百度自主研发了一款云端全功能AI芯片“昆仑”在会上首次公开亮相。“AI芯片将与百度自主研发的PaddlePaddle深度学习框架深度结合，推动AI技术生态快速发展。”王海峰表示。

“昆仑”定位是云端全功能AI芯片，采用了14nm三星工艺，具备260Tops性能，512GB/s内存带宽，100+瓦特功耗设计，针对语音、NLP、图像等进行了专门优化，同等性能下成本降低10倍，支持多个深度学习框架。

与谷歌做TPU的选择一样，百度自己做AI芯片有一定必然性，从2011年起，为了深度学习运算的需要，百度开始基于FPGA研发AI加速器，同期开始使用GPU，在过去几年中，百度对FPGA和GPU都进行了大规模部署。AI应用的爆发，对算力的要求越来越高，基于传统芯片的AI运算加速，已经不能满足需求。在大规模AI运算的实践探索中，百度研发出了一款专门用于AI大规模运算的芯片“昆仑”，据说它的运算能力比最新基于FPGA的AI加速器，性能提升了近30倍。

王海峰表示，百度大脑每天调用次数超过4千亿次，调用的人中既有AI工程师，也有零“AI”基础的初入门者，还有来自各行各业希望用AI创新业务、为业务转型升级的企业。这些开发者和合作伙伴虽然身份不同、目标不同，但都能从百度找到了最适合的AI接入方式。

来源：互联网