嵌入式系统智能：一种方法论的方法

适读人群 ：嵌入式智能系统设计人员

一本在嵌入式系统上实现智能化的全面、系统的著作。

作者以自身丰富的实战经验给出了嵌入式系统智能设计方法和各种问题的处理方法。

《嵌入式系统智能：一种方法论的方法》从方法论的角度提出了在嵌入式系统平台上实现智能的方法，针对在现实世界中具有不确定性、非稳态和演进的环境中的嵌入式系统所面临的基本问题，引入适应策略、主动和被动学习能力、鲁棒性能力、嵌入式和分布式认知故障诊断系统的设计，以及用于评估嵌入式应用中的性能和约束满意度的技术。

《嵌入式系统智能：一种方法论的方法》重点是将给定问题形式化，提出解决问题*相关的策略，以及关于理论、方法、途径“背后问题”的讨论，以便研究人员、从业者和学生学习、理解和完善智能背后的基本机制，以及如何将它们用于设计下一代嵌入式系统和嵌入式应用程序。

张永辉

海南大学教授，博士生导师，信息科学技术学院副院长兼海南大学网教中心副主任（主持工作），中国电子学会高级会员，教育部高等学校仪器类专业教学指导委员会协作委员，教育部高等学校电子信息类专业教学指导委员会协作委员，中国仪器仪表学会测量与控制专业委员会常务委员，海南省电子学会副理事长兼秘书长，全国大学生电子设计竞赛海南赛区组委会秘书长，海南省海洋通信与网络工程技术研究中心副主任。

译者序

原书前言

缩略语

物理量与符号

第1章绪论1

11本书是如何组织的3

111从计量到数值数据3

112不确定性、信息和学习机制4

113随机算法5

114鲁棒性分析5

115嵌入式系统的情感认知机制6

116性能评估和可能近似正确的计算6

117嵌入式系统中的智能机制7

118非稳态和演进环境中的学习7

119故障诊断系统8

第2章从计量到数值数据9

21测量和测量值9

211测量链9

212测量过程建模12

213准确度13

214精度14

215分辨率15

22数据表示的确定性与随机性16

221确定性表示：无噪声影响的数据16

222随机性表示：有噪声影响的数据17

223信噪比18

第3章不确定性、信息和学习机制19

31不确定性和扰动19

311从误差到扰动19

312扰动19

32在数据表示层的扰动20

321自然数N：自然二进制20

322整数Z：二进制补码22

323二进制补码记数法22

324有理数Q和实数R23

33传播的不确定性24

331线性函数25

332非线性函数28

34从模型级的数据和不确定性中学习29

341学习基础：固有风险、近似风险和估计风险30

342偏移方差权衡34

343非线性回归35

344线性回归37

345线性时不变预测模型38

346应用级别的不确定性40

第4章随机算法41

41计算复杂性42

411算法分析43

412P问题、NP完全问题、NP困难问题45

42蒙特卡洛方法46

421蒙特卡洛背后的思想47

422弱、强大数定律49

423一些收敛结果50

424维数灾难和蒙特卡洛53

43样本数量的界53

431伯努利界54

432切尔诺夫界55

433估计函数最大值样本的界59

44随机算法介绍60

441算法验证问题61

442最大值估计问题64

443期望估计问题67

444最小（最大）期望问题70

45控制采样空间的统计量73

第5章鲁棒性分析76

51问题形式化76

511鲁棒性76

512计算流水平的鲁棒性78

52小扰动鲁棒性78

521评估小扰动在函数输出中的影响79

522经验风险水平的扰动79

523结构风险水平的扰动83

524鲁棒性理论要点89

53大扰动的鲁棒性91

531问题定义：以u(δθ)为例92

532随机算法和鲁棒性：以u(δθ)为例93

533最大期望问题96

第6章嵌入式系统的情感认知机制100

61情感认知结构100

62自动和受控处理101

621自动处理101

622受控处理102

63神经情感系统的基本功能103

631杏仁体103

632长期记忆104

633基底神经节104

634外侧前额叶和联合皮层105

635前扣带皮层105

636眶/腹侧-内侧前额叶皮层106

637海马体106

64情感和决策107

第7章性能评估和可能近似正确的计算108

71准确估计：品质因数108

711平方误差109

712柯尔贝克-莱布勒110

713Lp范数和其他品质因数110

72可能近似正确的计算111

73性能验证问题114

731性能满意度问题114

732品质因数的期望问题116

733最大性能问题117

734PACC问题117

735最小（最大）扰动期望问题118

74准确度估计：给定数据集的情况下118

741问题形式化119

742自举方法120

743小自举包方法121

75认知处理和PACC122

76示例：嵌入式系统的准确度评估122

第8章嵌入式系统中的智能机制130

81电源电压与处理器频率层面的适应能力131

811在线DVFS132

812离线 DVFS134

82自适应感知及其策略134

821分级感知技术136

822自适应采样138

83能量获取级别自适应141

831增量电导法145

832扰动和观测法146

84时钟同步智能算法147

841时钟同步：框架149

842时钟同步的统计方法150

843时钟同步的自适应方法155

844时钟同步的预测方法155

85定位和跟踪155

851基于RSS的定位156

852基于到达时间的定位159

853 基于到达角的定位160

854基于到达频率的方法160

86应用代码级别的自适应161

861远程参数-代码可重编程性161

862远程代码可重编程性163

863决策支持系统164

864在线硬件可重编程性167

865 应用：Rialba塔监测系统170

第9章非稳态和演进环境中的学习174

91被动学习和主动学习175

911被动学习175

912主动学习178

92变点方法183

921变点183

922集合差异性183

923变点公式184

924CPM中使用的测试统计信息185

925基本方案扩展186

93更改检测测试187

931CUSUM CDT系列188

932置信区间CDT系列的交集190

933杏仁体—VM-PFC：H-CDT199

94即时学习框架199

941观测模型200

942JIT分类器201

943渐进性概念漂移205

944渐进性概念漂移的JIT206

945杏仁体—VM-PFC—LPAC-ACC：JIT方法207

第10章故障诊断系统208

101基于模型的故障检测和隔离210

102无模型故障检测和隔离211

1021FDS：传感器级情况213

1022FDS：传感器-传感器关系的变化217

1023FDS：多传感器案例221

103杏仁体和VM-PFC：多传感器级FDS225

参考文献226

译者序

人工智能自诞生以来，理论和技术日益成熟，应用领域也不断扩大，特别是近年来人工智能得到迅猛的发展，主要得益于两大技术的发展：其一是大数据技术；其二是算力的提升。嵌入式系统在人工智能的发展中更是起了巨大的作用，首先实现人工智能所需的大数据主要来源于多种多样的嵌入式设备；其次人工智能的行为方式的实现，也广泛地依靠嵌入式系统；另外随着嵌入式系统的算力资源越来越强大，人工智能的算法部署逐渐从云端向边缘设备迁移，并出现了很多基于嵌入式系统的“离线”人工智能设备。可以预见，人工智能的未来是嵌入式系统智能。

译者一直在嵌入式系统领域从事研究工作，如何在嵌入式系统上实现“智能”也一直是众多嵌入式系统研究人员和从业者非常关心的问题。学习、理解和完善“智能”背后的基本机制，以及如何将其用于设计下一代嵌入式系统和嵌入式应用程序，对实现嵌入式系统智能具有重要的意义。

本书从方法论的角度提出了在嵌入式系统平台上实现智能的方法，针对在现实世界中具有不确定性、非稳态和演进的环境中的嵌入式系统所面临的基本问题，引入适应策略、主动和被动学习能力、鲁棒性能力、嵌入式和分布式认知故障诊断系统的设计、用于评估嵌入式应用中的性能和约束满意度的技术。本书所提的方法是方法论的，与技术无关，是一本指导在嵌入式系统上实现智能的非常全面、系统的著作，并且给出了设计实例，作者以其丰富的实践经验向读者展示了嵌入式系统智能的设计方法和需要考虑的各种因素以及相关的处理方法，本书的出版对从事嵌入式智能系统设计的人员来说无疑是一大喜讯。

非常感谢海南大学杜锋教授的推荐，使译者有幸得以翻译这本著作，译者在翻译过程中受益良多。翻译本书是一个团队合作的过程，感谢机械工业出版社顾谦编辑的信任和支持，本书由张永辉教授组织翻译，陈敏、张健、杨永钦、郭霞、王容、史梦婷、谢宇威、张帅岩和邢进参与了本书的翻译、整理和审校工作。本书的出版是集体智慧的结晶，感谢各位同仁的不懈努力。

由于时间关系及译者水平有限，书中不足之处在所难免，恳请读者批评指正。

张永辉

2020年7月于海口

原书前言

本书是在考虑到研究人员、从业者和学生学习、理解和完善智能背后的基本机制，以及如何将它们用于设计下一代嵌入式系统和嵌入式应用程序的背景下编写的。

适应策略、主动和被动学习能力、鲁棒性能力、嵌入式和分布式认知故障诊断系统的设计、用于评估嵌入式应用中的性能和约束满意度的技术是智能嵌入式系统和嵌入式应用为了处理那些现实世界正在提出的不确定的、非稳态的和演进的环境而需要面对的一些基本问题。

本书所提出的方法是方法论的，因此是与技术无关的，可以适当地用于软件、硬件或两种方法的实现，这取决于应用程序的约束。

虽然方法的实现不是本书的重点，但是所提出的方法论还可以有效地用来指导硬件/软件协同设计阶段，以定义在专用硬件上应用程序的哪些部分更适合实现，以及找到在软件中哪些部分实现得最充分。

从本质上讲，本书跨越了几个学科，从测量和计量学到机器学习、从计算机科学到概率和系统识别。因此，本书旨在为电子工程师、计算机科学家和物理学家建立起这些基础领域之间的桥梁。

读者很快就会清楚本书既没有以针对覆盖某个具体问题的所有论题提出一个教程为目的写作，也没有详细列出所有与给定的参数相关的论文和方法论。相反，本书的重点是将一个给定问题形式化，提出解决它最相关的策略，以及关于理论、方法、途径“背后问题”的讨论。如果读者在阅读了智能背后的主要策略、思想和挑战之后掌握了如何将智能方法用于促进下一代嵌入式应用程序，那么可以认为本书是成功的。

设计本书的目的是填补在计算机学科间存在的一个空白，这是一个计算机科学家特别是设计嵌入式应用的科学家在工作生活中将会面临的。

作者认为本书的许多章节应尽可能地成为计算机科学和电子工程师课程中的教材内容，但是在嵌入式系统或机器学习课程中没有这个必要。本书应提供给硕士或博士阅读，使其最大可能从本科课程获得的技能和知识中受益。

本书大部分是独立的，期望读者熟悉数学的基础知识（积分、线性代数、梯度和偏导数），并掌握概率和统计（均值、方差、分布）以及运筹学（函数优化）的原理。即使在这一方面并不要求具备深入的知识，读者也必须熟悉计算机科学和电子学的基础知识。考虑到这一点，本科生也可以利用本书中提到的许多知识。例如，第2章、第3章、第8章和第10章可以作为嵌入式系统或计算机科学在本科课程内教授的适当材料，同时其他章节的内容给出了其深层含义。本书中介绍的知识将构成高级嵌入式系统的完整课程。

如果从内容角度描述本书，最恰当的形容词是多学科的，那么它诞生和写作的背景肯定是全球化。在接受了Gérard Dreyfus教授的邀请之后，本书在法国巴黎高等物理化工学院（ESPCI）构思并写作，然后它在意大利的米兰理工大学以及莱科校区得到完善。随着Dongbin Zhao教授的研究团队开展的研究实验的进行，第一稿在中国北京的中国科学院自动化研究所（CASIA）完成。本书在意大利佛罗伦萨的国家图书馆和新加坡的信息通信研究所（I2R）A * STAR进行了修改，感谢Huajin Tang先生邀请进行短期访问。包括瑞士大学高等学校和研究所，中国的清华大学、北京大学和台湾大学，新加坡国立大学以及美国洛斯阿拉莫斯实验室在内都给出了帮助和指导。

我很感激我的家人一直都支持我对本书编写工作的挑战。

我也非常感谢我的合作者在一些章节审读方面做出的巨大贡献以及对所介绍的例子背后大部分实验的验证。首先需要提及意大利米兰理工大学的Manuel Roveri博士，然后是Maurizio Bocca博士、Giacomo Boracchi博士、Antonio Marullo博士、Ouejdane Mejri夫人和Francesco Trovò先生的宝贵合作。

在感谢我的同事之前我要借此机会感谢那些帮助我审查一些章节的朋友。这里我要特别感谢Mariagiovanna Sami（意大利米兰理工大学，瑞士提契诺大学）一直以来对我的研究生涯的支持。还有Ali Minai教授（美国辛辛那提大学），他擅长批判性地评估认知相关内容的基础，以及Roberto Ottoboni教授（意大利米兰理工学院）对计量和测量相关内容的校对。

最后，感谢以不同的方式促进基础研究和应用研究的各机构的支持。具体来说，这项工作得到欧盟第七框架计划Project-i-SENSE Making Sense of Nonsense（合同号为INSFO-ICT-270428)、中国科学院的客座教授、区域间的欧盟合作项目M.I.A.R.I.A（即支持高山综合风险计划的自适应水文地质监测）和KIOS塞浦路斯资助项目的部分支持。

Cesare Alippi