股票量化交易软件-人工神经网络概念及组成人工神经网络发展史

人工神经网络的发展历史

1943年，心理学家W.S.McCulloch和数理逻辑学家W.Pitts建立了神经网络和数学模型，称为MP模型。

他们通过MP模型提出了神经元的形式化数学描述和网络结构方法，证明了单个神经元能执行逻辑功能，从而开创了人工神经网络研究的时代。1949年，心理学家提出了突触联系强度可变的设想。

60年代，人工神经网络得到了进一步发展，更完善的神经网络模型被提出，其中包括感知器和自适应线性元件等。

M.Minsky等仔细分析了以感知器为代表的神经网络系统的功能及局限后，于1969年出版了《Perceptron》一书，指出感知器不能解决高阶谓词问题。

他们的论点极大地影响了神经网络的研究，加之当时串行计算机和人工智能所取得的成就，掩盖了发展新型计算机和人工智能新途径的必要性和迫切性，使人工神经网络的研究处于低潮。

在此期间，一些人工神经网络的研究者仍然致力于这一研究，提出了适应谐振理论、自组织映射、认知机网络，同时进行了神经网络数学理论的研究。以上研究为神经网络的研究和发展奠定了基础。

1982年，美国加州工学院物理学家J.J.Hopfield提出了Hopfield神经网格模型，引入了“计算能量”概念，给出了网络稳定性判断。

1984年，他又提出了连续时间Hopfield神经网络模型，为神经计算机的研究做了开拓性的工作，开创了神经网络用于联想记忆和优化计算的新途径，有力地推动了神经网络的研究，1985年，又有学者提出了波耳兹曼模型，在学习中采用统计热力学模拟退火技术，保证整个系统趋于全局稳定点。

1986年进行认知微观结构地研究，提出了并行分布处理的理论。1986年，Rumelhart,Hinton,Williams发展了BP算法。

Rumelhart和McClelland出版了《Paralleldistributionprocessing:explorationsinthemicrostructuresofcognition》。

迄今，BP算法已被用于解决大量实际问题。1988年，Linsker对感知机网络提出了新的自组织理论，并在Shanon信息论的基础上形成了最大互信息理论，从而点燃了基于NN的信息应用理论的光芒。

1988年，Broomhead和Lowe用径向基函数提出分层网络的设计方法，从而将NN的设计与数值分析和线性适应滤波相挂钩。

90年代初，Vapnik等提出了支持向量机和VC维数的概念。

人工神经网络的研究受到了各个发达国家的重视，美国国会通过决议将1990年1月5日开始的十年定为“脑的十年”，国际研究组织号召它的成员国将“脑的十年”变为全球行为。

在日本的“真实世界计算”项目中，人工智能的研究成了一个重要的组成部分。

谷歌人工智能写作项目：小发猫

BP神经网络的发展历史

1943年，心理学家W·Mcculloch和数理逻辑学家W·Pitts在分析、总结神经元基本特性的基础上首先提出神经元的数学模型。此模型沿用至今，并且直接影响着这一领域研究的进展。

因而，他们两人可称为人工神经网络研究的先驱。1945年冯·诺依曼领导的设计小组试制成功存储程序式电子计算机，标志着电子计算机时代的开始。

1948年，他在研究工作中比较了人脑结构与存储程序式计算机的根本区别，提出了以简单神经元构成的再生自动机网络结构。

由于指令存储式计算机技术的发展非常迅速，迫使他放弃了神经网络研究的新途径，继续投身于指令存储式计算机技术的研究，并在此领域作出了巨大贡献。

冯·诺依曼的名字是与普通计算机联系在一起的，但他也是人工神经网络研究的先驱之50年代末，F·Rosenblatt设计制作了“感知机”，它是一种多层的神经网络。

这项工作首次把人工神经网络的研究从理论探讨付诸工程实践。当时，世界上许多实验室仿效制作感知机，分别应用于文字识别、声音识别、声纳信号识别以及学习记忆问题的研究。

然而，这次人工神经网络的研究高潮未能持续很久，许多人陆续放弃了这方面的研究工作，这是因为当时数字计算机的发展处于全盛时期，许多人误以为数字计算机可以解决人工智能、模式识别、专家系统等方面的一切问题，使感知机的工作得不到重视；当时的电子技术工艺水平比较落后，主要的元件是电子管或晶体管，利用它们制作的神经网络体积庞大，价格昂贵，要制作在规模上与真实的神经网络相似是完全不可能的；在1968年一本名为《感知机》的著作中指出线性感知机功能是有限的，它不能解决如异或这样的基本问题，而且多层网络还不能找到有效的计算方法，这些论点促使大批研究人员对于人工神经网络的前景失去信心。

60年代末期，人工神经网络的研究进入了低潮。在60年代初期，Widrow提出了自适应线性元件网络，这是一种连续取值的线性加权求和阈值网络。后来，在此基础上发展了非线性多层自适应网络。

当时，这些工作虽未标出神经网络的名称，而实际上就是一种人工神经网络模型。随着人们对感知机兴趣的衰退，神经网络的研究沉寂了相当长的时间。

美国的物理学家Hopfield于1982年和1984年在美国科学院院刊上发表了两篇关于人工神经网络研究的论文，引起了巨大的反响。人们重新认识到神经网络的威力以及付诸应用的现实性。

随即，一大批学者和研究人员围绕着Hopfield提出的方法展开了进一步的工作，形成了80年代中期以来人工神经网络的研究热潮。

神经网络的历史是什么？

沃伦·麦卡洛克和沃尔特·皮茨基于数学和一种称为阈值逻辑的算法创造了一种神经网络的计算模型。这种模型使得神经网络的研究分裂为两种不同研究思路。

赫布型学习被认为是一种典型的非监督式学习规则，它后来的变种是长期增强作用的早期模型。从1948年开始，研究人员将这种计算模型的思想应用到B型灵机上。

法利和韦斯利·A·克拉克首次使用计算机，当时称作计算器，在MIT模拟了一个赫布网络。纳撒尼尔·罗切斯特等人模拟了一台IBM704计算机上的抽象神经网络的行为。

弗兰克·罗森布拉特创造了感知机。这是一种模式识别算法，用简单的加减法实现了两层的计算机学习网络。罗森布拉特也用数学符号描述了基本感知机里没有的回路，例如异或回路。

这种回路一直无法被神经网络处理，直到保罗·韦伯斯创造了反向传播算法。在马文·明斯基和西摩尔·派普特发表了一项关于机器学习的研究以后，神经网络的研究停滞不前。

他们发现了神经网络的两个关键问题。第一是基本感知机无法处理异或回路。第二个重要的问题是电脑没有足够的能力来处理大型神经网络所需要的很长的计算时间。

直到计算机具有更强的计算能力之前，神经网络的研究进展缓慢。反向传播算法与复兴后来出现的一个关键的进展是保罗·韦伯斯发明的反向传播算法。

这个算法有效地解决了异或的问题，还有更普遍的训练多层神经网络的问题。在二十世纪80年代中期，分布式并行处理流行起来。

戴维·鲁姆哈特和詹姆斯·麦克里兰德的教材对于联结主义在计算机模拟神经活动中的应用提供了全面的论述。神经网络传统上被认为是大脑中的神经活动的简化模型，虽然这个模型和大脑的生理结构之间的关联存在争议。

人们不清楚人工神经网络能多大程度地反映大脑的功能。

支持向量机和其他更简单的方法在机器学习领域的流行度逐渐超过了神经网络，但是在2000年代后期出现的深度学习重新激发了人们对神经网络的兴趣。

2006年之后的进展人们用CMOS创造了用于生物物理模拟和神经形态计算的计算设备。最新的研究显示了用于大型主成分分析和卷积神经网络的纳米设备具有良好的前景。

如果成功的话，这会创造出一种新的神经计算设备，因为它依赖于学习而不是编程，并且它从根本上就是模拟的而不是数字化的，虽然它的第一个实例可能是数字化的CMOS设备。

在2009到2012年之间，JürgenSchmidhuber在SwissAILabIDSIA的研究小组研发的循环神经网络和深前馈神经网络赢得了8项关于模式识别和机器学习的国际比赛。

例如，AlexGravesetal.的双向、多维的LSTM赢得了2009年ICDAR的3项关于连笔字识别的比赛，而且之前并不知道关于将要学习的3种语言的信息。

IDSIA的DanCiresan和同事根据这个方法编写的基于GPU的实现赢得了多项模式识别的比赛，包括IJCNN2011交通标志识别比赛等等。

他们的神经网络也是第一个在重要的基准测试中的MNIST手写数字问题）能达到或超过人类水平的人工模式识别器。

类似1980年KunihikoFukushima发明的neocognitron和视觉标准结构那样有深度的、高度非线性的神经结构可以被多伦多大学杰弗里·辛顿实验室的非监督式学习方法所训练。

2012年，神经网络出现了快速的发展，主要原因在于计算技术的提高，使得很多复杂的运算变得成本低廉。以AlexNet为标志，大量的深度网络开始出现。

2014年出现了残差神经网络，该网络极大解放了神经网络的深度限制，出现了深度学习的概念。

构成典型的人工神经网络具有以下三个部分：结构结构指定了网络中的变量和它们的拓扑关系。

例如，神经网络中的变量可以是神经元连接的权重和神经元的激励值。

激励函数大部分神经网络模型具有一个短时间尺度的动力学规则，来定义神经元如何根据其他神经元的活动来改变自己的激励值。

一般激励函数依赖于网络中的权重。学习规则学习规则指定了网络中的权重如何随着时间推进而调整。这一般被看做是一种长时间尺度的动力学规则。

一般情况下，学习规则依赖于神经元的激励值。它也可能依赖于监督者提供的目标值和当前权重的值。例如，用于手写识别的一个神经网络，有一组输入神经元。输入神经元会被输入像的数据所激发。

在激励值被加权并通过一个函数后，这些神经元的激励值被传递到其他神经元。这个过程不断重复，直到输出神经元被激发。输出神经元的激励值决定了识别出来的是哪个字母。

人工神经网络是哪一年由谁提出来的

人工神经网络是1943年，心理学家W.S.McCulloch和数理逻辑学家W.Pitts提出来。

60年代，人工神经网络得到了进一步发展，更完善的神经网络模型被提出，其中包括感知器和自适应线性元件等。

M.Minsky等仔细分析了以感知器为代表的神经网络系统的功能及局限后，于1969年出版了《Perceptron》一书，指出感知器不能解决高阶谓词问题。

扩展资料人工神经网络的特点和优越性，主要表现在三个方面：第具有自学习功能。

例如实现像识别时，只在先把许多不同的像样板和对应的应识别的结果输入人工神经网络，网络就会通过自学习功能，慢慢学会识别类似的像。自学习功能对于预测有特别重要的意义。

预期未来的人工神经网络计算机将为人类提供经济预测、市场预测、效益预测，其应用前途是很远大的。第具有联想存储功能。用人工神经网络的反馈网络就可以实现这种联想。第具有高速寻找优化解的能力。

寻找一个复杂问题的优化解，往往需要很大的计算量，利用一个针对某问题而设计的反馈型人工神经网络，发挥计算机的高速运算能力，可能很快找到优化解。

人工智能的发展概况

探讨人工智能，就要回答什么是智能的问题，综合各类定义，智能是一种知识与思维的合成,是人类认识世界和改造世界过程中的一种分析问题和解决问题的综合能力。

对于人工智能，美国麻省理工学院的温斯顿教授提出“人工智能就是研究如何使计算机去做过去只有人才能做的智能工作”，斯坦福大学人工智能研究中心尼尔逊教授提出“人工智能是关于知识的学科――怎样表示知识以及怎样获得知识并使用知识的科学”。

综合来看人工智能是相对人的智能而言的。其本质是对人思维的信息过程的模拟，是人的智能的物化。是研究、开发模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。

感知、处理和反馈构成人工智能的三个关键环节人工智能经过信息采集、处理和反馈三个核心环节，综合表现出智能感知、精确性计算、智能反馈控制，即感知、思考、行动三个层层递进的特征。

智能感知：智能的产生首先需要收集到足够多的结构化数据去表述场景，因此智能感知是实现人工智能的第一步。

智能感知技术的目的是使计算机能“听”、会“看”,目前相应的计算机视觉技术和自然语言处理技术均已经初步成熟，开始商业化尝试。

智能处理：产生智能的第二步是使计算机具备足够的计算能力模拟人的某些思维过程和行为对分析收集来的数据信息做出判断，即对感知的信息进行自我学习、信息检索、逻辑判断、决策，并产生相应反映。

具体的研究领域包括知识表达、自动推理、机器学习等，与精确性计算及编程技术、存储技术、网络技术等密切相关，是大数据技术发展的远期目标，目前该领域研究还处于实验室研究阶段，其中机器学习是人工智能领域目前热度最高，科研成果最密集的领域。

智能反馈：智能反馈控制将前期处理和判断的结果转译为肢体运动和媒介信息传输给人机交互界面或外部设备，实现人机、机物的信息交流和物理互动。

智能反馈控制是人工智能最直观的表现形式，其表达能力展现了系统整体的智能水平。

智能反馈控制领域与机械技术、控制技术和感知技术密切相关，整体表现为机器人学，目前机械技术受制于材料学发展缓慢，控制技术受益于工业机器人领域的积累相对成熟。

深度学习是当前最热的人工智能研究领域在学术界，实现人工智能有三种路线，一是基于逻辑方法进行功能模拟的符号主义路线，代表领域有专家系统和知识工程。

当前，基于人工神经网络的深度学习技术是当前最热的研究领域，被Google，Facebook，IBM，百度，NEC以及其他互联网公司广泛使用，来进行像和语音识别。

人工神经网络从上个世纪80年代起步，科学家不断优化和推进算法的研究，同时受益于计算机技术的快速提升，目前科学家可以利用GPU模拟超大型的人工神经网络；互联网业务的快速发展，为深度学习提供了上百万的样本进行训练，上述三个因素共同作用下使语音识别技术和像识别技术能够达到90%以上的准确率。

主要发达国家积极布局人工智能技术，抢占战略制高点。各国政府高度重视人工智能相关产业的发展。

自人工智能诞生至今，各国都纷纷加大对人工智能的科研投入，其中美国政府主要通过公共投资的方式牵引人工智能产业的发展，2013财年美国政府将22亿美元的国家预算投入到了先进制造业，投入方向之一便是“国家机器人计划”。

在技术方向上，美国将机器人技术列为警惕技术，主攻军用机器人技术，欧洲主攻服务和医疗机器人技术，日本主攻仿人和娱乐机器人。现阶段的技术突破的重点一是云机器人技术，二是人脑仿生计算技术。

美国、日本、巴西等国家均将云机器人作为机器人技术的未来研究方向之

伴随着宽带网络设施的普及，云计算、大数据等技术的不断发展，未来机器人技术成本的进一步降低和机器人量产化目标实现，机器人通过网络获得数据或者进行处理将成为可能。

目前国外相关研究的方向包括：建立开放系统机器人架构、网络互联机器人系统平台、机器人网络平台的算法和像处理系统开发、云机器人相关网络基础设施的研究等。

由于深度学习的成功，学术界进一步沿着连接主义的路线提升计算机对人脑的模拟程度。

人脑仿生计算技术的发展，将使电脑可以模仿人类大脑的运算并能够实现学习和记忆，同时可以触类旁通并实现对知识的创造，这种具有创新能力的设计将会让电脑拥有自我学习和创造的能力，与人类大脑的功能几无二致。

在2013年初的国情咨文中，美国总统奥巴马特别提到为人脑绘的计划，宣布投入30亿美元在10年内绘制出“人类大脑谱”，以了解人脑的运行机理。

欧盟委员会也在2013年初宣布，石墨烯和人脑工程两大科技入选“未来新兴旗舰技术项目”，并为此设立专项研发计划，每项计划将在未来10年内分别获得10亿欧元的经费。

美国IBM公司正在研究一种新型的仿生芯片，利用这些芯片，人类可以实现电脑模仿人脑的运算过程，预计最快到2019年可完全模拟出人类大脑。

高科技企业普遍将人工智能视为下一代产业革命和互联网革命的技术引爆点进行投资，加快产业化进程。

谷歌在2013年完成了8家机器人相关企业的收购，在机器学习方面也大肆搜罗企业和人才，收购了DeepMind和计算机视觉领军企业AndrewZisserman，又聘请DARPA原负责人ReginaDugan负责颠覆性创新项目的研究，并安排构建Google基础算法和开发平台的著名计算机科学家JeffDean转战深度学习领域。

苹果2014年在自动化上的资本支出预算高达110亿美元。

苹果手机中采用的Siri智能助理脱胎于美国先进研究项目局投资5亿美元，历时5年的CALO项目，是美国首个得到大规模产业化应用的人工智能项目。

Amazon计划在2015年能够使用自己的机器人飞行器进行快递服务。

韩国和日本的各家公司也纷纷把机器人技术移植到制造业新领域并尝试进入服务业人工智能的实际应用人工智能概念从1956年提出，到今天初步具备产品化的可能性经历了58年的演进，各个重要组成部分的研究进度和产品化水平各不相同。

人工智能产品的发展是一个渐进性的过程，是一个从单一功能设备向通用设备，从单一场景到复杂场景，从简单行为到复杂行为的发展过程，具有多种表现形式。

人工智能产品近期仍将作为辅助人类工作的工具出现，多表现为传统设备的升级版本，如智能/无人驾驶汽车，扫地机器人，医疗机器人等。

汽车、吸尘器等产品和人类已经有成熟的物理交互模式，人工智能技术通过赋予上述产品一定的机器智能来提升其自动工作的能力。

BP神经网络的起源学说

人工神经元的研究起源于脑神经元学说。19世纪末，在生物、生理学领域，Waldeger等人创建了神经元学说。人们认识到复杂的神经系统是由数目繁多的神经元组合而成。

大脑皮层包括有100亿个以上的神经元，每立方毫米约有数万个，它们互相联结形成神经网络，通过感觉器官和神经接受来自身体内外的各种信息，传递至中枢神经系统内，经过对信息的分析和综合，再通过运动神经发出控制信息，以此来实现机体与内外环境的联系，协调全身的各种机能活动。

人工神经网络是由大量的简单基本元件——神经元相互联接而成的自适应非线性动态系统。每个神经元的结构和功能比较简单，但大量神经元组合产生的系统行为却非常复杂。

人工神经网络反映了人脑功能的若干基本特性，但并非生物系统的逼真描述，只是某种模仿、简化和抽象。

与数字计算机比较，人工神经网络在构成原理和功能特点等方面更加接近人脑，它不是按给定的程序一步一步地执行运算，而是能够自身适应环境、总结规律、完成某种运算、识别或过程控制。

神经元也和其他类型的细胞一样，包括有细胞膜、细胞质和细胞核。但是神经细胞的形态比较特殊，具有许多突起，因此又分为细胞体、轴突和树突三部分。细胞体内有细胞核，突起的作用是传递信息。

树突是作为引入输入信号的突起，而轴突是作为输出端的突起，它只有一个。若从速度的角度出发，人脑神经元之间传递信息的速度要远低于计算机，前者为毫秒量级，而后者的频率往往可达几百兆赫。

由于人脑是一个大规模并行与串行组合处理系统，因而，在许多问题上可以作出快速判断、决策和处理，其速度则远高于串行结构的普通计算机。

人工神经网络的基本结构模仿人脑，具有并行处理特征，可以大大提高工作速度。

利用突触效能的变化来调整存贮内容人脑存贮信息的特点为利用突触效能的变化来调整存贮内容，也即信息存贮在神经元之间连接强度的分布上，存贮区与计算机区合为一体。

虽然人脑每日有大量神经细胞死亡，但不影响大脑的正常思维活动。

普通计算机是具有相互独立的存贮器和运算器，知识存贮与数据运算互不相关，只有通过人编出的程序使之沟通，这种沟通不能超越程序编制者的预想。元器件的局部损坏及程序中的微小错误都可能引起严重的失常。

人类大脑有很强的自适应与自组织特性，后天的学习与训练可以开发许多各具特色的活动功能。如盲人的听觉和触觉非常灵敏；聋哑人善于运用手势；训练有素的运动员可以表现出非凡的运动技巧等等。

普通计算机的功能取决于程序中给出的知识和能力。显然，对于智能活动要通过总结编制程序将十分困难。

人工智能的发展,主要经历哪几个阶段?

1孕育阶段这个阶段主要是指1956年以前。

自古以来，人们就一直试用各种机器来代替人的部分脑力劳动，以提高人们征服自然的能力，其中对人工智能的产生、发展有重大影响的主要研究成果包括：早在公元前384-公元前322年，伟大的哲学家亚里士多德就在他的名著《工具论》中提出了形式逻辑的一些主要定律，他提出的三段论至今仍是演绎推理的基本依据。

英国哲学家培根曾系统地提出了归纳法，还提出了“知识就是力量”的警句。这对于研究人类的思维过程，以及自20世纪70年代人工智能转向以知识为中心的研究都产生了重要影响。

德国数学家和哲学家莱布尼茨提出了万能符号和推理计算的思想，他认为可以建立一种通用的符号语言以及在此符号语言上进行推理的演算。

这一思想不仅为数理逻辑的产生和发展奠定了基础，而且是现代机器思维设计思想的萌芽。英国逻辑学家布尔致力于使思维规律形式化和实现机械化，并创立了布尔代数。

他在《思维法则》一书中首次用符号语言描述了思维活动的基本推理法则。

英国数学家灵在1936年提出了一种理想计算机的数学模型，即灵机，为后来电子数字计算机的问世奠定了理论基础。

美国神经生理学家麦克洛奇与匹兹在1943年建成了第一个神经网络模型，开创了微观人工智能的研究领域，为后来人工神经网络的研究奠定了基础。

美国爱荷华州立大学的阿塔纳索夫教授和他的研究生贝瑞在1937年至1941年间开发的世界上第一台电子计算机“阿塔纳索夫-贝瑞计算机”为人工智能的研究奠定了物质基础。

需要说明的是：世界上第一台计算机不是许多书上所说的由美国的莫克利和埃柯特在1946年发明。这是美国历史上一桩著名的公案。

由上面的发展过程可以看出，人工智能的产生和发展绝不是偶然的，它是科学技术发展的必然产物。2形成阶段这个阶段主要是指1956-1969年。

1956年夏季，由当时达特茅斯大学的年轻数学助教、现任斯坦福大学教授麦卡锡联合哈佛大学年轻数学和神经学家、麻省理工学院教授明斯基，IBM公司信息研究中心负责人洛切斯特，贝尔实验室信息部数学研究员香农共同发起，邀请普林斯顿大学的莫尔和IBM公司的塞缪尔、麻省理工学院的塞尔夫里奇和索罗莫夫以及兰德公司和卡内基梅隆大学的纽厄尔、西蒙等在美国达特茅斯大学召开了一次为时两个月的学术研讨会，讨论关于机器智能的问题。

会上经麦卡锡提议正式采用了“人工智能”这一术语。麦卡锡因而被称为人工智能之父。这是一次具有历史意义的重要会议，它标志着人工智能作为一门新兴学科正式诞生了。

此后，美国形成了多个人工智能研究组织，如纽厄尔和西蒙的Carnegie-RAND协作组，明斯基和麦卡锡的MIT研究组，塞缪尔的IBM工程研究组等。

自这次会议之后的10多年间，人工智能的研究在机器学习、定理证明、模式识别、问题求解、专家系统及人工智能语言等方面都取得了许多引人注目的成就，例如：在机器学习方面，1957年Rosenblatt研制成功了感知机。

这是一种将神经元用于识别的系统，它的学习功能引起了广泛的兴趣，推动了连接机制的研究，但人们很快发现了感知机的局限性。

在定理证明方面，美籍华人数理逻辑学家王浩于1958年在IBM-704机器上用3~5min证明了《数学原理》中有关命题演算的全部定理，并且还证明了谓词演算中150条定理的85%，1965年鲁宾逊提出了归结原理，为定理的机器证明作出了突破性的贡献。

在模式识别方面，1959年塞尔夫里奇推出了一个模式识别程序，1965年罗伯特编制出了可分辨积木构造的程序。

在问题求解方面，1960年纽厄尔等人通过心理学试验总结出了人们求解问题的思维规律，编制了通用问题求解程序，可以用来求解11种不同类型的问题。

文章为作者独立观点，不代表股票程序化软件自动交易接口观点