深入递归神经网络在家庭面短期负载预测上的应用策略

深入递归神经网络在家庭面短期负载预测上的应用策略 李翰 需求侧反应(DSR)在欧洲国家能源部门设定的目标方面发挥着关键作用。这项指标提倡提前预测各个用户的负载情况以更好的分配能源。智能电表的普及将使DSR变得简单。因为他能够准确的预测家用负荷,已经有多种方案被提出了。 对于某个具体设施的负载预测方案已经被广泛而全面的研究了,然而关于个人家庭的负载预测的研究则很有限。人们认为由于具有极高的不确定性,这类短期负载预测极具挑战性。目前对于这种短期负载预测有两种研究方向 序列分析(ARIMA,指数平滑) 机器学习(神经网络,支持向量机),但是这两个都没有办法在单个家庭层面上实现持续性预测。 在家庭环境中负载可以被分为3部分:规律部分,从历史数据中继承的周期性负载;不确定性,由天气,事件和用户行为这些外部因素所带来的非周期性负载;噪音,无法解释的冗余负载。大多数预测模型都关注规律部分,因为他更好预测而且在具体设施的负载预测中占主导地位,但是家庭负载的预测却更多由不确定性组成,因为他更多的受到客户行为的影响。 解决方法大致有三种: 1. 使用聚类/分类技术将相似的客户分成同一个组以减少组内的不确定性,但是性能取决于数据。 2. 使用区域性全体的数据来消除用户行动造成的不确定性,但是这类预测只在区域性层面。 3. 将数据靠小波分析、傅里叶变换或者经验模式分解预处理,将规律部分和其他两个部分分开。这种模式也不适用于家庭预测,因为其中规律部分的占比太小。 这些都是间接方案,然而深度学习可以以直接学习的方式来攻克不确定性。深度学习依赖深度架构的机器学习的分支,在传统浅层架构无法达到的高度非线性,复杂关系和相关性上取得了很多突破,已有的典型应用为药物开发,google goggles和alpha go。 然而直接在家庭面的短期负载预测上应用深度学习的效果并不理想,其最重要的原因为过度拟合。深度学习可以理解为在传统的在基础的学习算法上分层,每增加一层就会指数级的增加这个算法对于训练数据的准确度。简单来说,过度拟合指的是深度神经元网络对于学习样本的过度解读。举个例子,如果这种算法正在学习判断照片内容是否为猫,第一层的网络只会判断照片中的东西有没有猫的轮廓,而5层网络则会从猫的颜色,花纹,五官,肢体,大小等因素来进行判断。在训练素材不足的情况下,过度拟合就非常容易发生。比如前文提到的5层神经网络用的1000张训练照片中并没有包含无毛猫,所以他很有可能在识别到包含着无毛猫的照片的时候判断它不是一张包含猫的照片,而一层的神经网络只对猫的轮廓进行判断,所以说他更有可能认为无毛猫也是猫。但是一层的神经网络因为他只进行轮廓的判断,所以他的精度很低,他同样也会将老虎甚至是狗识别成猫。 为了克服以上问题,最新的研究引入了深入递归神经网络(DRNN)来对家庭单位执行短期负载预测,DRNN可以被认为是专为时间序列预测而设计的最先进的深度学习架构。DRNN的架构是讲多个RNN叠加在一起形成的一个深度架构。他已经在语音识别领域被证明有效,和短期负载预测一样,语音识别同事也具有高度不确定性的时间序列数据。同时,这个研究还引进了启用长短期记忆来优化的RNN,这也是最先进的RNN的一种。 这项研究提出的方法包含了两个阶段:1)创建负载特征库,2)用具有DRNN的深度学习算法来进行短期负载预测。 创建负载特征库的策略旨在解决家庭层面短期负载预测的两大挑战:过度拟合问题以及负载曲线固有的高不确定性。由于深度学习网络中固有的大量神经层,研究者需要足够庞大的数据来防止过度拟合的发生。由于家庭层面的历史负载数据通常不足,极端场合甚至于层数很少的算法都会产生严重的过度拟合。将这些数据整理成特征库可以有效的增加预测所需的数据量,延迟过度拟合的出现。由于这些数据中包含的偶然性(噪音),使得这些数据很难被学习或者建模。然而,其中的一部分不确定性是由一些常见的外部因素引起的,比如天气、当地的活动等。这类影响通常会在一部分群体间共享。将这部分群体的数据汇集成特征库等同于增加了数据的多样性,从而进一步增加了数据中常见共享不确定性信号的辨识度。因此,这个策略也使得DRNN能够通过辨识这些共享的不确定性来进行更准确的负载预测。 在第二阶段,从负载特征库中随机提取样本进行当前批次的训练,使DRNN在学习个人负载模式的同时,也从这个库中学习用户共享的负载特征和不确定性。随后,再将库中的数据用于测试训练过的DRNN网络。这个策略被称为库化深入递归神经网络(PDRNN)。 这项研究进一步研究了未引进特征库策略条件下的DRNN的层深对训练结果的影响。根据结果,在同样都经过LSTM单元进行增强,接受相同的输入大小、输出大小及网络配置相同的前提下,能增加的层数仍然有限。DRNN的预测精度会在2-3层的时候达到顶峰,随后开始下降,并且在到达第五层时,预测准确度会和只用了一层的DRNN持平,这反映了过度拟合所造成的精度损失。 引入了特征库策略后,具有相同配置的PDRNN在深度到达第五层的时候仍然能够继续提高性能。数据显示,与普通的DRNN相比,PRDNN的均方根误差(RMSE)和正规划方根均(NRMSE)差降低了6.45%,平均绝对误差(MAE)降低了6.96。和ARIMA相比,PDRNN所得到RMSE和MAE的提升更为显著,分别为19.46%和16.28%。 这项研究为解决高度不确定、波动的家庭面短期负载预测提供了潜在的研究方向。它提出的PDRNN能够通过学习具有同种特征客户之间的共享数据的方式,有效的优化普通DRNN带来的过度拟合的问题,使得更深的神经网络学习成为可能。相信在未来,这项技术可以i)通过进一步扩展网络的规模以从算法内部优化过度拟合,ii)通过将拥有相似地理位置、相似收入却有不同特征的客户纳入特征库中以最大程度的增加特征库的多样等措施,进一步完善乃至解决家庭面短期负载预测所遭遇的问题。

Read More

工业制造制动化 应用了机器学习的人机交互问题解决

工业制造制动化 应用了机器学习的人机交互问题解决 李翰 对于现代制造业来说,自动化机器人设备的使用已经无处不在,例如常规的机械手,以及被应用在智能仓库中的自动引导运输车(Auto-guided Vehicle)。然而,在绝大多数的工作环境中,人类操作者仍然无法被完全取代。这带来一个问题:人机的交互。对于一个受到监控的系统而言,灵活且不受控的人类给工序带来了极大的干扰和不可预见性。这使得自动化管控系统的建模和优化变得更具挑战性。因此,为了在更大的范围内应用自动化机器人设备,工业制造领域需要一个更具适应性的自主决策系统。以强化学习代理进行系统建模就是方案之一, 由强化学习训练出来的自动化系统将拥有更高的适应能力,使其可以根据观察到的信息来对系统策略做出调整。 计算机运算能力的进步使得现代工业生产获得了多方面的进步,这些进步主要是通过对环境的感知捕捉,并且将这个过程中的生成的数据进行适当的数据处理来实现的。将生产工作的工序,事件用各类传感器捕获,处理,分析使得创建数字化制造系统成为可能。所谓智能制造正是基于上述系统所收集到的信号进行建模,预测,优化的产物。 结合硬件和软件,并能够将控制过程数字化的系统被称CPS(Cyber-Physical-System),先进的系统能够根据这些数据进行适应和自主决策。如何将各个步骤数字化本身就是一个非常有挑战性的工作,在此之上,数字化表示的生产工序会跟着系统的升级而变得更加详细,现有的数据等级结构在面对着更大的数据量时存在着一些问题。为了解决这些问题以实现数据自适应和自主决策,系统将不同的任务分配给系统内的代理模块。每个代理都拥有自主权,独立处理本地的数据以及决策,并且根据自身积累的经验进行学习、优化。 最近的这些系统利用机器学习(基于神经网络算法)来自动化每个代理的控制和分析过程,根据每个代理的累积经验进行优化,并且控制整个系统的决策流程。 在工业制造领域,机器学习已经以各种方式得到了应用,如前文所述,他是实现自主CPS的核心驱动力。监督学习技术已经为现有的系统提供了非常先进的预测系统,这类系统可以通过数据中提取的更详细、更准确的信息来解决维护、生产力优化、物流优化、动态模拟模型的问题。最近,以强化学习为主的深度学习的进步进一步的改进了这些预测模型,这主要体现在计算机视觉能力上。更精确的对周围环境的掌控,进一步优化了CPS预测周围环境以及和周围联动、协调的能力。 如上文所述,CPS需要考虑到和人类同事在生产过程中的交互,不论是直接的交互,或者是时序的交互。从系统层面来讲,系统需要考虑到不同分区如何观察人类行为,并在内部(系统内的多个数据处理的代理)以及外部(环境、人类同事)进行相互适应以打成统一目标。这方面的工作在人机交互的设计中非常重要,因为人类不受系统控制,且人类的工作状态也会根据外部因素(比如疲劳)进行实时改变。 在一些直接合作的情况(人类和机器人一起执行一个动作,而非单纯的协调双方的动作), 人机合作任务已经受益于带有人机交互能力的智能控制系统的引入,尤其是那些直接涉及到物理合作的项目。比如说让机器人去处理一些高难度的任务,并且使用机器学习技术来提高此类任务的精度和协调性,或者让机器人去相对轻松的操作一些大型的组件。这类任务同样也用到了类似的学习算法来进行机器人的教学一次来完成一些复杂的制造工序,比如果复合材料的叠层和焊接制造(这道工序需要极高的灵活度,而且必须达到和专业人类同等的光滑度)。 其他应用则侧重于被动的合作形式,比如说识别当前工作环境下人员的专业程度、结合环境的状况或者直接观察、判断人员的状态,然后以此给出相应的提示,警告或者优化方案。这类技术在手势控制方案上也同样有效,并且还有延展到更多人机交互的趋势:通过预测认为因素对人的性能影响,使得机器可以根据人效率的改变来做出适应性的行为。 总而言之,因为强化学习对CPS感知、预测、决策能力的提升,这项技术将会在现代化工业智能生产的领域上解决优化以人机交互需求为主的问题。这将从根本上解决由人类行为的不确定因素所造成的隐患,诸如人类效率下降导致的生产流程失误,未经授权的访问或者未经授权行为的制止,以及将人类也作为对象的生产监控、优化。集成了人机交互能力的CPS系统应该将会成为工业制造领域发展的趋势。

Read More

Online Education

Online education has been rapidly growing over the last few years. Many schools and colleges have been improving their online courses for students to take. Although the scores and outcomes of many students have been shown to be lower through online school than in-person classes, the curriculum for online programs and education is continuously improving. The improvement of online classes also helps those not in access to such education. There are many populations that are not able educational opportunities either due to their location or their economy. Presently, the online…

Read More

Data Science for Healthcare: The Future of Care

Data Science for Healthcare: The Future of Care Introduction Introduction: As the world moves towards ever more complex medical diagnoses and treatments, data science is essential to make informed decisions. healthcare organizations are already using data science to improve patient care, but there is much more to come. In this article, we’ll explore the key components of data science for healthcare and how it can be used to improve care in the future. What is Data Science. Data science is the application of machine learning and data reduction techniques to…

Read More
IT 

Net neutrality win: US FCC reclassifies broadband as a public utility, bans internet “fast lanes”

The United States Federal Communications Commission (FCC) today voted 3-2 to uphold the principles of network neutrality – that is, to force Internet Service Providers (ISPs) to treat all web traffic as equal. This prevents ISPs from being able to throttle or block users’ connections to certain websites, or to offer “Internet fast lanes” whereby large websites could pay for their content to be delivered at a higher speed. Open Internet advocates see this as a huge step to protect the internet’s current status as a free and open platform…

Read More
IT 

Quantum Computing May Be Moving Out of Science Fiction

Quantum computing may still sound like the stuff of science fiction, but in another five or 10 years, it could be part of our reality. “It’s still mostly sci-fi for now,” said Charles King, an analyst with Pund-IT. “Systems are still pretty rudimentary. Though they perform some specific kinds of calculations faster than traditional computers, they are defined by their limitations. When true, fully operable quantum systems come online, they will force the IT industry, public and private sector organizations and individuals to fundamentally rethink certain kinds of problems and…

Read More

The Best Ways to Use Data Science in Your Business

The Best Ways to Use Data Science in Your Business Introduction: As businesses grow, they need to employ data science in order to make informed decisions. Whether you’re a startup just starting up or an established company looking to update your data analysis strategy, there are a few things you need to keep in mind when using data science in your business. How to Use Data Science in Your Business. Data science is the process of solving complex problems with data. It helps businesses make decisions based on data, and…

Read More
IT 

Wireless Gravestone Tech Will Broadcast Your Awesomeness to Posterity

For those people seeking some long-term postmortem respect, you could always go the route of theRoyal Tenenbaum epitaph and have your hyperbolic greatness engraved upon a headstone. But we all know weather eventually gets the better of those words, and besides: Why settle for one measly sentence when you could speak directly to your descendants from beyond the grave? The Objecs company has the answer: RosettaStone “technology enhanced memorial products,” which, preloaded with your autobiographical information, will attach to your grave. From Discovery News: When your great-great-great granddaughter stops by sometime in the…

Read More
IT 

Error fix for long-lived qubits brings quantum computers nearer

By Jacob Aron Useful quantum computers are one step closer, thanks to the latest demonstration of a technique designed to stop them making mistakes. Quantum computers store information as quantum bits, or qubits. Unlike binary bits, which store a 0 or a 1, qubits can hold a mixture of both states at the same time, boosting their computing potential for certain types of problems. But qubits are fragile – their quantum nature means they can’t hold data for long before errors creep in. So researchers wanting to build large-scale computers invented quantum…

Read More