深入递归神经网络在家庭面短期负载预测上的应用策略

深入递归神经网络在家庭面短期负载预测上的应用策略 李翰 需求侧反应(DSR)在欧洲国家能源部门设定的目标方面发挥着关键作用。这项指标提倡提前预测各个用户的负载情况以更好的分配能源。智能电表的普及将使DSR变得简单。因为他能够准确的预测家用负荷,已经有多种方案被提出了。 对于某个具体设施的负载预测方案已经被广泛而全面的研究了,然而关于个人家庭的负载预测的研究则很有限。人们认为由于具有极高的不确定性,这类短期负载预测极具挑战性。目前对于这种短期负载预测有两种研究方向 序列分析(ARIMA,指数平滑) 机器学习(神经网络,支持向量机),但是这两个都没有办法在单个家庭层面上实现持续性预测。 在家庭环境中负载可以被分为3部分:规律部分,从历史数据中继承的周期性负载;不确定性,由天气,事件和用户行为这些外部因素所带来的非周期性负载;噪音,无法解释的冗余负载。大多数预测模型都关注规律部分,因为他更好预测而且在具体设施的负载预测中占主导地位,但是家庭负载的预测却更多由不确定性组成,因为他更多的受到客户行为的影响。 解决方法大致有三种: 1. 使用聚类/分类技术将相似的客户分成同一个组以减少组内的不确定性,但是性能取决于数据。 2. 使用区域性全体的数据来消除用户行动造成的不确定性,但是这类预测只在区域性层面。 3. 将数据靠小波分析、傅里叶变换或者经验模式分解预处理,将规律部分和其他两个部分分开。这种模式也不适用于家庭预测,因为其中规律部分的占比太小。 这些都是间接方案,然而深度学习可以以直接学习的方式来攻克不确定性。深度学习依赖深度架构的机器学习的分支,在传统浅层架构无法达到的高度非线性,复杂关系和相关性上取得了很多突破,已有的典型应用为药物开发,google goggles和alpha go。 然而直接在家庭面的短期负载预测上应用深度学习的效果并不理想,其最重要的原因为过度拟合。深度学习可以理解为在传统的在基础的学习算法上分层,每增加一层就会指数级的增加这个算法对于训练数据的准确度。简单来说,过度拟合指的是深度神经元网络对于学习样本的过度解读。举个例子,如果这种算法正在学习判断照片内容是否为猫,第一层的网络只会判断照片中的东西有没有猫的轮廓,而5层网络则会从猫的颜色,花纹,五官,肢体,大小等因素来进行判断。在训练素材不足的情况下,过度拟合就非常容易发生。比如前文提到的5层神经网络用的1000张训练照片中并没有包含无毛猫,所以他很有可能在识别到包含着无毛猫的照片的时候判断它不是一张包含猫的照片,而一层的神经网络只对猫的轮廓进行判断,所以说他更有可能认为无毛猫也是猫。但是一层的神经网络因为他只进行轮廓的判断,所以他的精度很低,他同样也会将老虎甚至是狗识别成猫。 为了克服以上问题,最新的研究引入了深入递归神经网络(DRNN)来对家庭单位执行短期负载预测,DRNN可以被认为是专为时间序列预测而设计的最先进的深度学习架构。DRNN的架构是讲多个RNN叠加在一起形成的一个深度架构。他已经在语音识别领域被证明有效,和短期负载预测一样,语音识别同事也具有高度不确定性的时间序列数据。同时,这个研究还引进了启用长短期记忆来优化的RNN,这也是最先进的RNN的一种。 这项研究提出的方法包含了两个阶段:1)创建负载特征库,2)用具有DRNN的深度学习算法来进行短期负载预测。 创建负载特征库的策略旨在解决家庭层面短期负载预测的两大挑战:过度拟合问题以及负载曲线固有的高不确定性。由于深度学习网络中固有的大量神经层,研究者需要足够庞大的数据来防止过度拟合的发生。由于家庭层面的历史负载数据通常不足,极端场合甚至于层数很少的算法都会产生严重的过度拟合。将这些数据整理成特征库可以有效的增加预测所需的数据量,延迟过度拟合的出现。由于这些数据中包含的偶然性(噪音),使得这些数据很难被学习或者建模。然而,其中的一部分不确定性是由一些常见的外部因素引起的,比如天气、当地的活动等。这类影响通常会在一部分群体间共享。将这部分群体的数据汇集成特征库等同于增加了数据的多样性,从而进一步增加了数据中常见共享不确定性信号的辨识度。因此,这个策略也使得DRNN能够通过辨识这些共享的不确定性来进行更准确的负载预测。 在第二阶段,从负载特征库中随机提取样本进行当前批次的训练,使DRNN在学习个人负载模式的同时,也从这个库中学习用户共享的负载特征和不确定性。随后,再将库中的数据用于测试训练过的DRNN网络。这个策略被称为库化深入递归神经网络(PDRNN)。 这项研究进一步研究了未引进特征库策略条件下的DRNN的层深对训练结果的影响。根据结果,在同样都经过LSTM单元进行增强,接受相同的输入大小、输出大小及网络配置相同的前提下,能增加的层数仍然有限。DRNN的预测精度会在2-3层的时候达到顶峰,随后开始下降,并且在到达第五层时,预测准确度会和只用了一层的DRNN持平,这反映了过度拟合所造成的精度损失。 引入了特征库策略后,具有相同配置的PDRNN在深度到达第五层的时候仍然能够继续提高性能。数据显示,与普通的DRNN相比,PRDNN的均方根误差(RMSE)和正规划方根均(NRMSE)差降低了6.45%,平均绝对误差(MAE)降低了6.96。和ARIMA相比,PDRNN所得到RMSE和MAE的提升更为显著,分别为19.46%和16.28%。 这项研究为解决高度不确定、波动的家庭面短期负载预测提供了潜在的研究方向。它提出的PDRNN能够通过学习具有同种特征客户之间的共享数据的方式,有效的优化普通DRNN带来的过度拟合的问题,使得更深的神经网络学习成为可能。相信在未来,这项技术可以i)通过进一步扩展网络的规模以从算法内部优化过度拟合,ii)通过将拥有相似地理位置、相似收入却有不同特征的客户纳入特征库中以最大程度的增加特征库的多样等措施,进一步完善乃至解决家庭面短期负载预测所遭遇的问题。

Read More

工业制造制动化 应用了机器学习的人机交互问题解决

工业制造制动化 应用了机器学习的人机交互问题解决 李翰 对于现代制造业来说,自动化机器人设备的使用已经无处不在,例如常规的机械手,以及被应用在智能仓库中的自动引导运输车(Auto-guided Vehicle)。然而,在绝大多数的工作环境中,人类操作者仍然无法被完全取代。这带来一个问题:人机的交互。对于一个受到监控的系统而言,灵活且不受控的人类给工序带来了极大的干扰和不可预见性。这使得自动化管控系统的建模和优化变得更具挑战性。因此,为了在更大的范围内应用自动化机器人设备,工业制造领域需要一个更具适应性的自主决策系统。以强化学习代理进行系统建模就是方案之一, 由强化学习训练出来的自动化系统将拥有更高的适应能力,使其可以根据观察到的信息来对系统策略做出调整。 计算机运算能力的进步使得现代工业生产获得了多方面的进步,这些进步主要是通过对环境的感知捕捉,并且将这个过程中的生成的数据进行适当的数据处理来实现的。将生产工作的工序,事件用各类传感器捕获,处理,分析使得创建数字化制造系统成为可能。所谓智能制造正是基于上述系统所收集到的信号进行建模,预测,优化的产物。 结合硬件和软件,并能够将控制过程数字化的系统被称CPS(Cyber-Physical-System),先进的系统能够根据这些数据进行适应和自主决策。如何将各个步骤数字化本身就是一个非常有挑战性的工作,在此之上,数字化表示的生产工序会跟着系统的升级而变得更加详细,现有的数据等级结构在面对着更大的数据量时存在着一些问题。为了解决这些问题以实现数据自适应和自主决策,系统将不同的任务分配给系统内的代理模块。每个代理都拥有自主权,独立处理本地的数据以及决策,并且根据自身积累的经验进行学习、优化。 最近的这些系统利用机器学习(基于神经网络算法)来自动化每个代理的控制和分析过程,根据每个代理的累积经验进行优化,并且控制整个系统的决策流程。 在工业制造领域,机器学习已经以各种方式得到了应用,如前文所述,他是实现自主CPS的核心驱动力。监督学习技术已经为现有的系统提供了非常先进的预测系统,这类系统可以通过数据中提取的更详细、更准确的信息来解决维护、生产力优化、物流优化、动态模拟模型的问题。最近,以强化学习为主的深度学习的进步进一步的改进了这些预测模型,这主要体现在计算机视觉能力上。更精确的对周围环境的掌控,进一步优化了CPS预测周围环境以及和周围联动、协调的能力。 如上文所述,CPS需要考虑到和人类同事在生产过程中的交互,不论是直接的交互,或者是时序的交互。从系统层面来讲,系统需要考虑到不同分区如何观察人类行为,并在内部(系统内的多个数据处理的代理)以及外部(环境、人类同事)进行相互适应以打成统一目标。这方面的工作在人机交互的设计中非常重要,因为人类不受系统控制,且人类的工作状态也会根据外部因素(比如疲劳)进行实时改变。 在一些直接合作的情况(人类和机器人一起执行一个动作,而非单纯的协调双方的动作), 人机合作任务已经受益于带有人机交互能力的智能控制系统的引入,尤其是那些直接涉及到物理合作的项目。比如说让机器人去处理一些高难度的任务,并且使用机器学习技术来提高此类任务的精度和协调性,或者让机器人去相对轻松的操作一些大型的组件。这类任务同样也用到了类似的学习算法来进行机器人的教学一次来完成一些复杂的制造工序,比如果复合材料的叠层和焊接制造(这道工序需要极高的灵活度,而且必须达到和专业人类同等的光滑度)。 其他应用则侧重于被动的合作形式,比如说识别当前工作环境下人员的专业程度、结合环境的状况或者直接观察、判断人员的状态,然后以此给出相应的提示,警告或者优化方案。这类技术在手势控制方案上也同样有效,并且还有延展到更多人机交互的趋势:通过预测认为因素对人的性能影响,使得机器可以根据人效率的改变来做出适应性的行为。 总而言之,因为强化学习对CPS感知、预测、决策能力的提升,这项技术将会在现代化工业智能生产的领域上解决优化以人机交互需求为主的问题。这将从根本上解决由人类行为的不确定因素所造成的隐患,诸如人类效率下降导致的生产流程失误,未经授权的访问或者未经授权行为的制止,以及将人类也作为对象的生产监控、优化。集成了人机交互能力的CPS系统应该将会成为工业制造领域发展的趋势。

Read More

Data Science for Healthcare: The Future of Care

Data Science for Healthcare: The Future of Care Introduction Introduction: As the world moves towards ever more complex medical diagnoses and treatments, data science is essential to make informed decisions. healthcare organizations are already using data science to improve patient care, but there is much more to come. In this article, we’ll explore the key components of data science for healthcare and how it can be used to improve care in the future. What is Data Science. Data science is the application of machine learning and data reduction techniques to…

Read More

The Best Ways to Use Data Science in Your Business

The Best Ways to Use Data Science in Your Business Introduction: As businesses grow, they need to employ data science in order to make informed decisions. Whether you’re a startup just starting up or an established company looking to update your data analysis strategy, there are a few things you need to keep in mind when using data science in your business. How to Use Data Science in Your Business. Data science is the process of solving complex problems with data. It helps businesses make decisions based on data, and…

Read More

大疆无人机在农业上的运用和讨论

大疆无人机在农业上的运用和讨论 技术的更新日新月异,时代带给我们许多更方便的科技,而无人机便是里面值得一说的产品,因为它不仅仅改善了我们的生活,也让农业生产有进一步的提升。大疆,作为整个无人机领域的佼佼者,我便从他开始说起。2015年,大疆发布了他们公司的第一台产品——MG-1 农业植保机. MG-1给整个农业领域以及无人机领域都带来了巨大的影响,然而用户不只是关心的是MG-1这个产品本身,更多的是怎样与传统农作方式的衔接并且开拓出了一种全新的工作模式进而对未来无人机的改进作出想法。 在传统的农药喷洒方式中,农民大多会使用一些手提式喷洒设备,但是这样的农作方式通常会影响菜苗的发育以及对人体造成伤害. 而大疆无人机设备却能解决这一系列痛点,农民们仅需要一人就可以对整片农田进行作业,而传统的农业需要多人,多机械,长时间. 这无疑会耗费大量的人力物力成本,而无人机毫无疑问可以减少大部分花在农业机器(尤其是喷洒设备)上的成本.这大大提高了工作效率(约40-50倍的人工效率)并且减少了农民的农作压力. 在2018,中国农业无人机保有量突破2万大关,年度作业面积突破1亿亩次,但问题也接踵而至,无人机尚且还算是个新兴领域,尤其是对于初次踏入农业领域的大疆. 如何做到无人机的广泛化使用成为了大疆需要面对的主要问题. 在中国,大部分的农民的受教育程度并不高(高中以上文化程度仅占11.62%),所以学习无人机的成本也会因此变高.其次,无人机的在农业上的涉足领域暂时还过于狭窄,大疆需要拓展无人机的功能,例如运用红外技术实时监测土壤湿度和温度以及特定时间的自动化收割.为了让无人机做到真正的无人农作,大疆可以通过激光脉冲对农场地形进行地理分析,并让电脑进行运算做到误差不大的自动判断系统,或是做出更简单的范围系统。进而使用通讯技术控制技术对更多农业设备进行联动以及操作。只需要使用者告诉无人机需要管理的区域,无人机便可以自动分析出最有效的处理办法,分析以及控制农业设备对这片区域进行播种,施肥,灌溉,除虫甚至收割。 时至今日,大疆在农业领域已经进行了大量的拓展,他们的新型产品也做出了播撒系统以及地形绘制来帮助农民进行更好的农作. 其次他们也尝试和当地政府合作来分配技术人员对农民进行无人机的科普以及教学来使无人机被更广泛的使用. 希望在不久的将来,我们会看见中国农业的全面无人机化 王威棋

Read More
Other Tech 

Packable device keeps mosquitoes away in the boonies

Beyond heated insoles, Thermacell makes a variety of battery-powered gadgets for outdoor lovers, among them a line of mosquito repellers. The company is preparing to launch a lighter, more compact repeller designed to go deeper into the wilderness. The packable Backpacker Repeller drops Thermacell’s mosquito-fighting technology into your pack so you can easily carry it to even the most faraway backcountry destinations. We’ve used one of Thermacell’s larger repeller lanterns and can say that it’s an absolute pleasure. Thermacell claims 96 percent effectiveness against mosquitoes, black flies and other pesky flying…

Read More
Other Tech 

The Death of Cubicles: Engineers Create the First Mobile Workstations

Got a smelly weirdo sitting next to you at work? Need a place to stick an intern? Well it looks like cubicle life as we know it is about to change. If some cutting-edge companies have their way, we may all soon be working from mobile workstations. What those spaces will look like all depends on the designer. Here’s a look at the most notable designs: • Michiel van der Kley’s Globus folds up into a globe and unfolds into a desk and a chair. • The ScooterDesk by Utilia may look uncomfortable, but its barstool design with…

Read More
Other Tech 

New Mobile App Lets Scientists Nab Data Anywhere on Earth

To our graduate student readers: As if constant emails from your boss weren’t enough,  soon you’ll have no excuse to avoid the “got any data?” question—even when you’re out in the field. A new mobile app now lets researchers collect and analyze data from anywhere in the world, using their cell phones. It’s not all bad: The software could help you unload some of your work by allowing citizen scientists to snap pictures from their own backyards, and contribute them to research projects. The software, called EpiCollect, is especially useful for…

Read More
Other Tech 

Harmless “T-Ray” Vision Sees Through Boxes, Walls and Skin

Call it the “X-ray vision” app: In several years, smartphones could come equipped with a microchip that lets users peer through boxes, walls and other objects. Rather than dangerous X-rays, however, the chip beams out waves in the harmless terahertz frequency, a little-used portion of the electromagnetic spectrum between microwaves and far-infrared. Terahertz generators historically have been bulky, expensive affairs. But now Caltech researchers have succeeded in crafting terahertz-emitting silicon chips that are smaller than a dime using a standard, inexpensive electronics manufacturing technique. The researchers harnessed an array of…

Read More