点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

3月26日晚7:30-9:00

AI TIME特别邀请了最佳论文一作讲者跟大家共同开启AAAI 专场八！

本期 AI TIME PhD，我们邀请到北京航空航天大学计算机学院博士生周号益，也是AAAI 2021最佳论文第一作者，为大家在线解读 AAAI 2021最佳论文Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting。对本期主题感兴趣的小伙伴，3月26日（周五）晚 7:30，我们准时相约 AI TIME 直播间。

哔哩哔哩直播通道

扫码关注AITIME哔哩哔哩官方账号

观看直播

链接：https://live.bilibili.com/21813994

★ 邀请嘉宾 ★

周号益：北京航空航天大学计算机学院、大数据科学与脑机智能高精尖中心博士生（导师：李建欣）。累计发表国际学术会议和期刊论文共计7篇，并担任IJCAI、AAAI、KDD等国际会议期刊审稿人。研究方向关注人工智能理论与应用，解决工业、医疗等行业中真实问题。

本人与国家电网等合作，所研发设备故障预测算法在山东等省份应用，监测范围覆盖1300余座110kV～500kV超高压核心变压器，辅助研判重型设备负载下工况，保障重大固定资产安全；与陈天宇等同学参加2020年工业和信息化部“全国工业APP和信息消费大赛”获得一等奖，大赛共有包括中船重工、中国一汽、科大讯飞等2310支队伍参赛。本人与北京大学第三医院、北京大学肿瘤医院、北京天坛医院等持续合作，基于时空序列方法建立慢阻肺加重等预警模式，联合项目于2019年获评北京市“首都转化医学创新大赛”优秀奖。2020年，本人作为学生负责人参与高精尖创新中心的新冠疫情大数据防控分析任务，国家卫健委传染病智慧化多点触发监测预警平台规划和试点验证等工作，支撑国家疫情防控决策，得到了国务院办公厅、北京市卫健委等专函致谢。

报告题目：

类Transformer模型的

长序列分析预测新方向

摘要：

长时间序列分析预测一直是人工智能基础理论研究的难点，对工业健康维护、疾病传播预测、网络安全分析等关键领域具有重要作用。获奖论文指出“传统循环神经网络因误差逐层累积”已不能满足长序列数据分析的需求，并首次明确了Transformer神经网络架构对长序列问题建模的重要意义。该架构的核心优势是构建了自注意力机制来捕捉跨长度的前后相关性，但其伴随的重大挑战是自注意力操作具有随输入长度的二次时间复杂度，无法适用于长序列输入和输出。

据此，该论文突破了传统自注意力的计算复杂度限制，提出一种全新的从概率角度进行自注意力矩阵稀疏化的模型ProbSparse Attention。该模型可以允许以非启发式的方式对自注意力计算进行长尾显著性分析，摘取长序列中重要的前后相关性对，可以依采样方案将计算复杂度降低至对数线性复杂度，令ProbSparse自注意力满足长序列分析的建模要求。同时，该论文还提出了注意力蒸馏机制来允许构建更深的长序列堆叠模型，同时通过生成式解码来实现长序列单次前向输出。

这是首次在长序列问题上运用Transformer神经网络架构，依靠所提出的可分析稀疏化、注意力蒸馏和生成式解码组成Informer网络结构，可以在同样硬件限制下显著提高序列分析任务性能，为解决长序列问题提供了一种全新的解决方案。

REF

项目链接：

https://github.com/zhouhaoyi/Informer2020

论文标题：

Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting

论文链接：

https://arxiv.org/abs/2012.07436

直播结束后我们会邀请讲者在微信群中与大家答疑交流，请添加“AI TIME小助手（微信号：AITIME_HY）”，回复“aaai”，将拉您进“AAAI 会议交流群”！

AI TIME微信小助手

主         办：AI TIME 、AMiner

合作伙伴：智谱·AI、中国工程院知领直播、学堂在线、CSDN、学术头条、biendata、大数据文摘、数据派、 Ever链动、机器学习算法与自然语言处理

AMiner是学术搜索和社会网络挖掘研究的重要数据和实验平台，由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱，提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万。        

1）AMiner平台：https://www.aminer.cn

2）会议专题页面：https://www.aminer.cn/conf/aaai2021

AI TIME欢迎AI领域学者投稿，期待大家剖析学科历史发展和前沿技术。针对热门话题，我们将邀请专家一起论道。同时，我们也长期招募优质的撰稿人，顶级的平台需要顶级的你，

请将简历等信息发至yun.he@aminer.cn！

微信联系:AITIME_HY

AI TIME是清华大学计算机系一群关注人工智能发展，并有思想情怀的青年学者们创办的圈子,旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法、场景、应用的本质问题进行探索，加强思想碰撞，打造一个知识分享的聚集地。

更多资讯请扫码关注

 

我知道你在看哟