深度学习是通往人工智能的核心技术,应用范围广、国家高度重视,深度学习人才更是受到各大互联网公司的青睐,掌握深度学习技术有利于未来的职业竞争。
国务院发布的《新一代人工智能发展规划》是国家层面人工智能发展的中长期规划,对新一代人工智能发展的总体思路、主要任务和保障措施进行了系统部署。而深度学习是人工智能的一个重要分支,是目前学术界和工业界研究的热点。
为加强深度学习的创新发展和技术应用,打造深度学习专业技术人才队伍,雷课将特别邀请在深度学习学术和研发领域一线专家,举办《人工智能之深度学习最新技术》高级培训班.
课程目标:
本课程系统讲解深度学习基础,从计算机视觉和自然语言处理两个应用方向讲解主要模型以及ChatGPT、Stable Diffusion等最前沿的技术。通过理论与实践结合的方式使得学员掌握深度学习技术的基本原理,能够上手编写自己的深度学习模型。
掌握深度学习基础、卷积神经网络、循环神经网络、Transformer结构、注意力机制、大规模预训练语言模型(BERT、GPT)、生成对抗网络等基本原理、使用方法、应用过程和应用场景,并且能够了解元学习、知识蒸馏、大模型的前沿发展,为解决实际问题打下良好的基础。
从计算机视觉和自然语言处理两个重要的应用方向入手,由浅入深的讲解基本原理和动手实践,从基础到前沿,了解深度学习技术发展历程,掌握核心原理,形成动手能力。
适合人群:
1 各高等院校人工智能,数据科学相关学科、计算机、网络通信、自动化、电子工程、数理统计、电子商务、物联网工程、物流管理、信息与计算科学专业等科研、教学带头人,骨干教师、博士生、硕士生;
2 从事人工智能,计算机、数据科学、互联网等相关领域的科研院所的项目负责人、科研人员、工程技术人员;
2 各地方政府信息中心负责人、技术骨干;
2 人工智能,数据科学,互联网产业投资团队,应用开发商,服务提供商等;
2 有志于数据分析,机器学习研究和应用的从业者;
时间 | 主题 | 大纲 |
---|---|---|
第一天 | 深度学习基础 | 理论课:深度学习基础 (1)深度学习的应用 (2)特征表示、特征抽取 (3)多层神经网络 (4)反向传播算法 (5)调参常用技巧 实践课:Python基础、PyTorch入门 (1)Python基础知识 (2)jupyter notebook开发工具的使用 (3)PyTorch和Numpy库的使用 (4)常见数据类型、流程控制、模块函数的概念 (5)NLTK、Sklearn、Scipy库的使用 |
第二天 | 计算机视觉入门—卷积神经网络 | 理论课:计算机视觉入门—卷积神经网络 (1)卷积神经网络的基本 (2)卷积层:一维卷积、二维卷积 (3)池化层:最大池化、平均池化 (4)卷积神经网络的应用 实践课:猫狗大战项目(图片分类) Dogs vs. Cats——猫狗大战:要解决的问题实际是一个计算机视觉领域的图像分类问题。猫狗大战项目要求对一个混合了猫和狗的图片数据集进行二分类,项目提供了用于训练、测试的两部分数据,要求使用算法程序在训练集上对已分类的猫和狗的图片进行建模,然后利用建立的模型对测试集上多张未标记猫和狗的图片进行推断。 |
第三天 | 计算机视觉进阶—视觉大模型及多模态理解 | 理论课:计算机视觉进阶-视觉大模型 (1)ImageNet挑战赛介绍 (2)深层卷积神经网络—AlexNet、VGGNet、ResNet架构 (3)视觉大模型CLIP (4)多模态大模型基本原理 (5)视觉问答基本原理 实践课:CIFAR-10图像分类 CIFAR-10是一个更接近普适物体的彩色图像数据集。一共包含10 个类别的RGB 彩色图片:飞机( airplane )、汽车( automobile )、鸟类( bird )、猫( cat )、鹿( deer )、狗( dog )、蛙类( frog )、马( horse )、船( ship )和卡车( truck )。每个图片的尺寸为32 × 32 ,每个类别有6000个图像,数据集中一共有50000 张训练图片和10000 张测试图片。本实践利用深层卷积神经网络对图像数据进行分类。 |
第四天 | 自然语言处理入门—词向量和循环神经网络 | 理论课:自然语言处理入门-词向量和循环神经网络 (1)统计语言模型 (2)神经概率语言模型 (3)Skip-gram模型、CBOW模型 (4)循环神经网络 (5)长短期记忆网络(LSTM和GRU模型) (6)Seq2Seq模型的原理及应用 实践课:情感分析(Sentiment Analysis)项目 情感分析,也称为情感分类,是对带有情感色彩的主观性文本进行推理的过程。该项目使用TorchText编程框架和LSTM模型,在IMDB数据集上训练一个能够识别文本positive, negative情感的分类器。 |
第五天 | ChatGPT基本原理 | 理论课:预训练语言模型 (1)Transformer原理 (2)预训练语言模型 (3)BERT的模型结构 (4)GPT模型基本原理 (5)ChatGPT基本原理 实践课:基于BERT的情感分析项目 基于Transformer框架,使用BERT进行文本情感分析。实践课中将在IMDB数据上实现一个能够识别文本积极与消极情感的分类器。目前,基于预训练的各种模型已经成为多个NLP任务的最优模型。 |
第六天 | 深度学习进阶—AIGC 人工智能生成内容 | 理论课:深度学习进阶—生成对抗模型GAN与Stable Diffusion (1)GAN生成对抗网络概述 (2)GAN生成对抗网络的基本原理 (3)GAN生成对抗网络的改进 (4)Stable Diffusion基本原理 (5)Stable Diffusion前沿 实践课:基于GAN的图像生成项目 在给定一系列真实的名人照片后,根据这些照片的风格,生成新的相似照片。本项目将利用PyTorch对DCGAN模型进行实现,并基于名人照片进行新的名人照片生成。 |
第七天 | 深度学习前沿—深度学习前沿技术 | 理论课:深度学习前沿—深度学习前沿技术 (1)机器阅读理解 Machine Reading Comprehension (2)知识蒸馏 Knowledge Distillation (3)深度模型的对抗攻击和防御 (4)大规模语言模型应用 实践课:知识蒸馏项目 知识蒸馏是一种模型压缩方法,让规模庞大、性能优异的模型扮演教师的角色,让规模较小的模型扮演学生的角色,通过对教师模型进行知识蒸馏,让学生模型尽可能达到与教师模型相似的性能。 |
毕业于中国科学院计算技术研究所,主要研究方向包括自然语言处理、机器学习等。近几年,在WWW、AAAI、TASLP、EMNLP、WSDM、ECAI、ICMR等人工智能领域著名会议和期刊上发表论文五十余篇,以第一作者身份出版了一部学术专著(2019.12,清华大学出版社),曾获F5000优秀论文奖,2018、2019连续两年获得全国军事智能-机器阅读挑战赛冠军。作为负责人,曾获得国家自然科学基金青年项目、面上项目和国家重点研发计划等多个项目资助。 |
主要研究领域是自然语言处理,研究方向是文本语义理解和文本生成。 近年来,在AAAI、IJCAI、ACL、EMNLP、ECAI等国际学术会议上发表学术论文10余篇,主持和参与国家自然科学基金、国家重点研发计划、国家部委重大工程等多个项目。曾获2018年和2019年全国军事智能-机器阅读挑战赛冠军。 |
||||
---|---|---|---|---|---|
研究方向为深度学习、文本对抗。近期在DASFAA、ISPA、《网络空间安全》等国际会议与国内期刊发表学术论文3篇,参与过多个深度学习相关项目建设 |