DeWave的核心技术思路是,将连续的脑电波信号转化为离散的编码,然后输入预训练的大语言模型进行文本翻译。
2)编码器和码本训练,固定好波形编码器后,训练Transformer编码器与离散码本,获得稳定可分离的脑电波表示。
3)端到端微调,解冻大语言模型允许端到端训练。在编码器引导下微调BART模型,实现EEG到文本的生成。需要注意的是,对词级特征输入并不需要第一阶段的预训练,可以直接从第二阶段开始。
图源:新抖
通过利用海量文本数据和复杂的深度学习技术,ChatGPT 可以造句、回答问题、创建摘要,甚至与用户进行对话。它的多功能性和类人理解能力使其成为各种应用中的宝贵工具,从创意写作和教育到业务自动化和客户服务。