实验室春游之旅！在这个温暖的季节，我们一同来到了呼和浩特大青山。和煦的阳光洒在大地上，我们放飞自由的风筝，让它们在蓝天白云间舞动。欢声笑语中，我们一同坐下来，摆出棋牌，展开激烈而有趣的对决，智慧与竞技在棋盘上交织。

而临近黄昏，诱人的烤肉香气飘散开来，我们一起烤制美味的烧烤，品尝烤肉的香嫩口感，享受着友谊与美食的双重滋味。大家围坐在篝火旁，品味美食的同时，我们畅所欲言，讨论着实验室的未来，分享着彼此的思考和见解。

这次春游，不仅是一段欢乐的时光，更是我们实验室成员之间紧密联系的机会。通过放风筝、打棋牌、吃烧烤，我们不仅欢乐共度，更激发了智慧和创造力的火花。相信这次活动将为我们带来更多的灵感和团结，让我们在未来的科研道路上一同前行，创造更加辉煌的成就！

让我们怀着美好回忆，满怀期待地迎接下一个实验室的精彩活动吧！

ICASSP 2023 国际会议于 2023 年 6 月 4 日至 10 日在希腊罗德岛举行。这是 第 48 届 IEEE 声学、语音和信号处理国际会议的。会议将在罗多斯宫豪华会议度假村举行，刘瑞研究员与23级博士生左昊麟参会并汇报了工作。

今年的 ICASSP 主题是“人工智能时代的信号处理”，旨在推动信号处理与机器学习之间的创造性协同。会议的参与人数破纪录地增长，其中现场参会人数超过 3700 人，这反映了信号处理在现代学术界和工业界的核心作用。

在本次 ICASSP 中，左昊麟汇报了工作：《Exploiting Modality-invariant Feature For Robust Multimodal Eemotion Recognition With Missing Modalities》。

Abstract: Multimodal emotion recognition leverages complementary information across modalities to gain performance. However, we cannot guarantee that the data of all modalities are always present in practice. In the studies to predict the missing data across modalities, the inherent difference between heterogeneous modalities, namely the modality gap, presents a challenge. To address this, we propose to use invariant features for a missing modality imagination network (IF-MMIN) which includes two novel mechanisms: 1) an invariant feature learning strategy that is based on the central moment discrepancy (CMD) distance under the full-modality scenario; 2) an invariant feature based imagination module (IF-IM) to alleviate the modality gap during the missing modalities prediction, thus improving the robustness of multimodal joint representation. Comprehensive experiments on the benchmark dataset IEMOCAP demonstrate that the proposed model outperforms all baselines and invariantly improves the overall emotion recognition performance under uncertain missing-modality conditions.

参会人员合照：

InterSpeech 2023 是世界上最大、最全面的语音处理科学技术会议，于 2023年 8 月 20 日至 24 日在爱尔兰都柏林会议中心举行。这次会议为语音处理领域的专家学者提供了一个重要的交流平台。

在会议上，刘瑞研究员汇报工作：《Explicit Intensity Control for Accented Text-to-speech》。

Abstract: Accented text-to-speech (TTS) synthesis seeks to generate speech with an accent (L2) as a variant of the standard version (L1). How to control the intensity of accent is a very interesting research direction. Recent works design a speaker-adversarial loss to disentangle the speaker and accent information, and then adjust the loss weight to control the accent intensity. However,there is no direct correlation between the disentanglement factor and natural accent intensity. To this end, this paper proposes a new intuitive and explicit accent intensity control scheme for accented TTS. Specifically, we first extract the posterior probability from the L1 speech recognition model to quantify the phoneme accent intensity for accented speech, then design a FastSpeech2 based TTS model, named Ai-TTS, to take the accent intensity expression into account during speech generation. Experiments show that our method outperformsthe baseline model in terms of accent rendering and intensity control.

22级硕士生张锦华汇报工作：《Betray Oneself: A Novel Audio DeepFake Detection Model via Mono-to-Stereo Conversion》。

Abstract: Audio Deepfake Detection (ADD) aims to detect the fake audio generated by text-to-speech (TTS), voice conversion (VC) and replay, etc., which is an emerging topic. Traditionally we take the mono signal as input and focus on robust feature extraction and effective classifier design. However, the dual-channel stereo information in the audio signal also includes important cues for deepfake, which has not been studied in the prior work. In this paper, we propose a novel ADD model, termed as M2S-ADD, that attempts to discover audio authenticity cues during the mono-to-stereo conversion process. We first projects the mono to a stereo signal using a pretrained stereo synthesizer, then employs a dual-branch neural architecture to process the left and right channel signals, respectively. In this way, we effectively reveal the artifacts in the fake audio, thus improve the ADD performance. The experiments on the ASVspoof2019 database show that M2S-ADD outperforms all baselines that input mono. We release the source code at https://github.com/AI-S2-Lab/M2S-ADD.

在 InterSpeech 2023，白天充满了高质量的研究和充满活力的讨论，夜晚则充满了文化、创造力和乐趣。S2LAB团队成员与来自世界各地的学者建立联系的机会是无与伦比的。这次会议的成功归功于所有参与者的努力和热情，他们共同营造了一个包容性、多样性代表并重的交流环境。 InterSpeech 2023 为语音处理领域的进步和创新注入了新的活力和动力，我们期待着在未来的会议中与各方学者再次相会InterSpeech。

2023年第十八届全国人机语音通讯学术会议（National Conference on Man-Machine Speech Communication，NCMMSC2023）于2023年12月8至10日在江苏苏州CCF业务总部&学术交流中心圆满举行！该系列会议自1990年开创以来已成功召开了十七届，是国内语音领域广大专家、学者和科研工作者交流最新研究成果，促进该领域研究和开发工作不断进步的重要舞台！

大会邀请上海交通大学副校长朱新远、清华大学马少平教授、北京工业大学鲍长春教授等多位领导做开幕式致辞，上海交通大学俞凯教授对大会举办情况进行介绍。大会同时邀请清华大学唐杰教授、香港中文大学Helen Meng教授、香港中文大学（深圳）李海洲教授带来了各自领域的精彩专题报告。本次大会通过大会报告、口头报告、墙报和演示的方式为参会者提供语音语言领域最新理论和实际工程技术的交流平台，同时举办了多模态识别竞赛、ASRU交流会、优秀学生论坛、工业论坛、专题技术沙龙等多场活动。本次会议共包含口头报告53个，墙报112篇，工业论坛7场、优秀学生论坛24场。大会充分展现了NCMMSC会议所秉承的学术交流互鉴理念，不断推动和支持国内语音领域青年学者的成长和交流。

会议期间，与会专家学者围绕人机语音通讯技术的发展趋势、关键技术、应用场景等方面展开了深入的交流与讨论。多位知名专家分别就语音识别、语音合成、情感计算、多模态交互等热点问题发表了主题报告，展示了人机语音通讯技术的最新进展！本次会议多元化的内容全面展示了会议所倡导的学术交流互鉴理念，并积极促进和支持国内语音领域年轻学者的成长和交流！

张锦华同学在大会汇报论文《基于深度学习的蒙古语合成语音检测研究》

论文摘要：合成语音检测是用于识别和鉴别计算机生成的合成语音与真实人类语音之间的差异，以侦测可能的虚假信息或欺骗。这种技术通常用于声纹识别和反欺诈应用中，以提高安全性和身份验证的可靠性。近年来，针对英语、汉语等主流语言的合成语音检测工作发展迅速，但是针对蒙古语等小语种的合成语音检测工作还处于空白阶段。鉴于蒙古语语音合成近几年的发展成果，为了填补这一空白，我们基于实验室强大的蒙古语语音合成模型构建了蒙古语合成语音检测数据集，并在该数据集上对主流的合成语音检测框架进行试验比较，同时我们在https://github. com/ssmlkl/NCMMSC2023开源了相关数据集和基线模型。本文是首次对蒙古语合成语音检测展开深入研究，旨在推动蒙古语的合成语音检测领域的发展，为小语种合成语音检测的研究做出一定贡献。

刘瑞老师作为大会工业联络主席，主持了9号下午的工业论坛会议。会议上，熊世富（科大讯飞）对于大模型语音应用如何落地进行了深入浅出的讲解、郝玉峰 (海天瑞声)对大模型时代的语音技术发展里程进行了深刻剖析、周彤 (标贝科技)介绍了基于数据大模型的数据标注平台。

本次全国人机语音通讯学术会议的成功举办，为人机语音通讯技术的发展搭建了一个良好的交流平台，有力地推动了相关领域的技术创新和产业发展。未来，随着人工智能技术的不断进步，人机语音通讯技术将在更多领域发挥重要作用，为人们的生活带来更多便捷和惊喜！大会期间，实验室团队还与参会的专家学者进行了多方位的学术交流，收获颇丰。下一届NCMMSC将在新疆大学举办，期待与同行的再次相会。

2023年7月3日，S2Lab实验室在内蒙古大学计算机学院成功举办了语音语言技术分享会，汇集了国内外顶尖技术专家。邀请了新加坡Tiktok语音算法研究员(任意)与中国科学院自动化研究所多模态人工智能系统全国重点实验室助理研究员(连政)，探讨了生成式模型在语音合成和虚拟人生成中的前沿应用，以及多模态情感识别技术的未来方向。本次活动为学术交流和合作提供了宝贵机会，会议详情如下：

内蒙古大学，呼和浩特 — 2023年9月22日，内蒙古大学计算机学院迎来了一场技术盛宴，第二期语音语言技术分享会成功举办。本次分享会邀请了来自微软的资深科学家王培栋，主持人为内蒙古大学计算机学院的博士生导师刘瑞。分享会聚焦于语音识别和翻译领域的最新研究成果，特别介绍了王培栋博士的最新作品："LAMASSU: A Streaming Language-Agnostic Multilingual Speech Recognition and Translation Model Using Neural Transducers"。分享会的成功举办不仅为在场的学生和研究人员提供了深入的学术交流平台，还加深了对语音语言技术领域的理解和认识。参与者们纷纷表示，他们对LAMASSU的研究成果充满期待，期待它能在未来的语音技术应用中发挥重要作用。这次分享会的举办标志着S2Lab实验室与内蒙古大学计算机学院在语音语言技术领域的积极发展和创新，为学术界和产业界的合作提供了新的机会。未来，我们可以期待更多的技术突破和学术盛事的发生。会议详情如下：

内蒙古大学计算机学院于今日成功举办了一场引人瞩目的研讨会，探讨了语音合成技术的最新进展和前沿技术。这次研讨会旨在将语音合成的领域外数据应用到音色复刻中，引发了与会者的广泛兴趣。 在报告中，浙江大学计算机系博士研究生江子越（师从赵洲教授）深入探讨了语音合成模型在少量领域外数据情况下的音色复刻技术。报告详细介绍了诸如parameter-efficient tuning、speaker encoding等技术，并探讨了它们的原理、优势和局限性。此外，还深入研究了zero-shot音色复刻领域中最先进的算法，如VALL-E、Make-a-voice、MegaTTS、UniAudio等模型，强调了它们对音色复刻的影响和挑战。未来研究方向和语音合成技术的发展也成为了讨论的热点，同时探讨了如何规范语音大模型的使用。 研讨会的亮点之一是来自浙江大学计算机系博士研究生的报告人，他们将zero-shot音色复刻技术的应用演示在字节跳动中，为这一技术的实际应用提供了有力支持。 内蒙古大学计算机学院的这次研讨会汇聚了国内外语音合成领域的专家和研究人员，为语音合成技术的未来发展提供了宝贵的交流和合作机会。这一领域的不断创新和探索将进一步推动语音合成技术向更高水平发展，为各行各业提供更多创新的应用和可能性。