纯音乐太烂

[zwukong]

本来试了人声还可以，但是无论怎么都没法在demo里面测试出纯音乐，无论怎么填都报错。下载下来改了一堆源码好不容易成功在Python3.12上跑了，结果超级烂。

说明里面没有纯音乐的范例我就知道有猫腻，果然不出所料。

这个项目本身有好的方面，但缺点也很明显，比suno4.5属实有点夸张了，不是一个level的。

[lg-lg]

不好意思，造成了一些误会。这篇文章的初衷是带人声的音乐生成（Song Generation），从论文到Demo以及Github上列出的实验结果都是人声音乐的。整个模型训练过程中都没有纯音乐的数据，目前模型能生成纯音乐也属于是意外之喜，但性能确实不能保证稳定，因为我们所有的训练目标都是更好的人声音乐生成。如果你有纯音乐数据，可以尝试自己进行训练，如何生成更好的纯音乐暂时不在本研究的讨论范畴，可以关注我们后续的工作。
作为一个开源项目，我们的目标也仅是提供技术上的探讨，从技术层面为开源社区和音乐生成领域的发展贡献自己的力量。由于数据量、标注质量和人力投入等因素和商业模型差距较大，因此目前效果还有待改进。不过我们在同样的数据量上，通过结构设计和强化学习策略显著提升了模型的效果，人声音乐生成的效果达到了开源模型的前列，我们欢迎您来体验一下人声音乐的生成。

[lg-lg]

另外，我在demo中测试了一下，当不改变输入歌词的情况下，直接选择Generate Pure Music按钮是可以直接生成纯音乐的。生成的音乐见
https://ivrgex529l2.feishu.cn/wiki/T8OywPv6nik0R3kyxySc3zE7nif?from=from_copylink
我感觉报错的主要原因可能是网络问题，或者您输入了过多的text description，您可以提供关于报错的更多信息吗？

[zwukong]

你发的这个纯音乐倒是不错，不过我按照你说的试了，但生成的纯音乐带有人声，歌词都能听出来。

另外我仔细看才发现，描述词不能用中文，本来歌词里面是中文的以为肯定支持中文，这点倒是没想到。我用的都是之前在suno里面跑的词，suno效果非常好，几乎完美。

报错的是语法，看了你们的源码发现demo里面的格式与本地跑的不一样。demo里面还必须要换行，加了一堆校验，问题都出在校验逻辑上面。

for para in paragraphs:
--
lines = para.splitlines()
struct_tag = lines[0].strip().lower()
if struct_tag not in STRUCTS:
return None, json.dumps(f"Segments should start with a structure tag in {STRUCTS}")
if struct_tag in vocal_structs:
vocal_flag = True
if len(lines) < 2 or not [line.strip() for line in lines[1:] if line.strip()]:
return None, json.dumps("The following segments require lyrics: [verse], [chorus], [bridge]")
else:
new_para_list = []
for line in lines[1:]:
new_para_list.append(re.sub(r"[^\w\s\[\]\-\u4e00-\u9fff\u3040-\u309f\u30a0-\u30ff\uac00-\ud7af\u00c0-\u017f]", "", line))
new_para_str = f"{struct_tag} {'.'.join(new_para_list)}"
else:
if len(lines) > 1:
return None, json.dumps("The following segments should not contain lyrics: [intro], [intro-short], [intro-medium], [inst], [inst-short], [inst-medium], [outro], [outro-short], [outro-medium]")
else:
new_para_str = struct_tag
paragraphs_norm.append(new_para_str)

[zwukong]

刚才看到一个人发了suno5的教程，非常强大，你们加油吧，希望开源音乐能跟上， https://mp.weixin.qq.com/s/_bTK1mARfkQCTb3ekKGN_A

[opencvbaby]

开源项目已经很好了~ 还是非常感谢作者