VALL-E Demo

Past model demo pages: [ar+nar-len-llama-8 (ar+nar)] [ar+nar-len-llama-8 (nar-len)] [ar+nar-llama-8 (ar+nar)] | Old demo pages: [1] [2] [3] [4]

Below are some samples from my VALL-E implementation: https://git.ecker.tech/mrq/vall-e/.
Objective metrics are computed by:

WER/CER: transcribing (openai/whisper-base) then comparing the un-normalized word error rate on the phonemized transcriptions.
SIM-O: retrieving the speaker embeddings of the output audio and the input prompt, from a finetune of WavLM for speaker verification (microsoft/wavlm-large), and computing the cosine similarity between the embeddings.

Tables marked as "Validation" are speakers/samples not seen to the model.
These samples were generated using

--ar-temperature=1.0 --nar-temperature=0.0 --dtype=bfloat16 --cfg-strength=2.5 --max-steps=30

ar+nar-len-llama-8

Model (

nar-len

)

LibriSpeech (Validation)

Average WER: 0.700
Average CER: 1.375
Average SIM-O: 0.376

Text	WER↓	CER↓	SIM-O↑
Number ten, fresh nelly is waiting on you, good night husband.	0.000	0.000	0.198
Yea, his honourable worship is within, but he hath a godly minister or two with him, and likewise a leech.	3.000	5.000	0.492
Instead of shoes, the old man wore boots with turnover tops, and his blue coat had wide cuffs of gold braid.	1.000	1.000	0.434
The army found the people in poverty and left them in comparative wealth.	0.000	0.000	0.320
Thus did this humane and right minded father comfort his unhappy daughter, and her mother embracing her again, did all she could to soothe her feelings.	3.000	9.000	0.193
He was in deep converse with the clerk and entered the hall holding him by the arm.	1.000	6.000	0.400
They moved thereafter cautiously about the hut groping before and about them to find something to show that Warrenton had fulfilled his mission.	5.000	7.000	0.377
And lay me down in thy cold bed and leave my shining lot.	1.000	2.000	0.432

Text	WER↓	CER↓	SIM-O↑
If any boys have special confessors, perhaps it will be better for them not to change.	0.000	0.000	0.172
It can't be for money or balls or play and he has no honest business anywhere.	0.000	0.000	0.346
How long are we likely to be separated? Why are we to be denied each other's society?	2.000	3.000	0.328
Unless you speak more fully senora, I cannot understand you. replied her husband.	2.000	3.000	0.387
What did it avail to pray when he knew that his soul lusted after its own destruction?	0.000	0.000	0.328
You may wonder to hear me speak thus, being so young.	0.000	0.000	0.377
Here, he proceeded to swallow his prize head first.	0.000	0.000	0.621
Happily for him, he, on his part, caught sight of the hawk and dropped like lead into the point.	0.000	0.000	0.543
Put them away quick before Andela and Rosalie see them.	0.000	0.000	0.443
Humble man that he was, he will not now take a back seat.	2.000	2.000	0.504
We lay there, our blood running cold with unspeakable terror.	0.000	0.000	0.477
Irene Vergoyne, one of her family, told me in confidence that there was a romance somewhere back in the beginning.	1.000	9.000	0.206
I like trees because they seem more resigned to the way they have to live than other things do.	0.000	0.000	0.365
You are mad. She has given birth to a princess.	0.000	0.000	0.395
They sat down side by side and Dorcas held her hand.	2.000	3.000	0.038
The Latter-day Saints were long regarded as a polygamous people.	2.000	2.000	0.285
Stop it, said Buttonbright. I can't hear myself think.	2.000	2.000	0.338
But look here, at Carpaccio, even in my copy.	0.000	0.000	0.471
A sudden wave of scarlets swept over Eliza's face.	0.000	0.000	0.475
No, I am quite proud of my person, was the reply.	0.000	0.000	0.320
I telephoned again and felt something would happen, but fortunately it did not.	0.000	0.000	0.241
A veiled sunlight lit up faintly the gray sheet of water where the river was embayed.	0.000	0.000	0.539
The wind was flapping her big hat and teasing a curl of her chestnut-colored hair.	0.000	0.000	0.475
Then the curtain rises and it is apparent that we are assisting at an at-home of considerable splendor.	0.000	0.000	0.703
I want to be something, to make myself something, to do something.	0.000	0.000	0.283
No, it was not their colors. It was the poise and balance of the period itself.	0.000	0.000	0.283
Dearest, Teach me so to pour out gratitude, As thou dost good.	0.000	0.000	0.324
Burbank and his tribe represent in the vegetable world Edison in the mechanical	1.000	1.000	0.516
Very soon after dinner, Charles Smith excused himself.	0.000	0.000	0.330
Well then, I must make some suggestions to you.	0.000	0.000	0.185
It won't be much, but I'm grateful to find a friend. I'm guilty, you know, and there's no one to blame but myself.	0.000	0.000	0.359
She then rose, humming the air to which she was presently going to dance.	0.000	0.000	0.527

Emilia (EN)

Average WER: 0.594
Average CER: 2.281
Average SIM-O: 0.520

Text	WER↓	CER↓	SIM-O↑
Had a really good identity card, national identity card system.	0.000	0.000	0.375
Web on desktop has seen path breaking innovation in the last few years.	0.000	0.000	0.455
Quite prevalent here, here in Alberta and a lot of people just don't see it.	0.000	0.000	0.465
Hence, integrated pest management in cotton was a subject matter chosen for the Farm Field School	1.000	6.000	0.770
Or more importantly, some people may naturally heal over time.	0.000	0.000	0.222
Man, this is a fresh, something's happening. Something is stirring.	0.000	0.000	0.311
Depending like justice and aging and the AARP and the.	0.000	0.000	0.352
The peer to peer aspect of Bitcoin is not in the people, it's in the computers.	3.000	4.000	0.439
Very, very critical in how it actually plays a role in so many different ways. We need for you.	0.000	0.000	0.208
Tuesday, Thursday, and Saturday. Like space out the day, use if that makes sense.	0.000	0.000	0.221
Because the statute says whenever an allegation is raised, basically.	0.000	0.000	0.539
They gave us a list and I think I'm gonna go with something called direct relief.	0.000	0.000	0.228
Making resolution you need, and the composition automatically adjust to it.	0.000	0.000	0.672
State I won't read that comment. So before I start my command,	0.000	0.000	0.559
Best of all, they are a low cost, simple solution.	1.000	2.000	0.605
== Departments and programs ==	0.000	0.000	0.727
During the Renaissance, the Age of Reason, and the Enlightenment, categorizing organisms became more prevalent	0.000	0.000	0.750
We've divided the project as a whole into three work streams.	0.000	0.000	0.617
Newton's laws of motion and Newton's law of universal gravitation were formulated in the 17th century	0.000	0.000	0.801
Due to fire suppression, forests have replaced many areas of former oak woodland	0.000	0.000	0.855
To equip young people with the tools needed to lead healthy and productive lives.	0.000	0.000	0.467
Because we didn't anticipate at the time of the original consent.	0.000	0.000	0.400
Before you, uh, as you're putting your screws in, okay? And then you're, you're gonna be all good there.	1.000	3.000	0.424
Since we are going long, we set our stop loss at the green ATR moving average.	0.000	0.000	0.404
Academic journals publish collections of articles throughout the year.	0.000	0.000	0.461
London 2012-2012 Microsoft Windows, PlayStation 3, Xbox 360	4.000	27.000	0.738
Once we've calculated the number out required for our job, we can use that value to calculate the total number of sheets needed.	1.000	3.000	0.594
Satellite Pay TV is offered by the Wenanchi Group	0.000	0.000	0.723
I was just thinking, uhm, back in undergrad I learned about so many different...	1.000	5.000	0.344
A rear-facing television was mounted in the roof just behind	0.000	0.000	0.793
Uh, but this work also incorporates a significant portion on gender.	1.000	3.000	0.299
Cardinal Flavio began work on the Villa Chiga Versalia at Fermello in 1664	6.000	20.000	0.816

Emilia (DE)

Average WER: 1.094
Average CER: 4.938
Average SIM-O: 0.554

Text	WER↓	CER↓	SIM-O↑
Und das ist noch lange nicht alles. Es kommt noch viel schlimmer.	0.000	0.000	0.494
Ja mega, Ruhe. Bitte vermeiden Sie Lärm.	0.000	0.000	0.408
Und ich schlage vor, dass wir Getränke einkaufen.	0.000	0.000	0.766
Und die Reparatur hat viel Geld gekostet.	0.000	0.000	0.609
Die seinerzeit zu den Borschen des Dorfes gehört hatten, hießen nun Altbauern.	2.000	2.000	0.477
Ich habe ihn vorhin vor dem Kurs gesehen. Ich denke er wird gleich kommen. Ah, da ist er ja.	0.000	0.000	0.543
Das heißt, ich komme auch nicht wieder weg und kann holen gehen. Kann ich auf die schießen, Junge?	0.000	0.000	0.562
Aber sie zeigt mir, wie unbedeutend viele Dinge sind und dass ich mir keine Sorgen machen muss.	0.000	0.000	0.613
Machen wir weiter mit dem Präteritum.	1.000	9.000	0.512
Dort erwartete mich die Stuvades mit verwehrtem Gesicht.	2.000	6.000	0.668
Wo willst du denn grillen? Auf deinem Balkon?	0.000	0.000	0.719
Gut, dann auf Seite 94 haben wir einen.	0.000	0.000	0.500
Ach, Frau Meyer, guten Tag. Nein, ich wohne nicht hier. Wie geht es Ihnen?	1.000	1.000	0.766
Uh, wenn wir gegessen haben werden, werden wir schwimmen gehen.	1.000	1.000	0.387
Ja, das war, das war ein interessanter zu...	2.000	9.000	0.486
Gott ist für mich selber sehr vieles, aber die Wahrheit ist eins der...	0.000	0.000	0.699
Am Morgen nach der Party befindet sich Eddy in der Abstellkammer.	2.000	14.000	0.812
Die Straßenbahn. Die Straßenbahn.	2.000	18.000	0.357
Sie brauchen ihn wie die Mami. Täglich als Helfer bei den Schularbeiten.	0.000	0.000	0.492
Er kommt aus Nigeria.	1.000	10.000	0.527
Klar, aber jetzt fahren wir erst einmal in die Berge.	0.000	0.000	0.303
Es war einmal eine Kröte mit Warzen.	2.000	2.000	0.430
Damit ist das Wandern die absolute Nummer 1.	0.000	0.000	0.723
Nein, das ist von Joyce Carol Oates aus einem Essay über Boxen.	7.000	14.000	0.586
Martha spielt gut Gitarre.	1.000	4.000	0.531
Ich hab gemerkt, das hab ich letztens erst rausgekriegt, dass ich diesen Schiebebalken zwischen	10.000	65.000	0.190
Aus die, wegen der Kreuzungen und aus diversen Gründen.	0.000	0.000	0.547
Sobald es was zu berichten gibt, melden wir uns. Danke für eure anhaltende Unterstützung, eure Piranhas.	0.000	0.000	0.699
Im Moment geht ihr beide ja noch zur Schule und wohnt mit eurer Familie zusammen.	0.000	0.000	0.598
Erlassen wir dabei. Jo. Schön, Manuel. War eine nette Unterhaltung heute mit dir.	1.000	3.000	0.613
Euren WhatsApp-Verlauf interpretiert ihr sicher nicht im deutschen Unterricht, oder?	0.000	0.000	0.535
Auf ein Girokonto. Das Girokonto.	0.000	0.000	0.578

Emilia (FR)

Average WER: 1.938
Average CER: 5.938
Average SIM-O: 0.469

Text	WER↓	CER↓	SIM-O↑
Car on joue de rencontre un team avec la personne du Saint-Esprit, où le Saint-Esprit l'a instruit.	4.000	10.000	0.473
La course à pied, ce n'est pas vraiment mon sport préféré.	0.000	0.000	0.389
Notre maison de rêve est là.	0.000	0.000	0.449
Voilà. Tu, tu archives. Ensuite, tu fais un making of.	4.000	9.000	0.434
Il ne faut pas croire cependant que tous les mormons soient polygammes.	1.000	14.000	0.664
Il lui faut trente heures pour faire le tour de Mars.	0.000	0.000	0.402
Il répondit, je n'ai été envoyé qu'au brebis perdu de la maison d'Israël, hein.	3.000	9.000	0.135
Cette belle fille	0.000	0.000	0.338
Le troisième besoin, c'est le besoin de rapports sociaux avec les autres êtres humains.	0.000	0.000	0.531
Oui, j'en ai pas mal. Avez-vous du temps maintenant ?	0.000	0.000	0.617
Comme vous l'a expliqué Patrick, euh, une des volontés.	3.000	9.000	0.396
Il se levait très tôt et venait tous les matins dans sa chambre.	0.000	0.000	0.758
C'est vraiment le cœur du système qu'on va changer et c'est très compliqué.	0.000	0.000	0.301
cet engrais vert doit également me permettre, au-delà de nourrir mon sol, il doit permettre de...	3.000	6.000	0.582
Parce que voilà, euh, c'est vrai que des fois, ça peut être un peu épuisant de donner, donner, donner, mais en fait, je sais pas faire autrement.	4.000	20.000	0.133
Ça me paraît, je veux pas, j'ai pas de boule de cristal et je suis pas expert en l'occurrence devant la justice.	2.000	8.000	0.199
euh, si vous voulez une version un petit peu plus difficile, vous montez.	10.000	16.000	0.375
Voilà. Et si, toi, tu n'exerces pas la miséricorde dans la droide? Ton frère.	1.000	1.000	0.443
C'est lui qui a l'ennite ou pas? C'est malheureusement moi.	3.000	5.000	0.551
être debout être debout	2.000	11.000	0.371
Et la nuit, en sasser dehors et en parler durant des heures.	0.000	0.000	0.617
Bastien a trois yeux.	0.000	0.000	0.492
Donc, euh, qu'il y a des gens qui savent très bien trader et qui vous donnent des bons conseils. Donc.	4.000	13.000	0.480
de s'en extraire, ou en tout cas de, de questionner cette violence ou de la mettre à distance.	1.000	4.000	0.367
Il y a juste une petite mani, donc, si ça reste un fichier SPSS, vous allez voir un fichier .dat.	2.000	6.000	0.504
euh, cet argent ne servira qu'à l'achat de matériel ou aux frais de déplacement de cas échéant.	4.000	11.000	0.494
Voilà, euh, c'est un peu psychos, hein. Un spot, ok.	3.000	18.000	0.656
Mais les grandes maisons de luxe n'existent pas encore.	0.000	0.000	0.672
l'organisation générale des Antiquités, des manuscrits et des musées, apparue dans les années 1970.	2.000	1.000	0.625
Et dans ces, cette époque-là, c'était, euh, il recommandait des livres de développement personnel.	3.000	13.000	0.498
L'eau aide à l'élimination des toxines et protège le foie contre le développement des calculs billaires.	1.000	1.000	0.598
Ouais, qui base. Alors, autant, on l'a vu au tout début, hein. RDF, il n'y en a qu'un. Type.	2.000	5.000	0.465

Emilia (JA)

Average WER: 2.281
Average CER: 15.844
Average SIM-O: 0.631

Text	WER↓	CER↓	SIM-O↑
他にも動画がありますので、ぜひご覧ください。	2.000	9.000	0.535
あ、そっちか。ね、ここは、今、セルバーさんに、	2.000	11.000	0.426
今年の大切なものについて紹介したいと思います。	1.000	9.000	0.832
じゃあ決まったらこの紙に書いて持ってきます。	0.000	0.000	0.695
隣の部屋、10時までに片付けて下さい。	3.000	19.000	0.637
自動車の修理会社の人からメッセージが入っています。	26.000	133.000	0.559
おとうさん	0.000	0.000	0.758
さて、今月も皆さんから頂いたお便りを紹介しようと思います。	0.000	0.000	0.793
この魚は生では食べられないから、煮るなり焼くなりしてください。	2.000	18.000	0.664
ただ、費用がかなりかかるから、新聞ってのはね。	1.000	17.000	0.602
できている、完璧に、というふうに思っています。	0.000	0.000	0.586
そうよ、うちのうえのこは。	0.000	0.000	0.598
トコの部分に、あの、土入ってないとね、根っこ腐って枯れちゃう。	1.000	20.000	0.430
はい。えっと、最近は、えっと、人間失格。	1.000	18.000	0.400
あ、ちょっと待ってください。私は、	0.000	0.000	0.484
ミニバンだからと言って、もうセッタカな車だからと言って、	1.000	11.000	0.633
すみません。赤いボールペンありませんか?	0.000	0.000	0.848
で、これ、なんで赤くするのかっていうのはですね、え、赤色っていうのは目の刺激が少ないんですよ。	2.000	46.000	0.562
全く頼りにならない国のままだという印象を与えてしまうのではないでしょうか。	0.000	0.000	0.621
会社によっては、間の平日も休みにしたり、	0.000	0.000	0.750
私の国のカレーです。あまり辛くないですよ。	0.000	0.000	0.629
ついに新しいクロップトップを切ることができます。	0.000	0.000	0.730
俺も職員の一人として一緒にくっついていくんだ。	0.000	0.000	0.742
問題が難しすぎるんじゃないですか?	0.000	0.000	0.516
ね、あの基本的にその自動調理器は一回スイッチ入れたら途中で、	3.000	21.000	0.229
ヘアピンク感というか少しこうタイトなコーナーなんですけれども、すごく車が	1.000	25.000	0.582
彼は一目で彼女を大好きになってしまった。	0.000	0.000	0.797
諸外国に比べて日本は食料品が高いと言われている	2.000	35.000	0.836
手元に届くまで2日しかかからなかったし送料も無料でしたし	3.000	14.000	0.672
お父さん、洋服はもうあまり着ないから。	0.000	0.000	0.820
大事なのは毒を盛る方法が他にあったかどうか。	1.000	1.000	0.641
手触りの良いコットンのトートバッグが入ってまして、	21.000	100.000	0.586

Emilia (KO)

Average WER: 1.188
Average CER: 4.375
Average SIM-O: 0.519

Text	WER↓	CER↓	SIM-O↑
부해의 법도 그 힘이 미치지 못합니다.	3.000	9.000	0.574
이 기념 아시겠어요? 그래서 콜렉터와 어그리게이터는 굉장히 다른 겁니다.	1.000	2.000	0.383
일본 활동 중 가장 추억에 남는 일은?	0.000	0.000	0.578
도토리목 부추전, 도토리목 탕수육. 도토리목 빼렸는데 더 늘었네.	1.000	1.000	0.375
11과 사과 5개 주세요.	4.000	12.000	0.439
저리 가, 못생긴 늑대야! 내 집에는 절대 들어올 수 없을 거야!	2.000	3.000	0.471
시골지는 음식을 먹을 생각에 매우 신이 났죠.	0.000	0.000	0.523
뭐든 많이 하면 좋잖아요.	1.000	2.000	0.586
그러다 보니까 아날로그틱한 액션신들을 좀 많이 넣어서 이제	3.000	15.000	0.605
그리고 보증금은 적으면 적을수록 좋습니다.	0.000	0.000	0.848
두 번째 세트는 어떻게 진행될 것인지 잠시 후 양 팀의 2세트로 돌아오겠습니다.	2.000	2.000	0.305
남녀노소 누구나 좋아하는 영양식으로 인기를 끌고 있습니다.	1.000	2.000	0.617
우리 아기를 구한되다가 아직도 이렇게 훌륭하다는 걸 증명하는구나.	1.000	2.000	0.598
아, 그래요? 회사에서 일본어가 필요해요?	0.000	0.000	0.539
내일 비가 오지 않는다면 피크닉을 가질 거예요.	0.000	0.000	0.559
상상할 수 없는 나쁜 놈이잖아요. 정말 인류 역사 속에 이렇게 나쁜 놈이 있을 수가 있겠어요?	0.000	0.000	0.361
주말에 친구들과 같이 놀이공원에 가려고 해요.	0.000	0.000	0.750
네, 이상 강연을 마치도록 하겠습니다. 셰프 김소봉이었습니다. 감사합니다.	0.000	0.000	0.586
영진씨, 그래서 고속도로를 비롯한 모든 도로 및 철도가	2.000	6.000	0.602
어, 뭐라고, 뭐라고.	1.000	9.000	0.322
오늘도 그 말씀과 동행하다가 주님 만나시기를 바랍니다.	2.000	4.000	0.582
아, 이쪽은 이제 저거를 해와야 되는 거구나. 뭐지, 어떻게 하지?	1.000	1.000	0.398
물을 많이 마시고 훅 쉬세요.	1.000	1.000	0.344
지금 제가 일식 요리를 하게 된 바로 그 원동력입니다.	0.000	0.000	0.457
화면으로 보이는 것와 같이 대면 교육을 진행합니다.	2.000	3.000	0.336
읽으려고, 아, 읽으려고 도서관에 갔어요.	2.000	4.000	0.496
아, 제목 어렵다. 뭐라고 하지? 숨 막히는 순간? 댓글에 그럴 것 같은데, 진짜 숨 막히는 영상이네요.	2.000	12.000	0.609
음, 약간 냉팔보채 느낌?	2.000	8.000	0.535
적어서 아직 말을 잘 못해요.	0.000	0.000	0.512
여행가는 가까이 다가가서 더 자세히 관찰했어요.	0.000	0.000	0.648
63빌딩이라고 들어봤어요.	1.000	1.000	0.389
記者, 린다이, 메고 있어요.	3.000	41.000	0.668

Emilia (ZH)

Average WER: 1.875
Average CER: 5.312
Average SIM-O: 0.519

Sampled Dataset
Text	WER↓	CER↓	SIM-O↑
嗯,还行,天霸混进去一个,嗯,灵树好像混进去。	5.000	14.000	0.750
工作人员以为他在开玩笑,便也故作一本正经的说。	0.000	0.000	0.750
这张啊名字叫难以忘怀的老师。	3.000	6.000	0.443
吃羊脸儿去把咱们饭店最好的羊脸拿上来。	0.000	0.000	0.412
咱们冒兴为这个密点，死的人还少吗？	1.000	1.000	0.389
好再来community刚才说community的交流，那们在同一个社区的全体居民或叫社区。	3.000	9.000	0.660
快递个we搞撒拉好，然后老我再放，你抢给我个time.	4.000	7.000	0.381
刚才打开的那个保险库的门啊,然后这边可以看一下一些日志。	2.000	7.000	0.486
哦，那么快，这个家伙给我发了四十个。	5.000	13.000	0.707
常哥没关系，就算了吧，你就帮乐言打个架。	0.000	0.000	0.566
这是什么呢?是一场已经发生了改变的年代。	0.000	0.000	0.574
这个里面是周楠和一个叫东东的女孩的照片。	0.000	0.000	0.617
送你八字真年得之我幸失之我命。	1.000	1.000	0.373
我跟他说，让他假装你女朋友。	0.000	0.000	0.473
在导读当中我提到,它是我们十一章当中最重要的一个章节。	3.000	6.000	0.660
好好好,行,行,行,那上去吧,走吧。	1.000	6.000	0.365
Chinese translation service?你需要帮助吗?	6.000	34.000	0.453
董董事长最近常跟一个舞舞女接触。	6.000	11.000	0.379
在下深夜前来，想必大人知道所谓何事。	1.000	1.000	0.707
所以大家一定把七个声调念准确。	1.000	1.000	0.445
It's not magic maomo. It's physics. Come with me. I'll show you.	3.000	9.000	0.668
不是,我说实话,宣老师,哎,你这个科法,你后面的词,别慌。	1.000	1.000	0.426
流程图作业图，生产过程图解。	1.000	7.000	0.660
就更不能让佳阳为了逃避去选择文晓华。	3.000	5.000	0.371
今天中午食堂有什么好吃的吗？	0.000	0.000	0.520
由于后面足语比较长,所以句子构成了道庄。	0.000	0.000	0.613
送入两瓶好酒，我没收啊。	2.000	2.000	0.426
哎，言归正传啊，我今天来聊聊我的大学生活哦，我当时是在美国上的。	5.000	26.000	0.479
为了不让你再犯错呢，今天又是星期天，我放你一天，你让我清清静。	0.000	0.000	0.465
经过一些处理,经过一些加工,就是	0.000	0.000	0.523
这是白水禅院的法源送来的，想请大人通融放了他。	3.000	3.000	0.551
给少瑜送出的信发出几天了，已经四天了，可是什么消息都没有。	0.000	0.000	0.316