Oh Caroline ザ・ナインティーンセヴンティファイヴ (The 1975)

勿論それはメタファーであって，主人公は相手（キャロライン）に「ちゃんと韻踏んでピッタリ嵌る名前（はキャロラインだけ）」と言うことで彼女が運命の相手だと伝えようとしているのでしょう。
I know it's a metaphor and the narrator is trying to tell the second person (Caroline) that she's the only one for them by telling her it's "the only one (=name) that rhymes". 
Oh Caroline  (The 1975)

[Verse 1]
I've been suicidal
You've been gone for weeks
If I'm undecided, will you decide for me?
Baby, I'll do anythin' that you wanna
I'll try anythin' that you wanna
I'll try
'Cause you're on my mind

[Chorus]
Oh-oh, Caroline
I wanna get it right this time
'Cause you're always on my mind
Oh-oh, Caroline (Oh-oh)

[Verse 2]
Getting suicidal?
It's honestly not for me
I'm gettin' on my nerves by gettin' on my knees
Getting cucked, I don't need it
The place I want to be
Is somewhere in your heart
Somewhere guaranteed

[Pre-Chorus]
'Cause baby, I'll do anything that you wanna
I'll try anything that you wanna
I'll find myself in the moonlight
'Cause baby, I want everything that you wanna
And I've triеd to just be me like a thousand timеs
But you're on my mind

[Chorus]
Oh-oh, Caroline
I wanna get it right this time
'Cause you're always on my mind (You're always on my mind)
Oh-oh, Caroline (Oh-oh)

[Bridge]
Oh, I've tried to find
Another name a thousand times
But the only one that rhymes (Always on my mind)
Is, "Oh, Caroline!" (Oh)
Just give me one more chance tonight
'Cause I don't want to waste my life without you, baby
No, I don't want to waste my life without you, baby

[Pre-Chorus]
Oh-oh, Caroline
Get it right this time
Always on my mind
I wanna get it right
But you're on my mind

[Chorus]
Oh-oh, Caroline
I wanna get it right this time
'Cause you're always on my mind (You're always on my mind)
Oh-oh, Caroline (Oh-oh)

[Verse 1]
ずっと死にたい気分だったよ
何週間も前にお前がここからいなくなってから
俺が決心つかなかったら，お前が代わりに決めてくれ
ベイビイお前の望むことならなんだってやってやるから
どんなことでもやってみる
頑張るよ
いつだってお前のことを想ってるから

[Chorus]
ああキャロライン
今度こそヘマなんかしたくない
いつだってお前のことが気にかかる

[Verse 2]
死にたい気分？本気かよ？
ぶっちゃけそういうキャラじゃないから
必死になって頼んでるとか，そういう自分にイライラするし*
自分の女を寝取られるとか**そんなのもゴメンだね
目指す場所はただひとつ
お前の心の中にある
俺だけの特別な場所

[Pre-Chorus]
だってベイビイ望むことならなんだってやってやるから
どんなことでもやってみる
月の光も浴びてやる
だってお前の望むことならなんだって手に入れたいし
もう数えきれないくらい飾らない自分でいようと頑張ったけど
それでもお前が気にかかる

[Chorus]
ああキャロライン
今度こそヘマなんかしたくない
いつだってお前のことが気にかかる（忘れたことは一度もないよ）

[Bridge]
俺だって頑張って
数えきれなくなるくらい色んな名前を当たったよ
だけどちゃんと韻踏んでピッタリ嵌る名前となると（いつだって気にかかる）
「ああキャロライン」それだけだった
今夜もう一度だけ俺にチャンスをくれないか？
だってお前がいないまま虚しく人生送りたくない
イヤだよ，俺の人生がお前がいなきゃ無駄になるだろ？

[Pre-Chorus]
ああキャロライン
今度こそヘマなんかしたくない
いつだってお前のことが気にかかる
今度こそヘマなんかしたくないけど
お前のことが気にかかる

[Chorus]
ああキャロライン
今度こそヘマなんかしたくない
いつだってお前のことが気にかかる（いつだって気にかかる）
ああキャロライン

（補足）
* get on someone's nerve　・・・　（人）の神経に障る（逆なでする），（人）をイライラさせる
** get cucked (=get cuckolded)　・・・　妻に浮気される，妻を寝取られる

（余談）

ただ韻を踏むという意味で言えば「ああフランケンシュタイン（Oh Frankenstein）」でもいいような気がするのですが・・・。