Ich glaube nicht das man mit dem VLC bei BlueRays weit kommt.
Aufgrund des Kopierschutzes, welcher auf den meisten kommerziellen BlueRays zum Einsatz kommt, wird man wohl oder übel nach einem anderen Player dafür suchen müssen.
Siehe auch hier:
F05 - BluRay-Disk nicht abspielbar - Informationen und Hinweise - VLC Player Forum
Ich habe selbst schon mal das Problem gehabt. Ein PowerDVD 9 spielte dabei eine aktuelle BlueRay nicht mehr ab. Im Netz fand ich dann den Hinweis, dass dessen Support für BlueRay Codecs Mitte 2011 ausgelaufen sei - und deshalb werden neuere Kopier-Schutz-Mechanismen nicht mehr unterstützt. Da hilft wohl nur die Neueste Version kaufen - oder wie ich auf einen Hardware BlueRay Player auszuweichen.
Ich habe noch den in Nero12 integrierten Player versucht - aber das Wahre ist der auch leider nicht.