Häftling, der entlassen wurde

Der Film spielt vermutlich in England oder Frankreich und handelt von einem Straftäter, der extrem schwere Gewichte heben kann. Der Film ist schon etwas älter, spielt eher in der Vergangenheit und hat zwei oder drei Teile.
Relativ am Anfang brennt dad Gefängnis nieder und der Hauptcharakter rettet jemanden das Leben, indem er einen Balken hochhebt. Dabei zieht er sich schwere Brandverletzungen an Schulter und Rücken zu.
Nach einer Weile wird er dann entlassen und bekommt einen neuen Pass, der gelb und nicht weiß ist wie die der normalen anderen Bürger. Er fragt wieso (denkt selber an Hoffnung, Freiheit, etc.), so ein schwarzhaariger Typ antwortet recht trocken „Weil man gelb gut von weiß unterscheiden kann“ (oder ähnlich).
Im Verlauf der Geschichte wird er Bürgermeister und rettet ein Mädchen aus einer Familie, in der sie „misshandelt“ wurde. Er zieht sie als seine Tochter auf. Später kommt sie in ein Kloster oder sowas. Die Chefin von dort sagt, dass das Kind nicht hübsch werden würde (wird sie aber).
Nochmal später rettet er als Bürgermeister wieder jemanden, diesmal unter einem umgekippten Wagen. Daraufhin wird er von dem Schwarzhaarigen erkannt (ich denke zumindest, dass der es war), der den Exhäflting aus irgendeinem Grund zu hassen scheint. Daraufhin muss der Hauptcharakter fliehen, es gibt eine lange Flucht mit ner brennenden Scheune, wenn ich mich richtig erinnere.
Am Ende sieht der Schwarzhaarige dann, dass sich der Sträfling gebessert hat, seine Taten bereut und nicht mehr „böse“ ist. Die Schlussszene ist, dass der Schwarzhaarige sich Handschellen anlegt, in einen Fluss reinspaziert und sich damit ertränkt. Dann sieht man nurnoch, wie der schwarze Hut auf dem Wasser treibt.

Das ist alles, woran ich mich ziemlich sicher erinnern kann. Hoffe, jemand kann mir helfen.