Albert Schwarz kam am 28. August 1895 als erstes von 4 Kindern des Kaufmanns Mathias Schwarz und seiner Ehefrau Babette, geborene Müller Komma in Ulm zur Welt. Sein Vater war Teilhaber einer kleinen, fette herstellenden Firma. Albrecht lebte bis zu seinem 34. Lebensjahr bei seinen Eltern. Möglicherweise arbeitete er in der Firma „Fett-Fabrik Schraf und Schwarz“ zusammen mit seinem Vater. Wenige Monate nach dem Suizid seines Vaters wurde er seit dem 15. Oktober 1929 in der Heilanstalt Weissenau untergebracht. Von dort wurde er am 27. Mai 1940 nach Grafeneck deportiert und ermordet. Zur Verheimlichung der Patiententötung wurde dort sein Sterbedatum falsch ausgestellt, und der 13. Juni 1940 angegeben.