В этом районе, в нынешнем понимании заселённом «средним классом», семья доктора Крейслера с трудом дотягивала до этого уровня. Во-первых, в семье было пятеро детей, двое из которых умерли в раннем возрасте. Среди троих оставшихся – Фрица, Хуго и их сестры Эллы – лишь старший Фриц был отмечен долголетием. Во-вторых, доктор Крейслер был непрактичным человеком, гуманистом и альтруистом. Часто он ничего не брал с бедных пациентов, оставляя им свои деньги на лекарства.
Дед и отец Крейслера прибыли в Вену из Кракова, бывшего тогда частью Австро-Венгрии. Дед был уличным торговцем, но сумел в конце концов дать образование сыну, ставшему врачом. Довольно обычная профессия для небогатого венского еврейского семейства. То, что мы знаем о жизни семьи великого музыканта, исходит из его собственных рассказов Луису Лохнеру. Удивительно то, что в них никогда не встречается слов «еврей», «еврейский». Семья была не только ассимилированной, но и полностью дистанцированной от еврейства.
Доктор Крейслер обожал музыку, и в любительском квартете, еженедельно по субботам собиравшемся у него дома, играл партию скрипки. Эти собрания часто создавали напряжённость в весьма скромном бюджете семьи доктора, напоминавшего по своему характеру русских земских врачей тех лет, хорошо знакомых нам по литературе. Анна Крейслер, страдавшая миелитом, должна была приготовить хотя бы лёгкую закуску к пиву, которым заканчивалось каждый раз еженедельное квартетное собрание. И всё же доктор Крейслер не был заурядным скрипачом-любителем и врачом. Его гостями были Зигмунд Фрейд, партнёр по шахматам; звезда европейской хирургии Теодор Билльрот, близкий друг Иоганнеса Брамса и композитор Карл Гольдмарк. Вот воспоминания самого Фрица Крейслера, поведанные им Луису Лохнеру для его книги: «Фрейд прозвёл на меня глубокое впечатление, хотя в основном предмет дискуссий с отцом был выше моего понимания… Он пытался лечить с помощью гипноза мою больную маму, но я не видел её никогда после всего нормально ходящей… Фрейд ещё не был тогда знаменитым, но отец интересовался его теорией психоанализа, особенно для объяснения ряда случаев, когда ему приходилось иногда замещать постоянного врача в полицейском департаменте».
Семья жила в одном из переулков Wiedener Haupt-strasse в многоквартирном доме, занимая всё же 6-комнатную квартиру. В этом районе в таких домах ещё не было горячей воды, и каждую неделю специальная компания привозила ванну и горячую воду для семьи. Сам доктор удовлетворялся общественными банями. Такая практика существовала в те годы не только в Австрии, но и в Германии и Франции.
«Ноты я знал гораздо раньше, чем научился читать», – рассказывал Лохнеру Крейслер. «Мне подарили игрушечную скрипку, но не настолько игрушечную, чтобы из неё нельзя было извлекать звуков. И вот, во время квартетного собрания у нас в доме я начал играть вместе с квартетом Национальный гимн Австрии. Вскоре все участники ансамбля замолкли, и я один доиграл в правильной тональности австрийский Гимн.