1933 lebten noch drei hochbetagte Jüdinnen im Ort. Ida Ehrlich, die ein gut geführtes Kolonialwarengeschäft betrieben hatte, verstarb 1936. Sophie Heimann wurde in das jüdische Altersheim in Gailingen umgesiedelt. So war Henriette Heimann die einzige Jüdin aus Impfingen, die die Nationalsozialisten am 22. Oktober 1940 von dort nach Gurs abholte. Am 30. Mai 1944 wurde sie von Gurs aus über das Sammellager Drancy bei Paris nach Auschwitz verschleppt und dort ermordet.
Im Verlauf des 18. Jahrhunderts ließen sich einige jüdische Familien in Impfingen nieder. 1875 erreichte die kleine Gemeinde mit 41 Seelen ihre Höchstzahl. 1913, als sie nur noch wenige Mitglieder hatte, löste sich auf. Die verbliebenen Mitglieder schlossen sich der jüdischen Gemeinde im benachbarten Tauberbischofsheim an.