Törnsfalls Hembygdsförening har den senaste tiden forskat fram byns utveckling från 1500-talet och fram till våra dagar. Mycket har hänt under seklernas gång och en del av historien presenterades på söndagen vid en kulturvandring. Först visades foton på hus och kopior av kartor av den gamla byn, som en gång hade både gästgivargård och postgård. Dessa var placerade vid det som idag är den gamla affären. Vägen gick då exakt som den gör i dag och beskrivs på en karta från 1699 som vagnsvägen mellan Vimmerby och Västervik. Endast två hus finns kvar i byns centrum som en gång rymde många gårdar.
Mitt på vägen, utmed det som i dagligt tal kallas gamla Vimmerbyvägen, ligger det rester av en gammal by. Här bor det nu bara ett fåtal personer men förr var byn befolkad av flera bönder med tjänstefolk och det bodde över hundra människor i byn.
Namnet Kårby är känt sedan 1386 som Karaby och 1544 fanns här en skattegård. 15 torp varav flera finns kvar i dag, har utforskats genom kyrkoböckerna. På 1940-talet startades en fruktodling av Seth André, som på sin tid var den en av de största i Tjustbygden. Laga skiftet genomfördes 1841-1845 då stora delar av byns gårdar flyttades ut till nya platser som är bebodda av ättlingar till gamla gästgivare än idag.
En stor händelse i byn var när torparen Gustav Lindgren från Blackstad blev ihjälslagen och släpad bakom sin egen häst ner genom Kårby en sommardag 1877. Det var två personer från Blackstad som medverkande till detta illdåd och mördaren blev dömd till fängelse och blev först insatt i Kalmar fängelse och senare överflyttad till Malmö slottsfängelse där han avled 1890. Händelsen finns beskriven i Blackstad Hembygdsbok från 1985 och berättades i detalj av Anders Johansson och mördaren gestaltades av Ulf Fors.