谈允贤的祖父名谈复，字采芝，常以医药救济穷人，而自家衣食常匮乏，行医所得全部施舍给穷人，得赠“奉政大夫、南京刑部郎中”的封号。他的儿子谈经、谈纲皆履仕途。谈经是谈允贤的大伯，天顺四年（1460年）中进士，官至户部主事；父亲谈纲，成化五年（1469年）进士，授南京刑部主事，后任职莱州郡守。谈氏家族从谈经、谈纲开始，便“以儒鸣于锡”。因谈经、谈纲的官位显赫，才使他的父亲谈复得赠封号。
谈纲在刑部任职时，把父母接到任上奉养，此时谈允贤还是孩童，父亲常让她背诵五言诗、七言诗和《孝经》上的篇目，以给饭桌上的人佐助饮兴。谈复因儿子都步人仕途，他的医术没有传人了，见孙女谈允贤甚聪慧，才决定让她放弃学习女人必会的纺织、刺绣、缝纫等手工，专门学习医学，以使医门香火不断。谈允贤从十来岁开始读医书，学习非常刻苦，常常“昼夜不辍”地攻读《难经》《脉诀》等医典。祖母茹氏见孺子可教，便给她讲解医书大义。对一些疑难问题，她随时向祖母请教，直到弄懂弄通为止。在祖母的言传身教之下，她的医学理论水平迅速提高，只待一展身手。
谈允贤出嫁以后，经常得病，每次请医生来诊治前，她都要先给自己诊断，以验证医生的诊断。医生开的药方，她也要反复斟酌妥否，抓来药后她要亲手查验，检查药的质量，斟酌是否可用。后来，她生了三女一子，这几个孩子常闹病，她不请别的医生看病抓药，只请祖母诊治，向祖母学习诊治儿病的方法。她通过自己以身试药，观察医生诊病用药，向祖母学习治病方法等。她对诊病用药有了更深的体验和认识。祖母临去世前，将平生所积累的医方、医书和治药工具，亲自交给谈允贤，对她说：“把医术传给你，我死也瞑目了。”谈允贤拜而受之。至此，她开始了真正的行医之路。
大多数女性生病，男大夫不得近身治疗，只能通过男性家人转述病情，或难以向男大夫启齿，导致诸多女性的误治失治。谈允贤对女子被妇科疾病困扰感同身受，致力于女科疾病的研究和治疗。五十岁时，谈允贤把过去祖母所教和自己积累的经验进行整理，编写成《女医杂言》，由其子杨濂抄写付梓．约于正德六年（1511年）首刊，万历乙酉年（1585年）由其侄孙谈修重刻。