他是一位仁醫、慈祥的父親、更是一位善良的人。

他，原是大林公學校敎員。但愛上嘉義望族的千金，她的父親是清朝時期的貢生，整條蘭井街幾乎都是他們的財產。門不當戶不對，因而女方送她去日本讀齒科，藉此拆散他們。潘木枝爲了追求她，也決心到日本醫專苦讀，最後在日本結婚。

婚後的生活並不怎麼寬裕，回台後沒錢開業，在當時舊居忠孝路的騎樓擺張桌子，坐在桌旁就看始行醫，醫術受鄉親肯定，幾年之後，在現在的公明路上建立了醫院。

他的患者很多。有時一大早，天還沒亮，就聽樓下喊「先生呀，救命哦！先生呀，快哦！救命哦！」，聽到有人喊救命從床上骨碌爬起來下去行診。

有一次整個醫院都擠滿了病人，他在樓上吃飯，有隻麻雀飛入了醫院，停在患者的肩膀上，就有人趁機把那隻麻雀抓住，交代他的兒子:「你去叫你爸下來，這隻鳥給你」他就衝到樓上，硬是把父親拉下樓來。

窮困的民眾，是不會被收取醫藥費的。最窮的患者給最好的藥，因為他窮，他必須要討生活。而住在海口，布袋地區的患者，來一次就不容易了，必須給最好的藥，讓病人吃一兩次就好。

他也不曾打罵孩子，曾有一次，長子在讀嘉中時，因迷上打網球導致月考不及格，他妻子看了很生氣，告訴他丈夫這要好好教訓，他只是輕輕的用手點了一下兒子的手心。他兒子覺得自尊心受到了傷害，生氣了好幾天。當時三舅子和他妻子的感情很好，常去他們家拜訪。他只要三舅子一來，醫師的老婆就告訴他，誰誰誰不乖，要他修理一下。有一次，醫師的女兒不知做錯了甚麼，被三舅子打，醫師看自己唯一的一個女兒被打很不捨又不想阻止，只能站在旁邊哭。

戰後，市民們要他出來競選市議員，但他一直不願意，但是還是迫於人情壓力出來參選，當上了副議長，為市民奔走付出。二二八事件發生後，嘉義民兵圍攻水上機場，軍方開出名單，指名這些人到機場談判，但其中一個代表鐘家成藉口肚子痛，在中途下車，他就替代了他的位子。豈料被捕入獄，囚禁於嘉義市警察局，但他仍期待著司法會還他清白，直到要槍決前一天，他認識的警官帶著紙筆告訴他將被槍斃的消息......那一夜他徹夜未眠，寫了好幾張紙的遺書，寫到紙都寫完了，獄警把菸盒拆開遞給了他寫下最後幾個字。

"木枝是為市民而亡，身雖死猶榮
我一生使賢妻受了許多苦
望賢妻恕我
我每日每夜仍在你身邊
保佑你們
祈保重身體"
1947.3.25 潘木枝 絕筆