永历九年（1655年），张名振与张煌言再次攻入长江，直抵燕子矶，但因兵力过于薄弱，无法和防守严密的清军抗衡，只得退而攻舟山。舟山城收复后，张名振缟素入城，寻找母亲的骸骨。其状甚哀，三军为之痛哭。当年年底，张名振猝亡，遗言张煌言统领其军，但郑成功却安排陈六御接掌。次年，清军再次进攻舟山，陈六御阵亡，张煌言被推举为将统率全军，继续与郑成功联合抗清。

永历十二年（1658年），永历帝封郑成功为延平郡王，张煌言为兵部左侍郎。同年，清军进犯永历帝驻跸的云贵，郑成功和张煌言作为牵制，在浙江积极收复故土，夺取乐清、宁海等地，但因遭遇台风，百余艘舰船沉没，数千名将士丧生，只好撤回厦门。

永历十三年（1659年）五月，郑成功、张煌言再度联合进军长江，攻克瓜州、镇江。六月二十二日到达江宁，登陆屯兵岳庙山。张煌言认为，兵贵神速，驻扎太久恐生变，应分兵夺取句容、丹阳等城。但是郑成功没有采纳这一意见。不久，芜湖清军投降，郑成功命张煌言率军控制上游，防备湖北、湖南清军来援。张煌言分兵进攻溧阳（今属江苏）、广德（今属安徽），同时据守池州，扼住来自长江的清援军。同时，分别拿下和州，、采石、宁国、徽州，不少地方传檄而定，各地人民纷纷起而反抗清朝的统治。江南四府、三州、二十二县全部脱离清军的控制，清廷大为震动，顺治帝甚至准备御驾亲征。

此时，明军若趁势而动，攻下南京，或许历史就会改写。但是，郑成功对形势的发展过于乐观，认为攻下南京只是早晚的事，既不攻城，也不阻击清军的援军。永历十四年（1660年）六月二十三日，清军骑兵突然发动进攻，郑成功前屯营被攻破，明军略有混乱。次日，南京城的清军倾巢而出，郑成功命全军列阵迎敌，大将甘辉牺牲。郑成功见无法取胜，命镇江等地守军撤退，同时从长江出海做战略退却。

张煌言听说郑成功出海后，大为吃惊，但随即就决定进军鄱阳湖，赴内陆号召人民抗清。当年八月，张煌言到达铜陵，与当地清军作战不胜。张煌言烧掉船只，带领数百人取道霍山、英山，到达东溪岭，结果遭遇清军优势兵力，随从或散或死。张煌言突围后，改换服装，使人不辨其真面目，有时走险溪大泽，有时走悬崖绝岭，到祁门后藏匿于百姓家数天。这时张煌言感染上了疟疾，身体软的几乎走不动路，病痛折磨的他汗出如浆，但他坚持疾行。他走过休宁（今属安徽）、东阳（今属浙江）、义乌、天台，绕道潜行达两千余里，终于到达浙东海滨。收集旧部，重新招募敢死之士，准备抗清。同时派人向永历帝报告战败的消息，永历帝加他兵部尚书职衔，予以慰劳。

永历十五年（1661年），清政府为了彻底扫平浙东一带的抗清力量，颁布了“迁海令”，下令沿海居民统统迁往内地，否则格杀勿论。内迁后，沿海的抗清力量得不到支持，尤其是粮饷缺乏来源，义军将士们只得施行屯田，以自给自足。郑成功反思自己十六年来的抗清，屡战屡败，东南沿海的州县数次易手，最终无法立足。他决定出海收复被荷兰人占领的台湾，作为海外抗清的根据地。他留长子郑经镇守厦门，亲率三万大军数百余艘海船，进取台湾。同年12月，郑成功收复宝岛台湾，设置一府二县。就在郑成功进军台湾的同时，清军攻入云南，永历帝逃奔缅甸。张煌言派遣幕僚罗纶赴台湾，敦促郑成功出兵闽南，同时他积极支持沿海人民反对“迁海令”。他希望通过各地义军的兴起，吸引清军主力的注意，使清军无暇顾及永历帝，这样就能使永历政权转危为安。但郑成功初到台湾，无力返顾。张煌言只得派遣使者赴湖北郧阳山中，寻找李自成起义军的旧部，以联合抗清。李自成残部号称“十三家”，主要由郝永忠、刘体纯等部将率领，此时“十三家”虽仍有力量保存，但已不复昔日风采，已无力走出大山进行抗清。故而，张煌言的这一策略未能成功。

永历十六年（1662年），吴三桂率军攻入云南，永历帝朱由榔被俘虏，后被吴三桂带回云南用弓弦勒死。郑成功到台湾后，建立了郑氏政权，仍然奉唐王为正朔，待鲁王如同藩王。张煌言虽然多次提出拥戴鲁王为帝，以使各地抗清力量有一个总的领导者，可惜未得到郑成功的支持。当年五月，民族英雄郑成功在台湾病逝，张煌言大为震惊，为之痛悼数日。张煌言转战宁海时，清朝浙江总督赵廷臣曾劝其投降，被他严词拒绝。

清康熙二年（1663年），鲁王朱以海在金门岛病死，张煌言听闻后悲痛欲绝，眼见抗清大势已去，他不忍再增加杀戮与伤亡，便遣散部属，仅带领罗纶及几个最亲近的人驾一条小舟隐居在海外孤悬的一个小岛——花岙岛上。花岙岛非常荒僻，岛上荒凉不堪，平时连打渔人都不愿去停靠，岛的南边有数条河汊可以通舟，岛的北面是悬崖峭壁，除非是猿猴，否则无法攀援。张煌言在岛上建了几处茅舍，驯养了两只白色的灵猿，日间读史填词，夜间舞剑习拳，宛若《射雕英雄传》上隐居在桃花岛的黄老邪一般。