凤尾香罗薄几重，碧文圆顶夜深缝。
扇裁月魄羞难掩，车走雷声语未通。
曾是寂寥金烬暗，断无消息石榴红。
斑骓只系垂杨岸，何处西南任好风。(任 一作：待)
光绪二十一年后，先后任湖广道监察御史，代理陕西道监察御史、刑科给事中、吏部掌印给事中等职。他以言官职便奏请保护华侨、惩处任意敲诈勒索华侨的官吏。他也主张把台湾暂租给西方列强，以避免落入日本之手。光绪二十二年三月，奉命管理街道事务。六月回闽奔丧，见福建船政局造船业不景气，曾三次奏请整顿船政，提出“开自然之利”的改革方案，力主开采侯官县穆源铁矿，利用船政局现有的机械设备进行冶炼，产品供船政局使用，并由船政局铸造洋钱流通市场，以增加财政收入。他还建议利用现有船政局闲置船只，发展客、货运输；利用船厂机器设备优势，兼营民用产品，并奏请朝廷委派大臣整顿厂风。他的主张先后被采纳施行，对促进福建船政局资本主义经营方式的发展起重要作用。光绪二十三年，他主讲凤池书院，增设时务、论策等讲习新内容，使“闽中学风为之一变”。同时，他还创建苍霞精舍，授以英文、算学新课程，是福建创办近代学堂的先声。次年，受命在籍创办地方团练，并赴建宁黎山试开煤矿。
光绪二十五年，陈璧回京销假，调任山西道监察御史。次年，奉旨在京办理团练，力主对义和团运动加以镇压，曾率团勇打死义和团10余名。七月二十日，慈禧太后出逃西安，陈璧留守北京。八国联军侵占北京期间，他主持总理公所，所出告示均列“大清年号”。他还联合在京的33名官员，电请李鸿章回京主持“和局”，因此，得到清政府赏识。
光绪二十七年七月，陈璧升任太仆寺少卿兼顺天府尹，受命会办五城事宜，主持修建东西陵工程。此期间，他重视教育和实业的发展，先后创办京师工艺局、顺天中学堂、金台校士馆及五城中学。在顺天中学堂开设英文、日文、法文等新学科。工艺局是一所半工半读的新型学校，招收少年游民编织景泰蓝、刻字、制作木器、织布等，并教以物理、化学、算学、机械学、绘图学等专业知识，还设有专利权，鼓励学员的创造性和积极性。同年六月，他在工艺局中腾出地方创办农务学堂，聘用日本农业专家教授农、桑、水利、饲养的新方法，另在南苑建立农业科学试验场，还计划在迁安县(今属河北省)试验科学养蚕。光绪二十九年八月，清政府新设商部，陈璧任右侍郎，参与定官制、订商律、兴商会、保侨民以及制订土货等章程。十月，卸顺天府尹任，十二月转商部左侍郎。
光绪三十一年九月，他任户部右侍郎，补授度支部右侍郎，参与开办天津造币厂及大清银行。十一月，奉命到南方各省考察造币厂，先后到开封、武昌、南京、清江浦、广州、福州、安庆等地的铸币厂考察，认为各厂贪污风行，厂务废弛，急需整顿。他揭发福建铜元局马景融贪污集团，全国22个银元局核定留办7局，其他各局责令停止。为杜绝流弊，他制定善后办法，如规定银元成色，限制各厂铸币数额，统一铸模等，为币制统一奠定基础。
光绪三十二年，清政府成立邮传部，作为管理全国邮电、轮船、铁路的重要行政权力机构。次年四月，陈璧升任邮传部尚书兼参预政务大臣。他力行改革，严禁官吏挪用公款，贪污腐败等行为，废除官吏乘火车、运货免价特权，实行存款保密等一系列措施。五月间，他在《整顿币制以维圜法》的奏折里，提出金融改革计划，颁布《币制则例》，规定以银元为本位制。七月，陈璧奏请清政府铺设铁路四大主干线及支线，建议以北京为中心，南由京汉路接粤汉路；北由京张路至库伦、哈克图；东由京奉铁路至绥芬；西从正太路接至伊犁。他还积极争取将列强在中国的路权逐步收归国有。年底，他奏准创立交通银行，作为筹集路政、邮电资金的金融机构。清政府批准在全国试行他提出的印花税法。
光绪三十四年，他根据中比借款合同规定，提前将借款全部还清，收回京汉铁路经营权，改订沪宁路章程，收回用人权。同时，他奏准由邮传部以优惠价收回靠近边境的商办电线。经他努力，“路已成八千里而远，电报所达六万里有奇，邮政则在都会郡城大半设立，航业则长江内海渐次推行，虽发达未敢骤言，规模实已粗具”。他在任内十分重视科学研究，设立交通研究所，奖励学者、科技人员对邮电、水陆交通进行研究、改革。为筹措兴办邮、电、轮、路的大额资金，他提出借外债和内债的主张，他认为借外债必须力杜“债东干涉事权”，“方足取益防损”。按此原则，他先后向英国汇丰银行借款500万英磅，分30年还清。此款除作为还清京汉铁路的借款外，余额充作筹办实业之用。他推行国内第一期公债，总额1000万元，规定年息7厘，12年期，可以自由买卖。他对此颇有信心，曾宣称：“将来各项振兴实业需要，皆可取给于此”。把发行公债作为发展实业筹措资金的主要财源。
陈璧为官清正，他推行兴利除弊的改革措施，触犯一些满洲贵族官僚的利益，遭到激烈反对。光绪三十五年，御史谢远涵劾奏陈璧“滥用私人，糜费公款”等罪名，命大学士那同、孙家鼐查办，复奏：“该尚书才优于德，办事操切，不恤人言”，交部议，革职罢官。
陈璧被罢官后，寓居苏州。宣统三年(1911年)，移居天津。民国元年(1912年)，由津迁沪，翌年移居北京，于西城筑“苏园”寓居，日以“种花莳蔬”自娱。晚年，他不忘乡梓教育，曾写信建议苏坂学堂改革课程，增设学科，使“里中子弟益得向学之途”。还修刊族谱，捐产立义庄赡养本族孤寡。民国十一年再由北京迁天津，民国十七年3月26日病逝。著有《望岩堂奏稿》。
始，故人唐宰相鲁公，开府南服，余以布衣从戎。明年，别公漳水湄。后明年，公以事过张睢阳庙及颜杲卿所尝往来处，悲歌慷慨，卒不负其言而从之游。今其诗具在，可考也。
余恨死无以藉手见公，而独记别时语，每一动念，即于梦中寻之。或山水池榭，云岚草木，与所别之处及其时适相类，则徘徊顾盼，悲不敢泣。又后三年，过姑苏。姑苏，公初开府旧治也，望夫差之台而始哭公焉。又后四年，而哭之于越台。又后五年及今，而哭于子陵之台。
先是一日，与友人甲、乙若丙约，越宿而集。午，雨未止，买榜江涘。登岸，谒子陵祠；憩祠旁僧舍，毁垣枯甃，如入墟墓。还，与榜人治祭具。须臾，雨止，登西台，设主于荒亭隅；再拜，跪伏，祝毕，号而恸者三，复再拜，起。又念余弱冠时，往来必谒拜祠下。其始至也，侍先君焉。今余且老。江山人物，睠焉若失。复东望，泣拜不已。有云从南来，渰浥浡郁，气薄林木，若相助以悲者。乃以竹如意击石，作楚歌招之曰：“魂朝往兮何极？莫归来兮关塞黑。化为朱鸟兮有咮焉食？”歌阕，竹石俱碎，于是相向感唶。复登东台，抚苍石，还憩于榜中。榜人始惊余哭，云：“适有逻舟之过也，盍移诸？”遂移榜中流，举酒相属，各为诗以寄所思。薄暮，雪作风凛，不可留，登岸宿乙家。夜复赋诗怀古。明日，益风雪，别甲于江，余与丙独归。行三十里，又越宿乃至。
其后，甲以书及别诗来，言：“是日风帆怒驶，逾久而后济；既济，疑有神阴相，以著兹游之伟。”余曰：“呜呼！阮步兵死，空山无哭声且千年矣！若神之助固不可知，然兹游亦良伟。其为文词因以达意，亦诚可悲已！”余尝欲仿太史公著《季汉月表》，如《秦楚之际》。今人不有知余心，后之人必有知余者。于此宜得书，故纪之，以附季汉事后。
时，先君登台后二十六年也。先君讳某字某，登台之岁在乙丑云。