凤尾香罗薄几重，碧文圆顶夜深缝。
扇裁月魄羞难掩，车走雷声语未通。
曾是寂寥金烬暗，断无消息石榴红。
斑骓只系垂杨岸，何处西南任好风。(任 一作：待)
早年升迁
杭世骏自幼家境贫寒，勤奋好学，年轻时偶尔过访友人馆舍，见异文秘册，即端坐那里默默记下其中要点，用功之勤，可见一斑。王瞿序《道古堂集》曰：“堇浦於学无所不贯，所藏书拥榻积几，不下十万卷。堇浦枕藉其中，目睇手纂，几忘晷夕。”杭世骏经常向他人借书阅读，并与同乡梁诗正、孙灏、严在昌等人组织读书会，互相讨论学术。雍正二年(1724）考中举人，屡次赴考进士不中。雍正九年(1731年)，杭世骏在主持纂修《浙江通志·经籍志》时，坚持按事实修志，然而当时文网颇密，官府修志，要删除违碍字句，因此他的要求遭到拒绝。后曾受聘担任福建乡试的同考官。乡试的考官一般都由进士出身的官员担任。而杭世骏能以举人的身份担任考官，足以说明他在当时影响之大。 乾隆元年(1736），杭世骏应浙江总督程元章之荐考取了丙辰博学鸿词科，名列一等第五，授翰林院编修之职，校勘武英殿《十三经》、《二十四史》，纂修《三礼义疏》。
直言贾祸
乾隆八年，久旱无雨，乾隆帝循例下诏求直言，开御史试。杭世骏以为当今皇上纳谏入流，于是贸然上了一篇洋洋洒洒数千字的《时务策》，言“意见不可先设，轸域不可太分，满洲才贤号多，较之汉人，仅什之三四，天下巡抚尚满汉参半，总督则汉人无一焉，何内满而外汉也？三江两浙天下人才渊薮，边隅之士间出者无几。今则果于用边省之人，不计其才，不计其操履，不计其资俸。而十年不调者，皆江浙之人，岂非意见轸域？”主要内容是指责朝廷用人存在偏见。他认为天下满洲人少、汉人多，而各地总督却没有一个汉人；江浙人才辈出，但在政府中多年没有人升调。虽然，他所写的内容都能切中时弊，但清朝由满洲贵族统治，一直存在着防范汉人的心理，杭世骏恰恰是触及了“满汉畛域”这个最忌讳的问题。乾隆皇帝一见之下，勃然大怒说：“满汉远迩，皆朕臣工，朕从无歧视。国家教养百年，满洲人才辈出，何事不及汉人？”杭世骏被斥“怀私妄奏”，刑部议处死刑。刑部尚书徐本极力为杭世骏求情，称“是狂生，当其为诸生时，放言高论久矣”，并不停叩头，一直把额头都叩肿了。最后，杭世骏免死革职回乡。
刚开始得知“罪且不测”的消息时，杭世骏正在参加同僚的宴会，还没等杭世骏从震愕中回过神来，东道主已先一步作出反应，要赶杭世骏出门，免得连累自己。此后，那些所谓的同僚如同躲避瘟神一样地躲着他，“杭往话别，辄预戒阍者拒之。”唯独郑板桥写信慰问《与杭世骏书》：“君由鸿博，地处清华，当如欧阳永叔在翰苑时，一洗文章浮靡积习，慎勿因循苟且，随声附和，以投时好也。数载相知，於朋友有责善之道，勿以冒渎为罪，是所冀於同调者。堇浦词兄，燮顿首。”罢归之初，杭世骏要么闭门不出、避人如仇，要么踟躇在距家很近的吴山幽径中。但有时他又会倒载而行，招摇过市，目无旁人地大声吟唱诗句。
家居著学
杭世骏性格伉直，恃才傲物。他甚至与礼部侍郎方苞发生辩论，引经据典，将一向以经学自负的方苞驳得无言以对。生活上也不拘细节，不喜欢看当时的邸报（邸报是当时政府的内部文告，只有一定地位的人才能看到）。他家居著书或讲学，闲居二十年，连当地与他年龄相仿的人做到了大学士、尚书、总督等政府高官，他全然不知道。一次，吏部尚书兼协办大学士刘纶去扬州安定书院看望他。他问刘纶：“现在做什么官?”刘纶回答说：“实不相瞒，已经做了很多年大学士了。”杭世骏感到非常惊讶。事实上，杭世骏除了平时讲学以外，把其他的时间都用于著书立说上了。尽管与他同一年考中“博学鸿词科”的许多人都做了高官，惟独他一人被遣放回家，但是他著的书却是这些人当中最多的。他较著名的书就有《两浙经籍志》、《经籍志》、《榕城诗话》、《词科掌录》等。杭世骏的诗在当时更是与厉鹗齐名，尝赋《方镜诗》二十四首，在京城被传诵一时。
乾隆十六年（1751）得以平反，官复原职。晚年主讲广东粤秀和江苏扬州两书院。
乾隆南巡到杭州，杭世骏也参与迎驾，乾隆见了他问道：“你靠什么生活？”杭答：“臣世骏开旧货摊。”皇帝不懂，问道：“什么叫开旧货摊？”杭解释道：“把买来的破铜烂铁陈列在地上卖掉。”皇帝听了大笑，写了“买卖破铜烂铁”六个大字赐他。
据传杭世骏为人耿介，敢于直言。时值天下大旱，乾隆特开“阳城马周科”，测验翰林院官。意在选拔人才，帮他治理国家。杭世骏在这次试卷中直言不讳，条陈建议，提出“朝廷用人”不要以满汉划线，应该泯灭“满汉之见”。“满州贤才虽多，较之汉人十之三四。天下巡抚常满汉参半，总督则汉人无一也。何内满而外汉也？”还说：“三江两浙，天下人才渊薮，边隅之士，间出者无几。今则果于用边之人，不计其才，不计其操履，不计其资俸，而十年不调者，皆江浙之人，岂非有意见畛域？”话说得恳切。
实际乾隆开科，取治国干才，却是叶公好龙，一旦真的听到“直言”，就怒不可遏：“怒抵其卷于地者再，复取视之”。传说人家帮他说话：他是狂士。乾隆便说：“这种狂士，只能收卖废铜烂铁！”杭世骏由是罢归田里。他回到杭州，在闹市摆了一个地摊，布招大书：
“奉旨收卖废铜烂铁”。一时观者如堵。
记载，乾隆问杭世骏说：“你性情改过么？”世骏回答：“臣老矣，不能改也。”乾隆问：“何以老而不死？”回答说：“臣尚要歌咏太平。”笑了笑。龚自珍《杭大宗逸事状》中则说：“癸已岁，纯皇帝南巡，大宗迎驾湖上，上顾左右曰：‘杭世骏尚未死么？’大宗返舍，是夕卒。”不知是真是假。
始，故人唐宰相鲁公，开府南服，余以布衣从戎。明年，别公漳水湄。后明年，公以事过张睢阳庙及颜杲卿所尝往来处，悲歌慷慨，卒不负其言而从之游。今其诗具在，可考也。
余恨死无以藉手见公，而独记别时语，每一动念，即于梦中寻之。或山水池榭，云岚草木，与所别之处及其时适相类，则徘徊顾盼，悲不敢泣。又后三年，过姑苏。姑苏，公初开府旧治也，望夫差之台而始哭公焉。又后四年，而哭之于越台。又后五年及今，而哭于子陵之台。
先是一日，与友人甲、乙若丙约，越宿而集。午，雨未止，买榜江涘。登岸，谒子陵祠；憩祠旁僧舍，毁垣枯甃，如入墟墓。还，与榜人治祭具。须臾，雨止，登西台，设主于荒亭隅；再拜，跪伏，祝毕，号而恸者三，复再拜，起。又念余弱冠时，往来必谒拜祠下。其始至也，侍先君焉。今余且老。江山人物，睠焉若失。复东望，泣拜不已。有云从南来，渰浥浡郁，气薄林木，若相助以悲者。乃以竹如意击石，作楚歌招之曰：“魂朝往兮何极？莫归来兮关塞黑。化为朱鸟兮有咮焉食？”歌阕，竹石俱碎，于是相向感唶。复登东台，抚苍石，还憩于榜中。榜人始惊余哭，云：“适有逻舟之过也，盍移诸？”遂移榜中流，举酒相属，各为诗以寄所思。薄暮，雪作风凛，不可留，登岸宿乙家。夜复赋诗怀古。明日，益风雪，别甲于江，余与丙独归。行三十里，又越宿乃至。
其后，甲以书及别诗来，言：“是日风帆怒驶，逾久而后济；既济，疑有神阴相，以著兹游之伟。”余曰：“呜呼！阮步兵死，空山无哭声且千年矣！若神之助固不可知，然兹游亦良伟。其为文词因以达意，亦诚可悲已！”余尝欲仿太史公著《季汉月表》，如《秦楚之际》。今人不有知余心，后之人必有知余者。于此宜得书，故纪之，以附季汉事后。
时，先君登台后二十六年也。先君讳某字某，登台之岁在乙丑云。