题主所理解的没有什么问题，而 @独角仙 @说书匠 等朋友，或用自己的看法强解，或牵强附会，恐有强按牛头饮水之嫌。因此谈一点拙见，就教于方家。
首先，这是清代人一首“集句诗”。这种诗在形式上，是把前人现成的诗句拼凑在一起；而在内容上，仍能融贯一体。最早是一种游戏诗，在晋、南北朝时代，这种形式就已出现；到宋代经王安石、苏轼引领风气，渐渐推广开来。今举一例，宋初石曼卿有《下第偶成》：
年去年来来去忙，（唐 郑谷《燕》）
为他人作嫁衣裳。（唐 秦韬玉《贫女》）
仰天大笑出门去，（唐 李白《南京别儿童入京》）
独对春风舞一场。（？）
科考落第后，他集郑谷、秦韬玉、李白等人的诗句自嘲。（事载《蓼花洲闲录》）虽四句都不是他自己写的，但是凑在一起，不仅格律整齐，而且语意连贯。这首诗集唐人诗句，所以叫“集唐诗”，其他还有“集杜”（集杜甫诗）、“集文选”（集文选六朝诗）等等。
因此，《集杭州俗语诗》的四句，皆为“杭州俗语”，是在坊间老百姓中间流传已久、大家都熟知的句子。而黄氏将四句“捉置一处”，似乎合乎韵律，融乎情理，成为这样一首集句诗。
这首诗前三句都是较浅显的、广为流传的俗语，更应理解为“劳动人民的结晶”，而非某一文豪墨客据典故而独创。第一句“色不迷人人自迷”，出处一时不好考证（非要考证自然也能有收获，今资料不足，不作深究），但可知道明代《金瓶梅》第三回“王婆定十件挨光计，西门庆茶房戏金莲”中的回首诗，首句便是这句：
所以无论这一句是兰陵笑笑生在《金瓶梅》独创，还是先前已经存在的语句，可以肯定的是，这句最晚到明代后期，已经可见于老百姓的日常。
第二句“情人眼里出西施”，更是由来已久的民间俗语。宋代胡仔《苕溪渔隐丛话 后集•山谷上》载：“谚云‘情人眼里有西施’……“可见，这句在宋代就是广为流传的谚语了。
第三句“有缘千里能相会”，同样是民间早流传的俗句。宋代“九山书会”说书人所编《张协状元》第十四出：“有缘千里能相会，无缘对面不相逢。”（戏文·张协状元原文|翻译|赏析_未知作者古诗_古诗文网，手边暂没有版本，网上的凑合看看）
因此可以得出结论，前三句都是俗语，且宋、明朝早已在民间流传。——这种戏剧性很强的俗语，尤其常出现在民间故事、话本、戏曲当中，如前文所列《金瓶梅》《张协状元》。因为像《金瓶梅》这类“奇书”，用的语言都是当时的“大白话”，如此才能流行很广。
最后，有理由推论，第四句与前三句相同，同属于俗语。
唐寅是明代“吴中四才子”之一，画艺高超，且中江南解元（南京应天府第一名）后，北京科举落榜。这种才子故事，民间最乐道。唐寅是明正德（1491-1521）前后的人，到嘉靖间（1507-1566），嘉定人项元汴著《蕉窗杂录》，就载有唐伯虎与秋香的故事。
明中后期，市民社会发展影响了文学的发展，小说故事如雨后春笋，《金瓶梅》《水浒传》《西游记》都成书于此时。因此有了项元汴的记载之后，明末周玄暐的《泾林杂记》中唐伯虎与秋香的故事更为详细；冯梦龙《警世通言》中有了《唐解元一笑姻缘》；孟舜卿有《花前一笑》；单人月有《花舫缘》……随着杂剧、话本的流行，尤其是《警世通言》这样有影响力的著作，唐伯虎与秋香“三笑姻缘”的故事渐渐广泛流传。
“三笑姻缘”故事本身是怎样成型和发展的，今暂无暇考证；第四句民间俗语，是否果真说的就是唐寅的“三笑姻缘”，也存疑。在这里，只是提供一种解释的思路。
而可以肯定的是，四句诗的意思其实很简单，并不必去深究典故出自哪部经史。四句都是杭州本地俗语，相对于来自经史典故，更可能与老百姓喜欢的故事相关。果真要深究，也未必找得到出处。
冒昧做一解释：美色迷人，在被迷之人自己；情人眼里，向来出西施。有缘的人，千里能来相会；无缘的人，殷勤再三也不过被看做一痴人。
余论：第四句来自《聊斋志异》的可能性
首先，关于黄增其人。
据周海宽 陈文佳《黄增《秋林晚翠山水图》修复工艺探索》（《故宫学刊》 2016年01期）：黄增（？-1772）字方川，号筠谷，长洲（今苏州）人。工山水及写真。乾隆三十三年被召入都，供奉内廷。时命临仿古迹，深得褒赏，卒于乾隆三十七年。
（办公室不能用知网账号，这段材料出处没详查，但出处在这里，应当有所本。）黄增卒于乾隆三十七年（1772），生前曾任宫廷画师。生年不详，猜测应在康熙后期或雍正间。
其次，关于《聊斋志异》版本考。
古代刻书印书比今天困难，书的流传也比较困难。在印刷术出现之前，全靠手抄流传。遇到战乱，一旦刻板损坏或者藏本丢失，往往导致书的亡佚。因此，在刊刻之前，一本书的流传是极其有限的；即便有书抄本流传，往往经过多次传抄，错误会很多，漏字、抄错字、添字，往往后面书已经面目全非。
《聊斋志异》自从成书一来，一直没能刊刻。好在有抄本，辗转王士禛等人手中，（王氏作为文坛领袖、朝廷高官，评点过的书历来有弟子整理，也不乏书商留意）这本书才不至于散佚。直到乾隆三十一年（1766），这本书才初次刊刻。睦州（杭州桐庐一带）知府赵起杲请来杭州当地的校书高手鲍廷博、余集，将得来的《聊斋志异》抄本校对、刊刻出来。鲍廷博是远近驰名的校书大家，余集小楷很漂亮，因此刻出来的书很精美，这一版本称“青柯亭本”。这本书的精良质量和精美印刷，大大扩大了传播范围和时间。之后乾嘉到光宣年间，所有的《聊斋》版本，几乎都是以这个为底本。（值得留意的是，蒲松龄为山东淄川人，王士禛自称济南人，祖籍淄博；赵起杲是山东莱阳人。）
网上有这篇文章，《聊斋志异》版本流传考，粗粗一看，大体没有问题，可参考。如果想进一步研究，可以去知网上下载所有关于《聊斋志异》版本的文章对比研究。
《聊斋志异》虽成书于康熙间，而真正流传开来要在乾隆三十一年之后。此时距离黄增去世还有六年——何况此前有抄本流传，因此，黄增确实是有机会读到这本书的。
那么，第四句有可能是他从“当代”流传的志怪小说《聊斋志异》中得来的“典故”嘛？答案仍然是绝对不可能的。前文中说了，《集杭州俗语诗》题目已经说明了，四句诗是杭州本地的广为流传的句子；而《婴宁》只是新流传不久的书里的很短的一篇小说，莫说不可能提炼出这样一句“典故”，就算确实是从《婴宁》中得来这一句“典故”，几年间就成为像前三句一样杭州市井都流传的俗语，那也是万不可能的。
