后来美国听说了日本的劳工事件，所以也出来交涉，最后在投降的日本政府和美军方面的协调下，警察撤了，并给劳工一些钱（约合每个人四五十元人民币）。
父亲他们可以上街了，但是因为没地方住、没地方吃，所以还得回港口。我问父亲：“你怎么没借机逃？”他说：“没法逃，日本是岛国，我们没钱，也弄不着船。”由于被饿得太久，大部分劳工拿着钱上街买吃的，父亲当时买了一块手表。他们一直在七尾呆到年底，才接到通知说，有军舰可以往回运劳工。
被迫到日本做劳力，艰难的一年
日本当地的老百姓都不知道劳工这些事。后来我陪父亲去日本，父亲作演讲，提到劳工那段非人的生活，他一边讲，下面一些老头、老太太一边哭，他们说：“我们长期住在这里，只知道那边有好多人。人家告诉我们说，那里都是坏人，现在才知道原来是从中国抓来的劳工，我们都不知道。”
回国后逃往北京
由于战后的日本元气大伤，没有船送劳工回国，所以父亲他们回国时坐的是美国的军舰。
快到塘沽港时，美军一位名叫米尔斯的上尉拿了一本劳工的花名册，这是将来要交给国民党的。米尔斯上尉找到了父亲和另外几个人，说：“根据这个名册上写的内容来看，你们都是共产党。一会儿我要把这个交上去，停船后你们千万不要去港口统计人数的地方报到，不然会被国民党抓起来。”米尔斯上尉又给了他们一点钱，不然父亲连逃跑的路费都没有。
就这样，父亲拿着这么一点钱来到了北京，到圆明园找到了我的母亲。历尽万般艰辛的父亲觉得除了自己的母亲和哥哥外，我母亲是他唯一的亲人，他心里想念我母亲，一直记着北京、圆明园。
父亲在北京找到我母亲的时候，她还没有结婚，一直在等他。母亲本身比父亲大10岁，又等了一两年，结婚时都已经34岁了，可见她用情至深。
回京后父亲身体状况极差，母亲就让他做了个体检，这才查出父亲得了肺结核。好在母亲家里经济条件不错，居住环境也好，父亲就在那里慢慢养病，鲜桃、苹果、蜂蜜，想吃什么都有。
外祖父长着长长的络腮胡子，高鼻梁、深眼窝，有点像外国人，印象中我从小就怕他。不过外祖父一般不管家里的事，都由外祖母负责，她不知从哪里打听到一个喝生鸡蛋的偏方，说可以治肺结核，就每天找一个鸡刚下的蛋，还温乎着，敲开给父亲喝。外祖母疼我母亲，所以对我父亲也特别好。
营养跟上了，再加上与母亲久别重逢，父亲心情愉快，病很快就好了。痊愈之后，他与我母亲喜结连理，这对经历重重坎坷的人，终于走到了一起。
父母喜结连理
父母在1946年结婚，俩人的原版结婚照差不多有10英寸大，后来又特意放大了一版。
北京有个达王府，里面住着两个清朝的遗老遗少，他们坐吃山空之后没有了经济来源，就把达王府里的房子出租出去。母亲当时的工资也高，所以就在那租了房子，作为和父亲婚后的居所。
1946年，父母结婚照
天主教的教规是本教信徒不得与无神论者结婚，所以父亲为了母亲加入了天主教。他们俩在教堂举行了盛大的婚礼，然后在西华门附近一个高档的宾馆住了好几天，相当于现在的度蜜月。（父亲从日本回来后被视为自动脱党，成为无党派人士，为了和母亲结婚加入天主教，后退教。父亲在考古界名声大噪后，共产党重新接受他为党员。）
俩人结婚后，我母亲白天要出去教书，就父亲一人在家，那他自己干嘛呢？有件事特别有意思。我干妈（我母亲的同事）有一天下班早，就带着几个同学来看新郎倌。结果敲了半天门都没人开，好容易开了以后，我父亲不出来。然后等他一出来，把人家笑死了，父亲在家没事干，把我母亲的花旗袍拿出来穿上了。
我父亲挺瘦的，穿上旗袍，戴上围巾，抹上胭脂、口红，自己在家对镜子照着玩，结果被我母亲的同事碰上了。这件事还是干妈告诉我的，我问过父亲，他连连否认说：“没那事，没那事。”母亲倒是一直笑，意思就是这么一回事。
从历史语言研究所到考古研究所
父亲到了考古研究所，成为建所的元老之一。父亲上学时从没学过考古学，所以是作为一般技术人员进入研究所的。考古学是新兴学科，亟缺科研人员。父亲经过人生的坎坷，分外珍惜来之不易的研究所工作机会，虚心地一切从头学起。
以下是父亲的回忆：
当时北平市市长何思源的夫人和我妻子是好朋友，通过他们的介绍，我开始在北平市社会局工作；1947年由辅仁大学教授叶德禄介绍，我又到中央研究院历史语言研究所北平图书史料整理处工作，管理整个图书馆的编目；1949年2月北平和平解放；1950年5月，中国科学院考古研究所在中央研究院历史语言研究所和北平研究院史学研究所的基础上进行组建，我参加了考古研究所的组建工作，所长是郭沫若。1978年在哲学社会科学部的基础上成立了社会科学院，历史研究所、语言研究所和考古研究所都属于科学院，但是办公地点不一样。考古所在位于王府大街的黎元洪大总统的花园。
初涉考古，挖掘殷墟
我父亲本身就懂历史，但是关于考古的具体操作，还是接触殷墟考古工作之后才慢慢学会的。
1948年，父亲留影
殷墟是中国所有古遗址中发掘时间最长、积累经验最丰富的遗址。20世纪初，因盗掘甲骨而发现，1928年正式开始考古发掘。郭沫若在《访安阳殷墟》一诗中赞叹道：“中原文化殷创始，观此胜于读古书。”由此可说明殷墟文化的重要。它位于河南安阳，是中国历史上第一个有文献可考，并为考古学和甲骨文所证实的都城遗址。
这个工程解放前由中央研究院历史语言研究所在做，那时的所长很有名，是曾任北大代理校长的傅斯年。1950年，殷墟的考古工作交由考古研究所负责，带队的是夏鼐和郭宝钧。郭宝钧是位考古学家，留了一大撮山羊胡子，很有意思。这是中国科学院考古研究所成立后的首次考古发掘。
在发掘过程中，他们第一次找到了早于安阳殷墟的商代遗迹，第一次成功地剥离出战国木车的遗迹，又在固围村发掘了3座战国时期的魏国王室大墓。
1951年，父亲参加了赴河南西部进行考古的调查组，并对渑池仰韶村等遗址进行了试掘；同年，参与了北京西郊董四墓村的明代万历、天启二帝的嫔妃墓的发掘。夏鼐看父亲勤勉好学，介绍他在工作之余到北京大学旁听、进修。
父亲学习勤奋，我印象中他老是到夜里两三点才睡觉，第二天早晨8点上班，他得7点半起来。由于父亲特别刻苦地钻研，很快就完全熟悉了考古工作，而我的母亲则毫无怨言地挑起全部家务的重担，全力支持父亲的事业。
到1953年在安阳大司空村进行墓地发掘时，父亲已能独立主持考古工作，在大司空村的发掘中他们还发现了一座唐代墓葬。正是这次发掘，使得父亲对隋唐时期考古产生了浓厚的兴趣，并开始了一生的学术追求。