他回想那些往事时说：“八年下放，吃了不少苦，也得益不浅。人变得坚强了，对社会对人也有更多了解，对社会的认识也不是那么的单纯了。这些，使我懂得了许许多多深奥的道理，使我学到了顺境中学不到的知识。”
然后他调到北京参加电力系统研究工作。
文革期间，荣氏家族受到残酷的迫害，红卫兵搜查了他们的住所，砸毁古董家具瓷器等收藏器，没收家产，鞭打荣毅仁夫妇。荣毅仁“被逼成为‘无产者’，充当一年看门人。”
荣智健大学毕业后不久与任顺弥结婚，长子荣明结在他“下放”四川时出世。调返北京的第二年女儿荣明方出生，老三荣明棣1983年生于香港。
荣智健表示，他的子女应该是“信”字辈的，但文革期间，他觉得明白事理、明辨是非，比“信”更重要，文革对他的影响，可谓至深，所以都以“明”字起名。
1976年“四人帮”垮台，邓小平恢复了工作，政治气候不久稍趋宽松，在大陆的荣家，才得到一些关怀。
即使是生于荣华世家，没有宏大志向也难成气候。荣智健决不坐享其成，他要做出震惊世人的伟业，让荣氏家族焕发青春，更上一层楼。
1978年，荣智健的两个堂弟荣智鑫、荣智谦在香港经营电子生意，他就拿着“单程探亲”的签证，南下香港去闯世界。
荣智健的父亲在香港还剩下一些资产，大都是纺织股份，如南洋纱厂、九龙纱厂等，股息近三十年没有动用过，如此日积月累的资本也相当雄厚。
荣智健首先凭那笔本钱，和两堂弟开办电子厂，初时产品是电容器、电子表等，后来转而生产集成电器和电脑随机存储器。荣智健所占股本也由初时的三分之一，后渐增为60%。
对搞过电力工程的人来说，电子厂的生产程度并不复杂，他发觉困难在于市场的开拓和财务的安排，除此之外，还有人际关系。但他知难而进，任电子厂总经理，由于他洞悉国内本行业的市场行情，产品都卖得出去，利润都投资在研究发展上，公司的资本不断增加，前景是十分可喜。
