辞职使他没有了退路，只能往前走。到年底，银座存款有170多万元，利润有1万多元，活下来的信心才开始有了。
朋友对陈的评价是“谨慎，但不拘泥”。谨慎的性格，加之仅有10万元资本金，决定了他放贷时首先考虑的不是利差，是本金的安全。
当时国家允许信用社利率上浮100%，银座上浮了80%，陈小军采用了“存贷挂钩，利率浮动”的办法，将客户按存贷比例分级，比例越高，贷款利率越低。
同时，实行了信贷人员收入与业绩挂钩的方法，如果出现逾期贷款，处罚非常严厉。
两个独有的制度有效地赢得了客户，在保证信贷资产零风险的前提下，银座的业务高速增长。1993年，它的存款规模过1亿元，超过当地国有银行居首位，1994年，这一数字达到4.2亿元。
1995年开始，陈小军专注于内部制度重建，到1997年，决策体系、实施体系、监督体系分离，客户经理制、绩效考核制等现代银行制度基本成型，“到1995年我们才开始成为真正的银行，这之前，我们就是大钱庄。”陈小军坦言。
此时外部环境却发生着显著变化，1995年国家开始清理整顿城市信用社，“到1997年，许多信用社被撤销、合并，随时有可能调整到我们，我们的危机感很强，”陈小军说，“当时我有两个选择：捞一把走人，或是继续走下去。”
与当初一样，陈选择了走下去——不忍让一个好好的银行毁在自己手里，不能做违背职业道德的事情。
命运的转折点出现在2000年。那一年上半年，上海人行某官员在温州开会，陈小军赶去，请他考虑由银座全部承担其他信用社的不良资产，并提出政府不相对控股的城市商业银行组建方案。对方没有完全回绝，使陈小军感到一线希望。
下半年，上海人行领导到台州，准备决定城市信用社的改制方案。“当天中午，市长在会见人行领导前给我半个小时的时间，问我能不能接下其他几家城市信用社的不良资产。当时我预计不良资产顶多一个多亿，而银座的年利润已经有5000万，最多两年时间就能把不良资产消化掉。我毫不犹豫地保证，我能接下来。”谈话实际只有20分钟，在这个20分钟里，陈小军掌握了自己的命运。
