不行，公司注册下来后必须要去做税务登记的，如果长时间没有登记的话，公司会被列入异常名录甚至吊销，吊销的企业是恢复不了正常的，只能注销。再来说说公司被列入异常名录，对法人征信会有影响，后期申请贷款，购房，买车都会受阻。
根据2015年修正的《中华人民共和国税收征收管理法》第十五条规定：企业，企业在外地设立的分支机构和从事生产、经营的场所，个体工商户和从事生产、经营的事业单位(以下统称从事生产、经营的纳税人)自领取营业执照之日起三十日内，持有关证件，向税务机关申报办理税务登记。税务机关应当于收到申报的当日办理登记并发给税务登记证件。
纳税人有下列行为之一的，由税务机关责令限期改正，可以处二千元以下的罚款;情节严重的，处二千元以上一万元以置、保管帐簿或者保管记帐凭证和有关资料的;