依据《增值税专用发票使用规定》第二十条，专用发票作废必须符合三个条件：
当月；
第二，收回发票联和抵扣联或者发票联和抵扣联没有交给购买方；
第三，该发票没有认证或者认证失败。你公司在没有收回发票联和抵扣联的情况下就把发票作废了，导致发票联和抵扣联丢失，属于未按规定开具发票。依据《中华人民共和国发票管理办法》第三十五条第九款规定，违反本办法的规定，有下列情形之一的，由税务机关责令改正，可以处1万元以下的罚款；有违法所得的予以没收：
（九）未按照规定存放和保管发票的。处罚你公司和你交多少税款没有关系，两码事。