猫の回虫が人に感染することについて

１ヶ月前に月齢1ヶ月半くらいの子猫を保護しました。保護して5日めに動物病院で健康診断をし、便検査も異常なしでしたが、それから25日経過して2度目の便検査をしたら回虫がいると言われ、子猫は駆除薬を飲ませてもらい、その日のうちに便から回虫が出ました。まれに？人にも感染するので注意するよう言われたのですが、このことがわかるまで、約１ヶ月近く、家族全員、普通に子猫を撫でたり、子猫のトイレ掃除をしたり、散らばったトイレの砂などを素手で拾って戻したりしてしまいました。もちろん手洗いはしましたが、完璧だったかは自信がありません。もし知らない間に回虫の卵にふれ、人の身体に入った場合、成虫はしないものの、脳てんかんや、失明などの恐れがあると書いてあるものを読み、怖いです。とくに症状があるわけではありませんが、人の身体に入った卵が幼虫だった場合、必ず身体に悪影響を及ぼしますか？？あまり神経質にならなくても大丈夫なものですか？？よろしくお願い致します。