Men hoppet finns fortfarande att det kan finnas åskådare på plats när Paralympics inleds senare under sommaren, den 24 augusti.
Ordföranden för Tokyo 2020, Seiko Hashimoto, säger att man ska besluta i publikfrågan "så fort som möjligt" efter att OS avslutats.
Japans regering har utlyst ett nytt nödläge i huvudstaden som ska pågå fram till den 22 augusti.