¿Cómo crear un nuevo documento redondo en Illustrator?

Por defecto, la superficie de trabajo será siempre rectangular o cuadrada (para un círculo será un cuadrado).

Luego, depende de la finalidad del documento: Puedes materializar la superficie redonda mediante una forma geométrica redonda rellena del color "papel". En uso vectorial, el color "papel" será blanco y el resto inexistente. Así que tendrás un círculo blanco.

En exportación de imagen (gestionando las transparencias) el resultado será idéntico, pero únicamente si el formato de guardado utiliza las transparencias (y que hayas marcado las opciones correctas al exportar).