Los archivos ISO son archivos de imagen de soporte, ya sea DVD o CD. En ningún caso son archivos específicos de video, pueden contener infinidad de variables:
Juegos
Imágenes
Textos
Datos
etc...
Se pueden descomprimir normalmente con Winrar o montar con programas que crean unidades virtuales que simulan unidades físicas de disco como el alcohol 120% y otras.
También sirven para mejorar el tiempo y eficacia a la hora de realizar grabaciones, los utilizan las aplicaciones dedicadas a quemar CDS y dvds, NERO y otras.
Si un archivo ISO contiene archivos AVI eso es los que contiene y no otra cosa.
En realidad serían como una cesta contenedora, en la que alguien ha metido algo y eso es lo único que encofrarás al abrir su tapa.
Si lo que tu quieres es ver tus archivos con codecs de video correspondientes a avi, ya sea divx u otros en un reproductor que sólo reproduce mpg es decir VCD, SVCD, DVD, etc... Debes pasar estos archivos a formato mpg o mpeg 1 ó 2, y montar con ellos el VCD, SVCD, DVD, etc... ya que son los formatos para ese tipo de DVDs y CDs de video.
Los archivos VOB de los DVD en realidad son en formato mpg2, que son de más calidad y tamaño que los mpg1, aunque hay aplicaciones que te montarían DVD fácilmente utilizando mpg1, TMPGENC DVD AUTHOR
Te recomiendo que investigues un poco acerca de los codecs y formatos de video. Esta es una de las mejores páginas que conozco para ello,
http://www.videohelp.com/ está en inglés.
Por último si no te quieres volver loca, hay aplicaciones que directamente de forma automática te pasas archivos avi a formato VCD, SVCD, DVD. Este proceso suele durar tiempo siendo mayor o menor dependiendo de las prestaciones de tu ordenador.