ファイルを削除するには、以下のようにします。
Imports System.IO
Public Class FileSystemForm
Private Sub Button1_Click(ByVal sender As System.Object, ByVal e As System.EventArgs) Handles Button1.Click
'ファイルを削除する・・・System.IOを使用した場合
File.Delete("c:\test\test.csv")
'ファイルを削除する・・・My.Computer.FileSystemを使用した場合
My.Computer.FileSystem.DeleteFile("c:\test\test.csv")
'ファイルをゴミ箱に入れる
My.Computer.FileSystem.DeleteFile("c:\test\test.csv", FileIO.UIOption.OnlyErrorDialogs, FileIO.RecycleOption.SendToRecycleBin)
'プログレスバーを出す
My.Computer.FileSystem.DeleteFile("c:\test\test.csv", FileIO.UIOption.AllDialogs, FileIO.RecycleOption.DeletePermanently)
End Sub
End Class