Модем нужно выставить в режим выделенной линии. Соединяться он должен автоматически при включении либо по поднятию DTR.
Для связи можно использовать slattach для SLIP либо ppp/pppd для работы по протоколу PPP. Настройка их аналогична настройке связи двух машин по нуль-модему, советуем сначала на нем испытать.
В Руководстве есть достаточно полное описание настройки этих программ.
Для пересылки почты в Internet лучше использовать Sendmail или другой SMTP-мэйлер.