Em 1912, a construção da estrada de ferro atravessava a região que atualmente constitui a cidade de Sertão. Em 1918, em local cortado pelos trilhos ferroviários, a localidade foi fundada, tendo como fundadores um grupo de italianos e seus descendentes.
O nome Sertão foi dado em razão da abundância de florestas de matas nativas que cobriam a região.
A região era também, coberta por extensas matas de pinheiros, que fora a principal fonte de riqueza de seus habitantes nos primeiros tempos de povoação, os quais, depois de abaterem as árvores e prepararem o solo, iniciaram as plantações de milho e trigo.
Por essa época, Sertão era apenas uma seção do distrito de Coxilha, integrante do município de Passo Fundo. Em 5 de agosto de 1933 era criado o distrito de Sertão, tendo como primeiro sub-prefeito o Senhor Leopoldo Stenzel.
Em 5 de novembro de 1963, conforme Lei 4.597 é criado o município de Sertão, pelo então governador do Estado, Sr. Ildo Meneghetti, e o primeiro Prefeito de Sertão o Senhor Ernesto Schwartz.
