Что почитать и посмотреть:

• Гиленсон П.Г. Справочник технического и художественного редакторов (Глава "Технические правила набора и верстки") (некоторые правила слегка устарели)
• Д. Э. Кнут Компьютерная типография
• Breaking paragraphs into lines
• Реализация алогритмов Ляна-Кнута и Кнута-Пласса на js
• hyphenator.js
• http://en.wikipedia.org/wiki/Word_wrap
• Алгоритм Ляна-Кнута
• habr: Алгоритм Ляна-Кнута...
• habr: Всё (или почти всё) о пробеле