Тем, что они оба резко из него выделяются. Андрей Болконский презирает это общество, видя в нём все его пороки: ложь, лицемерие, зависть и др.
Пьер же просто-напросто непривычен к такому окружению, он, грубо говоря, не испорчен им, принимая все происходящее за чистую монету.