一种对功利主义的反驳认为，功利主义将所有的价值都纳入一个衡量尺度，密尔对此的回应也依赖于那些独立于功利的道德理想。在《论自由》后不久，密尔又写了一篇篇幅很长的论文《功利主义》，其中他试图说明，功利主义者能够区分高级快乐和低级快乐。

    对于边沁而言，快乐就是快乐，痛苦就是痛苦。评判一种体验与其他相比是更好还是更坏的唯一基础，就是它所产生的快乐或痛苦的强度和持久度。所谓的更高级的快乐或更高贵的德性，不过是那些产生更强烈、更持久的快乐与德性。边沁并没有认识到不同的快乐所具有的质的差别。“快乐的量是平等的”他写道，“图钉游戏与诗歌一样好。”

    边沁功利主义的部分吸引力正在于这种不加评判的精神。它如其所是地接受人们的各种偏好，而不对它们的道德价值作任何评判。所有的偏好都同等重要。边沁认为，将某些快乐看做在本质上优于其他快乐的行为，是一种专横。有些人喜欢莫扎特，而有些人喜欢麦当娜；有些人喜欢芭蕾，而有些人喜欢保龄球；有些人读柏拉图，而有些人读《阁楼》。《阁楼》是一份由鲍勃·古奇奥内创办的男性杂志，结合了城市生活方式和轻度情色画度。边沁可能会质问道，有谁能说，哪些快乐比其他的更高级、更有价值、更高尚呢？

    这种拒绝区分高级快乐和低级快乐的行为，与边沁的以下观念紧密相连：所有的价值都能在一个尺度上加以衡量和比较。如果我们各种经验之间的差别，仅仅在于它们所产生的快乐或痛苦上的量的差别，那么，我们就能在同一个尺度上衡量它们。然而，有些人也正是在这一点上反对功利主义：他们相信，有些快乐是真的要比其他快乐“更高级”。他们认为，如果有些快乐是有价值的而有些是卑劣的，那么，为什么社会应当平等地衡量所有的偏好呢？更不用说要将这些偏好的总和看做是最大善了。

    让我们再一次来考虑罗马人将基督徒扔给竞技场中的狮子的情景。反对这一血腥景象的理由之一就是，它侵犯了受害者的权利。而一个更深入的反对的理由是：它迎合了那些邪恶的而非高尚的快乐。难道改变这些偏好不比满足它们更好吗？

    有人说，之所以禁止犬熊相斗戏(古时的一种游戏)，并不是因为它给熊所带来的痛苦，而是因为它给观众所带来的快乐。犬熊相斗戏已经不再是一种流行的消遣，而斗狗和斗鸡却有一种持久的诱惑力，也有某些司法机关禁止它们。一种维护这种禁令的辩护就是，防止残忍地对待动物。可是这种法律可能同样反映出一种道德判断———从斗狗中获得快乐是令人憎恨的，是一个文明的社会应当阻止的事情。而不因为你是一名清教徒才同情这种判断。

    边沁在决定法律应当如何的时候，会将所有的偏好都计算在内，而不考虑它们的价值。然而，如果更多的人宁愿观看斗狗而不愿看伦勃朗的油画，那么社会是否应当资助斗狗竞技场而非艺术博物馆呢？如果某些快乐是卑劣可耻的，那么，为什么它们在我们决定应当采用什么法律时，要具有任何重要性呢？密尔试图挽救功利主义免于这种非难。与边沁不同，他相信我们可以区分高级的和低级的快乐———评估我们欲望的质量，而不仅评估其数量和强度。并且他认为，除了功利本身之外，他可以不依赖于任何道德观念而作出这一区分。

    密尔一开始就宣誓忠诚于功利主义的信条：“当行为能够促进幸福时，它们合情合理的就是对的；当它们促进幸福的对立面时，它们就是错的。幸福就是我们所欲求的幸福和无痛苦，不幸福就是痛苦和缺乏快乐。”他也肯定了这一道德理论所依赖的生活理论———即，源于痛苦的快乐和自由，是唯一作为目的而值得欲求的事物；所有值得欲求的事物……都或者因为其内在所具有的快乐而值得欲求，或者作为促进快乐、避免痛苦的手段而值得欲求。

    尽管密尔坚持认为快乐和痛苦同样重要，但是他也承认“有些快乐比其他的更加值得欲求，更有价值”。我们怎么能够知道哪些快乐在质量上更高一些呢？密尔提出了一种简单的检验：“对于两种快乐而言，如果所有或几乎所有体验过这两种快乐的人，都对其中某一种表现出明确的偏好，而不顾及任何道德责任感去偏爱它，那么这种快乐就是更加值得欲求的快乐。”

    这个检验有一个明显的优势：它并没有远离功利主义的这一观念———道德完全并仅仅依赖于我们实际的欲望。密尔写道：“它能够产生的唯一证据是：任何值得欲求的东西，都是人们实际上想要的东西。”然而，作为一种能在不同的快乐之间作出质的区分的方式，他的检验似乎容易受到一种明显的反驳：难道没有这样一种情况———相比较于高级快乐，我们不是更喜欢低级的吗？我们不是经常更喜欢躺在沙发上看情景喜剧而不去读柏拉图或去剧院吗？难道我们不可能更喜欢这些要求不高的体验，而同时不认为它们特别值得吗？