A: Can I call you back a bit later? I just sat down to dinner.

B: I'm sorry. I thought you had finished dinner by now.

여기서... had finished가 과거완료로 쓰인 거면 B가 thought 한 시점에서 봤을 때 저녁을 다 먹었을 거라는 말 아닌가요?

그런데 여기서 by now 가 오면 현재 시점에서 판단하는거니까  시제가 안 맞게 되는 거 아닐까 싶은데 고수님들 답변 부탁드립니다.