Странное поведение токенайзера

[nixel2007]

если в MethodSymbolComputer в методе getMethodComments заменить получение токенов из документКонтекста на получение их из заранее сохраненного филда в объекте, который заполняется в момент вызова compute, то там будет пустой аррай лист.

если провалится в токенайзер, который есть в документ контексте, и посмотреть его свойства, то видно, что ast у него заполнено и там есть узлы, а список токенов - пустой.

[nixel2007]