[0001] Die Erfindung betrifft ein Verfahren zur Entfaltung von Bilddaten gemäß dem Oberbegriff des Anspruchs 1.
[0002] Bei der Anwendung von Verfahren der konfokalen Mikroskopie wird eine üblicherweise als Pinhole bezeichnete Blende in einer konjugierten Bildebene eines Detektionsstrahlengangs angeordnet, wie dies beispielsweise aus der
EP 1 372 011 B1 bekannt ist.
[0003] Bei der Erfassung von Bilddaten eines Objekts werden Strahlen einer Detektionsstrahlung mittels eines optischen Systems erfasst und auf einen Detektor geleitet, der hinter dem Pinhole angeordnet ist. Dabei werden die Bilddaten aufgrund optischer Eigenschaften der Elemente des optischen Systems verändert und können beispielsweise neben einem Verlust von Anteilen der Detektionsstrahlung auch ein "Verschmieren" des Orts einer die Detektionsstrahlung bewirkenden Signalquelle mit sich bringen. Zudem ist es mit üblichen optischen Systemen nicht möglich, eine punktförmige Strahlungsquelle wieder exakt als ein Punkt abzubilden, wenn dieses kleiner als die optische Auflösung des optischen Systems ist.
[0004] Die Wirkungen eines optischen Systems auf die übertragene Detektionsstrahlung kann mittels einer Punktbildübertragungsfunktion (point spread function, PSF) beschrieben werden. Diese auch als Faltung oder Konvolution (engl. convolution) bezeichnete Beeinflussung der Detektionsstrahlung, - und damit der resultierenden Bilddaten, - kann bei Kenntnis der PSF mittels einer als Entfaltung oder Dekonvolution (engl. deconvolution) bezeichneten Rechenoperation wieder aufgehoben werden.
[0005] In der Fig. 1 ist schematisch der Zusammenhang der Erfassung von Bilddaten im Ortsraum O(r) der entsprechenden Punktbildübertragungsfunktion EH(r), fortan auch kurz als PSF bezeichnet, und der resultierenden Bilddaten D(r) dargestellt.
[0006] Die entsprechenden Größen im Frequenzraum sind das Objektspektrum O(ω), die optische Transfer Funktion EH(ω) sowie das Bildspektrum D(ω).
[0007] Mittels der Fouriertransformation FT beziehungsweise der inversen Fouriertransformation FT
-1 können die Daten beziehungsweise Funktionen von Ortsraum und Frequenzraum ineinander umgerechnet werden.
[0008] Ein mittels konfokaler Mikroskopie erhaltenes Bild ist daher das Ergebnis einer Faltung der Detektionsstrahlung entsprechend der PSF im Ortsraum (spatial domain). Zusätzlich auftretendes Rauschen [additive noise; N(r)] trägt ebenfalls zu den resultierenden Bilddaten und somit zu dem erhaltenen Bild bei und muss gegebenenfalls durch zusätzliche auswertetechnische Maßnahmen reduziert werden.
[0010] Wird beispielsweise ein Detektor mit n = 1 oder ein Airyscandetektor mit einer Anzahl n ≥ 2 (i = 2, 3, 4,..., n) Detektorelemente verwendet, ergeben sich die resultierenden Bilddaten D
i(r) jedes einzelnen Detektorelements im Ortsraum aus:
[0011] Dabei ist i ein Index von i = 1, 2, 3, ..., n. Der Term N(r) repräsentiert das Rauschen.
[0012] Im Frequenzraum gilt entsprechend die
[0013] Eine Entfaltung der resultierenden Bilddaten D
i(r) im Frequenzraum kann erfolgen, indem die resultierenden Bilddaten D
i(r) inklusive Rauschen N(r) mittels einer Fouriertransformation FT in die das Bildspektrum D
i(ω) überführt werden.
[0016] Dieses Vorgehen erfordert eine hohe Rechenleistung und entsprechend lange Rechenzeiten beziehungsweise entsprechend schnelle Prozessoren. Bei nicht optimal festgelegtem Wiener-Parameter w ist die Qualität des Resultats der Entfaltung entsprechend beeinträchtigt.
[0017] Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber den Stand der Technik verbessertes Verfahren zur Entfaltung von Bilddaten vorzuschlagen.
[0018] Die Aufgabe wird mit einem Verfahren gemäß des unabhängigen Anspruchs 1 gelöst. Vorteilhafte Weiterbildungen sind Gegenstand der abhängigen Ansprüche.
[0019] Bei Ausführung des Verfahrens zur Entfaltung von Bilddaten, werden mit einer Anzahl n konfokaler Strahlengänge und einer Anzahl n Detektorelementen oder einer Anzahl n Detektoren Bilddaten eines Objekts erfasst. Die Bilddaten werden entsprechend einer Punktbildübertragungsfunktion in resultierende Bilddaten überführt. Die so erhaltenen resultierenden Bilddaten werden dann unter Anwendung einer Entfaltungsfunktion im Frequenzraum wieder entfaltet. Die Entfaltungsfunktion bedingt dabei die Bildung mindestens einer Anzahl n Summenterme.
[0020] Die Entfaltungsfunktion beinhaltet zudem einen Wiener-Parameter w, der als Korrekturvariable zur Reduzierung des Rauschens dient.
[0021] Dieser kann in einer möglichen Ausgestaltung des Verfahrens die Form
aufweisen.
[0022] Dabei sind N(ω) das Rauschspektrum und O(ω) das Objektspektrum.
[0023] Erfindungsgemäß werden die Ergebnisse der Anzahl n der Terme
und
(siehe Gleichung 2) wiederholt abrufbar gespeichert. Der Wiener-Parameter w wird wenigstens einmal ausgehend von einem zuvor festgelegten Ursprungswert verändert und die Entfaltung wird mittels der Entfaltungsfunktion mit dem veränderten Wiener-Parameter w ausgeführt. Dabei werden die gespeicherten Ergebnisse der Terme abgerufen und die Entfaltung unter Verwendung dieser abgerufenen Ergebnisse ausgeführt.
[0024] Die Punktbildübertragungsfunktion ist eine Eigenschaft des jeweiligen optischen Systems. Jeder der konfokalen Strahlengänge besitzt seine individuelle PSF im Ortsraum beziehungsweise seine individuelle optische Transferfunktion im Frequenzraum. Die Überführung der Bilddaten in resultierende Bilddaten anhand der PSF ist daher ein dem jeweiligen konfokalen Strahlengang inhärenter und passiver Vorgang.
[0025] Ein konfokaler Strahlengang ist beispielsweise dann gegeben, wenn ein sogenannter Airyscandetektor in einer konjugierten Bildebene in einem Detektionsstrahlengang angeordnet ist. Jeder Strahlengang zu einem Detektorelement, gegebenenfalls mit den Detektorelementen jeweils vorgeordneten Lichtleitfasern, stellt einen eigenen konfokalen Strahlengang im Sinne dieser Beschreibung dar.
[0026] Kern der Erfindung ist die Verbesserung des oben beschriebenen Entfaltungsverfahrens, indem die besonders rechenaufwändigen Schritte reduziert werden und das Entfaltungsverfahren effektiver gestaltet wird. Zusätzlich eröffnet die Erfindung die Möglichkeit, den Wiener-Parameter w im Zuge einer iterativen Annäherung effizient auszuwählen um das aus allen individuellen konfokalen Strahlengängen resultierende Rauschen besser zu berücksichtigen, als dies mit einem einmalig festgelegten Wert des Wiener-Parameters w im Stand der Technik der Fall ist.
[0027] In einer vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens werden die Ergebnisse der rechenintensiven Terme
und
einmalig ermittelt und in einer Speichereinheit als Summenterme wiederholt abrufbar abgelegt. Für eine zweite und jede weitere Iteration des Wiener-Parameters w müssen diese Summenterme nicht erneut berechnet werden. Es müssen lediglich der jeweilige Wiener-Parameter w zu dem Summenterm des Nenners addiert und der Quotient gemäß der Gleichung 3 gebildet sowie die inverse Fouriertransformation des Objektspektrums [O(r) = FT
-1(O(ω))] je Iteration ausgeführt werden.
[0028] Besonders deutlich werden die Vorteile des erfindungsgemäßen Verfahrens am Beispiel eines Airyscandetektors mit beispielsweise 32 Detektorelementen.
[0029] Die Verfahrensweise der Entfaltung nach dem Stand der Technik und unter Nutzung der Gleichung 3 bedingt Fouriertransformationen der resultierenden Bilddaten D(r) aus dem Ortsraum in den Frequenzraum: D(ω) = FT(D(r)). Für jeden konfokalen Strahlengang muss vorab die jeweilige PSF (EH
i(r)) ermittelt werden. Außerdem werden die optischen Transferfunktionen mittels Fouriertransformation aus der jeweiligen PSF berechnet: EH(ω) = FT(EH(r)). Daher sind für einen vorgegebenen Wiener-Parameter w insgesamt 64 Fouriertransformationen (32x FT(D(r) und 32x FT(EH(r)) erforderlich. Zudem sind jeweils die Summenterme
und
zu berechnen. Um das erhaltene Objektspektrum O(ω) wieder in die Bilddaten O(r) im Ortsraum zu überführen, ist noch eine inverse Fouriertransformation erforderlich [O(r) = FT
-1(O(ω))]. Sämtliche Berechnungen sind nach dem Stand der Technik erneut auszuführen, wenn der Wiener-Parameter w verändert wird.
[0030] In Abhängigkeit von der Anzahl n der konfokalen Strahlengänge wird die erforderliche Rechenzeit mittels des erfindungsgemäßen Verfahrens um einen Faktor von 4 bis 30 reduziert. Für ein typisches mittels eines Airyscandetektors (Airyscan) erfassten Bildes (SizeX = 2000, SizeY = 2000, SizeZ = 75) wird die Rechenzeit für jede Iteration auf wenige Sekunden reduziert. Ein optimaler Wert für den Wiener-Parameter w kann somit in effizienter Weise ermittelt werden.
[0031] Das erfindungsgemäße Verfahren erlaubt vorteilhaft eine Veränderung des Wiener-Parameters w mit geringen Rechenaufwand. Ein schrittweises Anpassen und Optimieren des Wiener-Parameters w ist ebenfalls erheblich effizienter möglich. Dieser Vorteil des erfindungsgemäßen Verfahrens zeigt sich insbesondere bei großen Datenmengen.
1. Verfahren zur Entfaltung von Bilddaten (D(r)),
bei dem mit einer Anzahl n konfokaler Strahlengänge und einer Anzahl n Detektorelementen Bilddaten (O(r)) eines Objekts erfasst werden;
die Bilddaten (O(r)) mittels einer Punktbildübertragungsfunktion (EH(r)) in resultierende Bilddaten (D(r)) überführt werden; und
die resultierenden Bilddaten (D(r)) unter Anwendung einer Entfaltungsfunktion im Frequenzraum wieder entfaltet werden, wobei die Entfaltungsfunktion
die Bildung mindestens einer Anzahl n von Summenterme bedingt und
einen Wiener-Parameter (w) als Korrekturvariable enthält,
dadurch gekennzeichnet, dass
die Ergebnisse der Summenterme abrufbar gespeichert werden;
der Wiener-Parameter (w) wenigstens einmal ausgehend von seinem Ursprungswert verändert wird und
die Entfaltung mittels der Entfaltungsfunktion mit dem veränderten Wiener-Parameter (w) und den gespeicherten Ergebnissen der Summenterme ausgeführt wird.
2. Verfahren nach Anspruch 1,
dadurch gekennzeichnet, dass die Entfaltungsfunktion die
Form
aufweist, wobei
O(ω) = ein Objektspektrum,
D(ω) = ein Bildspektrum,
EH∗(ω)= eine optische Transferfunktion (komplex konjugiert),
EHi(ω)= eine optische Transferfunktion,
n = Anzahl Detektorelemente und
i = ein Laufindex von 1 bis n
sind.
3. Verfahren nach Anspruch 2,
dadurch gekennzeichnet, dass die Anzahl n konfokaler Strahlengänge
- n ≥ 2,
- gleich der Anzahl n von Detektorelementen ist, und
- Bilddaten jedes konfokalen Strahlengangs individuell mittels jeweils einem Detektorelement erfasst wird.
4. Verfahren nach Anspruch 3,
dadurch gekennzeichnet, dass die Terme
und
als Summenterme abrufbar gespeichert werden.
5. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass der Wiener Parameter w die Form
aufweist.
6. Verfahren nach einem der Ansprüche 3 bis 5,
dadurch gekennzeichnet, dass zur Erfassung der resultierenden Bilddaten ein Detektor mit einer zweidimensionalen Anordnung einer Anzahl von Detektorelementen verwendet wird, wobei der Detektor in einer konjugierten Bildebene eines Detektionsstrahlengangs angeordnet wird.