Directory UMM :Journals:Journal_of_mathematics:DM:
Divulgaciones Matem´
aticas Vol. 16 No. 1(2008), pp. 1–27
Estimaci´
on Param´
etrica de la Funci´
on
de Regresi´
on en un Modelo No Lineal
Parametric Estimation of the Regression Function
in a nonlinear model
Mar´ıa Margarita Olivares (molivar@euler.ciens.ucv.ve)
Escuela de Matem´atica. Facultad de Ciencias. U.C.V
Har´
u Martinez (martinezh@agr.ucv.ve)
Instituto de Ingenier´ıa Agr´ıcola
Facultad de Agronom´ıa U.C.V.
Abstract
Se construye un estimador param´etrico de la funci´
on de regresi´
on
en un modelo no lineal bas´
andonos en una t´ecnica de m´ınima distancia
utilizada por Beran para estimaci´
on de densidades (1977). Obtenemos
consistencia y un teorema central del l´ımite para estos estimadores.
Palabras Claves: Modelo de Regresi´
on no lineal, m´ınima distancia,
estimaci´
on.
Abstract
In this paper we construct estimators of the parameter that identifies a regression function in the nonlinear regression model using Beran
Technique for densities estimation (1977). We give consistency and a
central limit theorem for these estimators.
Key words and phrases: Regresion nonlinear model, minimum distance, estimation.
1
Introducci´
on
Consideremos un modelo de uso frecuente en ´areas aplicadas, como es el modelo de regresi´on no lineal, el cual consiste en suponer que un conjunto de datos
(ti , xi ) , i = 1, 2, · · · , n verifican la ecuaci´on:
xi = h (ti ) + εi
Recibido 2006/02/25. Revisado 2006/06/21. Aceptado 2006/07/15.
MSC (2000): Primary 62J02; Secondary 62F12.
2
Mar´ıa Margarita Olivares, Har´
u Martinez
Los puntos ti se consideran determin´ısticos y los εi son variables aleatorias
independientes y equidistribuidas. Si se supone que la funci´on h depende de
una familia param´etrica, es decir:
h(t) = h(t, θ) con θ ∈ Rp
un problema importante se refiere a obtener estimadores del par´ametro θ
a partir de las observaciones. Para obtener tales estimadores y demostrar su
comportamiento asint´otico aplicamos una t´ecnica de m´ınima distancia utilizada por Beran (1977) para presentar los estimadores de distancia de Hellinger
m´ınima en la estimaci´on de densidades. Este m´etodo de m´ınima distancia
fue desarrollado por J. Wolfowitz (1957) y ha sido ampliamente usado para obtener estimadores fuertemente consistentes de funciones de distribuci´on,
densidades y de regresi´on.
En regresi´on, Pak (1996) usa la t´ecnica de Beran (1977), considerando un
modelo de regresi´on lineal y la distancia de Hellinger. Construye estimadores
de densidad basados en los errores estandarizados y sobre estos usa la distancia
de Hellinger.
En este trabajo se aplica de una forma diferente el procedimiento de Beran
(1977) en la funci´on regresora y considerando que ´esta no es una densidad, se
utiliza la distancia usual de L2 [0, 1] . Para el estimador planteado se demuestra
su consistencia y se establece un Teorema Central del L´ımite.
Preliminares y Resultados.
En lo que sigue se considera el modelo de regresi´on:
xni = h(tni ) + εi ,
i = 1, ..., n y tni ∈ (0, 1)
con εi variables aleatorias
independientes e id´enticamente distribuidas tales
¡ ¢
que E(εi ) = 0 y E ε2i = σ 2 .
La verdadera funci´on regresora h ∈ L2 [0, 1] es desconocida, y asumimos
que pertenece a una familia
F = {kf (θ, k) : kf (θ, k)k2 = 1 , θ ∈ Θ, k ∈ I}
donde Θ es un conjunto compacto de Rp , I es un intervalo compacto de R,
k k2 representa la norma L2 [0, 1].
Siguiendo un enfoque an´alogo al utilizado por Beran (1977) para presentar
los funcionales de distancia de Hellinger m´ınima, estimamos el par´ametro
θ ∈ Θ y estimamos k = k hk2 vali´endonos de una estimaci´on no param´etrica
ˆ n de la funci´on de regresi´on h definida en Gasser y M¨
h
uller (1979).
Divulgaciones Matem´
aticas Vol. 16 No. 1(2008), pp. 1–27
Estimaci´on de la Funci´
on de regresi´on en un Modelo No Lineal
3
Para estimar θ definiremos los siguientes operadores para g ∈ L2 [0, 1]
T (g) =
arg m´ın kkf (t, k) − gk2
°
°
°
°
arg m´ın °kˆn f (t, kˆn ) − g °
t∈Θ
Tˆn (g) =
2
t∈Θ
donde kˆn es el estimador de k = kgk2 . Bajo hip´otesis de regularidad de
la familia F, demostramos que para g ∈ L2 [0, 1], gˆn el estimador de g no
param´etrico:
1. T (ˆ
gn ) → T (g) en probabilidad
´
³
R1
√
D
D
gn ) − T (g)) → N 0, σ 2 0 ρg (t) ρTg (t) dt donde →, significa
2. n (T (ˆ
convergencia en distribuci´on, ρg es una funci´on vectorial definida en
[0, 1] que depende de g y ρTg es su traspuesta , N es la distribuci´on
normal.
3. kˆn2 → k 2 en probabilidad.
4.
´
R1
√ ³ˆ2
D
n kn − k 2 → N (0, 4σ 2 g 2 (t)dt)
0
∧
5. k n → k en probabilidad.
µ
¶
∧
√
D
6. n kn − k → N (0, σ 2 ) note que la distribuci´on no depende de kgk2
7.
´
£
¤
√ ³ˆ
D
gn ) − T (g) → N 0, V (σ 2 , g) , donde
n T (ˆ
V (σ 2 , g) = σ 2
σ2
kgk2
R1
0
R1
ρg (t)ρTg (t)dt+
0
ρg (t)hT (f, θ0 , k, g)g(t)dt +
σ2
kgk2
R1
h(f, θ0 , k, g)ρTg (t)g(t)dt+
0
σ 2 h(f, θ0 , k, g)hT (f, θ0 , k, g) kgk2
donde h(f, θ0 , k, g) es un vector en Rp y hT es su traspuesta.
Se supondr´an ciertas las siguientes hip´otesis e introducimos las definiciones
y notaciones dadas a continuaci´
on.
Hip´
otesis. Definiciones. Notaciones.
Divulgaciones Matem´
aticas Vol. 16 No. 1(2008), pp. 1–27
4
Mar´ıa Margarita Olivares, Har´
u Martinez
Se considera el modelo de regresi´on:
xni = h(tni ) + εi ,
i = 1, ..., n y tni ∈ (0, 1)
con εi variables aleatorias
independientes e id´enticamente distribuidas tales
¡ ¢
que E(εi ) = 0 y E ε2i = σ 2 .
H1 La verdadera funci´on regresora h ∈ L2 [0, 1] es desconocida, y asumimos
que pertenece a una familia
F = {kf (θ, k) : kf (θ, k)k2 = 1 , θ ∈ Θ, k ∈ I}
donde Θ es un conjunto compacto de Rp , I es un intervalo compacto
de R, k k2 representa la norma dos de L2 [0, 1]
H2 f (t, k) es continua en cada uno de los par´ametros, t ∈ Θ, k ∈ I, bajo la
norma de L2 [0, 1]
•
••
H3 f (t, k) y f (t, k) representan la primera y segunda derivada respecto a
•
t ∈ Θ de f,
∂ f (t,k)
∂k
continua en [0, 1] , k ∈ I.
H4 F satisface la siguiente condici´on: si θ1 , θ2 ∈ Θ , θ1 6= θ2 ,entonces
f (θ1 , k) 6= f (θ2 , k), para cada k ∈ I.
H5 Ag (t, k) =
R1 ••
f (x; t, k)g(x)dx es una matriz p×p no singular, t ∈ Int(Θ).
0
•
2
H6 ρg (x) = −A−1
g (θ0 , k)f (x; θ0 , k) , x ∈ [0, 1] , ρg ∈ C [0, 1] .
H7 N (µ, V ) representa la distribuci´on Normal de media µ y varianza V.
•
H8 f (t, k) y f (t, k) admiten el siguiente desarrollo de Taylor de primer
orden, para t ∈ int (Θ):
•
f (x; t + αe, k) = f (x; t, k) + αeT f (x; t, k) + αeT U (α; x); x ∈ [0, 1]
•
•
•.•
f (x; t + αe, k) = f (x; t, k) + α f (x; t,k)e + αV (α; x)e; x ∈ [0, 1]
donde
• e es un vector columna unitario en la norma Euclidiana de Rp
• eT es el vector fila, traspuesto del vector e.
Divulgaciones Matem´
aticas Vol. 16 No. 1(2008), pp. 1–27
Estimaci´on de la Funci´
on de regresi´on en un Modelo No Lineal
5
•
• f es un vector p × 1 que representa las derivadas parciales de 1er orden
de f (t, k) con respecto a las p variables del vector t ∈Rp .
••
• f (x; t, k) es una matr´ız p × p que representa las derivadas parciales de
segundo orden de la funci´on f (x; t, k) con respecto a las p variables del
vector t ∈Rp .
• U (α; x) (vector p × 1) y V (α; x) (matriz p × p) son tales que cada una
de sus componentes tienden a cero en L2 [0, 1] cuando α → 0.
∧
Definici´
on 1. Denotaremos por gn (z) , un estimador no param´etrico de g ∈
L2 [0, 1] , definido en Gasser y M¨
uller (1979), como:
∧
gn
n
1 X
(z) =
b (n) j=1
Z
sn
j
w
sn
j−1
µ
z−s
b (n)
¶
¡ ¢
x tnj ds
(1)
donde
© ª
• snj j=0,...,n es una sucesi´
on creciente tal que:
n
sn0 = 0,¯ snj−1 ≤ tnj ≤ s¯nj , j =¡ 1, ...,
¢ n − 1, sn = 1
1
1
n
n
m´
ax ¯sj − sj−1 − n ¯ = O na , a > 1.
1≤j≤n
• w es un n´
ucleo de orden d = 2, es decir, w tiene soporte compacto en
[−c, c] ,
Zc
−c
w(x)dx = 1,
Zc
xw(x)dx = 0,
−c
Zc
−c
• w es Lipschitz de orden νw = 1.
• {b (n)}n∈N satisface: l´ım b (n) = 0 y l´ım
n→∞
n→∞
√
x2 w(x)dx 6= 0.
n b (n) = ∞.
• g es dos veces diferenciable con segunda derivada continua en (0, 1) .
Gasser y M¨
uller(1979) demuestran que este estimador posee buenas propiedades, tales como:
• Consistencia en error medio cuadr´
atico:
2
para todo x ∈ (0, 1) l´ım E [ˆ
gn (x) − g (x)] = 0
n→∞
Divulgaciones Matem´
aticas Vol. 16 No. 1(2008), pp. 1–27
6
Mar´ıa Margarita Olivares, Har´
u Martinez
• Consistencia en error medio cuadr´
atico integrado:
Z 1 h
i2
∧
l´ım
E gn (x) − g (x) dx = 0
n→∞
(2)
0
• La velocidad de convergencia del error medio cuadr´
atico integrado:
Rc 2
2
σ2
w (x)dx+
E [ˆ
gn (x) − g (x)] dx = nb(n)
−c
Ã
!2
R1 ¡ (d) ¢2
Rc
1 2d
d
b
(n)
w(x)x
dx
·
g (x) dx+
2
d!
−c
0
´
³
´
³ d
1
+ n2 b12 (n) + ◦ b n(n) + ◦(bd (n)) , a > 1, d = 2
◦ na b(n)
R1
0
(3)
Antes de enunciar los teoremas y hacer las demostraciones vamos a demostrar los siguientes lemas para obtener el comportamiento asint´otico del
vector aleatorio Zn (ρ), ρ : R → Rm , m ≥ 1
"Z n µ
(Z
¶ # )
√ X
n
sj
1
n
t−s
Zn (ρ) =
ds dt
(4)
w
εj
ρ (t)
b (n) j=1
b (n)
sn
0
j−1
el cual es centrado pues E (εj ) = 0, j = 1, 2, · · · , n; donde, en particular, si
ρ : R → Rp es
•
ρ (t) = ρg (t) = −A−1
g (θ0 , k)f (t; θ0 , k)
se obtiene la distribuci´on asint´otica de
√
n (T (ˆ
gn ) − T (g))
y tambi´en obtendremos la distribuci´on asint´otica de
´ √ ³
´
√ ³
n Tˆ(ˆ
gn ) − T (g) y n kˆn − k
a partir de Zn (ρ).
Lema 1. Sea ρ : R → Rm , m ≥ 1, con segunda derivada continua en [0, 1] ,
w es un n´
ucleo de orden d = 2, continuo en R y tiene soporte compacto en
[−c, c], Zn (ρ) es el vector aleatorio definida en (4) entonces
1. Zn (ρ) = Yn (ρ) + Hn (ρ),
donde
Divulgaciones Matem´
aticas Vol. 16 No. 1(2008), pp. 1–27
Estimaci´on de la Funci´
on de regresi´on en un Modelo No Lineal
7
£
¤
√ Pn
Yn (ρ) = n j=1 εj ρ(ξjn )nsnj − snj−1
o
¤ Rc ′ n
£
Pn
√
Hn (ρ) = nb (n) j=1 εj snj − snj−1
ρ (ηj ) z w (z) dz
−c
¤
£
¤
£
¤
£
con ξjn ∈ snj−1 , snj , ηjn ∈ ξjn , zb (n) ´
o ηjn ∈ zb (n) , ξjn para n ≥ N0 , y
Hn (ρ) → 0 en probabilidad.
R1
2. V ar(Yn (ρ)) → σ 2
n→∞
ρ(t)ρT (t)dt, V ar(Yn (ρ)) es la matriz de varianzas
0
y covarianzas de Yn (ρ). :
Demostraci´
on: Usando Fubini, cambio de variable, el hecho que w es a
soporte compacto y teorema de valor medio para integrales, obtenemos que
para n ≥ N0
½Z c
¾
n
¡
¢
£
¤
√ X
ρ zb(n) + ξjn w (z) snj − snj−1 dz
εj
Zn (ρ) = n
−c
j=1
¤
£
con ξjn ∈ snj−1 , snj , mediante el desarrollo de Taylor de ρ alrededor de ξjn ,
¤
£
¤
£
o ηjn ∈ zb (n) , ξjn tal que
existe ηjn ∈ ξjn , zb (n) ´
½Z
n
√ X
Zn (ρ) = n
εj
j=1
c
−c
£ n
¤
£
¤
ρ(ξj ) + ρ′ (ηjn ) z b(n) w (z) snj − snj−1 dz
¾
por ser w un n´
ucleo obtenemos la descomposici´on
¤
£ n
√ Pn
n
n
Zn (ρ) = n j=1 εj ρ(ξ
j ) sj − sj−1 +
n
o
¤ Rc ′ n
£
Pn
√
ρ
(η
)
z
w
(z)
dz
nb (n) j=1 εj snj − snj−1
j
−c
para demostrar que Hn (ρ) tiende a cero en probabilidad hacemos el desarrollo
R1
de Taylor de ρ′ (ηjn ) alrededor de snj y puesto que zw(z)dz = 0 obtenemos
0
¤
£
que existe νjn ∈ ηjn , snj , tal que
n
¡
¢
√ X
Hn (ρ) = b(n) n
εj snj − snj−1
j=1
Z
c
−c
ρ′′ (νjn )(snj − ηjn ) w (z) z dz
¯¯ P
¤2
£
√ ¯¯¯¯R c ′′ n
¯¯ n
n ¯¯ −c ρ (νj )w (z) z dz ¯¯ j=1 |εj | snj − snj−1
´P
³ P
£ n
¤4
2
n
n
n
||Hn (ρ)|| ≤ n2 · b2 (n)Kρ,w n1 j=1 ε2j
→0
j=1 sj − sj−1
||Hn (ρ)|| ≤ b (n)
Divulgaciones Matem´
aticas Vol. 16 No. 1(2008), pp. 1–27
8
Mar´ıa Margarita Olivares, Har´
u Martinez
casi siempre, pues por la Ley fuerte de los grandes n´
umeros,
n
1X 2
ε
n j=1 j
n
X
£ n
¤4
1
sj − snj−1 ≤ 3
n
j=1
¶2
° ′′ n
°
°ρ (νj )w (z) z ° dz
= Kρ,w < ∞
σ 2 casi siempre,
→
b(n) →
0y
µZ
c
−c
por lo que:
P (||Hn (ρ)|| ≥ ε) → 0 si n → ∞.
donde kHn (ρ)k es la norma eucl´ıdea del vector aleatorio Hn (ρ). De este hecho
se desprende que Yn (ρ) y Zn (ρ) son asint´oticamente equivalentes, es decir,
tienen la misma distribuci´on asint´otica. ¡
¢
¡
¢
Yn (ρ) es centrado, V ar((Yn (ρ))) = E (Yn (ρ))(YnT (ρ)) = E Ynih (ρ) m×m
donde
"
#
n
n
X
X
£
£
¤
¤
√
√
Ynih (ρ) = n
n
εj ρi (ξjn ) snj − snj−1
εk ρh (ξkn ) snk − snk−1
j=1
k=1
ρi es la i-´esima componente del vector ρ , YnT (ρ) es el vector traspuesto del
vector Yn (ρ).
n
X
¡
¢
£
¤2
E Ynih (ρ) = n
σ 2 ρi (ξjn )ρh (ξjn ) snj − snj−1
j=1
¡ ¢
pues E ε2j = σ 2 y E (εj εk ) = 0, j 6= k,como
n
n
X
j=1
2
σ ρ
i
£
(ξjn )ρh (ξjn ) sn
j
−
¤2
sn
j−1
∼
=
(
nσ
2
·
)
¸ n
1 X i n h n £ n
K
n ¤
+
ρ (ξj )ρ (ξj ) sj − sj−1
na
n j=1
donde K es constante, usando la continuidad de ρ y considerando que a > 1,
tenemos que
Z 1
¡ ih ¢
2
E Yn (ρ) → σ
ρi (t) ρh (t) dt
n→∞
Lema 2. Bajos las hip´
otesis del Lema 1
·
Z
Zn (ρ) → N 0, σ2
0
1
T
ρ(t)ρ (t)dt
0
¸
Divulgaciones Matem´
aticas Vol. 16 No. 1(2008), pp. 1–27
Estimaci´on de la Funci´
on de regresi´on en un Modelo No Lineal
9
Demostraci´
on: Zn (ρ) es asint´oticamente equivalente a Yn (ρ), pues Hn (ρ) → 0
en probabilidad; si demostramos que
·
¸
Z 1
T
Yn (ρ) → N 0, σ2
ρ(t)ρ (t)dt
0
obtendremos el resultado para Zn (ρ).
Puesto que
n
£
¤
√ X
εj ρ(ξjn ) snj − snj−1
Yn (ρ) = n
j=1
para obtener la normalidad asint´otica de Yn (ρ), demostremos que para todo
vector y ∈ Rm no nulo
£
¤
hYn (ρ), yi → N 0, σ 2 (y)
por las propiedades del producto escalar
hYn (ρ), yi =
n
X
εj anj (y)
j=1
donde
anj (y) =
Si
¤
¡
¢
√ n ®£ n
n ρ(ξj ), y sj − snj−1 ; ξjn ∈ snj − snj−1
Xnj (y) = εj anj (y) y Sn (y) = V ar(hYn (ρ), yi) = σ 2
n
X
a2nj (y)
j=1
hYn (ρ), yi =
n
X
Xnj (y)
j=1
probaremos a continuaci´
on que hYn (ρ), yi satisface la condici´on de Lindeberg
(Billingsley, 1968), esto es :
n Z
1 X
2
n
o Xnj (y)dP → 0 , para cada ε > 0
Sn (y) j=1 Xnj (y)≥ε√Sn (y)
R
Sea ε > 0, como ε2j dP < ∞,
existe R > 0 tal que
Z
{
ε2j ≥εσ 2 R
}
ε2j dP ≤ σ 2 ε
Divulgaciones Matem´
aticas Vol. 16 No. 1(2008), pp. 1–27
10
Mar´ıa Margarita Olivares, Har´
u Martinez
existe N1 tal que para cada n ≥ N1 se tiene
pues
³√
|anj (y)| ≤ (kρk∞ kyk) K nan +
√
n
n
´
n
P
a2nk (y)
k=1
a2nj (y)
≥R
→ 0, a > 1 donde
n→∞
kρk∞ = sup kρ(t)k , kyk es la norma Eucl´ıdea en Rm , K constante.
t∈[0,1]
Por otro lado:
h 2
n
P
2
a2nj (y) ≤ K (kρk∞ kyk) nn2a +
j=1
2n2
na+1
+
lo. As´ı tenemos que:
a2nj (y)
→
n
P
a2kj (y) n→∞
+
0 ⇒
n
P
a2nk (y)
k=1
2
anj (y)
n2
n2
i
2
→ K (kρk∞ kyk) no nu-
n→∞
→ ∞ luego, para cada n ≥ N1
n→∞
k=1
An,j
n
P
2
a
(y)
nj
©
ª
2
2 2 j=1
= εj ≥ ε σ
⊂ ε2j ≥ ε2 σ 2 R
2
anj (y)
concluyendo que para n ≥ N1
n Z
1 X
2
o Xnr (y)dP
n
Sn (y) r=1 Xnr (y)≥ε√Sn (y)
Z
n
X
1
2
ε2r dP
anr (y)
n
P
2 ≥ε2 σ 2 R}
2
{ε
2
r
anj (y) r=1
σ
≤
≤
j=1
1
σ2
n
P
j=1
n
X
a2nj (y) r=1
a2nr (y)εσ 2 = ε.
2
−1
Corolario 1. Si ρg (t) = −A−1
g (θ0 , k)f (t; θ0 , k) ∈ C [0, 1] , donde Ag (θ0 , k)
2
est´
a definido en (H6), g ∈ C [0, 1] , w es un n´
ucleo de orden 2 y ρ = ρg ,
entonces
·
¸
Z
1
Zn (ρg ) → N 0, σ2
0
ρg (t)ρTg (t)dt
Corolario 2. Si ρ = g ∈ C 2 [0, 1] y w es un n´
ucleo de orden 2, entonces
·
¸
Z 1
2
Zn (g) → N 0, σ2
g (t)dt
0
Divulgaciones Matem´
aticas Vol. 16 No. 1(2008), pp. 1–27
Estimaci´on de la Funci´
on de regresi´on en un Modelo No Lineal
11
Lema 3. Si ρ y g ∈ C 2 [0, 1] y w es un n´
ucleo de orden 2, entonces Zn (ρ) es
asint´
oticamente equivalente a:
Z 1
√
ρ (t) [ˆ
gn (t) − g (t)] dt
n
0
(es decir, sus distribuciones l´ımites son las mismas)
√ R1
Demostraci´
on: Sea I1 (n) = n 0 ρ (t) [ˆ
gn (t) − g (t)] dt, usando la definici´on
de gˆn
I1 (n) = Zn (ρ) +
√
n
Z
1
ρ (t)
0
"(
n
1 X
b (n) j=1
Z
sn
j
w
sn
j−1
µ
t−s
b (n)
¶
¡ ¢
g tn
j ds
)
#
− g (t) dt
para n ≥ N0 , usando Fubini, cambio de variable y que w es un n´
ucleo
¶
µ
Z 1
n Z sn
1 X
j
¡ ¢
√
t−s
n
ρ (t)
g tnj ds − g (t) dt = I11 + I12
w
b (n)
n
b (n)
0
j=1 sj−1
donde
I11 =
I12
n R n R
¡ ¢
√ P
c
sj
w (z) [ρ (b (n) z + s) − ρ (s)] g tnj dz ds
n
−c
sn
j=1
j−1
j=1
j−1
n R n
¤
£ ¡ ¢
√ P
sj
= n
ρ (s) g tnj − g (s) ds
sn
¤
£
Si en I11 , aplicamos el Teorema del valor medio, existe λjn ∈ snj−1 , snj tal
que:
n Z c
£
¤ ¡ ¢
√ X
I11 =
n
w(z) [ρ (b (n) z + λjn ) − ρ (λjn )] snj − snj−1 g tnj dz
=
√
n
j=1 −c
n Z c
X
j=1
−c
¢
£
¤ ¡ ¢
¡
ρ′ ξz,sj b (n) w(z) z snj − snj−1 g tnj dz
o viceverdonde ξz,sj ∈ I∗ con I∗ intervalo de extremos λjn , £λjn + b(n)z
¤
sa. Observe que para n suficientemente grande, I∗ ⊂ snj−1 , snj , aplicando el
desarrollo de Taylor a la funci´on ρ′ alrededor de snj obtenemos:
I11 =
n
¤ ¡ ¢ ¡ ¢Rc
£
√ P
n b (n) snj − snj−1 g tnj ρ′ snj −c w (z) z dz+
j=1
n
¡ ¢¡
¢
£
¤ ¡ ¢Rc
√ P
n b (n) snj − snj−1 g tnj −c ρ′′ νjn snj − ξz,sj w (z) z dz
j=1
Divulgaciones Matem´
aticas Vol. 16 No. 1(2008), pp. 1–27
12
Mar´ıa Margarita Olivares, Har´
u Martinez
¢
¡
Rc
donde νjn ∈ ξz,sj , snj , ya que −c w (z) z dz = 0,
kI11 k ≤
≤
n
X
¡
Z
¢ ¯ ¡ n ¢¯ 1 c ° ′′ ¡ n ¢°
°ρ νj ° |w (z) z| dz
¯
¯
−
nb (n)
g tj
n
−c
j=1
Z
n
X
¡ n
¢ ¯ ¡ ¢¯ c ° ′′ ¡ n ¢°
1
°ρ νj ° |w (z) z| dz → 0
√ b (n)
sj − snj−1 ¯g tnj ¯
n
−c
j=1
√
√1 b (n)
n
si n → ∞, pues
snj
snj−1
→ 0,
Z
n
X
¡ n
¢ ¯ ¡ ¢¯
sj − snj−1 ¯g tnj ¯ →
1
0
j=1
|g(t)| dt, y
Z
c
−c
° ′′ ¡ n ¢°
°ρ νj ° |w (z) z| dz < ∞.
Adem´as, por el teorema
¡ del valor
¢ medio para integrales y por el desarrollo de
Taylor, existen ̟jn ∈ snj , snj−1 y αjn entre tnj y ̟jn tales que la expresi´on
I12 satisface:
°
°
n °Z sn
£ n
¤ °
√ X
° j
°
kI12 k ≤
n
ρ (s) g(tj ) − g (s) ds°
°
° snj−1
°
j=1
=
n
°
£
¤£
¤°
√ X
°ρ(̟jn ) g(tnj ) − g(̟jn ) snj − snj−1 °
n
j=1
≤
≤
≤
≤
√
√
n kρk∞
n
X
¯ ′
£
¤£
¤¯
¯g (αjn ) tnj − ̟jn snj − snj−1 ¯
j=1
n kρk∞ kg ′ k∞
n
X
£n
¤£
¤
tj − ̟jn snj − snj−1
j=1
n
X
£ n
¤2
√
sj − snj−1
n kρk∞ kg ′ k∞
j=1
K
µ
1
1
na− 2
1
+
n
¶
kρk∞ kg ′ k∞ → 0, K es constante y a > 1
n→∞
∧
Distribuci´
on L´ımite de T (gn )
El enfoque que seguiremos ser´a an´alogo al utilizado por Beran (1977) para
presentar los funcionales de distancia de Hellinger m´ınima.
Es decir, T (g) es un elemento de Θ que minimiza la distancia en norma dos
de las funciones kf (θ, k) pertenecientes al conjunto F y g ∈ L2 [0, 1]. Aunque
Divulgaciones Matem´
aticas Vol. 16 No. 1(2008), pp. 1–27
Estimaci´on de la Funci´
on de regresi´on en un Modelo No Lineal
13
puede que existan varios θ ∈ Θ donde se alcance el m´ınimo, tomaremos uno
cualquiera de ´estos.
Bajo las hip´otesis generales impuestas a la familia de funciones F, se puede
garantizar que el funcional T adem´as de estar bien definido es continuo en la
m´etrica de L2 [0, 1] , como se ver´a en los siguientes teoremas:
Teorema 1. Bajo la hip´
otesis (H2), existe T (g) para todo g ∈ L2 [0, 1] .
Demostraci´
on: Sean p(t, k) = kkf (t, k) − gk2 y {tn } ⊂ Θ , tal que tn → t
de la desigualdad
|p(tn , k) − p (t, k)| ≤ |k| k f (tn , k) − f (t, k)k2 → 0 cuando n → ∞
concluimos que p(t, k) es continua en t , para k fijo y para cada t ∈ Θ ,
como este conjunto es compacto en Rp , entonces tenemos que existe θ0 tal
que p (θ0 , k) es m´ınimo, con lo cual se garantiza la existencia de T (g)
Teorema 2. Supongamos que T (g) es u
´nica y que se cumple la hip´
otesis
(H4), entonces
1. T es continua
2. T (kf (θ, k) ) = θ u
´nicamente para θ ∈ Θ, k fijo.
Demostraci´
on: 1) Sean gn y g ∈ L2 [0, 1] tales que kgn − gk2 → 0 , definimos
pn (t, k) = kkf (t, k) − gn k2 y p (t, k) = kkf (t, k) − gk2 con k fijo,
¯
¯
¯
¯
¯M inpn (t, k) − M inp (t, k)¯ ≤ Sup |pn (t, k) − p (t, k)| ≤ Sup kgn − gk → 0
2
¯
¯
t∈Θ
t∈Θ
t∈Θ
t∈Θ
por lo tanto pn (θn , k) → p (θ0 , k) donde
θn = T (gn ) = arg m´ın kkf (t, k) − gn k2
t∈Θ
θ0 = T (g) = arg m´ın kkf (t, k) − gk2
t∈Θ
Falta demostrar que la sucesi´on {θn } converge a θ0 . Supongamos
© ª que θn
no converge a θ0 , como Θ es compacto , existe una subsucesi´on θnj ⊂ {θn }
tal¡ que ¢θnj → θ1 con θ0 distinto a θ1 , luego por ser p(t, k) continua en t,
p θnj , k → p (θ1 , k) y por la unicidad del l´ımite tenemos que p (θ1 , k) =
p (θ0 , k) = l´ım p(θn , k), lo cual es una contradicci´on, ya que hemos supuesto
n→∞
que T (g) es u
´nico (el m´ınimo se alcanza en un u
´ nico θ0 ).
2) T (kf (θ0 , k)) = θ0 es inmediato por la hip´otesis de identificaci´on sobre los
par´ametros.
Divulgaciones Matem´
aticas Vol. 16 No. 1(2008), pp. 1–27
14
Mar´ıa Margarita Olivares, Har´
u Martinez
Teorema 3. Bajo las siguientes hip´
otesis:
• f (t, k) satisface las hip´
otesis (H2,H3,H8)
• El par´
ametro k es fijo (conocido)
• T (g) existe, es u
´nica y pertenece al Int(Θ).
• T es continua en la m´etrica de L2 [0, 1] .
•
R1 ••
f (x; t, k)g(x)dx satisface la hip´
otesis (H5).
0
• gn , g ∈ L2 [0, 1] ,kgn − gk2 → 0
Entonces
θn − θ0 =
·
¸−1
R 1 ••
R1 •
− 0 f (x; θ0 , k) g (x) dx
f (x; θ0 , k) [gn (x) − g (x)] dx
0
R1 •
+an 0 f (x; θ0 , k) [gn (x) − g (x)] dx
donde an es una matriz p × p tal que sus componentes tienden a cero
cuando n → ∞.
Demostraci´
on: Por definici´on:
Z 1
£ 2 2
¤
2
kkf (t, k) − gk2 =
k f (x; t, k) − 2kf (x; t, k)g(x) + g 2 (x) dx
0
=
k 2 − 2k
Z
1
f (x; t, k) g (x) dx +
0
como para g fija y k fija, las expresiones
Z
2
kkf (t, k) − gk2 y − 2k
Z
1
g 2 (x) dx
0
1
f (x; t, k) g (x) dx
0
alcanzan el m´ınimo en el mismo punto t, entonces trabajaremos con la segunda
expresi´on.
R1
Definimos H (k, t) = −2k 0 f (x; t, k) g (x) dx , luego usando (H8)
H (k, t + αe) − H (k, t)
= −2k
α →0
α
l´ım
Z
1
•
eT f (x; t, k) g (x) dx
0
Divulgaciones Matem´
aticas Vol. 16 No. 1(2008), pp. 1–27
Estimaci´on de la Funci´
on de regresi´on en un Modelo No Lineal
15
2
para cualquiere vector e y t ∈int(Θ), comokkf (t, k) − gk2 alcanza un m´ınimo
en t = θ0 obtenemos:
Z
1 •
f (x; θ0 , k) g (x) dx = 0
0
de igual manera,
Z
1 •
f (x; θn , k) gn (x) dx = 0
0
de esta u
´ltima expresi´on y (H8):
R1
0
•
R 1 ••
f (x; θ0 , k) gn (x) dx + α 0 f (x; θ0 , k) e gn (x) dx+
R1
α 0 V (α; x) e gn (x) dx = 0
si αe = θn − θ0 y n es suficientemente grande
(θn − θ0 )
=
−
½Z
+an
¾−1 Z
f (x; θ0 , k) g (x) dx
1 ••
0
Z
1 •
f (x; θ0 , k) [ gn (x) − g(x)] dx
0
1 •
0
f (x; θ0 , k) [ gn (x) − g(x)] dx
donde:
½
½
¾−1
¾−1
R 1 ••
R 1 ••
an = − 0 f (x; θ0 , k) g (x) dx
An 0 f (x; θ0 , k) g (x) dx
+
½
¾−1
R 1 ••
Rn 0 f (x; θ0 , k) g (x) dx
,
·
¸
R 1 ••
R1
con An = 0 f (x; θ0 , k) [gn (x) − g (x)] dx + 0 V (α; x) gn (x) dx
Ahora bien, el primer sumando en an y Rn dependen de :
Z
0
1 ••
f (x; θ0 , k) [gn (x) − g (x)] dx +
Z
1
V (α; x) gn (x) dx
0
es por ello que estudiaremos a continuaci´
on el comportamiento de cada sumando en la u
´ ltima expresi´on.
Divulgaciones Matem´
aticas Vol. 16 No. 1(2008), pp. 1–27
16
Mar´ıa Margarita Olivares, Har´
u Martinez
L2
Usando Cauchy-Schwart y considerando que (gn − g) → 0 tenemos que el
primer sumando tiende a cero y por otro lado, por hip´otesis cada componente
L2
de V (α; ·) → 0 , de aqu´ı el segundo sumando tambi´en converge a cero, por lo
que an → 0 y Rn → 0.
Teorema 4. Sea gˆn definida en (1),entonces:
L2
1) gˆn → g (en probabilidad)
2) T (ˆ
gn ) → T (g ) (en probabilidad).
Demostraci´
on: 1) Sea
kˆ
gn −
2
gk2
=
Z
1
0
2
[ˆ
gn (t) − g(t)] dt
la desigualdad de Chebichev, Fubbini y (2) aseguran que
P [kˆ
gn − gk2 ≥ ε]
·Z 1
¸
1
2
E
(ˆ
gn (t) − g (t)) dt
ε2
0
≤
=
i
1 h
2
E
kˆ
g
−
gk
n
2 =
ε2
Z 1 h
i
1
2
dt → 0
E
(ˆ
g
(t)
−
g
(t))
n
ε2 0
2) por el resultado anterior y por ser T continua T (ˆ
gn ) → T (g) en probabilidad.
Teorema 5. Si ρg , g ∈ C 2 [0, 1] y w es un n´
ucleo de orden 2 entonces
·
¸
Z 1
√
D
2
T
n [T (ˆ
gn ) − T (g)] → N 0, σ
ρg (t) ρg (t) dt
0
Demostraci´
on:
√ R1
√
n [T (ˆ
gn ) − T (g)] = n 0 ρg (t) [ˆ
gn (t) − g (t)] dt+
R1 •
√
nan 0 f (t; θ0 , k) [ˆ
gn (t) − g (t)] dt = I1 (n) + I2 (n)
por el Teorema 3
El primer sumando, que denotamos por I1 (n) es asint´oticamente equivalente a Zn (ρg ) por el Lema 3, donde Zn (ρg ) converge a
¸
·
Z 1
N 0, σ 2
ρg (t) ρTg (t) dt
0
Divulgaciones Matem´
aticas Vol. 16 No. 1(2008), pp. 1–27
Estimaci´on de la Funci´
on de regresi´on en un Modelo No Lineal
17
Resta ver que el segundo sumando I2 (n) converge a cero en probabilidad:
Z 1•
√
f (t; θ0 , k) [ˆ
gn (t) − g (t)] dt = an Wn
I2 (n) = nan
0
•
donde Wn por el Lema 3, es asint´oticamente equivalente a Zn (f (θ0 , k)) que
converge en distribuci´on a
·
¸
Z 1
N 0, σ 2
ρ (t) ρT (t) dt
0
•
ρ = f (θ0 , k) , θ0 = T (g) y an converge a cero, por lo que In (2) converge a cero
en probabilidad.
Estimaci´
on de kgk2
Sea gˆn el estimador de la funci´on g dado por Gasser y Muller, definido en
(1)
Usaremos el siguiente estimador de la norma de g :
kˆn2
=
Z1
gˆn2 (t)dt
Z1
g 2 (t)dt
0
y sea
2
k =
0
Los siguientes teoremas nos aseguran la consistencia de este estimador y la
distribuci´on l´ımite.
Teorema 6. Bajo las hip´
otesis consideradas en la Definici´
on 1
• kˆn2 → k 2 en probabilidad.
´
R1
√ ³
D
• n kˆn2 − k 2 → N (0, 4σ 2 g 2 (t)dt) .
0
Demostraci´
on:
¯
¯ ¯¯R1
¯
¯
R1 2
¯ˆ2
2
2¯
¯
¯kn − k ¯ = ¯ gˆn (t)dt − g (t)dt¯¯ =
0
0
¯
¯1
1
¯
¯R
R
2
¯ (ˆ
¯≤
g(t)(ˆ
g
(t)
−
g(t))dt
g
(t)
−
g(t))
dt
+
2
n
n
¯
¯
0
0
R1
0
2
R1
gn (t) − g(t)| dt
|ˆ
gn (t) − g(t)| dt + 2 |g(t)| |ˆ
0
Divulgaciones Matem´
aticas Vol. 16 No. 1(2008), pp. 1–27
18
Mar´ıa Margarita Olivares, Har´
u Martinez
Usando el Teorema de Fubini,
1
Z1
Z
2
2
gn (t) − g(t)| ) → 0 por (2)
|ˆ
gn (t) − g(t)| dt = E( |ˆ
E
0
0
de aqu´ı se deduce la convergencia en probabilidad a cero de
Z1
0
2
|ˆ
gn (t) − g(t)| dt
Por otro lado,
Z1
0
1
12
Z
2
|g(t)| |ˆ
gn (t) − g(t)| dt ≤ kgk2 |ˆ
gn (t) − g(t)| → 0
0
en probabilidad, se concluye que
¯
³¯
´
¯
¯
P ¯kˆn2 − k 2 ¯ ≥ ε → 0
con lo cual queda demostrada la consistencia del estimador.
Para obtener la convergencia d´ebil del estad´ıstico, lo expresamos como:
1
Z1
Z
´ √
√ ³ 2
gn (t) − g(t))dt
gn (t) − g(t))2 dt + 2 g(t)(ˆ
n kˆn − k 2 = n (ˆ
0
0
sea
√ R1
I1 (n) = 2 n g(t)(ˆ
gn (t) − g(t))dt
0
√ R1
gn (t) − g(t))2 dt
I2 (n) = n (ˆ
0
El t´ermino
√
I1 (n) = 2Zn (g) + 2 n
Z1
0
n
X
1
t−s
g(t)
)g(tnj )ds − g(t) dt
w(
b(n) j=1
b(n)
usando la definici´on de gˆn , donde Zn (g) est´a definido en (4), con ρ(t) = g(t), en
este caso, del Lema 2, se obtiene que
D
Zn (g) → N (0, σ 2
Z1
g 2 (t)dt),
0
Divulgaciones Matem´
aticas Vol. 16 No. 1(2008), pp. 1–27
Estimaci´on de la Funci´
on de regresi´on en un Modelo No Lineal
19
y de manera an´aloga a la demostraci´on del Lema 2 se obtiene que el otro
sumando que define I1 (n) tiende a cero si n → ∞.
Falta estudiar u
´nicamente el t´ermino
I2 (n) =
√
n
Z1
0
(ˆ
gn (t) − g(t))2 dt
Por (3):
Rc 2
2
σ2
w (x)dx+
E [ˆ
gn − g (t)] dt = nb(n)
−c
Ã
!2
R1 ¡ (2) ¢2
Rc
1
4
2
g (t) dt+
w(x)x dx ·
4 b(n)
−c
³
´
´
³ 2 0
1
1
o na b(n)
+ n2 b(n)
+ ◦ b n(n) + ◦(b(n)2 ) , a > 1
2
R1
0
de aqu´ı se obtiene que
√
n
Z
0
1
2
E [ˆ
gn − g (t)] → 0.
1
El b(n) optimal (Gasser y M¨
uller,1979) es un o((1/n) 2d+1 ), con d = 2 en
nuestro caso.
Corolario 3. Bajo las hip´
otesis consideradas en la Definici´
on 1 se obtiene
que:
• kˆn → k en probabilidad
´
√ ³
D
• n kˆn − k → N (0, σ 2 ) , el l´ımite no depende de kgk2 .
kˆ2 − k 2
→ 0 en probabilidad y
Demostraci´
on: kˆn − k = n
kˆn + k
R1
´ √ kˆ2 − k 2
4σ 2 g 2 (t)dt
√ ³ˆ
n
0
→ N (0,
n kn − k = n
) = N (0, σ 2 ).
4k2
kˆn + k
Distribuci´
on l´ımite de Tˆn (ˆ
gn )
Definimos
°
°
°
°
Tˆn (g) = arg m´ın °kˆn f (θ, kˆn ) − g °
2 °
θ∈Θ
°
°
°
θˆn = Tˆn (ˆ
gn ) = arg m´ın °kˆn f (θ, kˆn ) − gˆn °
θ∈Θ
2
θ0 = T (g) = arg m´ın kkf (θ, k) − gk2
θ∈Θ
Divulgaciones Matem´
aticas Vol. 16 No. 1(2008), pp. 1–27
20
Mar´ıa Margarita Olivares, Har´
u Martinez
donde
Z1
f 2 (x; θ, k)dx = 1
0
para todo k ∈ I, para todo θ ∈ Θ.
Teorema 7. Bajo la hip´
otesis (H2), Tˆn (g) existe casi siempre para toda g ∈
L2 [0, 1].
Demostraci´
on: La demostraci´on es id´entica a la del Teorema 1
Teorema 8. Supongamos que Tˆn (ˆ
gn ) es u
´nica casi siempre, T es u
´nica, que
la familia F satisface las hip´
otesis (H2) y (H4), entonces
θˆn → θ0 en probabilidad.
Demostraci´
on: Para hacer una demostraci´on an´aloga a la del Teorema 2 ,
demostraremos que
l´ım p(kˆn , θ) = p(k, θ) en probabilidad,
n→∞
donde
°
°
∧ °
°
p(kˆn , θ) = °kˆn f (θ, kˆn ) − g n °
p(k, θ) = kkf (θ, k) − gk2
2
En efecto, por propiedades del valor absoluto y de la norma,
¯
¯ ¯ ¯°
°
¯
¯
¯ ˆ
¯ ¯ ¯°
°
¯
¯
gn − gk2 → 0
¯p(kn , θ) − p(k, θ)¯ ≤ ¯kˆn ¯ °f (θ, kˆn ) − f (θ, k)° + ¯kˆn − k ¯ + kˆ
2
en probabilidad.
Usando el argumento de unicidad de Tˆn y T de manera an´aloga a la demosˆ gn ).
traci´on del Teorema 2, obtenemos ³la consistencia del
´ estimador Tn (ˆ
√
gn ) − T (g) .
Distribuci´
on L´ımite de n Tˆn (ˆ
Obtendremos una expresi´on para θˆn − θ0 que nos permita estudiar la distribuci´on asint´otica del estad´ıstico:
´
√ ³
n Tˆn (ˆ
gn ) − T (g) .
donde θˆn − θ0 = Tˆn (ˆ
gn ) − T (g)
Divulgaciones Matem´
aticas Vol. 16 No. 1(2008), pp. 1–27
Estimaci´on de la Funci´
on de regresi´on en un Modelo No Lineal
21
Teorema 9. Supondremos que f (t, k) verifica (H2,H3,H8),bajo la hip´
otesis
(H5), T (g) existe, es u
´nica y pertenece al int(Θ), Tˆn (ˆ
gn ) existe y es u
´nica
casi siempre, entonces
½
¾−1
R 1 ••
R1 •
ˆ
ˆ
θn − θ0 = − 0 f (x; θ0 , kn ) g (x) dx
f (x; θ0 , kˆn ) [ˆ
gn (x) − g(x)] dx
0
½
¾−1 µ
¶
³
´
•
R 1 ••
R1 •
ˆ
+ 0 f x; θ0 , kˆn g (x) dx
f
(x;
θ
,
k
)
−
f
(x;
θ
,
k)
g(x)dx+
0 n
0
0
R1 •
an 0µf (x; θ0 , kˆn ) [ gˆn (x) − g(x)]
¶ dx+
•
R1 •
an 0 f (x; θ0 , kˆn ) − f (x; θ0 , k) g(x)dx
donde
an = −
¾−1
½Z
ˆ
f (x; θ0 , kn ) g (x) dx
An
1 ••
½Z
0
1 ••
f (x; θ0 , kˆn ) g (x) dx
0
+ Rn
¾−1
ˆ
f (x; θ0 , kn ) g (x) dx
1 ••
½Z
0
An =
Z
1 ••
f (x; θ0 , kˆn )(ˆ
gn (x) − g(x)) dx +
0
Z
0
¾−1
1
V (α, x)ˆ
gn (x)dx → 0,
casi siempre, si n → ∞ y el t´ermino Rn depende de An .
Demostraci´
on: Por el mismo argumento utilizado en la demostraci´on del
Teorema 3, se obtienen las siguientes ecuaciones:
Z
Z
0
1 •
f (x; θ0 , k) g (x) dx = 0
0
1 •
³
´
f x; θˆn , kˆn gˆn (x) dx = 0, casi siempre
de la hip´otesis H8 y esta u
´ ltima expresi´on
R1
0
•
R 1 ••
f (x; θ0 , kˆn )ˆ
gn (x) dx + α 0 f (x; θ0 , kˆn ) e gˆn (x) dx+
R1
α 0 V (α; x) e gˆn (x) dx = 0
si αe = θˆn − θ0
Divulgaciones Matem´
aticas Vol. 16 No. 1(2008), pp. 1–27
22
Mar´ıa Margarita Olivares, Har´
u Martinez
½Z
=
−
puesto que
1 ••
f (x; θ0 , kˆn )ˆ
gn (x) dx +
1
V (α; x) gˆn (x) dx
0
0
Z
Z
1 •
¾³
´
θˆn − θ0
f (x; θ0 , kˆn )ˆ
gn (x) dx
0
R1
0
••
f (x; θ0 , kˆn ) g (x) dx es no singular, casi siempre
½
¾−1
R 1 ••
R1 •
θˆn − θ0 = − 0 f (x; θ0 , kˆn ) g (x) dx
f (x; θ0 , kˆn ) [ˆ
gn (x) − g(x)] dx
0
½
µ
¾
¶
−1
´
•
R 1 •• ³
R1 •
ˆ
ˆ
+ 0 f x; θ0 , kn g (x) dx
f (x; θ0 , kn ) − f (x; θ0 , k) g(x)dx+
0
R1 •
an 0µf (x; θ0 , kˆn ) [ gˆn (x) − g(x)]
¶ dx+
•
R1 •
an 0 f (x; θ0 , kˆn ) − f (x; θ0 , k) g(x)dx
donde an , An y Rn verifican las expresiones dadas en el enunciado del teorema.
Teorema 10. Bajo las hip´
otesis (H2,H3,H5), si f (t, k) verifica (H8), T (g)
existe, es u
´nica y pertenece al int(Θ), Tˆn (ˆ
gn ) existe y es u
´nica casi siempre,
entonces el estad´ıstico:
´
√ ³
n θˆn − θ0
es asint´
oticamente equivalente a
√
Zn (ρg ) + h(f, θ0 , k, g) · 2 n
Z1
0
g(t) (ˆ
gn (t) − g(t)) dt
donde Zn (ρ) est´
a definido en (4), ρg (t) en (H6) y
Z 1
∂ •
−1
h(f, θ0 , k, g) = −Ag (θ0 , k)
f (x; θ0 , k) g (x) dx
0 ∂k
es un vector p × 1.
Demostraci´
on: Por el Teorema 9
´
√ ³
n θˆn − θ0 = I1 (n) + I2 (n) + I3 (n)
Divulgaciones Matem´
aticas Vol. 16 No. 1(2008), pp. 1–27
Estimaci´on de la Funci´
on de regresi´on en un Modelo No Lineal
23
donde
½
¾−1
R 1 ••
√ R1 •
ˆn ) [ˆ
ˆn ) g (x) dx
n 0 f (x; θ0 , k
gn (x) − g(x)] dx
I1 (n) = − 0 f (x; θ0 , k
µ
¶
½
¾
−1
³
´
•
•
••
R1
√ R1
ˆ
ˆ
n
f
(x;
θ
,
k
)
−
f
(x;
θ
,
k)
g(x)dx
I2 (n) =
f
x;
θ
,
k
g
(x)
dx
0
n
0
0
n
0
0
•
R1
ˆn )√n [ gˆn (x) − g(x)] dx+
I3 (n) = an µ0 f (x; θ0 , k
¶
•
√ R1 •
ˆ
an n 0 f (x; θ0 , kn ) − f (x; θ0 , k) g(x)dx
Estudiaremos por separado cada uno de los sumandos:
I1 (n) es asint´oticamente equivalente a Zn (ρg ), por Lema 3, corolario 3 e
hip´otesis.
Si en I2 (n), aplicamos el teorema del valor medio a
•
•
f (x; θ0 , kˆn ) − f (x; θ0 , k)
kˆ2 − k 2
y expresamos kˆn − k = n
obtenemos:
kˆn + k
I2 (n) =
½Z
0
1 •• ³
f x; θ0 , kˆn
´
¾−1
Z
√ kˆn2 − k 2 1 ∂ •
g (x) dx
n
f (x; θ0 , ξkn )g(x)dx
ˆ
∂k
kn + k 0
donde ξkn es un punto entre kˆn y k, por hip´otesis, por el Lema 3, Teorema 6
y Corolario 3 I2 (n) es asint´oticamente equivalente a
½
¾−1
R 1 ••
R1 ∂ •
f
(x;
θ
,
k)
g
(x)
dx
f (x; θ0 , k)g(x)dx · Znk(g) =
0
0
0 ∂k
h(f, θ0 , k, g) Znk(g)
Puesto que I3 (n) es asint´oticamente equivalente a:
µZ 1
¶
•
∂ •
Zn (g)
an Zn (f (θ0 , k)) + an
f (x; θ0 , k)g(x)dx
k
0 ∂k
¯
¯
•
¯R 1 ∂ •
¯
donde an → 0 en probabilidad ¯¯ 0 ∂k
f (x; θ0 , k)g(x)dx¯¯ < ∞, Zn (f (θ0 , k))
y Zn (g) tienen distribuci´on asint´otica normal, se concluye que I3 (n) → 0 en
probabilidad
Corolario 4. Bajo las hip´
otesis del teorema anterior, el estad´ıstico
´
√ ³
n θˆn − θ0
Divulgaciones Matem´
aticas Vol. 16 No. 1(2008), pp. 1–27
24
Mar´ıa Margarita Olivares, Har´
u Martinez
es asint´
oticamente equivalente a
µ
¶
n
¢
g(ηjn ) ¡ n
√ X
n
εj ρg (ξj ) + 2h(f, θ0 , k, g)
Ln = n
sj − snj−1
k
j=1
¤
£
donde ξjn , ηjn ∈ snj − snj−1
Demostraci´
on: Por el Teorema 10,
´
√ ³
n θˆn − θ0
es asint´oticamente equivalente a
√
Zn (ρg ) + h(f, θ0 , k, g) · 2 n
Z1
0
³∧
´
g(t) gn (t) − g(t) dt
donde
h(f, θ0 , k, g) = −
·Z
0
¸−1 Z
f (x; θ0 , k) g (x) dx
1 ••
1
0
∂ •
f (x; θ0 , k) g (x) dx
∂k
y por el Lema 1, Zn (ρg ) es asint´oticamente equivalente a
Yn (ρ) =
n
¡
¢
£
¤
√ X
n
εj ρ(ξjn ) snj − snj−1 , ξjn ∈ snj − snj−1 , ρ = ρg
j=1
´
³∧
√ R1
y por otro lado, para ρ = g, h(f, θ0 , k, g) · 2 n g(t) gn (t) − g(t) dt es
asint´oticamente equivalente a
0
n
¢ n £ n
√ X
g(ηjn ) ¡ n
n ¤
εj
sj − sn
2h(f, θ0 , k, g)Yn (g) = 2h(f, θ0 , k, g) n
j−1 , ηj ∈ sj − sj−1
k
j=1
por Lema 3 y Lema 1, de donde se obtiene el resultado
Teorema 11. Si ρg y g son continuas y denotamos por V ar(Ln ) la matriz
de varianzas y covarianza de Ln
V ar(Ln ) = V ar(Ln LTn ) = (E (Lim (n)))p×p
Divulgaciones Matem´
aticas Vol. 16 No. 1(2008), pp. 1–27
Estimaci´on de la Funci´
on de regresi´on en un Modelo No Lineal
25
donde
Lim (n) = Ai (n) · Am (n)
#
³
´
n
¢
√ P
g(ηjn ) ¡ n
i
i
n
n
n
εj ρg (ξj ) + h (f, θ0 , k, g) k
sj − sj−1 ,
Ai (n) =
j=1
¡
¢
ξjn , ηjn ∈ snj − snj−1
"
entonces:
E (Lim (n)) → σ 2
n→∞
σ2
kgk2
R1
ρig (t)hm (f, θ0 , k, g)g(t)dt +
0
R1
ρig (t)ρm
g (t)dt+
0
σ2
kgk2
R1
hi (f, θ0 , k, g)ρm
g (t)g(t)dt+
0
σ 2 hi (f, θ0 , k, g)hm (f, θ0 , k, g) kgk2
donde ρig (t) es la componente i del vector ρg (t) y hi (f, θ0 , k, g) es la componente i del vector h(f, θ0 , k, g).
°
°
¡ ¢
Demostraci´
on: Puesto que m´ax °snj − snj−1 − n1 ° = O n1a para a > 1,
j
usando la continuidad de ρg y de g, y el hecho que las variables aleatorias
εj , j = 1, 2, · · · , n son independientes, centradas y de varianza σ 2 :
n
¢2
¡
P
Bi (n)Bm (n) snj − snj−1
E (Lim (n)) = nσ 2
j=1
´
³
g(η n )
Bi (n) = ρig (ξjn ) + hi (f, θ0 , k, g) kj
E (Lim (n)) → σ
n→∞
σ2
kgk2
2 i
Z1
2
Z1
ρig (t)ρm
g (t)dt +
0
ρig (t)hm (f, θ0 , k, g)g(t)dt +
0
σ2
kgk2
Z1
hi (f, θ0 , k, g)ρm
g (t)g(t)dt +
0
m
σ h (f, θ0 , k, g)h (f, θ0 , k, g) kgk2
Teorema 12. Si ρg y g son continuas
£
¤
D
Ln → N 0, V (σ 2 , g)
Divulgaciones Matem´
aticas Vol. 16 No. 1(2008), pp. 1–27
26
Mar´ıa Margarita Olivares, Har´
u Martinez
donde
V (σ 2 , g) = σ 2
σ2
kgk2
R1
R1
ρg (t)ρTg (t)dt+
0
ρg (t)hT (f, θ0 , k, g)g(t)dt +
0
σ2
kgk2
R1
h(f, θ0 , k, g)ρTg (t)g(t)dt+
0
σ 2 h(f, θ0 , k, g)hT (f, θ0 , k, g) kgk2
Demostraci´
on: Sea y ∈ Rp un vector no nulo, probaremos que
£
¤
D
< Ln , y >→ N 0, V (σ 2 , g, y)
< Ln , y >=
n
X
εj anj (y)
j=1
usando las propiedades del producto escalar, donde
¸
·
¢
g(ηjn ) ¡ n
√
n
sj − snj−1 .
an (j) = n < ρg (ξj ), y > + < h(f, θ0 , k, g), y >
k
Si
cnj (y) = εj anj (y), Sn (y) = V ar(< Ln , y >),
entonces tenemos que
< Ln , y >=
n
X
cnj (y),
j=1
probaremos a continuaci´
on que < Ln , y > satisface la condici´on de Lindeberg,
esto es:
n Z
1 X
n
o cnj (y) dP → 0 , para cada ε > 0,
Sn (y) j=1 cnj (y)≥ε√Sn (y)
la demostraci´on es an´aloga a la del Lema 2, para concluir que
hL , yi
p n
→ N [0, 1]
V hLn , yi
esto es, Ln converge en ley a una distribuci´on normal.
Corolario 5. Bajo las hip´
otesis del Teorema 10 y si ρg y g son continuas
³
´
£
¤
√
D
n θˆn − θ0 → N 0, V (σ 2 , g)
Divulgaciones Matem´
aticas Vol. 16 No. 1(2008), pp. 1–27
Estimaci´on de la Funci´
on de regresi´on en un Modelo No Lineal
27
donde
V (σ 2 , g) = σ 2
σ2
kgk2
R1
R1
ρg (t)ρTg (t)dt+
0
ρg (t)hT (f, θ0 , k, g)g(t)dt +
0
σ2
kgk2
R1
h(f, θ0 , k, g)ρTg (t)g(t)dt+
0
σ 2 h(f, θ0 , k, g)hT (f, θ0 , k, g) kgk2
Referencias
[1] Beran, Rudolf. (1977), Minumun Hellinguer distance estimates for parametric models, The Annals of Statistics, 5, 445–463.
[2] Billingsley, Patric. (1968), Convergence of probability measures. John Wiley.
[3] Gasser, Theo. Muller, Hars-Georg. (1979), Kernel estimation of regression
functions. Lectures Notes in Mathematics. 757. 23–68
[4] Pak, J. (1996). Minimun Hellinguer distance estimation in simple linear
regression model; distribution and efficiency. Statistics & Probability Letters. 26. 263–269.
[5] Wolfowitz, J. (1957). The minimum distance method. The Annals of Mathematical Statistics. 28. 58–75.
Divulgaciones Matem´
aticas Vol. 16 No. 1(2008), pp. 1–27
aticas Vol. 16 No. 1(2008), pp. 1–27
Estimaci´
on Param´
etrica de la Funci´
on
de Regresi´
on en un Modelo No Lineal
Parametric Estimation of the Regression Function
in a nonlinear model
Mar´ıa Margarita Olivares (molivar@euler.ciens.ucv.ve)
Escuela de Matem´atica. Facultad de Ciencias. U.C.V
Har´
u Martinez (martinezh@agr.ucv.ve)
Instituto de Ingenier´ıa Agr´ıcola
Facultad de Agronom´ıa U.C.V.
Abstract
Se construye un estimador param´etrico de la funci´
on de regresi´
on
en un modelo no lineal bas´
andonos en una t´ecnica de m´ınima distancia
utilizada por Beran para estimaci´
on de densidades (1977). Obtenemos
consistencia y un teorema central del l´ımite para estos estimadores.
Palabras Claves: Modelo de Regresi´
on no lineal, m´ınima distancia,
estimaci´
on.
Abstract
In this paper we construct estimators of the parameter that identifies a regression function in the nonlinear regression model using Beran
Technique for densities estimation (1977). We give consistency and a
central limit theorem for these estimators.
Key words and phrases: Regresion nonlinear model, minimum distance, estimation.
1
Introducci´
on
Consideremos un modelo de uso frecuente en ´areas aplicadas, como es el modelo de regresi´on no lineal, el cual consiste en suponer que un conjunto de datos
(ti , xi ) , i = 1, 2, · · · , n verifican la ecuaci´on:
xi = h (ti ) + εi
Recibido 2006/02/25. Revisado 2006/06/21. Aceptado 2006/07/15.
MSC (2000): Primary 62J02; Secondary 62F12.
2
Mar´ıa Margarita Olivares, Har´
u Martinez
Los puntos ti se consideran determin´ısticos y los εi son variables aleatorias
independientes y equidistribuidas. Si se supone que la funci´on h depende de
una familia param´etrica, es decir:
h(t) = h(t, θ) con θ ∈ Rp
un problema importante se refiere a obtener estimadores del par´ametro θ
a partir de las observaciones. Para obtener tales estimadores y demostrar su
comportamiento asint´otico aplicamos una t´ecnica de m´ınima distancia utilizada por Beran (1977) para presentar los estimadores de distancia de Hellinger
m´ınima en la estimaci´on de densidades. Este m´etodo de m´ınima distancia
fue desarrollado por J. Wolfowitz (1957) y ha sido ampliamente usado para obtener estimadores fuertemente consistentes de funciones de distribuci´on,
densidades y de regresi´on.
En regresi´on, Pak (1996) usa la t´ecnica de Beran (1977), considerando un
modelo de regresi´on lineal y la distancia de Hellinger. Construye estimadores
de densidad basados en los errores estandarizados y sobre estos usa la distancia
de Hellinger.
En este trabajo se aplica de una forma diferente el procedimiento de Beran
(1977) en la funci´on regresora y considerando que ´esta no es una densidad, se
utiliza la distancia usual de L2 [0, 1] . Para el estimador planteado se demuestra
su consistencia y se establece un Teorema Central del L´ımite.
Preliminares y Resultados.
En lo que sigue se considera el modelo de regresi´on:
xni = h(tni ) + εi ,
i = 1, ..., n y tni ∈ (0, 1)
con εi variables aleatorias
independientes e id´enticamente distribuidas tales
¡ ¢
que E(εi ) = 0 y E ε2i = σ 2 .
La verdadera funci´on regresora h ∈ L2 [0, 1] es desconocida, y asumimos
que pertenece a una familia
F = {kf (θ, k) : kf (θ, k)k2 = 1 , θ ∈ Θ, k ∈ I}
donde Θ es un conjunto compacto de Rp , I es un intervalo compacto de R,
k k2 representa la norma L2 [0, 1].
Siguiendo un enfoque an´alogo al utilizado por Beran (1977) para presentar
los funcionales de distancia de Hellinger m´ınima, estimamos el par´ametro
θ ∈ Θ y estimamos k = k hk2 vali´endonos de una estimaci´on no param´etrica
ˆ n de la funci´on de regresi´on h definida en Gasser y M¨
h
uller (1979).
Divulgaciones Matem´
aticas Vol. 16 No. 1(2008), pp. 1–27
Estimaci´on de la Funci´
on de regresi´on en un Modelo No Lineal
3
Para estimar θ definiremos los siguientes operadores para g ∈ L2 [0, 1]
T (g) =
arg m´ın kkf (t, k) − gk2
°
°
°
°
arg m´ın °kˆn f (t, kˆn ) − g °
t∈Θ
Tˆn (g) =
2
t∈Θ
donde kˆn es el estimador de k = kgk2 . Bajo hip´otesis de regularidad de
la familia F, demostramos que para g ∈ L2 [0, 1], gˆn el estimador de g no
param´etrico:
1. T (ˆ
gn ) → T (g) en probabilidad
´
³
R1
√
D
D
gn ) − T (g)) → N 0, σ 2 0 ρg (t) ρTg (t) dt donde →, significa
2. n (T (ˆ
convergencia en distribuci´on, ρg es una funci´on vectorial definida en
[0, 1] que depende de g y ρTg es su traspuesta , N es la distribuci´on
normal.
3. kˆn2 → k 2 en probabilidad.
4.
´
R1
√ ³ˆ2
D
n kn − k 2 → N (0, 4σ 2 g 2 (t)dt)
0
∧
5. k n → k en probabilidad.
µ
¶
∧
√
D
6. n kn − k → N (0, σ 2 ) note que la distribuci´on no depende de kgk2
7.
´
£
¤
√ ³ˆ
D
gn ) − T (g) → N 0, V (σ 2 , g) , donde
n T (ˆ
V (σ 2 , g) = σ 2
σ2
kgk2
R1
0
R1
ρg (t)ρTg (t)dt+
0
ρg (t)hT (f, θ0 , k, g)g(t)dt +
σ2
kgk2
R1
h(f, θ0 , k, g)ρTg (t)g(t)dt+
0
σ 2 h(f, θ0 , k, g)hT (f, θ0 , k, g) kgk2
donde h(f, θ0 , k, g) es un vector en Rp y hT es su traspuesta.
Se supondr´an ciertas las siguientes hip´otesis e introducimos las definiciones
y notaciones dadas a continuaci´
on.
Hip´
otesis. Definiciones. Notaciones.
Divulgaciones Matem´
aticas Vol. 16 No. 1(2008), pp. 1–27
4
Mar´ıa Margarita Olivares, Har´
u Martinez
Se considera el modelo de regresi´on:
xni = h(tni ) + εi ,
i = 1, ..., n y tni ∈ (0, 1)
con εi variables aleatorias
independientes e id´enticamente distribuidas tales
¡ ¢
que E(εi ) = 0 y E ε2i = σ 2 .
H1 La verdadera funci´on regresora h ∈ L2 [0, 1] es desconocida, y asumimos
que pertenece a una familia
F = {kf (θ, k) : kf (θ, k)k2 = 1 , θ ∈ Θ, k ∈ I}
donde Θ es un conjunto compacto de Rp , I es un intervalo compacto
de R, k k2 representa la norma dos de L2 [0, 1]
H2 f (t, k) es continua en cada uno de los par´ametros, t ∈ Θ, k ∈ I, bajo la
norma de L2 [0, 1]
•
••
H3 f (t, k) y f (t, k) representan la primera y segunda derivada respecto a
•
t ∈ Θ de f,
∂ f (t,k)
∂k
continua en [0, 1] , k ∈ I.
H4 F satisface la siguiente condici´on: si θ1 , θ2 ∈ Θ , θ1 6= θ2 ,entonces
f (θ1 , k) 6= f (θ2 , k), para cada k ∈ I.
H5 Ag (t, k) =
R1 ••
f (x; t, k)g(x)dx es una matriz p×p no singular, t ∈ Int(Θ).
0
•
2
H6 ρg (x) = −A−1
g (θ0 , k)f (x; θ0 , k) , x ∈ [0, 1] , ρg ∈ C [0, 1] .
H7 N (µ, V ) representa la distribuci´on Normal de media µ y varianza V.
•
H8 f (t, k) y f (t, k) admiten el siguiente desarrollo de Taylor de primer
orden, para t ∈ int (Θ):
•
f (x; t + αe, k) = f (x; t, k) + αeT f (x; t, k) + αeT U (α; x); x ∈ [0, 1]
•
•
•.•
f (x; t + αe, k) = f (x; t, k) + α f (x; t,k)e + αV (α; x)e; x ∈ [0, 1]
donde
• e es un vector columna unitario en la norma Euclidiana de Rp
• eT es el vector fila, traspuesto del vector e.
Divulgaciones Matem´
aticas Vol. 16 No. 1(2008), pp. 1–27
Estimaci´on de la Funci´
on de regresi´on en un Modelo No Lineal
5
•
• f es un vector p × 1 que representa las derivadas parciales de 1er orden
de f (t, k) con respecto a las p variables del vector t ∈Rp .
••
• f (x; t, k) es una matr´ız p × p que representa las derivadas parciales de
segundo orden de la funci´on f (x; t, k) con respecto a las p variables del
vector t ∈Rp .
• U (α; x) (vector p × 1) y V (α; x) (matriz p × p) son tales que cada una
de sus componentes tienden a cero en L2 [0, 1] cuando α → 0.
∧
Definici´
on 1. Denotaremos por gn (z) , un estimador no param´etrico de g ∈
L2 [0, 1] , definido en Gasser y M¨
uller (1979), como:
∧
gn
n
1 X
(z) =
b (n) j=1
Z
sn
j
w
sn
j−1
µ
z−s
b (n)
¶
¡ ¢
x tnj ds
(1)
donde
© ª
• snj j=0,...,n es una sucesi´
on creciente tal que:
n
sn0 = 0,¯ snj−1 ≤ tnj ≤ s¯nj , j =¡ 1, ...,
¢ n − 1, sn = 1
1
1
n
n
m´
ax ¯sj − sj−1 − n ¯ = O na , a > 1.
1≤j≤n
• w es un n´
ucleo de orden d = 2, es decir, w tiene soporte compacto en
[−c, c] ,
Zc
−c
w(x)dx = 1,
Zc
xw(x)dx = 0,
−c
Zc
−c
• w es Lipschitz de orden νw = 1.
• {b (n)}n∈N satisface: l´ım b (n) = 0 y l´ım
n→∞
n→∞
√
x2 w(x)dx 6= 0.
n b (n) = ∞.
• g es dos veces diferenciable con segunda derivada continua en (0, 1) .
Gasser y M¨
uller(1979) demuestran que este estimador posee buenas propiedades, tales como:
• Consistencia en error medio cuadr´
atico:
2
para todo x ∈ (0, 1) l´ım E [ˆ
gn (x) − g (x)] = 0
n→∞
Divulgaciones Matem´
aticas Vol. 16 No. 1(2008), pp. 1–27
6
Mar´ıa Margarita Olivares, Har´
u Martinez
• Consistencia en error medio cuadr´
atico integrado:
Z 1 h
i2
∧
l´ım
E gn (x) − g (x) dx = 0
n→∞
(2)
0
• La velocidad de convergencia del error medio cuadr´
atico integrado:
Rc 2
2
σ2
w (x)dx+
E [ˆ
gn (x) − g (x)] dx = nb(n)
−c
Ã
!2
R1 ¡ (d) ¢2
Rc
1 2d
d
b
(n)
w(x)x
dx
·
g (x) dx+
2
d!
−c
0
´
³
´
³ d
1
+ n2 b12 (n) + ◦ b n(n) + ◦(bd (n)) , a > 1, d = 2
◦ na b(n)
R1
0
(3)
Antes de enunciar los teoremas y hacer las demostraciones vamos a demostrar los siguientes lemas para obtener el comportamiento asint´otico del
vector aleatorio Zn (ρ), ρ : R → Rm , m ≥ 1
"Z n µ
(Z
¶ # )
√ X
n
sj
1
n
t−s
Zn (ρ) =
ds dt
(4)
w
εj
ρ (t)
b (n) j=1
b (n)
sn
0
j−1
el cual es centrado pues E (εj ) = 0, j = 1, 2, · · · , n; donde, en particular, si
ρ : R → Rp es
•
ρ (t) = ρg (t) = −A−1
g (θ0 , k)f (t; θ0 , k)
se obtiene la distribuci´on asint´otica de
√
n (T (ˆ
gn ) − T (g))
y tambi´en obtendremos la distribuci´on asint´otica de
´ √ ³
´
√ ³
n Tˆ(ˆ
gn ) − T (g) y n kˆn − k
a partir de Zn (ρ).
Lema 1. Sea ρ : R → Rm , m ≥ 1, con segunda derivada continua en [0, 1] ,
w es un n´
ucleo de orden d = 2, continuo en R y tiene soporte compacto en
[−c, c], Zn (ρ) es el vector aleatorio definida en (4) entonces
1. Zn (ρ) = Yn (ρ) + Hn (ρ),
donde
Divulgaciones Matem´
aticas Vol. 16 No. 1(2008), pp. 1–27
Estimaci´on de la Funci´
on de regresi´on en un Modelo No Lineal
7
£
¤
√ Pn
Yn (ρ) = n j=1 εj ρ(ξjn )nsnj − snj−1
o
¤ Rc ′ n
£
Pn
√
Hn (ρ) = nb (n) j=1 εj snj − snj−1
ρ (ηj ) z w (z) dz
−c
¤
£
¤
£
¤
£
con ξjn ∈ snj−1 , snj , ηjn ∈ ξjn , zb (n) ´
o ηjn ∈ zb (n) , ξjn para n ≥ N0 , y
Hn (ρ) → 0 en probabilidad.
R1
2. V ar(Yn (ρ)) → σ 2
n→∞
ρ(t)ρT (t)dt, V ar(Yn (ρ)) es la matriz de varianzas
0
y covarianzas de Yn (ρ). :
Demostraci´
on: Usando Fubini, cambio de variable, el hecho que w es a
soporte compacto y teorema de valor medio para integrales, obtenemos que
para n ≥ N0
½Z c
¾
n
¡
¢
£
¤
√ X
ρ zb(n) + ξjn w (z) snj − snj−1 dz
εj
Zn (ρ) = n
−c
j=1
¤
£
con ξjn ∈ snj−1 , snj , mediante el desarrollo de Taylor de ρ alrededor de ξjn ,
¤
£
¤
£
o ηjn ∈ zb (n) , ξjn tal que
existe ηjn ∈ ξjn , zb (n) ´
½Z
n
√ X
Zn (ρ) = n
εj
j=1
c
−c
£ n
¤
£
¤
ρ(ξj ) + ρ′ (ηjn ) z b(n) w (z) snj − snj−1 dz
¾
por ser w un n´
ucleo obtenemos la descomposici´on
¤
£ n
√ Pn
n
n
Zn (ρ) = n j=1 εj ρ(ξ
j ) sj − sj−1 +
n
o
¤ Rc ′ n
£
Pn
√
ρ
(η
)
z
w
(z)
dz
nb (n) j=1 εj snj − snj−1
j
−c
para demostrar que Hn (ρ) tiende a cero en probabilidad hacemos el desarrollo
R1
de Taylor de ρ′ (ηjn ) alrededor de snj y puesto que zw(z)dz = 0 obtenemos
0
¤
£
que existe νjn ∈ ηjn , snj , tal que
n
¡
¢
√ X
Hn (ρ) = b(n) n
εj snj − snj−1
j=1
Z
c
−c
ρ′′ (νjn )(snj − ηjn ) w (z) z dz
¯¯ P
¤2
£
√ ¯¯¯¯R c ′′ n
¯¯ n
n ¯¯ −c ρ (νj )w (z) z dz ¯¯ j=1 |εj | snj − snj−1
´P
³ P
£ n
¤4
2
n
n
n
||Hn (ρ)|| ≤ n2 · b2 (n)Kρ,w n1 j=1 ε2j
→0
j=1 sj − sj−1
||Hn (ρ)|| ≤ b (n)
Divulgaciones Matem´
aticas Vol. 16 No. 1(2008), pp. 1–27
8
Mar´ıa Margarita Olivares, Har´
u Martinez
casi siempre, pues por la Ley fuerte de los grandes n´
umeros,
n
1X 2
ε
n j=1 j
n
X
£ n
¤4
1
sj − snj−1 ≤ 3
n
j=1
¶2
° ′′ n
°
°ρ (νj )w (z) z ° dz
= Kρ,w < ∞
σ 2 casi siempre,
→
b(n) →
0y
µZ
c
−c
por lo que:
P (||Hn (ρ)|| ≥ ε) → 0 si n → ∞.
donde kHn (ρ)k es la norma eucl´ıdea del vector aleatorio Hn (ρ). De este hecho
se desprende que Yn (ρ) y Zn (ρ) son asint´oticamente equivalentes, es decir,
tienen la misma distribuci´on asint´otica. ¡
¢
¡
¢
Yn (ρ) es centrado, V ar((Yn (ρ))) = E (Yn (ρ))(YnT (ρ)) = E Ynih (ρ) m×m
donde
"
#
n
n
X
X
£
£
¤
¤
√
√
Ynih (ρ) = n
n
εj ρi (ξjn ) snj − snj−1
εk ρh (ξkn ) snk − snk−1
j=1
k=1
ρi es la i-´esima componente del vector ρ , YnT (ρ) es el vector traspuesto del
vector Yn (ρ).
n
X
¡
¢
£
¤2
E Ynih (ρ) = n
σ 2 ρi (ξjn )ρh (ξjn ) snj − snj−1
j=1
¡ ¢
pues E ε2j = σ 2 y E (εj εk ) = 0, j 6= k,como
n
n
X
j=1
2
σ ρ
i
£
(ξjn )ρh (ξjn ) sn
j
−
¤2
sn
j−1
∼
=
(
nσ
2
·
)
¸ n
1 X i n h n £ n
K
n ¤
+
ρ (ξj )ρ (ξj ) sj − sj−1
na
n j=1
donde K es constante, usando la continuidad de ρ y considerando que a > 1,
tenemos que
Z 1
¡ ih ¢
2
E Yn (ρ) → σ
ρi (t) ρh (t) dt
n→∞
Lema 2. Bajos las hip´
otesis del Lema 1
·
Z
Zn (ρ) → N 0, σ2
0
1
T
ρ(t)ρ (t)dt
0
¸
Divulgaciones Matem´
aticas Vol. 16 No. 1(2008), pp. 1–27
Estimaci´on de la Funci´
on de regresi´on en un Modelo No Lineal
9
Demostraci´
on: Zn (ρ) es asint´oticamente equivalente a Yn (ρ), pues Hn (ρ) → 0
en probabilidad; si demostramos que
·
¸
Z 1
T
Yn (ρ) → N 0, σ2
ρ(t)ρ (t)dt
0
obtendremos el resultado para Zn (ρ).
Puesto que
n
£
¤
√ X
εj ρ(ξjn ) snj − snj−1
Yn (ρ) = n
j=1
para obtener la normalidad asint´otica de Yn (ρ), demostremos que para todo
vector y ∈ Rm no nulo
£
¤
hYn (ρ), yi → N 0, σ 2 (y)
por las propiedades del producto escalar
hYn (ρ), yi =
n
X
εj anj (y)
j=1
donde
anj (y) =
Si
¤
¡
¢
√ n ®£ n
n ρ(ξj ), y sj − snj−1 ; ξjn ∈ snj − snj−1
Xnj (y) = εj anj (y) y Sn (y) = V ar(hYn (ρ), yi) = σ 2
n
X
a2nj (y)
j=1
hYn (ρ), yi =
n
X
Xnj (y)
j=1
probaremos a continuaci´
on que hYn (ρ), yi satisface la condici´on de Lindeberg
(Billingsley, 1968), esto es :
n Z
1 X
2
n
o Xnj (y)dP → 0 , para cada ε > 0
Sn (y) j=1 Xnj (y)≥ε√Sn (y)
R
Sea ε > 0, como ε2j dP < ∞,
existe R > 0 tal que
Z
{
ε2j ≥εσ 2 R
}
ε2j dP ≤ σ 2 ε
Divulgaciones Matem´
aticas Vol. 16 No. 1(2008), pp. 1–27
10
Mar´ıa Margarita Olivares, Har´
u Martinez
existe N1 tal que para cada n ≥ N1 se tiene
pues
³√
|anj (y)| ≤ (kρk∞ kyk) K nan +
√
n
n
´
n
P
a2nk (y)
k=1
a2nj (y)
≥R
→ 0, a > 1 donde
n→∞
kρk∞ = sup kρ(t)k , kyk es la norma Eucl´ıdea en Rm , K constante.
t∈[0,1]
Por otro lado:
h 2
n
P
2
a2nj (y) ≤ K (kρk∞ kyk) nn2a +
j=1
2n2
na+1
+
lo. As´ı tenemos que:
a2nj (y)
→
n
P
a2kj (y) n→∞
+
0 ⇒
n
P
a2nk (y)
k=1
2
anj (y)
n2
n2
i
2
→ K (kρk∞ kyk) no nu-
n→∞
→ ∞ luego, para cada n ≥ N1
n→∞
k=1
An,j
n
P
2
a
(y)
nj
©
ª
2
2 2 j=1
= εj ≥ ε σ
⊂ ε2j ≥ ε2 σ 2 R
2
anj (y)
concluyendo que para n ≥ N1
n Z
1 X
2
o Xnr (y)dP
n
Sn (y) r=1 Xnr (y)≥ε√Sn (y)
Z
n
X
1
2
ε2r dP
anr (y)
n
P
2 ≥ε2 σ 2 R}
2
{ε
2
r
anj (y) r=1
σ
≤
≤
j=1
1
σ2
n
P
j=1
n
X
a2nj (y) r=1
a2nr (y)εσ 2 = ε.
2
−1
Corolario 1. Si ρg (t) = −A−1
g (θ0 , k)f (t; θ0 , k) ∈ C [0, 1] , donde Ag (θ0 , k)
2
est´
a definido en (H6), g ∈ C [0, 1] , w es un n´
ucleo de orden 2 y ρ = ρg ,
entonces
·
¸
Z
1
Zn (ρg ) → N 0, σ2
0
ρg (t)ρTg (t)dt
Corolario 2. Si ρ = g ∈ C 2 [0, 1] y w es un n´
ucleo de orden 2, entonces
·
¸
Z 1
2
Zn (g) → N 0, σ2
g (t)dt
0
Divulgaciones Matem´
aticas Vol. 16 No. 1(2008), pp. 1–27
Estimaci´on de la Funci´
on de regresi´on en un Modelo No Lineal
11
Lema 3. Si ρ y g ∈ C 2 [0, 1] y w es un n´
ucleo de orden 2, entonces Zn (ρ) es
asint´
oticamente equivalente a:
Z 1
√
ρ (t) [ˆ
gn (t) − g (t)] dt
n
0
(es decir, sus distribuciones l´ımites son las mismas)
√ R1
Demostraci´
on: Sea I1 (n) = n 0 ρ (t) [ˆ
gn (t) − g (t)] dt, usando la definici´on
de gˆn
I1 (n) = Zn (ρ) +
√
n
Z
1
ρ (t)
0
"(
n
1 X
b (n) j=1
Z
sn
j
w
sn
j−1
µ
t−s
b (n)
¶
¡ ¢
g tn
j ds
)
#
− g (t) dt
para n ≥ N0 , usando Fubini, cambio de variable y que w es un n´
ucleo
¶
µ
Z 1
n Z sn
1 X
j
¡ ¢
√
t−s
n
ρ (t)
g tnj ds − g (t) dt = I11 + I12
w
b (n)
n
b (n)
0
j=1 sj−1
donde
I11 =
I12
n R n R
¡ ¢
√ P
c
sj
w (z) [ρ (b (n) z + s) − ρ (s)] g tnj dz ds
n
−c
sn
j=1
j−1
j=1
j−1
n R n
¤
£ ¡ ¢
√ P
sj
= n
ρ (s) g tnj − g (s) ds
sn
¤
£
Si en I11 , aplicamos el Teorema del valor medio, existe λjn ∈ snj−1 , snj tal
que:
n Z c
£
¤ ¡ ¢
√ X
I11 =
n
w(z) [ρ (b (n) z + λjn ) − ρ (λjn )] snj − snj−1 g tnj dz
=
√
n
j=1 −c
n Z c
X
j=1
−c
¢
£
¤ ¡ ¢
¡
ρ′ ξz,sj b (n) w(z) z snj − snj−1 g tnj dz
o viceverdonde ξz,sj ∈ I∗ con I∗ intervalo de extremos λjn , £λjn + b(n)z
¤
sa. Observe que para n suficientemente grande, I∗ ⊂ snj−1 , snj , aplicando el
desarrollo de Taylor a la funci´on ρ′ alrededor de snj obtenemos:
I11 =
n
¤ ¡ ¢ ¡ ¢Rc
£
√ P
n b (n) snj − snj−1 g tnj ρ′ snj −c w (z) z dz+
j=1
n
¡ ¢¡
¢
£
¤ ¡ ¢Rc
√ P
n b (n) snj − snj−1 g tnj −c ρ′′ νjn snj − ξz,sj w (z) z dz
j=1
Divulgaciones Matem´
aticas Vol. 16 No. 1(2008), pp. 1–27
12
Mar´ıa Margarita Olivares, Har´
u Martinez
¢
¡
Rc
donde νjn ∈ ξz,sj , snj , ya que −c w (z) z dz = 0,
kI11 k ≤
≤
n
X
¡
Z
¢ ¯ ¡ n ¢¯ 1 c ° ′′ ¡ n ¢°
°ρ νj ° |w (z) z| dz
¯
¯
−
nb (n)
g tj
n
−c
j=1
Z
n
X
¡ n
¢ ¯ ¡ ¢¯ c ° ′′ ¡ n ¢°
1
°ρ νj ° |w (z) z| dz → 0
√ b (n)
sj − snj−1 ¯g tnj ¯
n
−c
j=1
√
√1 b (n)
n
si n → ∞, pues
snj
snj−1
→ 0,
Z
n
X
¡ n
¢ ¯ ¡ ¢¯
sj − snj−1 ¯g tnj ¯ →
1
0
j=1
|g(t)| dt, y
Z
c
−c
° ′′ ¡ n ¢°
°ρ νj ° |w (z) z| dz < ∞.
Adem´as, por el teorema
¡ del valor
¢ medio para integrales y por el desarrollo de
Taylor, existen ̟jn ∈ snj , snj−1 y αjn entre tnj y ̟jn tales que la expresi´on
I12 satisface:
°
°
n °Z sn
£ n
¤ °
√ X
° j
°
kI12 k ≤
n
ρ (s) g(tj ) − g (s) ds°
°
° snj−1
°
j=1
=
n
°
£
¤£
¤°
√ X
°ρ(̟jn ) g(tnj ) − g(̟jn ) snj − snj−1 °
n
j=1
≤
≤
≤
≤
√
√
n kρk∞
n
X
¯ ′
£
¤£
¤¯
¯g (αjn ) tnj − ̟jn snj − snj−1 ¯
j=1
n kρk∞ kg ′ k∞
n
X
£n
¤£
¤
tj − ̟jn snj − snj−1
j=1
n
X
£ n
¤2
√
sj − snj−1
n kρk∞ kg ′ k∞
j=1
K
µ
1
1
na− 2
1
+
n
¶
kρk∞ kg ′ k∞ → 0, K es constante y a > 1
n→∞
∧
Distribuci´
on L´ımite de T (gn )
El enfoque que seguiremos ser´a an´alogo al utilizado por Beran (1977) para
presentar los funcionales de distancia de Hellinger m´ınima.
Es decir, T (g) es un elemento de Θ que minimiza la distancia en norma dos
de las funciones kf (θ, k) pertenecientes al conjunto F y g ∈ L2 [0, 1]. Aunque
Divulgaciones Matem´
aticas Vol. 16 No. 1(2008), pp. 1–27
Estimaci´on de la Funci´
on de regresi´on en un Modelo No Lineal
13
puede que existan varios θ ∈ Θ donde se alcance el m´ınimo, tomaremos uno
cualquiera de ´estos.
Bajo las hip´otesis generales impuestas a la familia de funciones F, se puede
garantizar que el funcional T adem´as de estar bien definido es continuo en la
m´etrica de L2 [0, 1] , como se ver´a en los siguientes teoremas:
Teorema 1. Bajo la hip´
otesis (H2), existe T (g) para todo g ∈ L2 [0, 1] .
Demostraci´
on: Sean p(t, k) = kkf (t, k) − gk2 y {tn } ⊂ Θ , tal que tn → t
de la desigualdad
|p(tn , k) − p (t, k)| ≤ |k| k f (tn , k) − f (t, k)k2 → 0 cuando n → ∞
concluimos que p(t, k) es continua en t , para k fijo y para cada t ∈ Θ ,
como este conjunto es compacto en Rp , entonces tenemos que existe θ0 tal
que p (θ0 , k) es m´ınimo, con lo cual se garantiza la existencia de T (g)
Teorema 2. Supongamos que T (g) es u
´nica y que se cumple la hip´
otesis
(H4), entonces
1. T es continua
2. T (kf (θ, k) ) = θ u
´nicamente para θ ∈ Θ, k fijo.
Demostraci´
on: 1) Sean gn y g ∈ L2 [0, 1] tales que kgn − gk2 → 0 , definimos
pn (t, k) = kkf (t, k) − gn k2 y p (t, k) = kkf (t, k) − gk2 con k fijo,
¯
¯
¯
¯
¯M inpn (t, k) − M inp (t, k)¯ ≤ Sup |pn (t, k) − p (t, k)| ≤ Sup kgn − gk → 0
2
¯
¯
t∈Θ
t∈Θ
t∈Θ
t∈Θ
por lo tanto pn (θn , k) → p (θ0 , k) donde
θn = T (gn ) = arg m´ın kkf (t, k) − gn k2
t∈Θ
θ0 = T (g) = arg m´ın kkf (t, k) − gk2
t∈Θ
Falta demostrar que la sucesi´on {θn } converge a θ0 . Supongamos
© ª que θn
no converge a θ0 , como Θ es compacto , existe una subsucesi´on θnj ⊂ {θn }
tal¡ que ¢θnj → θ1 con θ0 distinto a θ1 , luego por ser p(t, k) continua en t,
p θnj , k → p (θ1 , k) y por la unicidad del l´ımite tenemos que p (θ1 , k) =
p (θ0 , k) = l´ım p(θn , k), lo cual es una contradicci´on, ya que hemos supuesto
n→∞
que T (g) es u
´nico (el m´ınimo se alcanza en un u
´ nico θ0 ).
2) T (kf (θ0 , k)) = θ0 es inmediato por la hip´otesis de identificaci´on sobre los
par´ametros.
Divulgaciones Matem´
aticas Vol. 16 No. 1(2008), pp. 1–27
14
Mar´ıa Margarita Olivares, Har´
u Martinez
Teorema 3. Bajo las siguientes hip´
otesis:
• f (t, k) satisface las hip´
otesis (H2,H3,H8)
• El par´
ametro k es fijo (conocido)
• T (g) existe, es u
´nica y pertenece al Int(Θ).
• T es continua en la m´etrica de L2 [0, 1] .
•
R1 ••
f (x; t, k)g(x)dx satisface la hip´
otesis (H5).
0
• gn , g ∈ L2 [0, 1] ,kgn − gk2 → 0
Entonces
θn − θ0 =
·
¸−1
R 1 ••
R1 •
− 0 f (x; θ0 , k) g (x) dx
f (x; θ0 , k) [gn (x) − g (x)] dx
0
R1 •
+an 0 f (x; θ0 , k) [gn (x) − g (x)] dx
donde an es una matriz p × p tal que sus componentes tienden a cero
cuando n → ∞.
Demostraci´
on: Por definici´on:
Z 1
£ 2 2
¤
2
kkf (t, k) − gk2 =
k f (x; t, k) − 2kf (x; t, k)g(x) + g 2 (x) dx
0
=
k 2 − 2k
Z
1
f (x; t, k) g (x) dx +
0
como para g fija y k fija, las expresiones
Z
2
kkf (t, k) − gk2 y − 2k
Z
1
g 2 (x) dx
0
1
f (x; t, k) g (x) dx
0
alcanzan el m´ınimo en el mismo punto t, entonces trabajaremos con la segunda
expresi´on.
R1
Definimos H (k, t) = −2k 0 f (x; t, k) g (x) dx , luego usando (H8)
H (k, t + αe) − H (k, t)
= −2k
α →0
α
l´ım
Z
1
•
eT f (x; t, k) g (x) dx
0
Divulgaciones Matem´
aticas Vol. 16 No. 1(2008), pp. 1–27
Estimaci´on de la Funci´
on de regresi´on en un Modelo No Lineal
15
2
para cualquiere vector e y t ∈int(Θ), comokkf (t, k) − gk2 alcanza un m´ınimo
en t = θ0 obtenemos:
Z
1 •
f (x; θ0 , k) g (x) dx = 0
0
de igual manera,
Z
1 •
f (x; θn , k) gn (x) dx = 0
0
de esta u
´ltima expresi´on y (H8):
R1
0
•
R 1 ••
f (x; θ0 , k) gn (x) dx + α 0 f (x; θ0 , k) e gn (x) dx+
R1
α 0 V (α; x) e gn (x) dx = 0
si αe = θn − θ0 y n es suficientemente grande
(θn − θ0 )
=
−
½Z
+an
¾−1 Z
f (x; θ0 , k) g (x) dx
1 ••
0
Z
1 •
f (x; θ0 , k) [ gn (x) − g(x)] dx
0
1 •
0
f (x; θ0 , k) [ gn (x) − g(x)] dx
donde:
½
½
¾−1
¾−1
R 1 ••
R 1 ••
an = − 0 f (x; θ0 , k) g (x) dx
An 0 f (x; θ0 , k) g (x) dx
+
½
¾−1
R 1 ••
Rn 0 f (x; θ0 , k) g (x) dx
,
·
¸
R 1 ••
R1
con An = 0 f (x; θ0 , k) [gn (x) − g (x)] dx + 0 V (α; x) gn (x) dx
Ahora bien, el primer sumando en an y Rn dependen de :
Z
0
1 ••
f (x; θ0 , k) [gn (x) − g (x)] dx +
Z
1
V (α; x) gn (x) dx
0
es por ello que estudiaremos a continuaci´
on el comportamiento de cada sumando en la u
´ ltima expresi´on.
Divulgaciones Matem´
aticas Vol. 16 No. 1(2008), pp. 1–27
16
Mar´ıa Margarita Olivares, Har´
u Martinez
L2
Usando Cauchy-Schwart y considerando que (gn − g) → 0 tenemos que el
primer sumando tiende a cero y por otro lado, por hip´otesis cada componente
L2
de V (α; ·) → 0 , de aqu´ı el segundo sumando tambi´en converge a cero, por lo
que an → 0 y Rn → 0.
Teorema 4. Sea gˆn definida en (1),entonces:
L2
1) gˆn → g (en probabilidad)
2) T (ˆ
gn ) → T (g ) (en probabilidad).
Demostraci´
on: 1) Sea
kˆ
gn −
2
gk2
=
Z
1
0
2
[ˆ
gn (t) − g(t)] dt
la desigualdad de Chebichev, Fubbini y (2) aseguran que
P [kˆ
gn − gk2 ≥ ε]
·Z 1
¸
1
2
E
(ˆ
gn (t) − g (t)) dt
ε2
0
≤
=
i
1 h
2
E
kˆ
g
−
gk
n
2 =
ε2
Z 1 h
i
1
2
dt → 0
E
(ˆ
g
(t)
−
g
(t))
n
ε2 0
2) por el resultado anterior y por ser T continua T (ˆ
gn ) → T (g) en probabilidad.
Teorema 5. Si ρg , g ∈ C 2 [0, 1] y w es un n´
ucleo de orden 2 entonces
·
¸
Z 1
√
D
2
T
n [T (ˆ
gn ) − T (g)] → N 0, σ
ρg (t) ρg (t) dt
0
Demostraci´
on:
√ R1
√
n [T (ˆ
gn ) − T (g)] = n 0 ρg (t) [ˆ
gn (t) − g (t)] dt+
R1 •
√
nan 0 f (t; θ0 , k) [ˆ
gn (t) − g (t)] dt = I1 (n) + I2 (n)
por el Teorema 3
El primer sumando, que denotamos por I1 (n) es asint´oticamente equivalente a Zn (ρg ) por el Lema 3, donde Zn (ρg ) converge a
¸
·
Z 1
N 0, σ 2
ρg (t) ρTg (t) dt
0
Divulgaciones Matem´
aticas Vol. 16 No. 1(2008), pp. 1–27
Estimaci´on de la Funci´
on de regresi´on en un Modelo No Lineal
17
Resta ver que el segundo sumando I2 (n) converge a cero en probabilidad:
Z 1•
√
f (t; θ0 , k) [ˆ
gn (t) − g (t)] dt = an Wn
I2 (n) = nan
0
•
donde Wn por el Lema 3, es asint´oticamente equivalente a Zn (f (θ0 , k)) que
converge en distribuci´on a
·
¸
Z 1
N 0, σ 2
ρ (t) ρT (t) dt
0
•
ρ = f (θ0 , k) , θ0 = T (g) y an converge a cero, por lo que In (2) converge a cero
en probabilidad.
Estimaci´
on de kgk2
Sea gˆn el estimador de la funci´on g dado por Gasser y Muller, definido en
(1)
Usaremos el siguiente estimador de la norma de g :
kˆn2
=
Z1
gˆn2 (t)dt
Z1
g 2 (t)dt
0
y sea
2
k =
0
Los siguientes teoremas nos aseguran la consistencia de este estimador y la
distribuci´on l´ımite.
Teorema 6. Bajo las hip´
otesis consideradas en la Definici´
on 1
• kˆn2 → k 2 en probabilidad.
´
R1
√ ³
D
• n kˆn2 − k 2 → N (0, 4σ 2 g 2 (t)dt) .
0
Demostraci´
on:
¯
¯ ¯¯R1
¯
¯
R1 2
¯ˆ2
2
2¯
¯
¯kn − k ¯ = ¯ gˆn (t)dt − g (t)dt¯¯ =
0
0
¯
¯1
1
¯
¯R
R
2
¯ (ˆ
¯≤
g(t)(ˆ
g
(t)
−
g(t))dt
g
(t)
−
g(t))
dt
+
2
n
n
¯
¯
0
0
R1
0
2
R1
gn (t) − g(t)| dt
|ˆ
gn (t) − g(t)| dt + 2 |g(t)| |ˆ
0
Divulgaciones Matem´
aticas Vol. 16 No. 1(2008), pp. 1–27
18
Mar´ıa Margarita Olivares, Har´
u Martinez
Usando el Teorema de Fubini,
1
Z1
Z
2
2
gn (t) − g(t)| ) → 0 por (2)
|ˆ
gn (t) − g(t)| dt = E( |ˆ
E
0
0
de aqu´ı se deduce la convergencia en probabilidad a cero de
Z1
0
2
|ˆ
gn (t) − g(t)| dt
Por otro lado,
Z1
0
1
12
Z
2
|g(t)| |ˆ
gn (t) − g(t)| dt ≤ kgk2 |ˆ
gn (t) − g(t)| → 0
0
en probabilidad, se concluye que
¯
³¯
´
¯
¯
P ¯kˆn2 − k 2 ¯ ≥ ε → 0
con lo cual queda demostrada la consistencia del estimador.
Para obtener la convergencia d´ebil del estad´ıstico, lo expresamos como:
1
Z1
Z
´ √
√ ³ 2
gn (t) − g(t))dt
gn (t) − g(t))2 dt + 2 g(t)(ˆ
n kˆn − k 2 = n (ˆ
0
0
sea
√ R1
I1 (n) = 2 n g(t)(ˆ
gn (t) − g(t))dt
0
√ R1
gn (t) − g(t))2 dt
I2 (n) = n (ˆ
0
El t´ermino
√
I1 (n) = 2Zn (g) + 2 n
Z1
0
n
X
1
t−s
g(t)
)g(tnj )ds − g(t) dt
w(
b(n) j=1
b(n)
usando la definici´on de gˆn , donde Zn (g) est´a definido en (4), con ρ(t) = g(t), en
este caso, del Lema 2, se obtiene que
D
Zn (g) → N (0, σ 2
Z1
g 2 (t)dt),
0
Divulgaciones Matem´
aticas Vol. 16 No. 1(2008), pp. 1–27
Estimaci´on de la Funci´
on de regresi´on en un Modelo No Lineal
19
y de manera an´aloga a la demostraci´on del Lema 2 se obtiene que el otro
sumando que define I1 (n) tiende a cero si n → ∞.
Falta estudiar u
´nicamente el t´ermino
I2 (n) =
√
n
Z1
0
(ˆ
gn (t) − g(t))2 dt
Por (3):
Rc 2
2
σ2
w (x)dx+
E [ˆ
gn − g (t)] dt = nb(n)
−c
Ã
!2
R1 ¡ (2) ¢2
Rc
1
4
2
g (t) dt+
w(x)x dx ·
4 b(n)
−c
³
´
´
³ 2 0
1
1
o na b(n)
+ n2 b(n)
+ ◦ b n(n) + ◦(b(n)2 ) , a > 1
2
R1
0
de aqu´ı se obtiene que
√
n
Z
0
1
2
E [ˆ
gn − g (t)] → 0.
1
El b(n) optimal (Gasser y M¨
uller,1979) es un o((1/n) 2d+1 ), con d = 2 en
nuestro caso.
Corolario 3. Bajo las hip´
otesis consideradas en la Definici´
on 1 se obtiene
que:
• kˆn → k en probabilidad
´
√ ³
D
• n kˆn − k → N (0, σ 2 ) , el l´ımite no depende de kgk2 .
kˆ2 − k 2
→ 0 en probabilidad y
Demostraci´
on: kˆn − k = n
kˆn + k
R1
´ √ kˆ2 − k 2
4σ 2 g 2 (t)dt
√ ³ˆ
n
0
→ N (0,
n kn − k = n
) = N (0, σ 2 ).
4k2
kˆn + k
Distribuci´
on l´ımite de Tˆn (ˆ
gn )
Definimos
°
°
°
°
Tˆn (g) = arg m´ın °kˆn f (θ, kˆn ) − g °
2 °
θ∈Θ
°
°
°
θˆn = Tˆn (ˆ
gn ) = arg m´ın °kˆn f (θ, kˆn ) − gˆn °
θ∈Θ
2
θ0 = T (g) = arg m´ın kkf (θ, k) − gk2
θ∈Θ
Divulgaciones Matem´
aticas Vol. 16 No. 1(2008), pp. 1–27
20
Mar´ıa Margarita Olivares, Har´
u Martinez
donde
Z1
f 2 (x; θ, k)dx = 1
0
para todo k ∈ I, para todo θ ∈ Θ.
Teorema 7. Bajo la hip´
otesis (H2), Tˆn (g) existe casi siempre para toda g ∈
L2 [0, 1].
Demostraci´
on: La demostraci´on es id´entica a la del Teorema 1
Teorema 8. Supongamos que Tˆn (ˆ
gn ) es u
´nica casi siempre, T es u
´nica, que
la familia F satisface las hip´
otesis (H2) y (H4), entonces
θˆn → θ0 en probabilidad.
Demostraci´
on: Para hacer una demostraci´on an´aloga a la del Teorema 2 ,
demostraremos que
l´ım p(kˆn , θ) = p(k, θ) en probabilidad,
n→∞
donde
°
°
∧ °
°
p(kˆn , θ) = °kˆn f (θ, kˆn ) − g n °
p(k, θ) = kkf (θ, k) − gk2
2
En efecto, por propiedades del valor absoluto y de la norma,
¯
¯ ¯ ¯°
°
¯
¯
¯ ˆ
¯ ¯ ¯°
°
¯
¯
gn − gk2 → 0
¯p(kn , θ) − p(k, θ)¯ ≤ ¯kˆn ¯ °f (θ, kˆn ) − f (θ, k)° + ¯kˆn − k ¯ + kˆ
2
en probabilidad.
Usando el argumento de unicidad de Tˆn y T de manera an´aloga a la demosˆ gn ).
traci´on del Teorema 2, obtenemos ³la consistencia del
´ estimador Tn (ˆ
√
gn ) − T (g) .
Distribuci´
on L´ımite de n Tˆn (ˆ
Obtendremos una expresi´on para θˆn − θ0 que nos permita estudiar la distribuci´on asint´otica del estad´ıstico:
´
√ ³
n Tˆn (ˆ
gn ) − T (g) .
donde θˆn − θ0 = Tˆn (ˆ
gn ) − T (g)
Divulgaciones Matem´
aticas Vol. 16 No. 1(2008), pp. 1–27
Estimaci´on de la Funci´
on de regresi´on en un Modelo No Lineal
21
Teorema 9. Supondremos que f (t, k) verifica (H2,H3,H8),bajo la hip´
otesis
(H5), T (g) existe, es u
´nica y pertenece al int(Θ), Tˆn (ˆ
gn ) existe y es u
´nica
casi siempre, entonces
½
¾−1
R 1 ••
R1 •
ˆ
ˆ
θn − θ0 = − 0 f (x; θ0 , kn ) g (x) dx
f (x; θ0 , kˆn ) [ˆ
gn (x) − g(x)] dx
0
½
¾−1 µ
¶
³
´
•
R 1 ••
R1 •
ˆ
+ 0 f x; θ0 , kˆn g (x) dx
f
(x;
θ
,
k
)
−
f
(x;
θ
,
k)
g(x)dx+
0 n
0
0
R1 •
an 0µf (x; θ0 , kˆn ) [ gˆn (x) − g(x)]
¶ dx+
•
R1 •
an 0 f (x; θ0 , kˆn ) − f (x; θ0 , k) g(x)dx
donde
an = −
¾−1
½Z
ˆ
f (x; θ0 , kn ) g (x) dx
An
1 ••
½Z
0
1 ••
f (x; θ0 , kˆn ) g (x) dx
0
+ Rn
¾−1
ˆ
f (x; θ0 , kn ) g (x) dx
1 ••
½Z
0
An =
Z
1 ••
f (x; θ0 , kˆn )(ˆ
gn (x) − g(x)) dx +
0
Z
0
¾−1
1
V (α, x)ˆ
gn (x)dx → 0,
casi siempre, si n → ∞ y el t´ermino Rn depende de An .
Demostraci´
on: Por el mismo argumento utilizado en la demostraci´on del
Teorema 3, se obtienen las siguientes ecuaciones:
Z
Z
0
1 •
f (x; θ0 , k) g (x) dx = 0
0
1 •
³
´
f x; θˆn , kˆn gˆn (x) dx = 0, casi siempre
de la hip´otesis H8 y esta u
´ ltima expresi´on
R1
0
•
R 1 ••
f (x; θ0 , kˆn )ˆ
gn (x) dx + α 0 f (x; θ0 , kˆn ) e gˆn (x) dx+
R1
α 0 V (α; x) e gˆn (x) dx = 0
si αe = θˆn − θ0
Divulgaciones Matem´
aticas Vol. 16 No. 1(2008), pp. 1–27
22
Mar´ıa Margarita Olivares, Har´
u Martinez
½Z
=
−
puesto que
1 ••
f (x; θ0 , kˆn )ˆ
gn (x) dx +
1
V (α; x) gˆn (x) dx
0
0
Z
Z
1 •
¾³
´
θˆn − θ0
f (x; θ0 , kˆn )ˆ
gn (x) dx
0
R1
0
••
f (x; θ0 , kˆn ) g (x) dx es no singular, casi siempre
½
¾−1
R 1 ••
R1 •
θˆn − θ0 = − 0 f (x; θ0 , kˆn ) g (x) dx
f (x; θ0 , kˆn ) [ˆ
gn (x) − g(x)] dx
0
½
µ
¾
¶
−1
´
•
R 1 •• ³
R1 •
ˆ
ˆ
+ 0 f x; θ0 , kn g (x) dx
f (x; θ0 , kn ) − f (x; θ0 , k) g(x)dx+
0
R1 •
an 0µf (x; θ0 , kˆn ) [ gˆn (x) − g(x)]
¶ dx+
•
R1 •
an 0 f (x; θ0 , kˆn ) − f (x; θ0 , k) g(x)dx
donde an , An y Rn verifican las expresiones dadas en el enunciado del teorema.
Teorema 10. Bajo las hip´
otesis (H2,H3,H5), si f (t, k) verifica (H8), T (g)
existe, es u
´nica y pertenece al int(Θ), Tˆn (ˆ
gn ) existe y es u
´nica casi siempre,
entonces el estad´ıstico:
´
√ ³
n θˆn − θ0
es asint´
oticamente equivalente a
√
Zn (ρg ) + h(f, θ0 , k, g) · 2 n
Z1
0
g(t) (ˆ
gn (t) − g(t)) dt
donde Zn (ρ) est´
a definido en (4), ρg (t) en (H6) y
Z 1
∂ •
−1
h(f, θ0 , k, g) = −Ag (θ0 , k)
f (x; θ0 , k) g (x) dx
0 ∂k
es un vector p × 1.
Demostraci´
on: Por el Teorema 9
´
√ ³
n θˆn − θ0 = I1 (n) + I2 (n) + I3 (n)
Divulgaciones Matem´
aticas Vol. 16 No. 1(2008), pp. 1–27
Estimaci´on de la Funci´
on de regresi´on en un Modelo No Lineal
23
donde
½
¾−1
R 1 ••
√ R1 •
ˆn ) [ˆ
ˆn ) g (x) dx
n 0 f (x; θ0 , k
gn (x) − g(x)] dx
I1 (n) = − 0 f (x; θ0 , k
µ
¶
½
¾
−1
³
´
•
•
••
R1
√ R1
ˆ
ˆ
n
f
(x;
θ
,
k
)
−
f
(x;
θ
,
k)
g(x)dx
I2 (n) =
f
x;
θ
,
k
g
(x)
dx
0
n
0
0
n
0
0
•
R1
ˆn )√n [ gˆn (x) − g(x)] dx+
I3 (n) = an µ0 f (x; θ0 , k
¶
•
√ R1 •
ˆ
an n 0 f (x; θ0 , kn ) − f (x; θ0 , k) g(x)dx
Estudiaremos por separado cada uno de los sumandos:
I1 (n) es asint´oticamente equivalente a Zn (ρg ), por Lema 3, corolario 3 e
hip´otesis.
Si en I2 (n), aplicamos el teorema del valor medio a
•
•
f (x; θ0 , kˆn ) − f (x; θ0 , k)
kˆ2 − k 2
y expresamos kˆn − k = n
obtenemos:
kˆn + k
I2 (n) =
½Z
0
1 •• ³
f x; θ0 , kˆn
´
¾−1
Z
√ kˆn2 − k 2 1 ∂ •
g (x) dx
n
f (x; θ0 , ξkn )g(x)dx
ˆ
∂k
kn + k 0
donde ξkn es un punto entre kˆn y k, por hip´otesis, por el Lema 3, Teorema 6
y Corolario 3 I2 (n) es asint´oticamente equivalente a
½
¾−1
R 1 ••
R1 ∂ •
f
(x;
θ
,
k)
g
(x)
dx
f (x; θ0 , k)g(x)dx · Znk(g) =
0
0
0 ∂k
h(f, θ0 , k, g) Znk(g)
Puesto que I3 (n) es asint´oticamente equivalente a:
µZ 1
¶
•
∂ •
Zn (g)
an Zn (f (θ0 , k)) + an
f (x; θ0 , k)g(x)dx
k
0 ∂k
¯
¯
•
¯R 1 ∂ •
¯
donde an → 0 en probabilidad ¯¯ 0 ∂k
f (x; θ0 , k)g(x)dx¯¯ < ∞, Zn (f (θ0 , k))
y Zn (g) tienen distribuci´on asint´otica normal, se concluye que I3 (n) → 0 en
probabilidad
Corolario 4. Bajo las hip´
otesis del teorema anterior, el estad´ıstico
´
√ ³
n θˆn − θ0
Divulgaciones Matem´
aticas Vol. 16 No. 1(2008), pp. 1–27
24
Mar´ıa Margarita Olivares, Har´
u Martinez
es asint´
oticamente equivalente a
µ
¶
n
¢
g(ηjn ) ¡ n
√ X
n
εj ρg (ξj ) + 2h(f, θ0 , k, g)
Ln = n
sj − snj−1
k
j=1
¤
£
donde ξjn , ηjn ∈ snj − snj−1
Demostraci´
on: Por el Teorema 10,
´
√ ³
n θˆn − θ0
es asint´oticamente equivalente a
√
Zn (ρg ) + h(f, θ0 , k, g) · 2 n
Z1
0
³∧
´
g(t) gn (t) − g(t) dt
donde
h(f, θ0 , k, g) = −
·Z
0
¸−1 Z
f (x; θ0 , k) g (x) dx
1 ••
1
0
∂ •
f (x; θ0 , k) g (x) dx
∂k
y por el Lema 1, Zn (ρg ) es asint´oticamente equivalente a
Yn (ρ) =
n
¡
¢
£
¤
√ X
n
εj ρ(ξjn ) snj − snj−1 , ξjn ∈ snj − snj−1 , ρ = ρg
j=1
´
³∧
√ R1
y por otro lado, para ρ = g, h(f, θ0 , k, g) · 2 n g(t) gn (t) − g(t) dt es
asint´oticamente equivalente a
0
n
¢ n £ n
√ X
g(ηjn ) ¡ n
n ¤
εj
sj − sn
2h(f, θ0 , k, g)Yn (g) = 2h(f, θ0 , k, g) n
j−1 , ηj ∈ sj − sj−1
k
j=1
por Lema 3 y Lema 1, de donde se obtiene el resultado
Teorema 11. Si ρg y g son continuas y denotamos por V ar(Ln ) la matriz
de varianzas y covarianza de Ln
V ar(Ln ) = V ar(Ln LTn ) = (E (Lim (n)))p×p
Divulgaciones Matem´
aticas Vol. 16 No. 1(2008), pp. 1–27
Estimaci´on de la Funci´
on de regresi´on en un Modelo No Lineal
25
donde
Lim (n) = Ai (n) · Am (n)
#
³
´
n
¢
√ P
g(ηjn ) ¡ n
i
i
n
n
n
εj ρg (ξj ) + h (f, θ0 , k, g) k
sj − sj−1 ,
Ai (n) =
j=1
¡
¢
ξjn , ηjn ∈ snj − snj−1
"
entonces:
E (Lim (n)) → σ 2
n→∞
σ2
kgk2
R1
ρig (t)hm (f, θ0 , k, g)g(t)dt +
0
R1
ρig (t)ρm
g (t)dt+
0
σ2
kgk2
R1
hi (f, θ0 , k, g)ρm
g (t)g(t)dt+
0
σ 2 hi (f, θ0 , k, g)hm (f, θ0 , k, g) kgk2
donde ρig (t) es la componente i del vector ρg (t) y hi (f, θ0 , k, g) es la componente i del vector h(f, θ0 , k, g).
°
°
¡ ¢
Demostraci´
on: Puesto que m´ax °snj − snj−1 − n1 ° = O n1a para a > 1,
j
usando la continuidad de ρg y de g, y el hecho que las variables aleatorias
εj , j = 1, 2, · · · , n son independientes, centradas y de varianza σ 2 :
n
¢2
¡
P
Bi (n)Bm (n) snj − snj−1
E (Lim (n)) = nσ 2
j=1
´
³
g(η n )
Bi (n) = ρig (ξjn ) + hi (f, θ0 , k, g) kj
E (Lim (n)) → σ
n→∞
σ2
kgk2
2 i
Z1
2
Z1
ρig (t)ρm
g (t)dt +
0
ρig (t)hm (f, θ0 , k, g)g(t)dt +
0
σ2
kgk2
Z1
hi (f, θ0 , k, g)ρm
g (t)g(t)dt +
0
m
σ h (f, θ0 , k, g)h (f, θ0 , k, g) kgk2
Teorema 12. Si ρg y g son continuas
£
¤
D
Ln → N 0, V (σ 2 , g)
Divulgaciones Matem´
aticas Vol. 16 No. 1(2008), pp. 1–27
26
Mar´ıa Margarita Olivares, Har´
u Martinez
donde
V (σ 2 , g) = σ 2
σ2
kgk2
R1
R1
ρg (t)ρTg (t)dt+
0
ρg (t)hT (f, θ0 , k, g)g(t)dt +
0
σ2
kgk2
R1
h(f, θ0 , k, g)ρTg (t)g(t)dt+
0
σ 2 h(f, θ0 , k, g)hT (f, θ0 , k, g) kgk2
Demostraci´
on: Sea y ∈ Rp un vector no nulo, probaremos que
£
¤
D
< Ln , y >→ N 0, V (σ 2 , g, y)
< Ln , y >=
n
X
εj anj (y)
j=1
usando las propiedades del producto escalar, donde
¸
·
¢
g(ηjn ) ¡ n
√
n
sj − snj−1 .
an (j) = n < ρg (ξj ), y > + < h(f, θ0 , k, g), y >
k
Si
cnj (y) = εj anj (y), Sn (y) = V ar(< Ln , y >),
entonces tenemos que
< Ln , y >=
n
X
cnj (y),
j=1
probaremos a continuaci´
on que < Ln , y > satisface la condici´on de Lindeberg,
esto es:
n Z
1 X
n
o cnj (y) dP → 0 , para cada ε > 0,
Sn (y) j=1 cnj (y)≥ε√Sn (y)
la demostraci´on es an´aloga a la del Lema 2, para concluir que
hL , yi
p n
→ N [0, 1]
V hLn , yi
esto es, Ln converge en ley a una distribuci´on normal.
Corolario 5. Bajo las hip´
otesis del Teorema 10 y si ρg y g son continuas
³
´
£
¤
√
D
n θˆn − θ0 → N 0, V (σ 2 , g)
Divulgaciones Matem´
aticas Vol. 16 No. 1(2008), pp. 1–27
Estimaci´on de la Funci´
on de regresi´on en un Modelo No Lineal
27
donde
V (σ 2 , g) = σ 2
σ2
kgk2
R1
R1
ρg (t)ρTg (t)dt+
0
ρg (t)hT (f, θ0 , k, g)g(t)dt +
0
σ2
kgk2
R1
h(f, θ0 , k, g)ρTg (t)g(t)dt+
0
σ 2 h(f, θ0 , k, g)hT (f, θ0 , k, g) kgk2
Referencias
[1] Beran, Rudolf. (1977), Minumun Hellinguer distance estimates for parametric models, The Annals of Statistics, 5, 445–463.
[2] Billingsley, Patric. (1968), Convergence of probability measures. John Wiley.
[3] Gasser, Theo. Muller, Hars-Georg. (1979), Kernel estimation of regression
functions. Lectures Notes in Mathematics. 757. 23–68
[4] Pak, J. (1996). Minimun Hellinguer distance estimation in simple linear
regression model; distribution and efficiency. Statistics & Probability Letters. 26. 263–269.
[5] Wolfowitz, J. (1957). The minimum distance method. The Annals of Mathematical Statistics. 28. 58–75.
Divulgaciones Matem´
aticas Vol. 16 No. 1(2008), pp. 1–27