37 qmul_u.
i = qscale << 1;
45 qadd_u.
i = (qscale-1) | 1;
54 nCoeffs =
s->inter_scantable.raster_end[
s->block_last_index[n]];
57 "pxor %[ftmp0], %[ftmp0], %[ftmp0] \n\t"
58 "packsswh %[qmul], %[qmul], %[qmul] \n\t"
59 "packsswh %[qmul], %[qmul], %[qmul] \n\t"
60 "packsswh %[qadd], %[qadd], %[qadd] \n\t"
61 "packsswh %[qadd], %[qadd], %[qadd] \n\t"
62 "psubh %[ftmp0], %[ftmp0], %[qadd] \n\t"
63 "pxor %[ftmp5], %[ftmp5], %[ftmp5] \n\t"
67 PTR_ADDU "%[addr0], %[block], %[nCoeffs] \n\t"
68 MMI_LDC1(%[ftmp1], %[addr0], 0x00)
69 MMI_LDC1(%[ftmp2], %[addr0], 0x08)
70 "mov.d %[ftmp3], %[ftmp1] \n\t"
71 "mov.d %[ftmp4], %[ftmp2] \n\t"
72 "pmullh %[ftmp1], %[ftmp1], %[qmul] \n\t"
73 "pmullh %[ftmp2], %[ftmp2], %[qmul] \n\t"
74 "pcmpgth %[ftmp3], %[ftmp3], %[ftmp5] \n\t"
75 "pcmpgth %[ftmp4], %[ftmp4], %[ftmp5] \n\t"
76 "pxor %[ftmp1], %[ftmp1], %[ftmp3] \n\t"
77 "pxor %[ftmp2], %[ftmp2], %[ftmp4] \n\t"
78 "paddh %[ftmp1], %[ftmp1], %[ftmp0] \n\t"
79 "paddh %[ftmp2], %[ftmp2], %[ftmp0] \n\t"
80 "pxor %[ftmp3], %[ftmp3], %[ftmp1] \n\t"
81 "pxor %[ftmp4], %[ftmp4], %[ftmp2] \n\t"
82 "pcmpeqh %[ftmp1], %[ftmp1], %[ftmp0] \n\t"
83 "pcmpeqh %[ftmp2], %[ftmp2], %[ftmp0] \n\t"
84 "pandn %[ftmp1], %[ftmp1], %[ftmp3] \n\t"
85 "pandn %[ftmp2], %[ftmp2], %[ftmp4] \n\t"
86 PTR_ADDIU "%[nCoeffs], %[nCoeffs], 0x10 \n\t"
87 MMI_SDC1(%[ftmp1], %[addr0], 0x00)
88 MMI_SDC1(%[ftmp2], %[addr0], 0x08)
89 "blez %[nCoeffs], 1b \n\t"
90 : [ftmp0]
"=&f"(ftmp[0]), [ftmp1]
"=&f"(ftmp[1]),
91 [ftmp2]
"=&f"(ftmp[2]), [ftmp3]
"=&f"(ftmp[3]),
92 [ftmp4]
"=&f"(ftmp[4]), [ftmp5]
"=&f"(ftmp[5]),
96 [nCoeffs]
"r"((
mips_reg)(2*(-nCoeffs))),
97 [qmul]
"f"(qmul_u.
f), [qadd]
"f"(qadd_u.
f)
113 qmul_u.
i = qscale << 1;
114 qadd_u.
i = (qscale - 1) | 1;
116 nCoeffs =
s->inter_scantable.raster_end[
s->block_last_index[n]];
119 "packsswh %[qmul], %[qmul], %[qmul] \n\t"
120 "packsswh %[qmul], %[qmul], %[qmul] \n\t"
121 "pxor %[ftmp0], %[ftmp0], %[ftmp0] \n\t"
122 "packsswh %[qadd], %[qadd], %[qadd] \n\t"
123 "packsswh %[qadd], %[qadd], %[qadd] \n\t"
124 "psubh %[ftmp0], %[ftmp0], %[qadd] \n\t"
125 "pxor %[ftmp5], %[ftmp5], %[ftmp5] \n\t"
128 PTR_ADDU "%[addr0], %[block], %[nCoeffs] \n\t"
129 MMI_LDC1(%[ftmp1], %[addr0], 0x00)
130 MMI_LDC1(%[ftmp2], %[addr0], 0x08)
131 "mov.d %[ftmp3], %[ftmp1] \n\t"
132 "mov.d %[ftmp4], %[ftmp2] \n\t"
133 "pmullh %[ftmp1], %[ftmp1], %[qmul] \n\t"
134 "pmullh %[ftmp2], %[ftmp2], %[qmul] \n\t"
135 "pcmpgth %[ftmp3], %[ftmp3], %[ftmp5] \n\t"
136 "pcmpgth %[ftmp4], %[ftmp4], %[ftmp5] \n\t"
137 "pxor %[ftmp1], %[ftmp1], %[ftmp3] \n\t"
138 "pxor %[ftmp2], %[ftmp2], %[ftmp4] \n\t"
139 "paddh %[ftmp1], %[ftmp1], %[ftmp0] \n\t"
140 "paddh %[ftmp2], %[ftmp2], %[ftmp0] \n\t"
141 "pxor %[ftmp3], %[ftmp3], %[ftmp1] \n\t"
142 "pxor %[ftmp4], %[ftmp4], %[ftmp2] \n\t"
143 "pcmpeqh %[ftmp1], %[ftmp1], %[ftmp0] \n\t"
144 "pcmpeqh %[ftmp2], %[ftmp2], %[ftmp0] \n\t"
145 "pandn %[ftmp1], %[ftmp1], %[ftmp3] \n\t"
146 "pandn %[ftmp2], %[ftmp2], %[ftmp4] \n\t"
147 PTR_ADDIU "%[nCoeffs], %[nCoeffs], 0x10 \n\t"
148 MMI_SDC1(%[ftmp1], %[addr0], 0x00)
149 MMI_SDC1(%[ftmp2], %[addr0], 0x08)
150 "blez %[nCoeffs], 1b \n\t"
151 : [ftmp0]
"=&f"(ftmp[0]), [ftmp1]
"=&f"(ftmp[1]),
152 [ftmp2]
"=&f"(ftmp[2]), [ftmp3]
"=&f"(ftmp[3]),
153 [ftmp4]
"=&f"(ftmp[4]), [ftmp5]
"=&f"(ftmp[5]),
155 [addr0]
"=&r"(addr[0])
157 [nCoeffs]
"r"((
mips_reg)(2*(-nCoeffs))),
158 [qmul]
"f"(qmul_u.
f), [qadd]
"f"(qadd_u.
f)
167 const uint16_t *quant_matrix;
176 nCoeffs =
s->intra_scantable.raster_end[
s->block_last_index[n]] + 1;
179 block0 =
block[0] *
s->y_dc_scale;
181 block0 =
block[0] *
s->c_dc_scale;
184 quant_matrix =
s->intra_matrix;
187 "dli %[tmp0], 0x0f \n\t"
188 "pcmpeqh %[ftmp0], %[ftmp0], %[ftmp0] \n\t"
189 "dmtc1 %[tmp0], %[ftmp4] \n\t"
190 "dmtc1 %[qscale], %[ftmp1] \n\t"
191 "psrlh %[ftmp0], %[ftmp0], %[ftmp4] \n\t"
192 "packsswh %[ftmp1], %[ftmp1], %[ftmp1] \n\t"
193 "packsswh %[ftmp1], %[ftmp1], %[ftmp1] \n\t"
194 "or %[addr0], %[nCoeffs], $0 \n\t"
198 MMI_LDXC1(%[ftmp2], %[addr0], %[
block], 0x00)
199 MMI_LDXC1(%[ftmp3], %[addr0], %[
block], 0x08)
200 "mov.d %[ftmp4], %[ftmp2] \n\t"
201 "mov.d %[ftmp5], %[ftmp3] \n\t"
202 MMI_LDXC1(%[ftmp6], %[addr0], %[
quant], 0x00)
203 MMI_LDXC1(%[ftmp7], %[addr0], %[
quant], 0x08)
204 "pmullh %[ftmp6], %[ftmp6], %[ftmp1] \n\t"
205 "pmullh %[ftmp7], %[ftmp7], %[ftmp1] \n\t"
206 "pxor %[ftmp8], %[ftmp8], %[ftmp8] \n\t"
207 "pxor %[ftmp9], %[ftmp9], %[ftmp9] \n\t"
208 "pcmpgth %[ftmp8], %[ftmp8], %[ftmp2] \n\t"
209 "pcmpgth %[ftmp9], %[ftmp9], %[ftmp3] \n\t"
210 "pxor %[ftmp2], %[ftmp2], %[ftmp8] \n\t"
211 "pxor %[ftmp3], %[ftmp3], %[ftmp9] \n\t"
212 "psubh %[ftmp2], %[ftmp2], %[ftmp8] \n\t"
213 "psubh %[ftmp3], %[ftmp3], %[ftmp9] \n\t"
214 "pmullh %[ftmp2], %[ftmp2], %[ftmp6] \n\t"
215 "pmullh %[ftmp3], %[ftmp3], %[ftmp7] \n\t"
216 "pxor %[ftmp6], %[ftmp6], %[ftmp6] \n\t"
217 "pxor %[ftmp7], %[ftmp7], %[ftmp7] \n\t"
218 "pcmpeqh %[ftmp6], %[ftmp6], %[ftmp4] \n\t"
219 "dli %[tmp0], 0x03 \n\t"
220 "pcmpeqh %[ftmp7], %[ftmp7], %[ftmp5] \n\t"
221 "dmtc1 %[tmp0], %[ftmp4] \n\t"
222 "psrah %[ftmp2], %[ftmp2], %[ftmp4] \n\t"
223 "psrah %[ftmp3], %[ftmp3], %[ftmp4] \n\t"
224 "psubh %[ftmp2], %[ftmp2], %[ftmp0] \n\t"
225 "psubh %[ftmp3], %[ftmp3], %[ftmp0] \n\t"
226 "por %[ftmp2], %[ftmp2], %[ftmp0] \n\t"
227 "por %[ftmp3], %[ftmp3], %[ftmp0] \n\t"
228 "pxor %[ftmp2], %[ftmp2], %[ftmp8] \n\t"
229 "pxor %[ftmp3], %[ftmp3], %[ftmp9] \n\t"
230 "psubh %[ftmp2], %[ftmp2], %[ftmp8] \n\t"
231 "psubh %[ftmp3], %[ftmp3], %[ftmp9] \n\t"
232 "pandn %[ftmp6], %[ftmp6], %[ftmp2] \n\t"
233 "pandn %[ftmp7], %[ftmp7], %[ftmp3] \n\t"
234 MMI_SDXC1(%[ftmp6], %[addr0], %[
block], 0x00)
235 MMI_SDXC1(%[ftmp7], %[addr0], %[
block], 0x08)
236 PTR_ADDIU "%[addr0], %[addr0], 0x10 \n\t"
237 "bltz %[addr0], 1b \n\t"
238 : [ftmp0]
"=&f"(ftmp[0]), [ftmp1]
"=&f"(ftmp[1]),
239 [ftmp2]
"=&f"(ftmp[2]), [ftmp3]
"=&f"(ftmp[3]),
240 [ftmp4]
"=&f"(ftmp[4]), [ftmp5]
"=&f"(ftmp[5]),
241 [ftmp6]
"=&f"(ftmp[6]), [ftmp7]
"=&f"(ftmp[7]),
242 [ftmp8]
"=&f"(ftmp[8]), [ftmp9]
"=&f"(ftmp[9]),
246 [addr0]
"=&r"(addr[0])
249 [nCoeffs]
"r"((
mips_reg)(2*(-nCoeffs))),
261 const uint16_t *quant_matrix;
269 nCoeffs =
s->intra_scantable.raster_end[
s->block_last_index[n]] + 1;
270 quant_matrix =
s->inter_matrix;
273 "dli %[tmp0], 0x0f \n\t"
274 "pcmpeqh %[ftmp0], %[ftmp0], %[ftmp0] \n\t"
275 "dmtc1 %[tmp0], %[ftmp4] \n\t"
276 "dmtc1 %[qscale], %[ftmp1] \n\t"
277 "psrlh %[ftmp0], %[ftmp0], %[ftmp4] \n\t"
278 "packsswh %[ftmp1], %[ftmp1], %[ftmp1] \n\t"
279 "packsswh %[ftmp1], %[ftmp1], %[ftmp1] \n\t"
280 "or %[addr0], %[nCoeffs], $0 \n\t"
284 MMI_LDXC1(%[ftmp2], %[addr0], %[
block], 0x00)
285 MMI_LDXC1(%[ftmp3], %[addr0], %[
block], 0x08)
286 "mov.d %[ftmp4], %[ftmp2] \n\t"
287 "mov.d %[ftmp5], %[ftmp3] \n\t"
288 MMI_LDXC1(%[ftmp6], %[addr0], %[
quant], 0x00)
289 MMI_LDXC1(%[ftmp7], %[addr0], %[
quant], 0x08)
290 "pmullh %[ftmp6], %[ftmp6], %[ftmp1] \n\t"
291 "pmullh %[ftmp7], %[ftmp7], %[ftmp1] \n\t"
292 "pxor %[ftmp8], %[ftmp8], %[ftmp8] \n\t"
293 "pxor %[ftmp9], %[ftmp9], %[ftmp9] \n\t"
294 "pcmpgth %[ftmp8], %[ftmp8], %[ftmp2] \n\t"
295 "pcmpgth %[ftmp9], %[ftmp9], %[ftmp3] \n\t"
296 "pxor %[ftmp2], %[ftmp2], %[ftmp8] \n\t"
297 "pxor %[ftmp3], %[ftmp3], %[ftmp9] \n\t"
298 "psubh %[ftmp2], %[ftmp2], %[ftmp8] \n\t"
299 "psubh %[ftmp3], %[ftmp3], %[ftmp9] \n\t"
300 "paddh %[ftmp2], %[ftmp2], %[ftmp2] \n\t"
301 "paddh %[ftmp3], %[ftmp3], %[ftmp3] \n\t"
302 "paddh %[ftmp2], %[ftmp2], %[ftmp0] \n\t"
303 "paddh %[ftmp3], %[ftmp3], %[ftmp0] \n\t"
304 "pmullh %[ftmp2], %[ftmp2], %[ftmp6] \n\t"
305 "pmullh %[ftmp3], %[ftmp3], %[ftmp7] \n\t"
306 "pxor %[ftmp6], %[ftmp6], %[ftmp6] \n\t"
307 "pxor %[ftmp7], %[ftmp7], %[ftmp7] \n\t"
308 "pcmpeqh %[ftmp6], %[ftmp6], %[ftmp4] \n\t"
309 "dli %[tmp0], 0x04 \n\t"
310 "pcmpeqh %[ftmp7], %[ftmp7], %[ftmp5] \n\t"
311 "dmtc1 %[tmp0], %[ftmp4] \n\t"
312 "psrah %[ftmp2], %[ftmp2], %[ftmp4] \n\t"
313 "psrah %[ftmp3], %[ftmp3], %[ftmp4] \n\t"
314 "psubh %[ftmp2], %[ftmp2], %[ftmp0] \n\t"
315 "psubh %[ftmp3], %[ftmp3], %[ftmp0] \n\t"
316 "por %[ftmp2], %[ftmp2], %[ftmp0] \n\t"
317 "por %[ftmp3], %[ftmp3], %[ftmp0] \n\t"
318 "pxor %[ftmp2], %[ftmp2], %[ftmp8] \n\t"
319 "pxor %[ftmp3], %[ftmp3], %[ftmp9] \n\t"
320 "psubh %[ftmp2], %[ftmp2], %[ftmp8] \n\t"
321 "psubh %[ftmp3], %[ftmp3], %[ftmp9] \n\t"
322 "pandn %[ftmp6], %[ftmp6], %[ftmp2] \n\t"
323 "pandn %[ftmp7], %[ftmp7], %[ftmp3] \n\t"
324 MMI_SDXC1(%[ftmp6], %[addr0], %[
block], 0x00)
325 MMI_SDXC1(%[ftmp7], %[addr0], %[
block], 0x08)
326 PTR_ADDIU "%[addr0], %[addr0], 0x10 \n\t"
327 "bltz %[addr0], 1b \n\t"
328 : [ftmp0]
"=&f"(ftmp[0]), [ftmp1]
"=&f"(ftmp[1]),
329 [ftmp2]
"=&f"(ftmp[2]), [ftmp3]
"=&f"(ftmp[3]),
330 [ftmp4]
"=&f"(ftmp[4]), [ftmp5]
"=&f"(ftmp[5]),
331 [ftmp6]
"=&f"(ftmp[6]), [ftmp7]
"=&f"(ftmp[7]),
332 [ftmp8]
"=&f"(ftmp[8]), [ftmp9]
"=&f"(ftmp[9]),
336 [addr0]
"=&r"(addr[0])
339 [nCoeffs]
"r"((
mips_reg)(2*(-nCoeffs))),
349 const uint16_t *quant_matrix;
357 assert(
s->block_last_index[n]>=0);
359 if (
s->alternate_scan)
362 nCoeffs =
s->intra_scantable.raster_end[
s->block_last_index[n]];
365 block0 =
block[0] *
s->y_dc_scale;
367 block0 =
block[0] *
s->c_dc_scale;
369 quant_matrix =
s->intra_matrix;
372 "dli %[tmp0], 0x0f \n\t"
373 "pcmpeqh %[ftmp0], %[ftmp0], %[ftmp0] \n\t"
374 "mtc1 %[tmp0], %[ftmp3] \n\t"
375 "mtc1 %[qscale], %[ftmp9] \n\t"
376 "psrlh %[ftmp0], %[ftmp0], %[ftmp3] \n\t"
377 "packsswh %[ftmp9], %[ftmp9], %[ftmp9] \n\t"
378 "packsswh %[ftmp9], %[ftmp9], %[ftmp9] \n\t"
379 "or %[addr0], %[nCoeffs], $0 \n\t"
383 MMI_LDXC1(%[ftmp1], %[addr0], %[
block], 0x00)
384 MMI_LDXC1(%[ftmp2], %[addr0], %[
block], 0x08)
385 "mov.d %[ftmp3], %[ftmp1] \n\t"
386 "mov.d %[ftmp4], %[ftmp2] \n\t"
387 MMI_LDXC1(%[ftmp5], %[addr0], %[
quant], 0x00)
388 MMI_LDXC1(%[ftmp6], %[addr0], %[
quant], 0x08)
389 "pmullh %[ftmp5], %[ftmp5], %[ftmp9] \n\t"
390 "pmullh %[ftmp6], %[ftmp6], %[ftmp9] \n\t"
391 "pxor %[ftmp7], %[ftmp7], %[ftmp7] \n\t"
392 "pxor %[ftmp8], %[ftmp8], %[ftmp8] \n\t"
393 "pcmpgth %[ftmp7], %[ftmp7], %[ftmp1] \n\t"
394 "pcmpgth %[ftmp8], %[ftmp8], %[ftmp2] \n\t"
395 "pxor %[ftmp1], %[ftmp1], %[ftmp7] \n\t"
396 "pxor %[ftmp2], %[ftmp2], %[ftmp8] \n\t"
397 "psubh %[ftmp1], %[ftmp1], %[ftmp7] \n\t"
398 "psubh %[ftmp2], %[ftmp2], %[ftmp8] \n\t"
399 "pmullh %[ftmp1], %[ftmp1], %[ftmp5] \n\t"
400 "pmullh %[ftmp2], %[ftmp2], %[ftmp6] \n\t"
401 "pxor %[ftmp5], %[ftmp5], %[ftmp5] \n\t"
402 "pxor %[ftmp6], %[ftmp6], %[ftmp6] \n\t"
403 "pcmpeqh %[ftmp5], %[ftmp5], %[ftmp3] \n\t"
404 "dli %[tmp0], 0x03 \n\t"
405 "pcmpeqh %[ftmp6] , %[ftmp6], %[ftmp4] \n\t"
406 "mtc1 %[tmp0], %[ftmp3] \n\t"
407 "psrah %[ftmp1], %[ftmp1], %[ftmp3] \n\t"
408 "psrah %[ftmp2], %[ftmp2], %[ftmp3] \n\t"
409 "pxor %[ftmp1], %[ftmp1], %[ftmp7] \n\t"
410 "pxor %[ftmp2], %[ftmp2], %[ftmp8] \n\t"
411 "psubh %[ftmp1], %[ftmp1], %[ftmp7] \n\t"
412 "psubh %[ftmp2], %[ftmp2], %[ftmp8] \n\t"
413 "pandn %[ftmp5], %[ftmp5], %[ftmp1] \n\t"
414 "pandn %[ftmp6], %[ftmp6], %[ftmp2] \n\t"
415 MMI_SDXC1(%[ftmp5], %[addr0], %[
block], 0x00)
416 MMI_SDXC1(%[ftmp6], %[addr0], %[
block], 0x08)
417 PTR_ADDIU "%[addr0], %[addr0], 0x10 \n\t"
418 "blez %[addr0], 1b \n\t"
419 : [ftmp0]
"=&f"(ftmp[0]), [ftmp1]
"=&f"(ftmp[1]),
420 [ftmp2]
"=&f"(ftmp[2]), [ftmp3]
"=&f"(ftmp[3]),
421 [ftmp4]
"=&f"(ftmp[4]), [ftmp5]
"=&f"(ftmp[5]),
422 [ftmp6]
"=&f"(ftmp[6]), [ftmp7]
"=&f"(ftmp[7]),
423 [ftmp8]
"=&f"(ftmp[8]), [ftmp9]
"=&f"(ftmp[9]),
427 [addr0]
"=&r"(addr[0])
430 [nCoeffs]
"r"((
mips_reg)(2*(-nCoeffs))),